Kyoyoung Chu

A/B 테스트가 통계학을 망치고 있다

A/B 테스트란 무엇이고, 제가 왜 이게 통계학을 망치고 있다고 생각하는지 설명드리고자 합니다.

TL;DR

  • A/B 테스트는 다양한 통계적 가설 검정 방법 중 한 카테고리로, 이를 대체할 수 있는 용어가 아니며, 대체해서도 안 된다고 생각
  • A/B 테스트 대신 RCT (Randomized Controlled Trial; 무작위 대조군 연구) 또는 온라인 대조 실험 (Online Controlled Experiment) 정도의 용어를 제안

Origin of A/B Test (the term)

저는 어떤 현상을 살펴볼 때 그 기원을 찾아 보는 것을 매우 좋아합니다. 그래서 A/B Test 라는 용어를 처음 만든 사람을 찾고 싶었으나 그건 매우 어려웠고, 구글 트렌드를 이용하여 간접적으로나마 확인해볼 수 있었습니다.

google-trend-ab-testing

구글 트렌드 (에서는 가장 높은 검색량을 100으로 잡고 상대적인 검색량을 보여주는 것으로 알고 있습니다. 따라서 검색량이 매우 적은 경우, 검색이 있었음에도 불구하고 0으로 나올 수도 있습니다.) 의 검색 결과에 따르면 2007년 9월 처음으로 4라는 값을 가진 것을 확인할 수 있었습니다. 2010년 이전에는 통계적 가설 검정 (Statistical Hypothesis Testing) 의 검색량이 A/B Test 보다 높았으나, 2010년대에 들어서 A/B Test 의 검색량이 역전하였으며, 그 이후로 꾸준히 증가하였습니다.

저는 린 분석 (Lean Analytics - Allistair Crol, Benjamin Yoskovitz 2013) 과 그로스해킹의 등장이 A/B Test 라는 용어를 더 널리 퍼트리지 않았을까 추측합니다.

A/B Test is just a part of Statistical Hypothesis Testing

그렇다면 비교에 사용한 통계적 가설 검정 (statistical hypothesis testing) 에 대해 간략하게 설명하자면, 말 그대로 우리가 세운 ‘가설 (hypothesis)’ 을 ‘통계적으로 (statistically)’ ‘검정 (test)’ 하는 것입니다.

categories-of-hypothesis-testing

그렇기 때문에 여기에는 매우 다양한 방법이 있고, 모수적인 (parametric) 검정 방법만해도 비교하고자 하는 집단의 수와 통계량 (statistic) 에 따라 이렇게 다양하게 나눌 수 있습니다. 하지만 A/B 테스트는 그 이름에서 알 수 있듯이, 두 집단에 대한 것만 다루고 있습니다. A/B 테스트의 대상이 되는 값은 수치형이고, 비교하는 그룹의 갯수는 2개이므로 위의 그림에서는 Two Sample 가지 아래에 있는 기법들만 다룬다고 할 수 있습니다.

그리고 3개 이상의 그룹을 대상으로 통제 실험을 하는 경우 A/B/C 테스트, A/B/n 테스트 와 같은 형태로 부르는 것도 어렵지 않게 확인할 수 있습니다.

Terminology matters

제 다른 글 에서도 밝혔지만 저는 일부 통계학 용어에 대해 꽤나 민감하게 반응하는 편입니다 (지금은 좀 나아진 것 같기도 하지만요). 통계적 가설 검정이라는 용어가 길어서 사용하기 번거로운 편인 것은 인정합니다. 그렇지만 해당 단어는 매우 직관적입니다.

우리가 가설 (hypothesis) 을 세우고, 이를 통계적으로 (statistically) 검정 (test) 하기 위해 실험을 설계하고, 그 과정을 지켜야한다는 것을 7글자 안에서 모두 보여주기 때문입니다.

References

2025

(번역) AI 가 우리에게 다가오고 있다

5 minute read

이 글은 AI가 데이터베이스에 직접 접근해 인간 전문가처럼 데이터를 분석하는 새로운 워크플로우를 소개합니다. 단순한 질의응답을 뛰어넘는 이러한 도약은 데이터 분석가의 역할이 근본적으로 재정의될 미래를 암시합니다.

(번역) 넷플릭스 게임 사용자의 모험

2 minute read

이 글은 넷플릭스 (Netflix) 에서의 분석 엔지니어링 (Analytics Engineering) 관련 업무의 범위를 공유하기 위한 여러 편의 글 중 두 번째 글이며, 최근에 열렸던 분석 엔지니어링 컨퍼런스에서 발표된 내용이기도 합니다. 더 많은 내용이 궁금하신가요? 첫 번째 ...

Back to top ↑

2023

영어랑 친해지는 방법

7 minute read

가장 좋은 방법은 당연히 영어 밖에 사용하지 못하는 환경에 강제로 처해지는 것이겠지만 그것이 어려우니…

Back to top ↑

2022

Back to top ↑

2020

사내 스터디에 대한 회고

2 minute read

회사 서비스의 추천 시스템을 개선하기 위해 팀 내에서 (아직까진 두 명이긴 하지만) 지난 두 달 동안 스터디를 진행했습니다. 얼마 전 두 번째 스터디가 끝났고 이에 대한 회고를 해보려고 합니다.

Back to top ↑

2019

GitHub Pages Jekyll Blog 에 MathJax 추가하기

3 minute read

이 글은 MathJax 를 GitHub Pages Jekyll blog 에 추가하는 방법을 다룬다. 이탤릭체로 된 부분은 본문에는 없고 제가 따라하면서 고치거나 추가한 부분이니 참고하세요.

GitHub 블로그에 Jupyter notebook 올리는 방법

4 minute read

여러분의 GitHub 블로그에 Jupyter notebook 을 바꿔서 올릴 수 있도록 도와줄 글입니다. 직접 바꾸는 방법은 1회성 글들을 위해서 추가했고, 변환 과정과 파일 이동, 그리고 여러분의 블로그에 올리는 것까지 한 번에 할 수 있는 자동화 bash 를 만드는 자세한 방법...

Back to top ↑