AB 테스트

• A/B 테스트는 사용자를 무작위로 나눠 두 버전(A=대조군, B=변형군)의 성과를 비교하는 무작위 통제 실험
• 한 번에 하나의 변수만 바꿔, 성과 차이가 그 변수 때문인지 가려내는 방법
• “어느 쪽이 더 나은가”를 통계적 유의성으로 판정하는 의사결정 도구

해당 개념이 필요한 이유

• 감이나 주장으로 “A 기능이 전환율 5% 올렸다”를 정하면 핑퐁이 난다 → 무작위 비교로 인과를 분리한다
• 시장·계절 같은 외부 요인을 A와 B가 똑같이 받으므로, 관측된 차이 = 변형(B)의 효과로 귀속할 수 있다

AS-IS — 전체 배포 후 “느낌”으로 판단

sequenceDiagram
  autonumber
  participant Team as 팀
  participant All as 전체 사용자
  Team->>All: 새 버전 B를 전체 배포
  All-->>Team: 전환율 변동 관측
  Note over Team: 시장이 커진 건지 B 덕인지 구분 불가 → 핑퐁

TO-BE — 무작위 분할 후 통계 검정

sequenceDiagram
  autonumber
  participant U as 사용자 트래픽
  participant A as A (대조군)
  participant B as B (변형군)
  participant Stat as 통계 검정
  U->>A: 무작위 50%
  U->>B: 무작위 50%
  A-->>Stat: 전환율 5.0%
  B-->>Stat: 전환율 3.5%
  Stat-->>Stat: 이 차이가 우연인가? (p-value)
  Note over Stat: 유의하면 "진짜 차이"로 결론

통계 검정 핵심만

• 귀무가설: “A와 B는 차이 없다” / 대립가설: “차이 있다”
• p-value: 관측된 차이가 순전히 우연일 확률. 보통 < 0.05면 유의하다고 본다.
• 표본크기 / 검정력(power): 작은 차이를 잡으려면 더 많은 트래픽이 필요하다 → 그래서 시간이 든다.
• 지표별 검정: 평균 비교는 Welch t-test, 클릭률 같은 비율은 Fisher’s exact / 카이제곱.

A/B 테스트의 한계 → 왜 베이지안 최적화인가

• 한 번에 2개(많아야 몇 개)만 비교 — 후보가 많으면 다루지 못한다
• 조합 폭발: 버튼색 × 문구 × 가격을 다 조합하면 수백~수천 가지, 전부 A/B로 못 돌린다
• 비용 / 시간: 각 테스트가 유의성에 도달하려면 큰 트래픽과 긴 시간이 든다
• 이전 결과에서 안 배움: “다음에 뭘 테스트할지”는 사람이 감으로 정한다

→ “무엇을 비교할지”를 데이터로 똑똑하게 고르는 게 베이지안 최적화다. A/B는 비교하는 “도구”, BO는 비교 대상을 고르는 “두뇌”.

헷갈리지 말 것: 멀티암드밴딧

• A/B는 실험 기간 내내 트래픽을 50:50으로 고정 → 지는 쪽에도 트래픽을 계속 쓴다.
• 멀티암드밴딧은 이기는 쪽에 트래픽을 점점 더 몰아준다(실시간 배분). 세 개념의 자세한 구분은 베이지안 최적화의 “헷갈리는 3형제 구분” 표를 참고.

참고 문서

• https://en.wikipedia.org/wiki/A/B_testing
• 다음 단계: 베이지안 최적화
• 세션 원본 메모: 데이터 분석