[데이터 분석 통계] A/B Test Summary

A/B Test란?

• 두 가지 대안의 효과에 대한 비교를 하는 것
• 통계적 검증 방법으로는 t-test, 카이제곱 검증이 있음

t-test

• 두 집단 간의 평균을 비교할 때 사용되는 통계 검증
• t-test 종류
  • 두 개의 집단 간 비교
  • 같은 집단 비교

유의수준, 신뢰구간

1. t-test 기본 가설 : 두 집단 간의 평균의 차이가 없다.
2. p-value : 유의수준

• 0.05보다 작을 때 : 가설이 지지되지 않음
• 0.05보다 클 때 : 결론 유보

3. 신뢰구간에 0이 미포함 : 가설이 지지되지 않음

카이제곱 test

• 두 집단 간의 비율을 비교할 때 사용하는 통계 검증
• 통계값의 해석
  • p-value가 0.05보다 작을 때, 카이제곱 통계량이 점점 커진다.
  • 결과해석 예시 : a, b 광고의 클릭률이 같지 않다 / b 광고의 클릭률이 더 높다.