A/B 테스트, 하나만 바꾸는 실험 설계 순서

A/B 테스트는 방문자를 무작위로 둘로 나눠 한쪽에는 지금 판(A), 다른 쪽에는 한 가지만 바꾼 판(B)을 같은 기간에 보여 주고, 켜기 전에 정한 숫자로 어느 쪽이 나은지 가리는 실험입니다. 순서는 가설 한 줄 → 나눌 대상과 비율 → 필요한 표본 · 기간 → 판정 기준 → 기록입니다. 이 글은 홈페이지 · 랜딩페이지 · 메일 · 가격 표시 실험을 다룹니다.

A/B 테스트는 왜 한 번에 하나만 바꾸나요?

두 가지를 함께 바꾸면 결과가 갈렸을 때 어느 쪽 때문인지 알 수 없습니다. 제목과 버튼을 같이 바꾼 B가 이겨도, 다음 페이지에 무엇을 옮겨야 할지 모릅니다. 그래서 한 회차에 한 가지만 바꾸고 나머지는 A와 똑같이 둡니다.

가격 표시 실험은 보여 주는 방식만 바꾸고, 금액과 조건은 두 판 모두 실제와 같게 둡니다.

가설은 어떻게 한 줄로 쓰나요?

틀은 「[누구]에게 [무엇]을 [어떻게] 바꾸면 [숫자]가 [오를 · 내릴] 것이다. 근거는 [관찰]이다」입니다. 예를 들면 「광고로 들어온 첫 방문자에게 첫 화면 제목을 회사 소개에서 견적 기간 안내로 바꾸면 문의 완료율이 오를 것이다. 근거는 지난달 문의의 40%가 언제 받을 수 있는지를 물었다는 점이다」입니다(가정한 예).

근거는 방문 데이터 · 문의 내용 · 고객 설문에서 찾습니다. 근거가 없는 가설은 이겨도 다음 실험으로 이어지지 않습니다. 광고와 첫 화면이 어긋난 자리를 찾는 법은 광고 클릭은 되는데 문의가 없을 때 — 랜딩페이지 맞추기에 있습니다.

대상은 어떻게 나누고, 표본과 기간은 얼마나 잡나요?

• 무작위 50:50 — 도구가 방문자를 무작위로 나누고, 같은 사람은 끝까지 같은 판을 보게 합니다.
• 대상 — 전체 방문자인지, 광고로 들어온 사람만인지, 모바일만인지 먼저 정합니다.
• 표본 크기 — 공개된 표본 크기 계산기에 네 값을 넣습니다. 현재 전환율, 알아보려는 최소 차이, 유의수준(차이가 없는데 있다고 잘못 판정할 확률의 상한, 흔히 5%), 검정력(실제 차이가 있을 때 잡아낼 확률, 흔히 80%)입니다.

아래는 유의수준 5% · 검정력 80%로 계산기에 넣은 예입니다. 기간은 하루 방문 1,000명을 두 판이 나눠 받는다고 가정했습니다.

계산기마다 방식이 조금씩 달라 10% 안쪽의 차이가 납니다. 작은 차이를 가리려 할수록, 전환율이 낮을수록 필요한 방문이 빠르게 늘어납니다. 기간은 7일 단위로 올려 잡습니다 — 요일마다 방문자가 달라, 월요일에 켰다면 일요일 밤까지를 한 단위로 셉니다.

판정 기준은 언제 어떻게 정하나요?

켜기 전에 판정 문장 한 줄을 적습니다. 「주 지표는 문의 완료율. 판마다 방문 5,900명이 찬 뒤 유의수준 5%에서 차이가 나면 B를 채택, 아니면 A 유지」처럼 씁니다(예시). 켠 뒤에 기준을 정하면 숫자를 보고 기준을 맞추게 됩니다.

• 중간에 멈추지 않기 — 날마다 보다가 앞설 때 멈추면, 우연히 앞선 쪽을 이긴 것으로 고를 가능성이 커집니다. 정한 표본이 찰 때까지 둡니다.
• 보조 숫자 — 주 지표가 올라도 환불 · 주문 취소 · 페이지 오류가 늘면 채택하지 않습니다. 볼 보조 숫자 두세 개를 미리 적습니다.
• 나뉜 비율 — 50:50으로 나눴는데 판별 방문 수가 크게 어긋나면 결과보다 설정부터 봅니다.
• 비겼을 때 — 기준에 못 미치면 A를 유지하고 가설 목록의 다음 줄로 넘어갑니다. 「이것은 결과를 바꾸지 않는다」도 쓸모 있는 기록입니다.

메일은 어떻게 나눠 시험하나요?

메일 발송 도구에는 A/B 테스트 기능이 들어 있는 경우가 많습니다. 예를 들어 스티비는 제목 · 발신자 이름 · 발송 스케줄 · 콘텐츠 가운데 하나를, 메일침프는 제목 · 발신자 이름 · 본문 · 발송 시각 가운데 하나를 골라 시험하도록 안내합니다(2026년 9월 각 도움말). 수신자 일부에 두 판을 먼저 보내고, 정한 시간 뒤 열람률이나 클릭률이 높은 판을 나머지에게 보내는 방식입니다. 발송 시각을 시험할 때는 이긴 판을 지난 시각에 다시 보낼 수 없어 전체를 나눠 한 번에 보냅니다.

주소록이 작으면 한 번의 차이는 우연일 수 있습니다. 같은 가설을 여러 번의 발송에 걸쳐 되풀이하고, 차이의 방향이 매번 같은지 봅니다.

결과는 어떤 표에 남기나요?

도구는 방문 데이터 도구와 연결되는지, 방문자를 무작위로 나누고 같은 사람에게 같은 판을 보여 주는지부터 봅니다. 구글 최적화 도구(Google Optimize)는 2023년 9월 30일에 서비스를 마쳤고, 구글은 GA4에 외부 A/B 테스트 도구를 연결하는 방식으로 안내합니다. 판정에 쓸 전환은 구글 애널리틱스, GA4 설치부터 전환 표시까지 순서대로 먼저 잡아 둡니다.

자주 묻는 질문

방문자가 적은 사이트도 A/B 테스트를 할 수 있나요?

할 수 있지만 설계를 바꿉니다. 첫째, 차이를 크게 만듭니다 — 문구 한 줄 대신 첫 화면 구성을 통째로 바꿉니다. 둘째, 더 자주 일어나는 행동을 판정 숫자로 씁니다 — 문의 완료 대신 문의 버튼 클릭. 셋째, 기간을 늘립니다. 예를 들어 계산한 기간이 석 달을 넘으면, A/B 테스트 대신 고객 인터뷰나 문의 내용 분석으로 가설부터 좁힙니다.

A/B 테스트와 다변량 테스트는 무엇이 다른가요?

다변량 테스트는 여러 요소의 조합을 한꺼번에 견줍니다. 제목 2개 × 이미지 2개면 조합이 4개가 되고, 조합마다 표본이 따로 필요해 방문이 많은 사이트에 맞습니다. 처음에는 A/B 테스트로 요소를 하나씩 가리고, 이긴 요소를 모아 다음 판을 만듭니다.

광고 소재도 같은 방법으로 견주나요?

원리는 같고 방법이 다릅니다. 광고는 매체 안의 A/B 테스트 기능으로 예산과 대상을 똑같이 나눠야 같은 조건이 됩니다. 몇 벌을 돌리고 무엇으로 고르는지는 AI 광고, 소재 여러 벌을 만들어 성과로 고르는 순서에 정리했습니다.

두 판을 한 주씩 번갈아 보여 주면 안 되나요?

권하지 않습니다. 첫 주와 둘째 주는 요일 구성 · 광고 집행 · 계절이 달라, 결과가 갈려도 판 때문인지 주 때문인지 가릴 수 없습니다. 같은 기간에 방문자를 무작위로 나눠 두 판을 동시에 보여 주는 것이 A/B 테스트의 조건입니다.

오늘 할 일

이번 달에 고칠 페이지 하나를 골라 가설 한 줄을 쓰고, 지난 4주의 전환율을 표본 크기 계산기에 넣어 판마다 필요한 방문 수를 구하십시오. 그 수를 하루 방문 수로 나눠 7일 단위로 올리면 실험 기간이 나오고, 그 기간이 길면 차이를 키운 가설로 바꿉니다.

이어서 읽기 — 광고 레퍼런스 사이트, 공식 라이브러리 3곳과 정리표