광고 A/B 테스트는 얼마나 돌려야 할까 (그리고 일찍 멈추면 속는 이유)

“테스트를 얼마나 돌려야 하나요?”에는 분명한 답이 있고, 그 답은 일수가 아닙니다. 두 버전을 구분할 만큼 충분한 사람이 광고를 봤을 때 테스트는 충분히 길어진 것입니다. 일수는 그 사람 수를 트래픽으로 나눌 때 비로소 등장합니다. 순서를 제대로 지키면 테스트가 무언가를 알려줍니다. 순서를 거꾸로 하면, 운 좋은 화요일에 우연히 앞서 있던 광고를 내보내게 됩니다.

무료 A/B 테스트 계산기는 이 글에 나오는 계산을 브라우저에서 바로 해줍니다. 무엇을 넣어야 할지 알 수 있도록, 계산 원리를 설명하겠습니다.

찾을 가치가 있는 가장 작은 상승폭부터 정하세요

테스트 전에, 실제로 행동에 옮길 가장 작은 개선 폭을 정하세요. 새 훅이 전환을 3% 올렸다면 광고 전체를 그 훅 중심으로 다시 만들까요? 아마 아닐 겁니다. 20%라면? 아마 그럴 겁니다. 이 ‘찾을 가치가 있는 최소 상승폭’이 나머지 모든 것을 결정합니다. 작은 차이는 큰 차이보다 훨씬 많은 데이터가 있어야 보이기 때문입니다.

여기에 숫자 세 개가 더 필요합니다.

• 현재 전환율. 테스트하려는 광고, 오디언스, 랜딩 페이지의 최근 평소 기간 수치를 쓰세요.
• 신뢰 수준. 보통 95%를 씁니다. 실제로는 차이가 없는 테스트가 그래도 승자를 지목하는 빈도를 정하는 값으로, 약 5%입니다.
• 검정력. 상승폭이 실제로 있을 때 그것을 잡아낼 확률입니다. Meta는 자체 테스트에 보통 80% 이상을 권장하며, 80%가 흔한 기본값입니다.

버전별 방문자 수로 바꾸기

이 네 숫자가 있으면, 두 전환율을 비교하는 표준 공식으로 버전마다 필요한 방문자 수가 나옵니다. 계산기에서 공식 전체를 볼 수 있습니다. 방문자의 2%가 전환되는 쇼핑몰에서, 신뢰 수준 95%, 검정력 80%로 계산하면 다음과 같습니다.

찾을 가치가 있는 최소 상승폭	B의 전환율	버전별 방문자 수	합계
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

보고 싶은 상승폭을 절반으로 줄이면 필요한 트래픽은 대략 네 배가 됩니다. 실패한 광고 테스트 대부분이 이 하나로 설명됩니다. 큰 차이에 맞춘 예산으로 작은 차이를 찾으려 한 것이죠.

검정력을 올리는 데도 비용이 듭니다. 같은 20% 상승폭이라도 검정력 90%에서는 버전당 21,109명이 아니라 28,258명이 필요합니다.

그다음에야 일수로 바꾸세요

합계를 두 버전이 하루에 함께 받는 방문자 수로 나누세요. 하루 3,000명이라면 20% 테스트는 42,218 ÷ 3,000 = 14.07, 즉 15일이 필요합니다. 하루 1,000명이면 43일, 하루 10,000명이면 5일입니다.

이제 그 답을 플랫폼 기준과 대조해 보세요.

• 너무 짧을 때. Meta의 A/B 테스트 모범 사례는 최소 7일을 권장하고, 더 짧은 테스트는 결론이 나지 않을 수 있다고 말합니다. 계산 결과가 5일이어도 7일은 돌리세요. 같은 페이지는 고객이 광고를 본 뒤 전환까지 보통 7일 넘게 걸린다면 더 길게 돌리라고도 합니다.
• 너무 길 때. Meta는 A/B 테스트를 30일로 제한합니다. 계산 결과가 43일이라면, 지금 설계로는 테스트를 끝낼 수 없습니다. 더 큰 상승폭(더 과감한 변경을 테스트), 더 많은 트래픽(더 큰 예산이나 더 넓은 오디언스)을 찾거나, 더 낮은 신뢰 수준을 받아들이고 결과를 보고할 때 그 사실을 밝히세요.
• Google Ads. 실험 도움말 페이지는 실험을 2~3주 돌리고, 결과가 여전히 불분명하면 예산을 늘리거나 더 오래 돌리라고 권장합니다.

일찍 멈추면 왜 속을까요

함정은 이렇습니다. 테스트를 시작하고 매일 아침 확인합니다. 4일째에 B가 앞서 있고 도구는 유의미하다고 표시합니다. 테스트를 멈추고 B를 내보낸 뒤 다음 일로 넘어갑니다.

95% 신뢰 수준은 계획한 표본 크기에서 딱 한 번 읽는 테스트에만 해당합니다. A와 B의 전환율이 실제로 같다면, 그 한 번의 판독이 가짜 승자를 지목할 확률은 약 5%입니다. 매일 확인하는 건 다른 절차입니다. 방문자가 들어올수록 두 전환율은 오르내리고, 들여다볼 때마다 우연한 격차가 기준선을 넘을 기회가 한 번 더 생깁니다. 처음 넘은 순간에 멈추면, 가장 운 좋은 순간을 일부러 고른 셈입니다. 실제 위양성률은 5%를 넘고, 자주 볼수록 더 올라갑니다.

화면의 p값은 이를 경고해 주지 못합니다. 몇 번 확인했는지 모르기 때문입니다. 마치 한 번만 본 것처럼 똑같이 표시됩니다.

테스트를 정직하게 유지하는 세 가지 규칙입니다.

1. 시작 전에 표본 크기를 적어 두세요. 필요하다면 테스트 이름에 넣으세요.
2. 보되, 멈추지 마세요. 두 버전이 제대로 게재되는지, 고장 난 곳은 없는지 확인하는 건 괜찮습니다. 숫자가 좋아 보여서 테스트를 끝내는 건 안 됩니다.
3. 계획한 크기에서 한 번만 결과를 읽으세요. 유의미하지 않다면 그것도 답입니다. 차이가 있더라도, 찾을 가치가 있다고 정한 상승폭보다 작다는 뜻입니다.

결과 읽기

테스트가 목표 크기에 도달하면 계산기를 내 결과는 유의미한가? 모드로 바꾸고 두 버전의 방문자 수와 전환 수를 입력하세요. A가 방문자 10,000명 중 200명(2.00%), B가 10,000명 중 245명(2.45%)을 전환했다고 해 봅시다. 계산기는 z = 2.157, 양측 p값 0.031을 보여줍니다. 0.05보다 낮으니 B가 95% 신뢰 수준에서 이깁니다.

그다음엔 판정만 보지 말고 범위를 읽으세요. 차이에 대한 95% 구간은 +0.04에서 +0.86%포인트로, A 대비 상승폭으로는 대략 +2%에서 +43%입니다. B가 더 낫긴 하지만, 얼마나 나은지는 아직 크게 열려 있습니다. B의 제작비가 더 든다면, 그만한 가치가 있는지 알려주는 건 바로 이 범위입니다.

플랫폼이 계산기와 늘 같은 답을 내지는 않으며, 그게 정상입니다. Meta의 A/B 결과는 신뢰도 퍼센트를 보여주고 65% 이상을 승리 결과로 봅니다. p값과는 다른 척도입니다. Google Ads는 각 그룹을 20개 버킷으로 나눈 잭나이프 리샘플링으로 구간을 계산하고, 기본으로 80% 구간을 보여줍니다. 플랫폼 테스트에는 플랫폼의 판정을 쓰고, 계산기는 크기를 계획하고 계산을 검산하는 데 쓰세요.

답이 의미 있도록 테스트를 설계하세요

• 한 가지만 바꾸세요. Meta의 모범 사례는 테스트하는 변수 외에는 버전이 동일할 때 결과가 더 확실하다고 말합니다.
• 제대로 나누세요. Meta는 오디언스가 겹칠 수 있다는 이유로 광고 세트를 켰다 껐다 하며 테스트하지 말라고 권하고, 두 버전에 같은 예산을 쓰라고 권장합니다. 플랫폼 자체의 A/B 테스트나 실험 도구를 쓰세요.
• 전환율만 보지 말고 돈을 확인하세요. 전환율에서 이긴 버전도 클릭당 비용이 더 비싸면 손해일 수 있습니다. 확대하기 전에 승자를 ROAS 계산기에 넣어 보고 손익분기 ROAS와 비교하세요.

요약

찾을 가치가 있는 최소 상승폭을 정하고, 버전별 방문자 수를 계산하고, 하루 트래픽으로 나누고, 결과를 Meta의 7일과 30일 사이에 맞추고, 일찍 멈추지 마세요. A/B 테스트 계산기가 양쪽 모두 해줍니다. 테스트 아이디어까지 제안받고 싶다면, Hermoso는 마케팅을 자동으로 굴려 주는 AI 마케팅 에이전트입니다. 연결된 모든 광고 플랫폼을 읽고 무엇을 확대하고, 멈추고, 다음에 테스트할지 알려줍니다. 테스트마다 가설, 승패를 가를 지표, 예산과 기간까지 함께요.

자주 묻는 질문

Facebook 광고 A/B 테스트는 얼마나 돌려야 하나요?

시작 전에 계산한 표본 크기에 도달할 때까지, 그리고 Meta가 권장하는 최소 기간인 7일 이상 돌리세요. Meta는 A/B 테스트를 30일로 제한합니다. 하루 방문자 3,000명, 전환율 2%에서 20% 상승폭을 찾는 테스트라면 약 15일이 필요합니다.

A/B 테스트에는 전환이 몇 건 필요한가요?

전환율과 감지하려는 상승폭에 따라 다릅니다. 전환율 2%에서 신뢰 수준 95%, 검정력 80%로 20% 상승폭을 찾으려면 버전당 방문자 21,109명이 필요하며, 이는 원래 버전에서 약 422건의 전환입니다.

이미 유의미하다면 A/B 테스트를 일찍 멈춰도 되나요?

신뢰 수준을 지키고 싶다면 안 됩니다. 자주 확인하다가 처음 유의미하게 나온 순간에 멈추면 우연이 기준선을 넘을 기회가 늘어나, 실제 위양성률이 처음 정한 것보다 높아집니다.

테스트에 30일 넘게 필요하다면요?

Meta A/B 테스트는 30일을 넘길 수 없으니 설계를 바꾸세요. 더 과감한 변경을 테스트해 찾는 상승폭을 키우거나, 예산을 늘리거나 오디언스를 넓혀 트래픽을 늘리거나, 더 낮은 신뢰 수준을 받아들이고 결과를 보고할 때 그 사실을 밝히세요.