운에 맡기는 마케팅은 이제 그만, 뇌피셜을 팩트로 바꾸는 A/B 테스트

2026.05.28 베캠 7일차

내가 보려고 만든 A/B테스트 정리

광고 A/B 테스트란?

한 눈에 봐도 느낄 수 있는 광고 A/B 테스트!
“이 광고가 정말 효과적일까?” “다른 이미지를 썼다면 더 좋았을까?” 이런 궁금증을 해소시킬 수 있는 것이 바~~~~로! 광고 A/B 테스트
즉, 동일한 조건에서 두 가지 버전의 광고를 동시에 운영해 어떤 것이 더 효과적인지 비교하는 방법!
간단히 말해 우리는 “실험”이라 칭한다.

예를 들어 디키즈 브랜드에서 새로운 버뮤다팬츠를 홍보한다고 가정했을 때, 모델이 직접 착용한 이미지와 깔끔한 제품 단독 이미지 중 어느 것이 더 클릭률이 높을지 궁금하다면?  

광고A/B테스트를 활용하면 확실한 답을 얻을 수 있음. let's go

---

[광고A/B테스트 진행 단계]

1단계: 테스트 목표 설정

명확한 목표 없이 시작하면 의미 있는 결과를 얻기 어려움. 아래의 예시처럼 광고A/B테스트의 목표를 설정해야 함!

[광고성과를 측정하는 가장 핵심적인 지표]

• CTR (Click-Through Rate, 클릭률): 광고가 얼마나 클릭되었가 
• CPC (Cost Per Click, 클릭당 비용): 클릭 한 번을 얻기 위해 얼마의 비용이 들었는가 
• Conversion Rate (전환율): 클릭한 사람 중 실제 구매나 가입 등 목표 행동을 완료한 비율. 

[효율성 및 비용 관련 지표]

 

• CPA (Cost Per Acquisition, 획득당 비용): 구매, 회원가입 등 특정 목표(전환) 하나를 달성하는 데 드는 비용.
  "클릭은 많이 되는데 구매가 안 일어난다"면 CPA가 높게 잡히게 됌. 실제 마케팅 효율을 볼 때 가장 많이 보는 지표.
• ROAS (Return On Ad Spend, 광고 수익률): 광고비 대비 매출액(매출액 ÷ 광고비 × 100) 내가 쓴 돈에 비해 얼마를 벌었는지 알려주는 수익성 지표의 끝판왕!
• CPM (Cost Per Mille, 1,000회 노출당 비용): 클릭과 상관없이 광고가 1,000번 노출되는 데 드는 비용.
  우리 광고가 얼마나 '비싸게' 노출되고 있는지 즉, 입찰 경쟁이 얼마나 치열한지 알 수 있음.

[브랜드 인지도 및 도달 관련 지표]
구매가 바로 일어나지 않는 브랜드 마케팅이나 신제품 출시 단계에서 중요

• Reach (도달): 광고를 본 '순수 사용자 수'
  얼마나 많은 사람에게 내 광고가 배달되었는지 확인
• Frequency (빈도): 한 사람에게 광고가 평균 몇 번 노출되었는지.
  너무 높으면 사용자에게 피로감을 줄 수 있어 '광고 피로도'를 관리할 때 봄.

[사용자 행동 및 경험 지표]
웹사이트나 랜딩 페이지로 들어온 이후의 흐름을 볼 때 중요

• Bounce Rate (이탈률): 광고를 클릭해서 들어왔는데, 아무런 행동도 하지 않고 바로 나간 비율
  이게 높다면 광고 소재와 랜딩 페이지의 내용이 일치하지 않는다는 신호 🚥
• Average Session Duration (평균 세션 시간): 방문자가 우리 페이지에서 얼마나 머물렀는지.
  콘텐츠의 몰입도를 확인하는 데 好

이렇게 많은 지표를 다 보고 있으면 오히려 '분석 마비'에 빠질 수 있음. 그래서 1단계에서 가장 중요한 것은 이번 테스트의 '북극성 지표'는 무엇인가? 를 딱 하나 정하는 것이 중요함!⚠️
Ex)  "이번엔 CPA가 목표니까, 나머지는 참고만 하고 오직 CPA가 오르는지에만 집중하자!"
이렇게 우선순위를 두면 2단계(제작)와 3단계(집행)에서 흔들리지 않고 명확한 의사결정을 내릴 수 있음!

---

 

2단계: 변수 하나씩 테스트

"한 번에 하나씩만 바꿔야, 무엇이 진짜 '승리 요인'인지 정확히 알 수 있다."

여러 요소를 동시에 바꾸면 어떤 것이 결과에 영향을 줬는지 알 수 없다. 한 번에 하나씩만 테스트!

*왜 '하나씩'만 바꿔야 하나? ▶︎ 우리가 A/B 테스트를 하는 이유는 "도대체 무엇이 성과를 좋게(혹은 나쁘게) 만들었을까?"를 알아내기 위해서임. 그렇지만, 한 번에 여러 요소를 바꾸면 그 원인을 알 수 없게 되기 때문!

❌ 나쁜 예시 (여러 개 동시에 변경)
◼︎광고 A: [밝은 배경] + [기능 강조 카피]
◼︎광고 B: [어두운 배경] + [할인 강조 카피]

결과적으로 광고 B가 성과가 훨씬 good. 그럼 당신은 무엇 때문에 성과가 좋아진 걸까? 어두운 배경이 눈에 띄어서? 아니면 그냥 '할인'이라는 단어에 사람들이 혹해서?

정답을 알 수 없음. 배경 때문인지, 카피 때문인지 섞여버렸기 때문! 이것을 '변수가 오염되었다'고 함.

✅ 좋은 예시 (하나만 변경)
원인을 명확히 찾기 위해 '변인 통제'를 해야 함. 카피를 테스트하고 싶다면, 이미지와 다른 모든 조건은 똑같이 두고 카피만 바꿔야 함.
◼︎광고 A: [밝은 배경] + [기능 강조 카피]
◼︎광고 B: [어두운 배경] + [할인 강조 카피]

이렇게 하면 광고 B가 이겼을 때, "아, 우리 타겟은 기능보다는 '할인'에 더 반응하는구나!"라고 확실한 인사이트(교훈)를 얻을 수 있음!

---

3단계: 충분한 샘플 수 확보

"성급하게 결론 내리지 마라. 적은 데이터는 거짓말을 할 수 있지만, 충분한 데이터(1,000회 이상)는 진실을 말한다."

왜 '1,000회 노출'이 기준일까?

우리가 A/B 테스트를 하는 이유는 '진짜 실력'을 확인하고 싶어서임.
하지만 데이터가 너무 적으면 그 결과가 '운'인지 '실력'인지 알 수 없음

ex)  ◼︎ 데이터가 10회뿐이라면:

• A광고가 1번 클릭, B광고가 0번 클릭 : "A광고가 100% 더 뛰어나네!"라고 말할 수 있을까? NO! 그냥 운 좋게 누군가 한 명 더 클릭했을 뿐일 수도 있습니다.◼︎ 데이터가 1,000회라면:
• A광고는 55명 클릭, B광고는 32명 클릭 :  이제는 "A광고가 확실히 사람들 눈길을 더 잘 끄는구나!"라고 믿을 수 있는 근거가 생김.

 

[3단계에서 기억해야 할 3가지]

1. 조급함 금지: 광고를 켜자마자 1~2시간 만에 "어, A가 더 좋네?"하고 결론 내리고 B를 꺼버리는 실수 NONO~
2. 통계적 유의성: 1,000회 노출이라는 기준은 "이 정도는 쌓여야 데이터가 우연이 아니라고 말할 수 있다"는 마케터들의 최소한의 약속
3. 예산 배분: 광고비가 한정되어 있다면, 너무 많은 버전을 동시에 돌리지 말자. 1,000회를 채우지 못하면 테스트 자체가 무의미해지기 때문

---

 

4단계: 통계적 유의성 확인

"통계적 유의성 확인은 '이번 결과가 진짜일까?'를 검증하는 과학적인 합격증."

 "이 결과가 진짜 실력인가, 아니면 어쩌다 운이 좋아서 나온 결과인가?"를 판별하는 최종 검사 아주 쉽게, '운의 영역'을 제거하는 필터!

왜 이런 확인이 필요할까?

앞서 "1,000회 노출"을 채워야 한다고 했지오? 그치만, 데이터를 1,000회 모았는데도 결과가 애매할 때가 있음.

A광고: 50명 클릭 / B광고: 48명 클릭

숫자만 보면 A가 2명 더 클릭했으니 A가 이긴 걸까? NO! 이 정도 차이는 그냥 우연히 일어날 수 있는 '오차 범위' 안에 있는 차이일 가능성이 큼. 여기서 그냥 "A가 이겼다!"라고 결정해버리면, 나중에 광고비를 더 썼을 때 결과가 뒤집힐 수 있는 대참사!

'95% 신뢰도'는 무슨 뜻?

통계학에서 말하는 '95% 신뢰도'란, "우리가 관찰한 이 승패의 결과가 우연이 아닐 확률이 95% 이상이다"라는 뜻.

95% 신뢰도가 확보되었다: "이건 우연이 아니야! 데이터가 충분히 확실하게 말해주고 있어!"
(이제 안심하고 B를 끄고 A에 올인해도 됨)

95% 신뢰도가 부족하다: "아직 잘 모르겠어. 조금 더 데이터를 모아서 더 확실한 차이를 봐야겠어."
(섣불리 판단하지 말고 얌전히 기다리기ㅋㅋ)