왜 ‘증분’이 필요한가
대부분의 마케팅 리포트는 전환을 “어떤 채널이 가져갔는가”로 분배합니다. 하지만 의사결정의 핵심은 “광고가 없었어도 발생했을 전환”을 제외하고, 실제로 추가로 만든 전환이 얼마인지를 아는 것입니다. 이 추가분이 증분(incrementality)이며, 이를 모르면 ROAS가 좋아 보이는 캠페인에 예산을 더 넣었는데 전체 매출은 거의 늘지 않는 상황이 생깁니다. 특히 브랜드 검색, 리타겟팅, 충성 고객 비중이 큰 비즈니스는 전환 ‘귀속’과 전환 ‘창출’이 쉽게 섞이기 때문에 증분 측정이 사실상 필수입니다.
Holdout(홀드아웃) 테스트 설계
홀드아웃은 같은 모집단을 무작위로 나눠 한 그룹에는 광고를 유지(treatment), 다른 그룹에는 광고를 중단(control)한 뒤 두 그룹의 성과 차이를 보는 방식입니다. 원칙은 단순합니다. 무작위성, 오염 방지, 충분한 표본과 기간, 그리고 사전에 합의된 판단 기준입니다. 무작위성은 사용자 단위로 나누는 것이 이상적이지만, 플랫폼 제약으로 세그먼트나 오디언스 레벨에서 나뉘는 경우가 많습니다. 이때 중요한 건 통제군이 다른 캠페인(특히 리타겟팅, 브랜드 캠페인)으로 다시 노출되어 “중단이 중단이 아닌 상태”가 되지 않게 설계하는 것입니다. 또한 성과 지표는 전환수만 보면 위험합니다. CPA가 좋아졌지만 신규 비중이 줄었거나, 단기 전환은 늘었는데 환불/이탈이 늘었다면 ‘증분’이 아닌 ‘대체’일 수 있습니다. 그래서 신규 전환, D7/D30 리텐션, AOV, 환불률 같은 가드레일을 함께 둬야 합니다.
Geo(지역) 테스트 설계
Geo 테스트는 지역 단위로 집행 강도를 다르게 가져가고, 테스트 지역과 유사한 비교 지역을 설정해 차이를 추정합니다. 대개 국가/주/도시 단위로 운영하며, 현실적으로는 완전 무작위가 어렵기 때문에 “매칭”이 성패를 가릅니다. 테스트 지역의 과거 매출/트래픽 패턴과 가장 비슷한 지역을 비교군으로 묶고, 사전기간(pre-period)과 실험기간(test-period)을 명확히 분리합니다. 사전기간은 최소 2~4주 이상을 권장하며, 계절성이나 프로모션이 강한 업종은 더 길게 잡는 편이 안전합니다. 또 지역별로 가격, 물류, 오프라인 이슈가 다를 수 있으므로 실험기간 중에는 가능한 한 운영 변수(프로모션, 랜딩 구조, 가격 정책)를 고정하는 것이 좋습니다. Geo 테스트는 조직적으로 설득력이 크지만, 외부 변수가 많아 “깨끗한 실험”을 만들기 어렵다는 점을 전제로 설계해야 합니다.
해석 시 자주 생기는 함정
첫째, 기간이 짧아 변동성에 휘둘리는 문제입니다. 특히 설치나 구매가 일별 편차가 큰 서비스는 3~7일 실험으로 결론을 내면 거의 항상 과신(혹은 과소평가)이 발생합니다. 둘째, 채널 간 이동(cannibalization) 착시입니다. 예를 들어 특정 퍼포먼스 캠페인을 끄면 단기적으로 브랜드 검색 전환이 올라가며 전체 전환이 유지되는 것처럼 보일 수 있습니다. 이는 광고가 만든 수요가 다른 채널로 ‘표기’만 이동한 것인지, 진짜로 광고가 없어도 수요가 유지되는 것인지 분리해야 합니다. 셋째, 오디언스 오염입니다. 중단군이 리타겟팅에 다시 잡히거나, 다른 플랫폼에서 유사 타겟으로 계속 노출되면 실험의 대비가 무너집니다. 넷째, 실험 중 변경입니다. 예산 페이싱 로직, 소재 교체, 랜딩 개선을 동시에 진행하면 어떤 요인이 차이를 만들었는지 알 수 없고, 증분 추정의 신뢰도도 급격히 떨어집니다.
실행 체크리스트
실험을 시작하기 전에 “무엇을 결정하기 위한 실험인지”를 문장으로 고정하세요. 예: ‘캠페인 A의 예산을 30% 늘릴지 여부를 증분 기준으로 결정한다.’ 다음으로 성공 지표와 가드레일을 합의합니다. 예: 증분 전환, iROAS, 신규 비중, 환불률. 그리고 오염 방지 계획을 세웁니다. 어떤 캠페인을 함께 끄고/유지할지, 리타겟팅과 브랜드 캠페인을 어떻게 처리할지 미리 정해야 합니다. 마지막으로 결과는 단일 숫자보다 범위로 봐야 합니다. “증분이 0이다/100이다”가 아니라 “현재 데이터로는 증분이 A~B 범위이며, 이 범위에서의 의사결정은 무엇인가”로 정리하면 조직 내 설득과 재현성이 좋아집니다. 증분 측정은 정답을 만들어내는 도구가 아니라, 예산 배분의 불확실성을 관리하는 의사결정 시스템이라는 점을 잊지 않는 것이 핵심입니다.