크로스채널 인크리멘털리티(incrementality)는 “이 캠페인이 귀속(어트리뷰션) 상으로 얼마를 가져갔나”가 아니라, 캠페인이 없었으면 발생하지 않았을 추가 성과가 얼마인가를 묻습니다. 리타겟팅·브랜드 검색·상단 퍼널이 뒤섞인 환경에서는 라스트 클릭/MTA만으로는 구조적으로 과대·과소평가가 생기기 때문에, 예산 결정을 ‘증분’ 기준으로 보정하는 장치가 필요합니다.
아래는 실무에서 바로 적용 가능한 홀드아웃(유저 단위) / 지오(지역 단위) 테스트 설계 → 분석 → 예산 의사결정의 전체 흐름입니다.
1) 먼저 정해야 하는 것: “증분”의 대상과 성공 지표
증분을 어디까지로 볼 것인가
- 증분 전환(가입/구매): 가장 단순. 단, 가치 편차가 크면 부족함
- 증분 매출/마진: 커머스/게임/구독에 더 적합(환불/수수료 반영 권장)
- 증분 LTV(예측 포함): 상단 퍼널(유입) 실험에서 의미가 커짐
1차 KPI는 “총량(Blended)”로
증분 실험의 핵심은 채널별 ROAS가 아니라 전체 총량의 변화입니다.
- 매출/구매/신규/활성 같은 블렌디드 KPI를 1차로 두고
- 보조로 채널 리포트(검색/리타겟팅 이동, 오가닉/다이렉트 변화)를 봅니다.
2) 실험 유형 선택: 홀드아웃 vs 지오 테스트
A. 유저 단위 홀드아웃(holdout / suppression)
정의: 오디언스 일부를 의도적으로 광고에서 제외하고(holdout), 나머지 노출군과 성과를 비교
장점: 인과 추정이 가장 깔끔. 작은 규모로도 가능
단점: 크로스채널 오염(다른 캠페인이 holdout을 다시 타겟팅) 관리가 어려움
추천 사용처
- 리타겟팅, CRM, 인앱 리마케팅, 특정 오디언스 기반 캠페인
- “이 사람들은 어차피 살 사람인가?”를 확인하고 싶을 때
핵심 설계 포인트
- 오염 방지: holdout 유저를 모든 유사 캠페인에서 동시 제외(가능하면)
- 측정 윈도우: 구매 주기/결정 기간에 맞추되, 너무 길게 잡아 외생 변수(프로모션/업데이트) 섞이지 않게
B. 지오(Geo) 테스트(지역 홀드아웃)
정의: 지역(도시/주/권역) 단위로 캠페인 강도를 다르게 집행하고, 지역별 총량 차이를 비교
장점: TV/유튜브/디스플레이 등 상단 퍼널에 현실적으로 가장 잘 맞음, 크로스채널 효과까지 포착
단점: 지역 간 차이(소득, 경쟁, 시즌성), 표본 수(지역 수)가 핵심 제약
추천 사용처
- 상단 퍼널(브랜딩/유입 확장), 검색·소셜이 함께 움직이는 상황
- “브랜드 검색이 늘었는데 진짜로 총 매출이 늘었나?” 같은 질문
핵심 설계 포인트
- 지역 매칭: 과거 데이터로 유사한 트렌드 지역끼리 페어링(또는 synthetic control)
- 캠페인 강도 차이: ON/OFF가 부담이면 **강도 차(예: 30% vs 100%)**로도 가능
- 외생 변수 로그: 프로모션/가격/업데이트/경쟁 이슈를 반드시 기록
3) 표본/기간 잡는 현실적인 기준(“완벽”보다 “결정 가능한” 설계)
최소 권장
- 사전 기간(pre-period): 2~4주(지역/그룹 트렌드 확인용)
- 테스트 기간(test): 2주 이상(상단 퍼널은 3~6주가 더 안정적)
- 홀드아웃 비율: 5~20% (오염·리스크·검정력의 균형)
검정력(파워) 관점의 직관
- 효과가 1~3% 같은 작은 리프트면 기간을 늘리거나, KPI를 매출 대신 세션/신규 등 상위 지표로 둬야 합니다.
- 지역 수가 적으면 통계적으로 흔들리니, 가능하면 더 큰 단위(권역)로 묶어 변동성을 낮추는 게 낫습니다.
4) 분석 방법: “차이의 차이(DiD)”가 기본, 실무에선 보정이 핵심
A. 가장 기본: Difference-in-Differences(지오/홀드아웃 공통)
- TestLift = (Test_post − Test_pre) − (Control_post − Control_pre)
이 방식은 “테스트 전후 변화”에서 “컨트롤 전후 변화”를 빼서, 시즌성/요일성 같은 공통 변동을 제거합니다.
B. 더 안정적으로: 사전 지표로 보정(CUPED류)
사전 기간 KPI를 공변량으로 써서 분산을 줄이면, 같은 기간에도 더 빨리 결론이 납니다. 실무적으로는 “사전기간 매출/세션”을 보정 변수로 쓰는 것만으로도 효과가 큽니다.
C. 클러스터(지역) 단위 분산을 인정
지오 테스트는 개별 유저가 아니라 지역이 표본 단위입니다. 분석은 지역 단위 변동을 반영해야 하며, 그렇지 않으면 과신(유의미하다고 착각) 위험이 커집니다.
5) 가장 자주 망하는 포인트 6가지(미리 막으면 성공 확률이 크게 올라감)
- 오염(Contamination): holdout이 다른 캠페인에 노출됨 → 리프트 과소추정
- 스필오버(Spillover): 지역 경계 넘는 소비/이동(특히 오프라인/지역 작은 경우)
- 프로모션 동시 진행: 테스트 기간에 쿠폰/이벤트가 겹쳐 원인 분리가 불가
- 예산 페이싱 불일치: 테스트 지역만 페이싱이 깨져 노출 강도가 의도와 다름
- KPI 정의 미정: 매출 기준이 결제 이벤트인지 정산인지(환불 포함 여부) 불명확
- 너무 많은 질문: 한 번의 실험에서 채널별·세그먼트별 결론까지 다 내리려다 실패
→ 실험은 “이 예산이 증분을 만들었나?” 1문장에 답하는 도구로 쓰는 게 좋습니다.
6) 결과를 예산 의사결정으로 바꾸는 법: iROAS와 한계효율
실험 결과를 “액션 가능한 숫자”로 바꾸려면 다음 3가지를 계산합니다.
A. 증분 매출/전환
- Incremental Revenue = (TestLift in revenue)
- Incremental Conversions = (TestLift in conversions)
B. 증분 ROAS(iROAS)
- iROAS = Incremental Revenue / Spend_in_test_increment
여기서 분모는 “테스트로 추가 집행한 비용”이 핵심입니다. ON/OFF면 테스트 지역 집행액이 분모가 되지만, 강도 차 실험이면 “강도 차로 추가된 비용”만 분모로 잡아야 합니다.
C. 증분 계수(보정 계수)로 운영 체계에 내장
어트리뷰션 ROAS가 있을 때 실무적으로 가장 잘 먹히는 형태는:
- Incrementality Factor = iROAS / Reported ROAS
- 운영용 iROAS(추정) = Reported ROAS × Incrementality Factor
이렇게 하면 매번 실험을 돌리지 않아도, 리타겟팅/브랜드 검색처럼 과대평가되기 쉬운 채널을 일상 운영에서 자동으로 보정할 수 있습니다(단, 계수는 분기/반기마다 갱신 권장).
7) 의사결정 룰(예시): “증액/유지/감액”을 확률이 아니라 규칙으로
실험이 끝나면 팀이 바로 움직일 수 있도록 룰을 미리 정해두는 게 좋습니다.
- 증액: iROAS가 손익분기(마진 기준) 이상 + 신뢰구간 하단도 기준 근처
- 유지/추가 실험: iROAS는 기준 부근이나 불확실성이 큼 → 기간/표본 확장 또는 더 큰 강도 차로 재실험
- 감액/중단: iROAS가 기준 미달이 명확하거나, 추가 집행 시 한계효율이 급락
여기서 포인트는 “단일 숫자”가 아니라 **한계효율(추가 1원을 더 쓸 때의 증분)**을 같이 보는 것입니다. 실무에서는 같은 채널도 예산 구간에 따라 증분이 달라지므로, 가능하면 2단계(중간 강도 vs 높은 강도)로 실험해 포화 구간을 찾는 게 유용합니다.
8) 최소 템플릿: 바로 돌릴 수 있는 실행 시나리오
리타겟팅 홀드아웃(2주)
- 대상: 최근 7일 방문자
- 분할: 90% 노출 / 10% holdout
- KPI: 7일 내 구매(또는 매출), 보조로 직접/브랜드검색 변화
- 성공 기준: iROAS ≥ BE(손익분기)
- 액션: 증분 계수 산출 → 리타겟팅 캠페인에 계수 반영
상단 퍼널 지오 테스트(4~6주)
- 지역: 10~30개 권역(가능한 한 트렌드 유사하게 매칭)
- 처리: 테스트 권역 집행 강도 100%, 컨트롤 30% 또는 0%
- KPI: 총 매출/신규, 보조로 브랜드 검색/직접 유입
- 분석: DiD + 사전기간 보정
- 액션: 채널별 재배분(상단 퍼널 유지/확대 vs 검색/리타겟팅 캡 유지)
마무리
크로스채널 환경에서 인크리멘털리티는 “있으면 좋은 분석”이 아니라, 예산이 하단 퍼널 착시에 빨려 들어가는 구조를 막는 안전장치입니다. 홀드아웃은 정밀하게, 지오는 현실적으로, 그리고 결과는 iROAS/증분 계수로 변환해 운영 체계에 박아 넣어야 합니다. 그 순간부터 실험은 리포트가 아니라 예산 의사결정 엔진이 됩니다.