A/B 테스트
A/B 테스트는 한 캠페인 안에서 트래픽을 여러 그룹으로 나누고, 그룹별로 다른 메시지(또는 대조군)를 보낸 뒤 성과를 비교하는 기능입니다.
이 문서는 일반 캠페인의 A/B 테스트를 다룹니다. 시나리오에서는 이 방식 대신 [분기 블록의 A/B 테스트 분기]로 실험합니다.
또한 운영 설정에 따라 기능 플래그로 A/B 테스트가 꺼져 있을 수 있습니다.
인앱 메시지는 캠페인 채널 선택지에 포함되지 않으므로, 인앱 소재에 대한 AB는 캠페인으로 진행할 수 없습니다.
1. A/B 테스트 켜기
발송 대상 아코디언 근처에 있는 A/B 테스트 스위치를 켭니다.
- 그룹은 최대 5개까지 추가할 수 있습니다.
- 대조군(메시지 미발송) 을 넣을 수 있습니다. 대조군 카드는 보통 목록 맨 뒤로 정렬됩니다.
- 그룹 간 비율은 슬라이더로 조정합니다. 합계가 100%가 되도록 맞춥니다.
대조군을 넣으면 발송군 그룹은 채널·광고 여부·발송 대상을 모두 같게 설정해야 합니다. 대조군이 발송군과 같은 도달 가능 조건(푸시 토큰·마케팅 수신 동의 등)으로 걸러 배정되기 때문입니다. 발송군 그룹의 조건이 서로 다르면 대조군 추가가 비활성화되고, 대조군이 있는 상태에서는 다른 채널 버튼과 광고 여부 토글이 잠깁니다.
2. 그룹별 메시지
상단 그룹 선택 탭(그룹 A, B, …)을 바꿔 가며 메시지 작성 영역에서 소재를 각각 만듭니다.
- 모든 그룹에 복제류의 버튼이 있으면 한 그룹 소재를 다른 그룹에 한 번에 복사할 수 있습니다.
소재 실험 예시
- A: 할인 5% 문구
- B: 할인 10% 문구
- C: 동일 혜택, 제목만 변경
3. 발송 방식과 A/B 테스트
메시지 그룹이 둘 이상이면 API 트리거 발송 방식은 선택할 수 없습니다. (UI에서 비활성화 및 툴팁 안내)
일회성·주기성 스케줄만 A/B 테스트와 함께 쓸 수 있습니다.
4. 최종 검토
활성화하기를 클릭하면 열리는 창에서 그룹 비율·대조군·그룹별 채널을 한 번 더 확인한 뒤 활성화를 클릭합니다.
성과 화면에서 보기
성과 탭에서 그룹별 지표를 나란히 비교합니다. 성과 기준(발송 시도·수신·오픈·클릭)을 바꿔 가며 전환을 해석하고, 실험군별 순증분(대조군 대비 전환율 차이)·ROI 등을 확인할 수 있습니다. 대조군은 메시지를 받지 않아 수신·오픈·클릭이 없으므로, 대조군과의 비교는 발송 시도 기준에서만 가능하고 대조군이 있는 캠페인은 이 기준이 기본으로 열립니다.
캠페인 목록의 발송 수, 성과 화면의 요약 카드·퍼널·일자별 합계, 캠페인 통계에는 대조군이 포함되지 않습니다. 대조군은 메시지를 받지 않은 비교 기준이라 캠페인 성과로 합산하지 않으며, 그룹 비교 표와 순증분·유의성 판정에서만 봅니다. 목록의 예상 발송 수는 대조군 배정 인원을 포함합니다.
