이기고 있던 쇼츠 실험, 다 이겨도 월 7달러였습니다

이긴 다음 할 일은 이미 적어 뒀습니다

쇼츠 콘텐츠 유형 실험을 사전등록하면서 이렇게 한 줄 적어 뒀습니다. "전 앱 확장은 PASS 뒤." 공식 판정은 10월 8일인데, 10월 5일 점검에서 PASS는 이미 굳었습니다. 남은 표본이 결과를 뒤집을 수 없는 상태였습니다.

숫자도 보기 좋았습니다. 게시 후 7일 조회 평균이 A안 81.5회(59편), B안 298.8회(21편)였고 중앙값 비는 3.6배였습니다. 사전등록대로라면 다음 순서는 B안을 다른 앱에도 까는 일이었습니다.

그런데 사전등록에는 '얼마나 이겨야 확장할 가치가 있는가'가 없었습니다. 이겼는지만 물었고, 이기면 얼마가 되는지는 묻지 않았습니다.

여러분의 실험 계획서에는 '이겼을 때 최대로 얻는 것'을 돈이나 사용자 수로 적는 칸이 있습니까?

먼저 순서를 밝혀 두겠습니다. 아래 계산은 PASS가 굳은 다음에 했습니다. 확장 여부는 판정 결과가 아니라 아래 규모를 근거로 정했습니다.

조회는 실측으로 잴 수 있었습니다

다운로드 유도용 쇼츠 3채널, 30일(09-05~10-04) 조회 합계 10,736회(ko 3,108 · en 3,173 · ja 4,455)
같은 기간 구독 순증 +1
모든 편을 B안으로 바꿔도 조회 상한은 10.7k × 3.7 ≈ 월 +29k

이 상한에도 단서가 붙습니다. B안 효과는 한 앱의 영토 릴스에서만 확인됐습니다. 다른 앱에서도 3.6배가 나온다는 근거는 없습니다.

설치 쪽은 숫자를 구할 수가 없었습니다

최근 30일 iOS 첫 설치는 64개 앱 합계 1,817건이었습니다. 유입 경로별로는 이렇습니다.

App Store 검색 1,301건(72%)
앱 리퍼러 246 · 탐색 180 · 웹 리퍼러 54 · 미상 36

쇼츠에서 온 설치는 앱·웹 리퍼러 안에 섞여 있고, 따로 떼어 낼 방법이 없었습니다. 막힌 곳이 세 군데였습니다.

YouTube는 프로필 링크 클릭에 리퍼러를 남기지 않습니다. 호스팅 접속 통계(awstats)에서 8~10월 참조 페이지를 보면 youtube는 0건이었습니다. 같은 기간 Threads는 174건, Facebook은 104건이 잡혔습니다.
캠페인 열이 있는 상세 리포트는 개인정보 임계값 때문에 1,817건 중 20건만 보여 줍니다. 링크에 붙여 둔 캠페인 토큰으로는 귀속을 확인할 수 없었습니다.
쇼츠 프로필 링크가 가리키는 /apps 페이지에는 분석 태그가 없었습니다. 링크를 눌렀는지조차 볼 수 없었습니다.

그래서 상한을 가장 후하게 잡았습니다

정확한 값을 구할 수 없으니, 쇼츠에 가장 유리한 가정을 두고 상한을 계산했습니다.

가정: 웹 리퍼러와 미상을 합한 90건이 전부 쇼츠에서 왔다
그러면 조회→설치 전환율은 0.84%
조회가 월 +29k 늘면 설치는 월 +243건
포트폴리오 30일 매출 약 USD 54를 설치 수로 나누면 설치당 약 $0.03
결론: 월 +$7이 상한입니다. 유료 시작 전환율 0.39%로 다시 계산하면 월 +0.9건입니다

현실은 이보다 작습니다. 사이트로 들어오는 리퍼러는 대부분 Threads였고 YouTube는 0이었습니다. 그 90건 가운데 쇼츠 몫은 일부일 수밖에 없습니다. 현실 추정은 월 +$1~2입니다.

비용은 앱마다 따로 듭니다

B안은 앱의 실제 수치를 화면에 담는 형식이라, 앱마다 그 수치를 캡처하는 경로를 새로 만들어야 합니다. 첫 앱도 릴스 생성 스크립트와 웹 렌더를 붙이는 데 하루 넘게 걸렸습니다. 확장 후보로 꼽은 3개 앱은 앱마다 며칠씩 걸릴 작업이었습니다.

지금 B안도 시간이 갈수록 힘이 빠집니다. 보여 줄 영토 면적의 상한이 9.99km²에서 8.28km²로 내려가 있었습니다.

당신이라면 3.6배 이긴 형식을 월 +$7 상한 때문에 접겠습니까, 아니면 그래도 확장하겠습니까?

이렇게 정했습니다

다른 앱으로는 확장하지 않습니다. 상한 월 +$7, 현실 추정 월 +$1~2를 얻자고 앱마다 며칠을 쓰는 건 맞지 않습니다.
기존 앱의 B안은 그대로 둡니다. 화·목·토에 자동으로 나가고 추가 비용이 없습니다. 영토 면적 범위가 바닥나면 생성 스크립트가 "남은 영토가 없다"며 스스로 멈춥니다.
설치의 72%는 App Store 검색에서 옵니다. 돈이 되는 축은 쇼츠가 아니라 검색 결과 화면입니다. 맞춤 제품 페이지와 인앱 이벤트 판정(11월 3일)이 판정 일정표에서 빠져 있었기에 10월 6일에 추가했습니다.
/apps에 분석 태그를 붙였습니다. 10월 6일 새벽 2시에 배포했고, 서버 백업을 남긴 뒤 md5로 일치를 확인했습니다. 이제 쇼츠 프로필 링크(ko는 /apps/, en·ja는 ?lang= 경로)를 누른 방문이 세션으로 잡힙니다.

다시 볼 조건도 정해 뒀습니다. ja 쇼츠 전용 경로인 ?lang=ja 랜딩의 28일 세션이 두 자리 수가 되면 쇼츠에서 사이트로 가는 경로가 살아 있다는 뜻입니다. 그때 위의 상한을 실측값으로 바꿉니다.

자가진단 체크리스트

실험 계획서에 'PASS면 무엇을 한다'만 있고, 'PASS면 최대 얼마를 얻는다'는 비어 있지 않습니까?
승리 지표(조회)와 돈 사이의 연결 고리(클릭, 설치, 결제) 중에 아예 측정되지 않는 구간이 있지 않습니까?
전체 유입의 대부분을 차지하는 채널을 두고, 비중이 작은 채널의 승리에 다음 작업 시간을 쓰고 있지 않습니까?

솔직한 부분

월 +$7은 측정해서 나온 값이 아닙니다. 쇼츠에 가장 유리한 가정을 깔고 계산한 천장입니다. 쇼츠가 실제로 설치를 몇 건 만들었는지는 지금도 모릅니다. YouTube가 리퍼러를 남기지 않고 상세 리포트는 개인정보 임계값에 걸리니, /apps 태그로 28일을 모으기 전에는 알 방법이 없습니다. 설치당 $0.03도 포트폴리오 전체 평균이라, 쇼츠를 보고 들어온 사용자가 평균과 다르게 결제할 가능성은 확인하지 못했습니다. 계산을 PASS가 굳은 뒤에 했다는 점도 그대로 남겨 둡니다. 다음 실험부터는 이 계산을 사전등록 단계에서 하려고 합니다.