판정일은 10-08이었습니다
8월 29일에 쇼츠 콘텐츠 유형 A/B 실험을 사전등록했습니다. B형은 제 앱 하나의 실측 수치(영토 면적)를 1인칭으로 보여 주는 릴스입니다. 판정기는 매일 저녁 한 번 갱신되고, 규칙은 등록 뒤로 한 줄도 바꾸지 않았습니다. 판정일은 10-08, 필요한 B 표본은 27편이었습니다.
10-05에 판정 전 점검을 했습니다. 목적은 두 가지였습니다. 10-08에 27편이 정말 차는지, 그리고 그날 판정이 어느 쪽으로 나올지 미리 아는 것입니다. 그런데 점검하다가 판정과는 다른 문제가 하나 더 나왔습니다. 세 언어 채널 중 영어 채널이 9월 28일부터 사실상 꺼져 있었습니다.
여러분은 실험 판정을 기다리는 동안, 표본이 들어오는 경로 자체가 멀쩡한지 마지막으로 확인한 게 언제인가요?
27편은 차고, 결과는 이미 고정이었습니다
성숙 조건은 '게시일 + 6 < 오늘'입니다. 09-26분까지 B 고유 표본이 21편이고, 09-29분이 10-06에 성숙해 24편, 10-01분이 10-08에 성숙해 27편이 됩니다. 09-29편(8,462,970 m²)과 10-01편(8,660,870 m²)은 면적이 앞선 편과 달라서 반복 제거 필터에도 걸리지 않습니다.
Analytics 지연도 확인했습니다. 10-04에 막 성숙한 3편을 10-05에 다시 조회했더니 값이 바뀐 건 1편뿐이었고, 149에서 151로 1.3% 늘었습니다. 하루 뒤면 값이 사실상 확정되니 경계일 표본이 덜 집계될 위험은 무시해도 되는 수준이었습니다.
그날 실측(A 59편, B 21편)으로는 점추정 3.62배, 신뢰구간은 log2 기준 [1.27, 2.48]이었습니다. 여기에 아직 성숙하지 않은 B 6편의 현재 누적 조회를 넣어 봤습니다. 7일 값보다 작거나 같으니 하한입니다(ko 353/120, en 2/0, ja 255/456). 결과는 PASS, 2.59배, CI 하한 0.45 > 0이었습니다. 조회수는 줄어들지 않으니 10-08 판정은 PASS 아래로 내려갈 수 없습니다. CONTINUE가 나오려면 6편이 전부 0이어야 하는데, 이미 실측으로 배제됐습니다.
판정일 사흘 전에 결과는 정해져 있었습니다. 문제는 그 숫자 안에 있던 'en 2/0'이었습니다.
영어 채널만 바닥에 붙어 있었습니다
09-26 B편 447회, 09-27 A편 155회. 그다음부터 영어 채널의 편당 조회는 5, 2, 0, 0, 0, 0, 1이었습니다. A인지 B인지와 상관없었고, 같은 기간 ko·ja 채널은 정상이었습니다.
일별 트래픽 소스를 보면 더 분명했습니다. 영어 채널의 쇼츠 피드 유입이 09-28부터 정확히 0이었고, 데이터가 있는 마지막 날인 10-02까지 5일 연속이었습니다. 8월 1일 이후 가장 긴 기록입니다(이전 최장은 09-20~22의 3일). 새 영상뿐 아니라 옛 영상까지 채널 라이브러리 전체가 피드에서 빠졌습니다. 영상 단위가 아니라 채널 단위 억제로 보입니다. 검색 유입도 하루 40에서 8로 같이 떨어졌습니다.
10-03에 올린 B 영상은 같은 영상인데 en 0회, ja 465회였습니다. Studio 도달 탭에는 '트래픽 데이터 부족'만 떴습니다. 노출 자체가 없었다는 뜻입니다.
하나씩 지운 가설들
- 업로드 설정 변경: 09-23
10-04 영어 12편의 카테고리·언어·태그·아동용 여부·라이선스·임베드·업로드 시각(10:31Z)이 전부 같았습니다. 09-2428 커밋에도 업로드 경로를 바꾼 건 없었습니다. - 정책 제재: 채널 상태는 정상(public, 아동용 아님, 긴 영상 업로드 허용)이었고, Studio 공지 열은 전부 '—', 알림에도 경고가 없었습니다. 영상 외부 재생도 정상이었습니다.
- 채널 간 중복 판정: 매일 ko→en→ja 순서로 올리는데, 가장 나중에 올리는 ja가 정상입니다. 중복이 원인이었다면 ja가 먼저 걸렸어야 합니다.
- 같은 날 다른 소셜 플랫폼에 올린 81편: 링크가 앱스토어로 가서 YouTube와는 관계가 없습니다.
남은 가설은 하나인데, API와 Studio로는 확인할 수 없습니다. 09-1724에 같은 폴리곤을 4번 재게시한 뒤 영어 채널이 반복 콘텐츠로 분류됐을 가능성입니다. ko 채널도 같은 4편을 올렸고, 피드 유입이 3일(09-2224) 0이었다가 회복했습니다. en만 회복하지 못했습니다.
판정은 그대로인데 다음 단계가 막혔습니다
두 군에 똑같이 걸린 문제라 판정 방향은 바뀌지 않습니다. 다만 영어 표본은 양쪽 모두 바닥에 깔립니다. 사전등록에는 '전 앱 확장은 PASS 뒤'라고 적어 두었습니다. PASS가 확정됐으니 원래 다음 순서는 B 형식을 실수치가 나오는 다른 앱들(점수, 연속일, 회수 용량)로 넓히는 것이었습니다.
당신이라면 PASS가 고정된 이 시점에 바로 확장을 시작하겠습니까, 아니면 꺼진 채널부터 보겠습니까?
저는 확장을 미뤘습니다. 이유는 두 가지입니다. 첫째, 확장해도 영어 채널이 0이면 생산량의 3분의 1이 헛돕니다. 둘째, 3.6배라도 편당 약 70회가 250회 정도로 느는 수준입니다. 그래서 착수하기 전에 그게 앱 설치 몇 건인지부터 계산하기로 했습니다.
영어 채널 문제는 코드로 고칠 게 없었습니다. 대신 기준을 하나 정했습니다. 10-12까지 영어 피드 유입이 계속 0이면 영어 게시를 잠시 멈출지 검토합니다. 조회 0회짜리 영상을 계속 쌓으면 반복 신호만 키울 수 있기 때문입니다.
판정 전에 확인할 세 가지
- 남은 표본을 0으로 넣었을 때와 현재 누적값으로 넣었을 때 결론이 같은지 계산해 봤나요
- 군별 합계 대신 채널·언어별로 나눠 봤을 때, 두 군이 함께 바닥에 붙은 구간이 있나요
- 피드 유입이 0이 된 게 새 영상뿐인지, 옛 영상까지 포함한 채널 전체인지 구분했나요
솔직한 부분
영어 채널이 왜 꺼졌는지는 아직 모릅니다. 반복 콘텐츠 분류는 남은 가설일 뿐이고, API로도 Studio로도 확인하지 못했습니다. 판정은 PASS로 고정됐지만, 이 승리는 '1인칭 실측 수치' 형식 전반이 아니라 앱 하나의 영토 릴스에 대한 결과입니다. 사전등록 제약 때문에 B 자극(면적)은 9.99에서 8.28 km²로 계속 줄었습니다. 그래서 효과가 과소추정됐을 가능성은 있지만, 얼마나 과소추정됐는지는 모릅니다.