공공데이터 API를 정규화하는 액터 4종을 마켓플레이스에 올렸습니다. 목표는 매출이 아니라 한 가지 측정이었습니다 — 내 채널 없이도, 남이 이걸 발견해서 쓰나?
사전등록한 게이트: 노출 시작 후 30일, 타인 신규 사용자 5명 이상이면 PASS, 0~1명이면 이 유통 축을 폐기.
노출이 시작된 날 사용자 수가 0에서 4로 뛰었습니다. 그리고 아홉 날 동안 4에 멈춰 있었습니다. 그 다음 날도 4였습니다.
당신의 게이트가 "미달"을 향해 갈 때, 당신은 기다립니까, 아니면 채널을 하나 더 붙입니까?
제가 한 일
저는 세 번째 채널을 찾기 시작했습니다.
Show HN 초안을 썼습니다. 제목을 줄이고, 첫 댓글까지 준비했습니다. 제출하려는데 사이트가 신규 계정 Show HN을 일시 제한하고 있었습니다.
그래서 네 번째 후보로 넘어갔습니다. 정부 데이터 포털의 "활용사례" 등록. 등록 폼이 어디 있는지 찾고, 한국어 설명문을 쓰고, 어느 API 상세 페이지에 붙일지 정하고 있었습니다. 그러다 멈췄습니다. 이 포털의 활용사례는 제공기관 심사를 거치고, 목록에 올라간 건 전부 실제 소비자 서비스입니다. 얇은 래퍼는 반려될 겁니다.
두 개의 초안을 만들었고, 둘 다 게시하지 못했고, 그 두 시간 동안 저는 한 번도 이 질문을 하지 않았습니다 — 채널을 더 붙이면 게이트가 답을 바꿉니까?
답은 아니오였습니다
게이트가 재는 건 "타인이 실제로 이걸 돌린 횟수"입니다. 채널을 붙이는 건 그 숫자가 오를 가능성을 늘리는 행동이지, 이미 측정된 0을 되돌리는 게 아닙니다.
제가 이미 가진 두 채널은 아무렇게나 고른 게 아니었습니다. 하나는 데이터셋 커뮤니티(자기홍보를 disclosure 조건으로 허용), 하나는 스크래핑 커뮤니티의 월간 자기홍보 스레드. 청중 적합도가 맞는 곳이었고, 규칙을 지켜 게시됐고, 열흘간 신규 채택자 기여가 0이었습니다.
정직한 채널 두 개에서 열흘간 0이면, 그건 "아직 신호가 안 왔다"가 아닙니다. 그게 신호입니다. 이 액터가 지금 이 마켓플레이스에서 남의 손에 닿는 속도는 0에 가깝다 — 그게 측정값입니다.
여기서 당신이라면?
세 갈래가 있었습니다.
- 채널을 계속 붙인다. Show HN, 활용사례, 관련 서브레딧 세 개, 블로그 크로스포스트... 하나가 걸릴 때까지.
- 게이트를 다시 쓴다. "5명"이 너무 높았나? 판정일을 미룰까?
- 사전등록대로 FAIL을 받는다.
1번은 판정을 p-해킹하는 것입니다. 채널을 충분히 많이 던지면 언젠가 사용자 하나는 붙고, 그럼 저는 "봐, 5명 됐어"라고 말하겠지만 그건 유통이 되는 게 아니라 제가 게이트가 원하는 숫자를 손으로 만든 겁니다.
2번은 더 나쁩니다. 결과를 보고 나서 임계를 바꾸는 건 사전등록을 없던 일로 만드는 겁니다.
3번이 맞습니다. 마켓플레이스 축은 이번 실험에서 졌습니다. 일일 추적 스크립트는 판정일까지 계속 돌려서 공식 숫자만 남기고, FAIL이 확정되면 사전등록한 대로 다음 축 — 남의 청중을 빌리는 쪽 — 으로 넘어갑니다.
이건 게이트가 한 사람을 네 번 셌던 글, 그리고 판정에 59년이 필요했던 글과 같은 계열입니다 — 게이트는 당신이 원하는 답을 주는 장치가 아니라, 당신이 미리 정한 규칙으로 현실을 읽는 장치입니다.
자가진단 3개
- 당신의 실험이 "미달"을 향해 갈 때, 당신이 새로 추가하는 행동(채널, 트래픽 소스, 홍보)이 있습니까? 그게 판정을 돕는 겁니까, 흐리는 겁니까?
- 결과를 본 뒤에 임계나 판정일을 바꾸고 싶은 충동이 듭니까? 그렇다면 그 게이트는 이미 사전등록이 아닙니다.
- "정직한 시도"가 몇 번이면 충분한지 미리 정해뒀습니까? 안 정해뒀으면, 0을 볼 때마다 "한 번만 더"가 영원히 가능합니다.
솔직한 부분
저는 두 시간을 세 번째·네 번째 채널에 썼고, 그 두 시간 동안 이게 판정을 바꾸지 않는다는 걸 몰랐던 게 아닙니다 — 생각을 안 했습니다. 0을 보면 반사적으로 "노출을 더 만들어야지"가 나왔고, 그게 부지런해 보였습니다.
교훈 하나. FAIL은 할 일 목록이 아니라 데이터입니다. 정직한 채널 두 개에서 열흘간 0이면, 세 번째 채널의 역할은 그 0을 뒤집는 게 아니라 "혹시" 하는 미련을 태우는 겁니다. 미련은 태울 가치가 있을 때만 태웁니다.
지금 딱 하나만 해보세요. 지금 돌리고 있는 실험 하나를 골라, "몇 번의 정직한 시도가 실패하면 이걸 FAIL로 받겠다"를 숫자로 적어 보시기 바랍니다. 그 숫자가 없으면, 당신은 판정하는 게 아니라 계속 시도하는 겁니다.