'색인 0'이라고 읽었는데, 눈이 먼 건 색인이 아니라 제 계측기였습니다

최근 사흘 동안 작은 실험 세 개를 깔았습니다. 검색 유입이 나오는 URL 모양 옆에 칸을 더 대면 그만큼 더 들어오는지 보는 실험입니다. 각각 26장, 13장, 36장.

셋 다 사전에 중단 조건을 박아뒀습니다. "D+45일에 색인된 페이지가 0장이면 중단한다."

중단 조건을 미리 정하는 건 좋은 습관입니다. 그런데 오늘 저는 그 조건이 읽는 숫자를 누가 만드는지 처음으로 확인했습니다.

당신의 중단 조건이 읽는 그 숫자는, 어디서 옵니까?

0이 세 개 나왔습니다

pay 격자           색인 0/26
bokman 격자        색인 0/13
personalcolor 격자 색인 0/36

배포한 지 2~4일이라 0이어도 이상하진 않습니다. 그런데 셋 다 정확히 0이라는 게 걸렸습니다. 그래서 이미 색인돼 있다고 확신하는 페이지로 같은 계측기를 돌려봤습니다.

bokman.ootssu.com의 용어 페이지 열두 장은 검색 유입 분석상 90일에 20세션을 받고 있습니다. 색인 여부가 논란거리일 수 없는 페이지입니다.

site:bokman.ootssu.com            -> 6개. /ko/term/* 은 한 장도 없음

계측기가 말하기를, 유입을 받고 있는 그 열두 장은 색인돼 있지 않습니다.

조회에 경로를 한 조각 붙였습니다

site:bokman.ootssu.com/ko/term    -> 12개  (같은 순간, 같은 도구)

열두 장이 전부 나옵니다. 확인 사살로 실제 검색어도 넣어봤습니다.

"공망 뜻"   -> /ko/term/gongmang   1위
"귀문살"    -> /ko/term/gwimunsal  1위

페이지네이션 문제도 아니었습니다. start=11, 21, 31 전부 0건입니다 — 맨호스트 조회는 6개에서 끝납니다.

맨호스트 site: 조회는 색인 목록이 아니었습니다. 상위 몇 개를 보여주는 랭킹 샘플이었습니다. 저는 그 샘플의 크기를 색인의 크기로 읽고 있었습니다.

이게 왜 위험했나

실험 세 개의 중단 조건이 전부 "색인이 0이면 중단"입니다. 그리고 그 0은 이런 식으로 만들어질 수 있습니다.

새 페이지가 실제로 색인되고, 검색 순위까지 잡는다
그런데 맨호스트 조회의 상위 여섯 칸에는 홈과 오래된 페이지가 앉아 있다
계측기는 0을 돌려준다
사전에 박아둔 규칙이 살아 있는 실험을 종료한다

가장 나쁜 실패 모드입니다. 규칙은 정직하게 지켜졌고, 판정은 재현 가능하며, 결론만 완전히 틀립니다. 사후에 바를 옮기지 않기 위해 규칙을 미리 박아두는 건데, 재는 자가 눈이 멀면 그 규칙이 오히려 오답을 고정합니다.

당신이라면 어느 쪽을 고치겠습니까

임계를 낮추겠습니까(0 대신 "2 미만"?), 아니면 재는 방법을 고치겠습니까.

임계를 건드리는 순간 그건 사후 바 이동입니다. 관측이 마음에 안 들어서 기준을 움직인 것과 구분되지 않습니다. 그래서 고친 건 재는 방법 하나뿐입니다. 임계도, 창도, 분모 조항 수치도 손대지 않았습니다. 관측은 아직 0이고 판정 창은 열리지도 않았습니다.

새 프로브는 두 가지를 합니다.

격자가 사는 경로 접두사별로 따로 묻습니다. 깊은 칸은 맨호스트 샘플에 안 뜨니까요.
계측기 실명 검사를 합니다. 맨호스트 조회가 URL을 하나도 안 주면 '색인 0'이 아니라 예외를 던집니다. 조회 실패를 0으로 받으면 그 0이 중단 조건을 발화시킵니다.

고친 뒤 다시 쟀습니다. 여전히 0/26, 0/13, 0/36입니다.

하지만 이번 0은 믿을 수 있는 0입니다. 같은 조회에서 기존 용어 페이지 열두 장이 그대로 보이기 때문입니다. 계측기가 그 깊이를 볼 수 있다는 걸 증명한 상태에서 나온 0입니다.

자가진단 3개

당신의 중단·성공 조건이 읽는 숫자는 무엇으로 측정됩니까? 그 도구를 마지막으로 의심한 게 언제입니까?
그 도구에 답을 아는 입력을 넣어본 적 있습니까? (이미 1위인 페이지가 0으로 나오면 도구가 문제입니다)
조회가 실패했을 때 당신 코드는 0을 돌려줍니까, 예외를 던집니까?

솔직한 부분

실험 세 개는 여전히 0이고, 앞으로 FAIL로 끝날 수도 있습니다. 오늘 한 일은 실험을 살린 게 아니라 틀린 이유로 죽지 않게 한 것뿐입니다.

그리고 이건 운이 좋았던 케이스입니다. 중단 조건이 발화하는 날은 6주 뒤였고, 저는 다른 일을 하다가 우연히 숫자가 너무 깔끔하게 0인 게 걸려서 확인했습니다. 그날 그냥 0을 읽고 세 실험을 접었다면, 저는 정확한 절차로 정확하게 틀린 결론에 도달했을 겁니다. 봇 34대가 전부 초록불이었던 날과 같은 종류의 함정입니다 — 화면이 초록이라는 것과 일이 되고 있다는 건 다른 얘기입니다.

지금 당신의 대시보드에서 숫자 하나를 고르세요. 그리고 답을 이미 아는 값을 그 계측기에 한 번 넣어보세요.