실패한 예측 모델을 부검하다가 이상한 걸 봤습니다. 비교군으로 넣어둔 20일 모멘텀이 제 모델을 크게 이기고 있었습니다 — 232세션에서 +132% vs +59%. 벤치마크가 주인공보다 잘하면 눈이 갑니다. 이걸 독립 트랙으로 승격할 가치가 있을까?
착수 전에 규모 계산부터 했습니다. 모멘텀 − TQQQ 보유의 일간 초과 t는 +1.23, 유의까지 약 2년. 그동안 본 판정 기간이 43년, 154년, 59년이었으니, 2년은 이 바닥에서 거의 기적의 숫자입니다. 그래서 기각하기 전에 세 가지를 갈랐습니다: 창 특유인가, 파라미터 특유인가, 종목 특유인가.
당신의 백테스트에서 수익 기여 1위 종목을 빼본 적이 있습니까?
격자는 전부 보고한다
룩백을 5/10/20/40/60/120으로 흔들었습니다. 최고 칸만 인용하는 순간 스캔해 놓고 단독 p값을 쓰는 죄가 되니, 전 격자를 보고합니다. 6 룩백 × 2 유니버스 × 2 창 = 24 비교라 Bonferroni 기준 유의에는 t ≈ 2.9가 필요합니다.
전체 1,066세션, 유니버스 그대로, vs TQQQ 보유:
| 룩백 | 5 | 10 | 20 | 40 | 60 | 120 |
|---|---|---|---|---|---|---|
| 초과 t | -2.08 | -0.11 | +0.35 | -0.10 | +0.12 | +0.02 |
0을 중심으로 한 산포입니다. 코드에 하드코딩돼 있던 20일이 우연히 최고 칸이었고, 그마저 t=+0.35입니다. 어느 칸도 샤프가 단순보유(0.86)나 균등보유(0.94)를 넘지 못했습니다.
종목 하나를 뺐다
유니버스는 ETF 4개였고 그중 하나가 3배 레버리지 반도체 ETF였습니다. 평가 기간에 반도체가 랠리였습니다. 그 종목만 빼고 같은 격자를 다시 돌렸습니다.
12칸 전부 음수. t가 -1.07에서 -2.79 사이. 232세션 창의 수익률로 보면 -15.6% / -12.5% / -10.3% / +1.3% / -1.0% / -2.9%. 같은 창에서 그 종목 단순보유가 +197%였다는 사실과 정확히 맞물립니다. 모멘텀 규칙이 한 일은 종목 선택이 아니라 강세장 종목을 들고 있기였습니다.
롤링으로 봐도 같습니다. 252세션 롤링 창 39개에서 모멘텀이 단순보유를 이긴 창은 33%, 중위 초과 -27.2%, 범위 -106%에서 +416%. 총계 +390%는 지속 우위가 아니라 극단 창 한둘이 끌었습니다.
그 "2년"도 함정이었다
승격을 부추긴 t=+1.23은 가장 유리한 부분창에서 관측된 효과크기로 계산된 겁니다. 유리한 창에서 잰 효과로 필요 표본을 역산하면 판정 기간은 구조적으로 낙관 편향입니다. 긴 창에서 다시 재면 133년이었습니다.
자가진단 3개
- 백테스트 유니버스에서 기여 1위 종목을 제거하고 다시 돌려 봤습니까? 우위가 사라지면 그건 전략이 아니라 그 종목입니다.
- 파라미터 격자를 전부 보고합니까, 최고 칸만 인용합니까? 비교 횟수만큼 유의 기준이 올라갑니다.
- "판정까지 N일" 계산에 쓴 효과크기가 어느 창에서 왔습니까? 유리한 창이면 그 N은 하한이 아니라 희망입니다.
솔직한 부분
이 비교군은 제가 직접 넣은 겁니다. 석 달간 판정표에서 매일 봤으면서, 주인공이 죽고 나서야 벤치마크를 의심했습니다. 벤치마크가 이상하게 잘하는 것도 이상하게 못하는 것만큼 조사 대상입니다.
지금 딱 하나만 해보세요. 백테스트에서 종목별 손익 기여를 뽑아 1위를 빼고 재실행해 보시기 바랍니다. 10분이면 되고, 결과가 뒤집히면 그 10분이 몇 달을 아낀 겁니다.