← 판독으로

신뢰도 — 왜 하나의 숫자가 아닌가

확신도를 하나로 내면 천정 쪽에서 과신하게 된다. 방향별 판별력이 다르기 때문이다.

방향	AUC	판정
저점 (점수 ≤40)	0.794 [0.705, 0.875]	유의 — 믿을 만함
고점 (점수 ≥60)	0.619 [0.485, 0.742]	미달 — 참고만

확률 출력을 뺀 이유

캘리브레이션을 시도했고 실패했다. Brier skill −0.15 로 기저율만도 못했고, 실현 12.8% 를 33.7% 로 예측하는 과신이었다. 그래서 확률을 내지 않고 경험적 조건부 분포를 그대로 보여준다.

자료 품질과 신뢰도는 다른 것이다

이름	재는 것
자료 품질	이 점수를 계산할 재료가 충분했나 (지표 수·일치도·이력)
방향별 신뢰도	이 방향의 판정을 믿을 수 있나 (실측 AUC)

검정에서 드러난 설계 오류

원래 확신도에 sample 축(극단 점수에 벌점)이 있었다. 사후 검정에서 전환점 39건에 대해 맞은정도와 순위상관 −0.846, 즉 정반대 부호였다. 실제 전환점이 극단에서 일어나기 때문이다. v1(수익률 예측) 목적에 맞춰 만든 축이 v2 전환 때 갱신되지 않은 잔재였고, 부호를 뒤집는 대신 제거했다 — 뒤집으면 데이터를 보고 하는 튜닝이 된다.