← 판독으로

AUC — 판별력을 재는 법

"무작위로 고른 고점 근처의 하루와, 무작위로 고른 저점 근처의 하루를 놓고, 점수가 둘의 순서를 맞출 확률"입니다.

AUC	뜻
0.5	동전 던지기. 정보 없음
0.6	10번 중 6번. 거의 쓸모없음
0.8	10번 중 8번. 실용적으로 유의미
1.0	완벽 분리

왜 상관계수나 적중률 대신 AUC 인가

• 임계값이 필요 없다. "몇 점 아래가 바닥이냐"를 정하는 순간 그게 적합 파라미터가 된다. AUC 는 순서만 본다.
• 노이즈 바닥이 없다. 선행수익률로 평가하면 표준편차 23% 와 싸워야 해서 순위상관 0.10 을 판별하는 데 95년이 필요했다. "고점이냐 저점이냐"는 가격 경로가 정해지면 결정되는 라벨이라 그 노이즈가 없다.
• 불균형에 강하다. 고점 근처는 전체의 5~10% 뿐이라 정확도로 재면 "항상 아니다"라고 답해도 90% 가 나온다.

우리가 조심한 것

고점 하나가 21일 창을 만들면 그 21일은 독립 관측치가 아니다. 날짜 단위로 신뢰구간을 내면 3~5배 좁게 나온다. 그래서 사건 단위 부트스트랩을 쓴다 — 고점 19개와 저점 20개를 통째로 복원추출한다. CI 가 넓게 나오는 이유다.

검정	AUC	판정
고점 vs 저점 (전 구간)	0.818 [0.667, 0.932]	유의
표본외 5-fold 평균	0.868	5/5 fold 통과
저점 vs 나머지 전체	0.794 [0.705, 0.875]	유의
고점 vs 나머지 전체	0.619 [0.485, 0.742]	미달

아래 두 줄이 실전 조건에 가깝다. 여기서 고점이 무너진다.