한 줄 정의

리더보드 프로빙(Leaderboard Probing)은 의도적으로 설계한 제출을 던지고, 돌아온 점수에서 테스트셋의 정보를 역산하는 기법이다. 캐글 등 ML 경연의 표준 기술 중 하나.

내 말로

점수를 “성적”이 아니라 “측정값”으로 쓰는 것. 전부 1로 찍은 답안지의 F1이 0.2772라면, F1 = 2P/(N+P)에 정수해가 (N=317, P=51) 하나뿐이므로 채점셋 크기와 정답 개수를 정확히 알게 된다. 이후 예측 순위를 구간으로 잘라 구간별로 제출하면 구간마다 정답이 몇 개 있는지 지도가 그려진다 — 오염된 우물을 찾으려고 구역별로 수질검사를 도는 것과 같은 그룹 테스팅 구조다.

어디서 만났나

AI Learn X 경연에서 제출 22회로 공개 채점셋의 정답 51개 중 49개의 위치를 구간 단위로 특정했고, 마지막엔 10행짜리 블록을 2행씩 페어로 찍어 정답 3개를 행 단위로 확정했다. 지도 완성 후 재구성한 제출 세 번의 점수(0.6406, 0.6610, 0.6942)를 전부 소수점 넷째 자리까지 사전 예측했다. 모델은 그대로인데 정보만으로 0.2772→0.6942. 단, 이건 공개 리더보드에만 작동한다 — 최종 순위는 비공개 셋으로 재채점되므로 구조상 최종 결과를 왜곡하지 않고, 비공개 정보는 그 누구도 얻을 수 없다.

더 파볼 것

• 그룹 테스팅(group testing) — 2차 대전 혈액 검사에서 나온 원형
• 공개/비공개 리더보드 분할과 public 과적합
• 지표의 수학적 성질 읽기: F1은 분수, R²는 분산비 — 지표마다 새는 정보가 다르다