사내 학습 플랫폼의 AI Learn X 상시 경연에 두 회차 연속 참여했다. AI와 함께 푸는 것이 공식 형식(Vibe Coding)인 경연이라, 나는 매번 같은 베팅을 했다 — 두 달의 경연 기간 중 가장 마지막에, 그 시점의 최신 AI 모델과 함께 뛴다. 모델은 몇 주 단위로 좋아지니까, 남들의 두 달치 반복을 최신 모델의 지능으로 압축할 수 있다는 가설이었다.

• 1회차 (2026.04) — 석유 펌프 이상 분류 + 철근 단가 예측: 최종 9위 / 63명
• 2회차 (2026.06~07) — 임가공 사출 Color-Out 분류 + 통신 속도 예측: 공개 8위 / 28명 (비공개 최종 발표 대기)

결론부터: 가설은 절반만 맞았다. 하루 만에 꼴찌에서 8위까지는 온다. 그런데 1등은 안 된다. 왜 안 되는지가 이 글의 본론이다.

로트번호가 날짜였다

2회차 분류 문제 데이터에 C29L14 같은 로트번호가 있었다. 풀어보니 29년 12월(L=12번째 알파벳) 14일. 전체를 시간축에 놓자 학습 데이터는 겨울, 테스트는 봄이었다. 랜덤 교차검증이 아니라 시간 홀드아웃으로 검증을 다시 설계했고, 마지막 달을 떼어 확인하니 불량률 자체가 달마다 떨어지고 있었다. 분포가 움직이는 문제에서는 검증 설계가 모델보다 먼저다.

F1은 분수다

첫 제출은 일부러 전부 1로 냈다. 점수 0.2772. F1 공식에 넣으면 2P/(N+P) — 정수해가 (N=317, P=51) 하나뿐이다. 공개 채점이 테스트의 절반이고 그 안에 정답 양성이 51개라는 뜻. 그 뒤로 모든 제출 점수가 분수로 풀렸다. 예측 확률 순위를 구간으로 잘라 구간별로 제출하면 각 구간에 정답이 몇 개 있는지 지도가 그려진다. 지도를 완성한 뒤 최적 구간만 담아 다시 제출했을 때, 예측한 점수 세 개(0.6406, 0.6610, 0.6942)가 전부 소수점 넷째 자리까지 맞았다. 0.2772에서 0.6942까지 — 모델은 그대로인데 정보만으로 오른 폭이다.

마감 직전에는 모델 두 개가 서로 다르게 평가하는 행들을 골라 한 행씩 검증하는 수술까지 더해 0.7107로 마쳤다 — 시작점(0.2772)에서 정보와 검증만으로 올린 폭이다.

이건 캐글에서 리더보드 프로빙이라 부르는 표준 기법이다. 공개 리더보드에만 작동하고 최종 순위는 비공개 셋으로 다시 채점되기 때문에, 구조상 최종 결과를 왜곡하지 않는다. 오히려 “채점 구조 자체도 데이터”라는 걸 몸으로 배우는 연습이었다.

진 이유 — 나침반이 고장나 있었다

그런데도 1등과 격차가 남은 이유는, 복기해보니 모델 성능이 아니라 예산 배분이었다. 마지막에 프로빙 지도로 로컬 실험들을 재채점해보니, 로컬 검증에서 가장 좋았던 모델이 실제 테스트에서는 가장 나빴다. 겨울 데이터로 만든 검증 폴드가 봄 테스트와 역상관이었던 것. 나는 그 고장난 나침반을 믿고 후보 모델 열 개를 제출도 안 해보고 버렸고, 제출 40회를 단 하나의 모델을 쥐어짜는 데 다 썼다. 상위권은 반대로 했을 것이다 — 서로 다른 모델을 리더보드에 직접 던져서, 실제 테스트가 고르게 하는 것.

그리고 이게 “최신 모델 베팅”의 한계였다. AI가 아무리 좋아져도 실제 테스트에서 오는 피드백의 총량은 제출 횟수로 고정돼 있다. 두 달 참가자와 마지막 날 참가자는 같은 40회를 받지만, 그들은 그 40회를 “무엇이 통하는지 묻는 데” 쓸 시간 여유가 있고, 나는 하루 안에 묻고 답하고 수확까지 해야 한다. 지능은 압축되는데 피드백은 압축되지 않는다.

피드백이 희소한 게임에서 얻은 교훈 세 줄:

1. 검증기를 먼저 의심하라. 분포가 움직이면 로컬 검증은 거짓말할 수 있다. 실제 피드백과의 상관부터 확인.
2. 탐색이 먼저, 착취는 나중. 한 우물을 완벽하게 파는 것보다, 어느 우물을 팔지에 예산을 먼저 써야 한다.
3. 채점 구조도 데이터다. 지표의 수학적 성질(F1이 분수라는 것)에서 읽어낼 수 있는 정보가 생각보다 많다.

3회차가 열리면 순서를 바꾼다: 모델 다양성 탐색 → 승자 다듬기 → 구조 해독 → 정밀화. 이번에 만든 도구(시간 검증 하네스, F1 분해 판독기, 프로빙 플레이북)는 전부 남아 있다. 최신 모델 베팅은 유지하되, 이번엔 피드백 예산의 절반을 “묻는 데” 먼저 쓴다.