한 줄 정의

탐색-착취 트레이드오프(Exploration-Exploitation Tradeoff)는 제한된 예산을 “새로운 선택지를 알아보는 것(탐색)“과 “현재 최선을 파고드는 것(착취)“에 나누는 문제다. 강화학습과 밴딧 알고리즘의 중심 개념.

내 말로

우물 파기. 한 우물을 완벽하게 파는 기술이 아무리 좋아도, 그 우물에 물이 없으면 소용없다. 예산의 일부는 반드시 “어느 우물에 물이 있나”를 알아보는 데 먼저 써야 한다. 착취는 언제나 달콤하다 — 지금 아는 최선을 다듬으면 확실히 조금 나아지니까. 탐색은 언제나 아깝다 — 대부분 꽝이니까. 그래서 사람은 기본적으로 착취 쪽으로 기운다. 나도 그랬다.

어디서 만났나

AI Learn X 경연에서 제출 40회를 받고, 그중 0회를 탐색에 썼다. 로컬 검증을 믿고 모델 하나를 골라 40회 전부를 그 모델의 임계값 튜닝과 프로빙에 착취했다. 그런데 그 로컬 검증이 분포 이동 때문에 고장나 있었고, 결국 후보 모델 열 개를 리더보드에 물어보지도 않고 버린 셈이 됐다. 상위권은 반대로 서로 다른 모델을 리더보드에 직접 던져 실제 테스트가 고르게 했을 것이다. 지능은 압축돼도 피드백은 압축되지 않는다 — 그래서 피드백이 희소할수록 탐색의 값이 비싸진다.

더 파볼 것

• 멀티암드 밴딧, ε-greedy, UCB — 이 배분을 수학으로 푸는 도구들
• 베이지안 최적화 — 하이퍼파라미터 튜닝에서의 탐색/착취
• 교육 설계에서의 같은 구조: 새 교수법 실험 vs 검증된 커리큘럼 반복