← soulhn.github.io

Log

만들고 배운 것을 기록합니다.

· 학습 로그

의사라벨링 — 모델이 자기 답을 교재로 쓸 때

라벨 없는 데이터에 모델의 예측을 임시 정답으로 붙여 재학습하는 준지도 기법. 그리고 그것이 자기강화로 무너지는 방식.

#용어#의사라벨링#준지도학습

한 줄 정의

의사라벨링(Pseudo-labeling)은 라벨 없는 데이터에 모델이 확신하는 예측을 임시 정답(의사 라벨)으로 붙이고, 그걸 학습 데이터에 섞어 재학습하는 준지도 학습 기법이다.

내 말로

학생이 자기가 푼 답안을 교재 삼아 다시 공부하는 것. 맞게 푼 문제가 많으면 실력이 늘고, 틀린 답이 섞여 있으면 틀린 확신만 강해진다. 특히 정답 경계 근처의 애매한 문제에 자기 답을 라벨로 붙이는 순간, 모델은 “이렇게 생긴 건 다 오답”이라고 일반화해버린다 — 확증 편향의 기계 버전.

어디서 만났나

AI Learn X 경연에서 두 번 시도해 두 번 다 기각했다. 1차는 확신도 기반의 순진한 버전 — 검증 폴드에서 오히려 하락. 2차는 프로빙으로 밀도를 실측한 구간만 골라 라벨을 붙인 개선판이었는데, 재학습된 모델이 경계 바로 옆의 진짜 정답 구간까지 “비슷하게 생겼다”며 밀어냈다. 측정 지도로 사전 검증하니 기대 정답 −2.65개 — 제출하지 않고 버릴 수 있었다. 의사라벨의 품질보다 무서운 건 라벨을 붙인 위치다: 경계에서 멀수록 안전하고, 경계에 붙일수록 자기강화가 시작된다.

더 파볼 것

  • 준지도 학습의 다른 갈래: consistency regularization, self-training vs co-training
  • 분포 이동 상황에서의 의사라벨 — 도메인 적응 도구로 쓰일 때와 무너질 때
  • 신뢰도 임계값 설계: 어디까지 확신해야 교재에 넣을 자격이 있나