한 줄 정의

청킹(chunking)은 긴 문서를 검색·임베딩의 단위가 되는 조각(청크)으로 자르는 일이다. RAG 파이프라인의 재료 손질 단계.

내 말로

오픈북 시험용 책을 찢어 인덱스 카드로 만드는 일. 챕터째 카드 한 장이면 여러 주제가 섞여 찾기가 뭉툭해지고, 문장 중간에서 찢으면 카드만으로는 뜻이 안 통한다. 임베딩은 조각 하나에 좌표 하나를 주기 때문에 — 조각이 크면 좌표가 흐려지고, 작으면 맥락이 끊긴다. 임베딩 모델을 바꾸기 전에 찢는 법부터. 검색 품질의 상한선이 여기서 정해진다.

오개념 주의

“작게 자를수록 정확하다”는 반쪽 진실이다. 작을수록 좌표는 선명해지지만 답변의 재료로는 부실해진다. 그래서 검색용 크기와 답변용 크기를 분리하는 기법(부모-자식 청크)까지 나왔다.

어디서 만났나

Build 03 — ask-soulhn의 두 번의 실패가 전부 여기였다. 조각이 크면 여러 주제가 한 좌표로 평균된다는 걸 겪은 뒤, 600자를 목표로 하되 문단 경계에서만 자르고 이웃 조각끼리 한 문단을 겹치게(오버랩) 바꿨다. RAG 카드에 “품질은 모델보다 재료 손질에서 갈린다”고 적었는데, 그 재료 손질의 정체가 이것이다. 옵시디언의 원자 노트(노트 하나 = 개념 하나)는 사람이 미리 해 둔 청킹이기도 하다.

더 파볼 것

• 시맨틱 청킹 — 임베딩으로 “주제가 바뀌는 지점”을 찾아 자르기
• 부모-자식 청크: 작은 조각으로 찾고, 큰 조각으로 답하기
• 옵시디언 볼트의 노트 굵기 점검 — 한 노트에 주제가 몇 개 들어 있나