코퍼스 — 오픈북 시험의 '책'
검색과 답변의 재료가 되는 자료 전체. 무엇을 넣느냐만큼 무엇을 안 넣느냐가 설계다.
한 줄 정의
코퍼스(corpus)는 검색·학습의 재료가 되는 자료 전체다. RAG에서는 봇이 근거로 삼을 수 있는 문서들의 묶음.
내 말로
오픈북 시험에서 책상에 올려둘 수 있는 책의 목록. 학생(LLM)이 아무리 똑똑해도 책상에 없는 책은 인용할 수 없다. 인용해서도 안 된다. 시험 범위를 정하는 일이 곧 코퍼스 설계다.
어디서 만났나
Build 03 — ask-soulhn에서 이 빌드의 가장 중요한 결정이 코퍼스였다: 공개 자료(블로그·포트폴리오)만 넣는다. 비공개 자료는 코드 경로상 접근 자체가 없게 해서, “무엇을 공개하지 않을지”를 프롬프트가 아니라 재료 단계에서 보장했다. 무엇을 넣느냐만큼 무엇을 안 넣느냐가 설계라는 걸 배웠다.
더 파볼 것
- 글을 쓸수록 코퍼스가 자라고 봇이 똑똑해진다. 이 글도 다음 색인부터 검색 대상이 된다
- 코퍼스 갱신(재색인)은 언제, 어떻게 자동화하나
퀴즈
읽은 내용, 세 문제로 확인해보세요.
1. 코퍼스의 정의는 무엇인가?
코퍼스는 검색과 학습의 재료가 되는 자료 전체를 의미한다.
2. 코퍼스 설계는 무엇을 정하는 일인가?
코퍼스 설계는 학생이 인용할 수 있는 자료의 범위를 정하는 것과 관련이 있다.
3. 이 글에서 만든 봇(ask-soulhn)의 코퍼스 설계로 맞는 것은?
무엇을 안 넣느냐가 설계 — 비공개는 프롬프트가 아니라 재료 단계에서 차단했다. (일반적으로는 사내 문서 같은 비공개 코퍼스도 흔하다.)