교육 기획자로서 아는 사실 하나: 확인 문항이 없는 학습은 샌다. 용어 카드는 “읽었다”로 끝나기 쉬워서, 글 끝에 세 문제짜리 퀴즈를 붙였다. 코퍼스 카드에서 바로 풀어볼 수 있다.

만든 것 / 버린 것

• 만든 것: 글을 읽고 사지선다 3문항+해설을 만들어주는 생성기, 그리고 글 하단의 퀴즈 화면(보기 클릭 → 정답과 해설, 다 풀면 점수). 1차 적용은 용어 카드 4장.
• 버린 것: 완전 자동 발행. 생성은 AI가 하지만, 발행은 사람이 문항을 읽고 승인한 것만 — 검수를 통과한 퀴즈만 커밋되어 게시된다.

검수 게이트가 실제로 일했다

첫 실행에서 AI가 만든 12문항 중 2개를 수정했다.

• 하나는 오개념을 심는 문항이었다. “비공개 자료는 코퍼스에 포함될 수 있는가? → 아니요”라고 출제했는데, 일반적으로는 사내 문서 같은 비공개 코퍼스도 흔하다. 내 프로젝트가 공개 자료만 쓰기로 선택한 것과, 원래 안 되는 것은 다르다. 교육 콘텐츠에서 가장 나가면 안 되는 유형의 오류.
• 다른 하나는 뜻이 통하지 않는 비문이었다.

10개는 훌륭했다. 그래서 결론은 “AI가 못 만든다”가 아니라 생성은 자동, 발행은 검수다. 품질 미달 문항의 자동 양산은 교육하는 사람의 신뢰를 깎는 지름길이라, 관문을 구조로 만들었다.

앞으로의 흐름

글을 발행하면(자동), 생성기를 돌리고(자동), 문항을 읽고(사람), 커밋한다(발행). 글이 더 쌓이면 생성과 제안까지 자동화하고 검수만 남기는 게 다음 단계다.

막힌 것

• 검증 스크립트에서 줄 수를 세는 명령으로 개수를 셌다가 압축된 HTML(한 줄)에 속았다. 개수는 개수로 세야 한다. 검증 도구 자체도 검증 대상이라는 걸 배웠다.

Q&A

Q. 정답이 페이지 소스에 보이는데 괜찮은가 — 이건 시험이 아니라 학습 확인이다. 소스를 열어 정답을 찾는 사람이 있다면, 그 사람은 이미 충분히 배우고 있다.

Q. 왜 빌드할 때마다 자동 생성하지 않나 — 비용이나 기술 문제가 아니라 품질 통제의 문제다. 검수 없는 교육 콘텐츠 자동 발행은 내 도메인에서는 브랜드를 태우는 일이다.

회고

• 늘어난 것: AITP에서 기획했던 퀴즈 도메인을 개인 자산으로 재현했다. 검수 게이트가 설계가 아니라 실증이 됐다.
• 다음에 볼 것: 빌드 리포트에도 퀴즈를 붙일지, 그리고 생성→PR 제안 자동화.