만들고 배운 것을 기록합니다.
라벨 없는 데이터에 모델의 예측을 임시 정답으로 붙여 재학습하는 준지도 기법. 그리고 그것이 자기강화로 무너지는 방식.
제출 점수의 수학적 성질에서 테스트셋 정보를 역산하는 기법. F1이 분수라는 사실 하나로 지도가 그려진다.
제한된 시도 횟수를 새 후보를 알아보는 데 쓸까, 아는 최선을 다듬는 데 쓸까. 이 배분이 성패를 가른다.
학습 데이터와 실전 데이터의 분포가 다를 때 생기는 일. 로컬 검증이 거짓말을 시작하는 지점.
AI 페어 코딩 경연에 최신 모델과 함께 뛰려고 전략적으로 마지막 날 참여했다. F1 점수를 분수로 분해해 채점 구조를 읽어내며 꼴찌에서 10위까지. 통한 기법과 진 이유를 그대로 남긴다.
임베딩 좌표를 담아 두고 '가장 가까운 것'을 빠르게 찾아 주는 저장소. 그리고 그릇 없이 시작해도 되는 이유.
모델이 근거 없는 내용을 사실처럼 자신 있게 생성하는 현상. 제거가 아니라 관리의 대상이다.
긴 문서를 검색의 단위인 조각으로 자르는 일. 검색 품질의 상한선은 모델이 아니라 여기서 정해진다.
어떤 개념이 존재하고 서로 어떤 관계를 맺을 수 있는지 먼저 정하는 규칙. 데이터가 아니라 데이터의 문법.
지식을 개체와 이름 붙은 관계의 연결망으로 저장한 것. 옵시디언 그래프 뷰가 '반쪽'인 이유.
벡터 유사도만이 아니라 지식그래프의 연결을 타고 자료를 모으는 RAG. 조각 검색이 못 푸는 질문을 푼다.
노드와 엣지를 저장의 기본 단위로 삼아, 관계를 따라가는 질문에 답하는 데이터베이스.
답하기 전에 먼저 자료를 검색하고, 찾은 것만 근거로 답하게 하는 구조.
문장을 의미의 좌표(숫자 벡터)로 바꾸면, 단어가 달라도 뜻이 비슷한 문장을 찾을 수 있다.
검색과 답변의 재료가 되는 자료 전체. 무엇을 넣느냐만큼 무엇을 안 넣느냐가 설계다.
AI의 결과물은 지시문보다, AI가 참조할 맥락을 얼마나 잘 구조화했느냐가 좌우한다.