Tag: 청킹
All the articles with the tag "청킹".
-
RAG 데이터 준비의 전체 흐름 — 선정 · 클렌징 · 청킹 · 메타데이터 · 평가셋
FEMS 프로젝트를 진행하다가 '벡터 DB 에 뭘 어떻게 넣어야 하는가' 가 궁금해서 정리. 핵심 깨달음 — 데이터는 '도메인' 기준이 아니라 '검색되어야 할 질문' 기준으로 거꾸로 선정한다. 그 외 클렌징 / 청크 앞 메타데이터(문서 제목·섹션 경로) 의 효과 / 아날로그 데이터 OCR 전처리 / 평가셋 구축까지 RAG 데이터 파이프라인 전체 흐름.
-
FEMS 프로젝트 #2 — 실데이터 230페이지 코퍼스 + 청크 품질 게이트 + 로컬 LLM 의 한자 혼입 함정
한국BEMS협회 가이드 / 한국에너지공단 자료 / UCI Steel 데이터셋으로 약 230페이지 / 35,000행 코퍼스 확보. 문단 기반 청킹(target 800자) + bge-m3 + Chroma 인덱싱 후 품질 게이트(완성형 한글/ASCII 비율) 로 목차 페이지 7개 청크 제외. 그리고 만난 함정 — qwen2.5:7b 가 두번째 질문에서 한자 혼입 + 생성 붕괴 (관계없는 중국 도시 좌표를 GeoJSON 으로 뱉어냄). temperature / 시스템 프롬프트로 부분 해결 → 결국 exaone3.5:7.8b 로 교체해 깔끔 처리.