Tag: rag
All the articles with the tag "rag".
-
RAG 데이터 준비의 전체 흐름 — 선정 · 클렌징 · 청킹 · 메타데이터 · 평가셋
FEMS 프로젝트를 진행하다가 '벡터 DB 에 뭘 어떻게 넣어야 하는가' 가 궁금해서 정리. 핵심 깨달음 — 데이터는 '도메인' 기준이 아니라 '검색되어야 할 질문' 기준으로 거꾸로 선정한다. 그 외 클렌징 / 청크 앞 메타데이터(문서 제목·섹션 경로) 의 효과 / 아날로그 데이터 OCR 전처리 / 평가셋 구축까지 RAG 데이터 파이프라인 전체 흐름.
-
FEMS 프로젝트 #2 — 실데이터 230페이지 코퍼스 + 청크 품질 게이트 + 로컬 LLM 의 한자 혼입 함정
한국BEMS협회 가이드 / 한국에너지공단 자료 / UCI Steel 데이터셋으로 약 230페이지 / 35,000행 코퍼스 확보. 문단 기반 청킹(target 800자) + bge-m3 + Chroma 인덱싱 후 품질 게이트(완성형 한글/ASCII 비율) 로 목차 페이지 7개 청크 제외. 그리고 만난 함정 — qwen2.5:7b 가 두번째 질문에서 한자 혼입 + 생성 붕괴 (관계없는 중국 도시 좌표를 GeoJSON 으로 뱉어냄). temperature / 시스템 프롬프트로 부분 해결 → 결국 exaone3.5:7.8b 로 교체해 깔끔 처리.
-
FEMS 프로젝트 #1 — 저사양 로컬 (Ollama + bge-m3 + Chroma) vs Claude API RAG 비교 셋업
FEMS (Factory Energy Management System) 도메인을 학습하면서 RAG 프로토타입을 짜본다. GTX1660 Super · VRAM 6GB 의 저사양 환경에서 로컬 LLM(Ollama) 으로 추론하는 것과 Claude / OpenAI API 를 호출하는 것을 비교. 임베딩은 한국어 강한 bge-m3, 벡터 DB 는 Chroma. 콜드스타트 95초 → 워밍업 후 10초까지 줄어든 ollama, 정답률은 클라우드와 동등.
-
Chroma + 내 블로그로 RAG Q&A 시스템 만들기 — 부품에서 시스템으로
어제 RAG 의 부품 (임베딩 / 코사인 유사도 / 청크) 을 만져봤다면, 오늘은 그걸 통합한 시스템. Chroma 벡터 DB 도입, 블로그 270 청크를 인덱싱, OpenAI + Claude 로 Q&A. 가장 인상 깊었던 건 '블로그에 없는 정보' 를 받았을 때 모르겠다고 답한 순간.