Tag: ollama
All the articles with the tag "ollama".
-
FEMS 프로젝트 #3 — Streamlit 비교 대시보드 + 3-백엔드 질문 평가 (Claude 9 / exaone 7 / gpt 7)
FEMS RAG 위에 Streamlit 대시보드 얹어서 동일 질문을 3-백엔드 (exaone3.5:7.8b / claude-opus-4-8 / gpt-4o) 에 동시에 던지고 비교. Q1 (에어 컴프레셔 5월 이상) — exaone·gpt 는 '자료 없음', Claude 는 raw 데이터 없이도 요약치만으로 '주말 시간대 이상' 추론 + 한계 고지. Q2 (관리자 관점 절약 방안) — Claude 9/10 (토큰 절단으로 미완), exaone 7/10 (인덱스 깨짐), gpt 7/10 (간결하지만 '커패시터' 환각). 5축 채점 결과.
-
FEMS 프로젝트 #2 — 실데이터 230페이지 코퍼스 + 청크 품질 게이트 + 로컬 LLM 의 한자 혼입 함정
한국BEMS협회 가이드 / 한국에너지공단 자료 / UCI Steel 데이터셋으로 약 230페이지 / 35,000행 코퍼스 확보. 문단 기반 청킹(target 800자) + bge-m3 + Chroma 인덱싱 후 품질 게이트(완성형 한글/ASCII 비율) 로 목차 페이지 7개 청크 제외. 그리고 만난 함정 — qwen2.5:7b 가 두번째 질문에서 한자 혼입 + 생성 붕괴 (관계없는 중국 도시 좌표를 GeoJSON 으로 뱉어냄). temperature / 시스템 프롬프트로 부분 해결 → 결국 exaone3.5:7.8b 로 교체해 깔끔 처리.
-
FEMS 프로젝트 #1 — 저사양 로컬 (Ollama + bge-m3 + Chroma) vs Claude API RAG 비교 셋업
FEMS (Factory Energy Management System) 도메인을 학습하면서 RAG 프로토타입을 짜본다. GTX1660 Super · VRAM 6GB 의 저사양 환경에서 로컬 LLM(Ollama) 으로 추론하는 것과 Claude / OpenAI API 를 호출하는 것을 비교. 임베딩은 한국어 강한 bge-m3, 벡터 DB 는 Chroma. 콜드스타트 95초 → 워밍업 후 10초까지 줄어든 ollama, 정답률은 클라우드와 동등.