Tag: llm
All the articles with the tag "llm".
-
FEMS 프로젝트 #1 — 저사양 로컬 (Ollama + bge-m3 + Chroma) vs Claude API RAG 비교 셋업
FEMS (Factory Energy Management System) 도메인을 학습하면서 RAG 프로토타입을 짜본다. GTX1660 Super · VRAM 6GB 의 저사양 환경에서 로컬 LLM(Ollama) 으로 추론하는 것과 Claude / OpenAI API 를 호출하는 것을 비교. 임베딩은 한국어 강한 bge-m3, 벡터 DB 는 Chroma. 콜드스타트 95초 → 워밍업 후 10초까지 줄어든 ollama, 정답률은 클라우드와 동등.
-
LangGraph 공부 일지 #2 — State 확장 + 동적 시스템 프롬프트 + 챗봇 (그리고 'AI 가 기억한다' 의 정체)
메시지만 들고 다니던 State 를 사용자 이름·도구 호출 횟수·세션 시작 시간까지 확장하고, 그 State 로 시스템 프롬프트를 동적으로 구성. 마지막에 챗봇을 만들다가 '기억' 의 정체를 알아챈 게 오늘의 진짜 깨달음.
-
LangGraph 공부 일지 #1 — 첫 그래프 + State 가 헷갈렸던 이유
공부 후보로 적어뒀던 LangGraph 시작. StateGraph 로 노드·엣지·조건 분기·루프 짜는 건 생각보다 직관적이었는데, 'State' 라는 용어가 와닿지 않아 헤맸다. 결국 게임 캐릭터의 인벤토리·HP 로 비유해서 정착.
-
Chroma + 내 블로그로 RAG Q&A 시스템 만들기 — 부품에서 시스템으로
어제 RAG 의 부품 (임베딩 / 코사인 유사도 / 청크) 을 만져봤다면, 오늘은 그걸 통합한 시스템. Chroma 벡터 DB 도입, 블로그 270 청크를 인덱싱, OpenAI + Claude 로 Q&A. 가장 인상 깊었던 건 '블로그에 없는 정보' 를 받았을 때 모르겠다고 답한 순간.