AI
챗봇 서비스 구축기
두줄요약
사람인 내부 데이터를 활용해 LLM 챗봇을 구축하고, RAG와 Function Calling으로 답변 정확도를 높였습니다. 또한 LangGraph와 멀티테넌시, 모니터링으로 운영성과 확장성을 함께 개선했습니다.
핵심 내용
- 사람인 내부 데이터와 LLM을 결합한 챗봇 서비스 구축 사례
- Function Calling으로 질문 의도와 검색 파라미터를 추출하고, VectorDB와 내부 API를 조합한 RAG 파이프라인 구성
- 프롬프트 제어, 다중 제목, LangGraph, 멀티테넌시 관리, 모니터링을 통해 정확도와 운영성을 개선
구조와 흐름
- 채팅 시스템에서 질문 전달 후 Bot 시스템이 의도 파악과 컨텐츠 조회 수행
- 검색된 컨텐츠와 프롬프트를 합쳐 답변 생성하고 대화 이력 저장
- 조건부 분기, 병렬 처리, Subgraph로 복잡한 흐름 제어
선택 이유
- 환각, 최신성 한계, 출처 불명확성 문제를 줄이기 위해 RAG 도입
- 데이터 적재 비용과 운영 부담을 줄이기 위해 VectorDB와 내부 HTTP API를 병행 활용
- 질문 표현 차이로 인한 검색 실패를 줄이기 위해 유사 제목과 요약 제목을 추가
성능/운영 포인트
- 제목과 내용 임베딩 가중치 5:5에서 500여 개 테스트 질문 기준 87% 정확도 확보
- Admin 기반 멀티테넌시로 여러 Bot과 데이터 소스를 유연하게 관리
- 질문/답변 로그와 메타데이터 분석으로 콘텐츠를 보강해 약 20% 개선