AI
"알아서 정확하게 응답줬으면.." RAG부터 에이전트까지 사내 AI 챗봇 구축기 2부
두줄요약
사내 AI 슬랙봇을 RAG 기반으로 구축한 뒤 검색 품질과 응답 품질을 개선한 과정을 공유했습니다. 쿼카는 Bedrock Agents로 마이그레이션해 컨텍스트 유지와 SQL 검증을 강화했습니다.
핵심 내용
- 사내 슬랙봇 2종, 포스펙터와 쿼카의 구축·개선 과정 정리
- 초기 RAG 기반 질의응답에서 시작해 검색 품질, 응답 품질, 컨텍스트 유지 문제를 단계적으로 개선
- 포스펙터는 소스코드 중심 검색과 용어 사전, 메타데이터 기반 다층 검색으로 정확도 개선
- 쿼카는 Bedrock Agents로 마이그레이션해 멀티턴 대화, SQL 검증, 학습 데이터 저장을 지원
적용해볼 점
- 자연어 문서보다 최신성과 정확성이 중요한 경우 소스코드 중심 지식베이스 구성 검토
- 단일 검색 한계를 보완하는 메타데이터 필터링과 다층 검색 전략 적용
- 에이전트 도입 시 도구 분리, 검증 루프, 추론 과정 로깅을 함께 설계