Backoffice AI Agent 구축기 — RAG+MCP 기반 플레이스AI 특화 지식 검색 시스템

문제 상황

• Confluence, GitHub, 외부 문서에 분산된 백오피스 지식 검색의 비효율
• 단어 일치 중심 검색의 한계로 인한 약어, 사내 용어, 긴 문맥 탐색 실패
• 서비스별로 축적된 기술 문서와 히스토리의 분절로 협업 맥락 공유 어려움

구조와 흐름

• 의미 기반 RAG와 MCP를 결합한 백오피스 전용 지식 검색 에이전트 구축
• OpenSearch 원문 저장소, Milvus 벡터 저장소, MCP Server 중심의 3계층 구성
• 수집·정제·청킹·임베딩·적재 자동화와 증분 업데이트로 최신성 유지

선택 이유

• Dense 검색과 Sparse 검색을 RRF로 융합해 의미 유사도와 키워드 정확도 보완
• HNSW 인덱스, LLM 기반 임베딩, 2048 토큰 청킹으로 품질과 효율 균형
• MCP 기반 도구 인터페이스로 LLM의 자율적 검색·보완 조회·응답 생성을 유도

성능/운영 포인트

• BEIR-SCIFACT와 LLM-as-a-Judge로 검색 품질과 의미 연관성 평가
• MCP 로그를 활용해 비정형 질의를 식별하고 Smart Search로 질의 정제 강화
• 블라인드 A/B 테스트에서 응답 만족도 약 2배, 응답 속도 1.4배, 토큰 66% 절감, 툴 호출 49% 감소