AI
"스펙 문서에 없는데요?" 최신 스펙 갱신을 위한 사내 AI 챗봇 도입기 1부
두줄요약
사내 최신 스펙과 코드 불일치 문제를 해결하기 위해 RAG 기반 챗봇을 도입했습니다. 메타데이터 필터링과 하이브리드 검색으로 정확도를 높이고 배포 파이프라인과 동기화했습니다.
문제 상황
- 최신 스펙이 코드와 문서 사이에서 어긋나며 지식 부채가 누적되는 상황
- 신규 합류 인원이 복잡한 백엔드 스펙을 빠르게 파악하기 어려워 기술그룹 질의가 집중되는 병목
원인 분석
- PRD와 테크 스펙이 존재해도 배포 속도와 복잡도 증가로 문서 최신화가 따라가지 못하는 구조
- 기존 문서 검색만으로는 코드의 실제 동작과 도메인별 규칙을 즉시 확인하기 어려움
해결 방법
- 사내 구성원용 RAG 챗봇 구축으로 코드와 문서를 함께 참고하는 질의응답 체계 마련
- AWS Bedrock Knowledge Base, S3, Titan Embeddings V2, OpenSearch Serverless, Claude 4.5 Sonnet 조합 적용
- 메서드 단위 청크, 도메인 사전, 메타데이터 필터링, 하이브리드 검색으로 검색 정확도 개선
주의할 점
- 코드 전체를 넓게 검색하면 유사 키워드만 맞는 결과가 섞일 수 있어 검색 범위 제한이 필요
- Rerank는 코드 검색에서 오히려 정확한 식별자를 뒤로 밀 수 있어 효과 검증이 중요
적용해볼 점
- 배포 파이프라인 종료 시점에 KB 증분 동기화를 연결해 최신 스펙을 자동 반영하는 방식
- 문서 최신화 부담을 줄이고 사내 질의 응답 시간을 단축하는 내부 지식 검색 체계