AI
RAG 없이 20만 대 자동차와 실시간으로 대화하기 (1)
두줄요약
20만 대 차량의 실시간 데이터를 다루기 위해 RAG의 한계를 검토했습니다. 검색 기반보다 API로 직접 정보를 조합하는 아키텍처가 더 적합하다고 판단했습니다.
문제 상황
- 20만 대 차량의 실시간 등록·판매·가격 변경 정보를 바탕으로 답변해야 하는 차량 전문 AI 필요
- 정적 문서 중심의 RAG를 실시간 정형 데이터에 적용할 때 동기화 지연과 데이터 불일치 우려
원인 분석
- 운영 DB 변경을 벡터 DB에 반영하는 과정에서 부하, 임베딩 비용, 반영 지연 발생
- 검색된 청크만으로 답변을 만들면 원본 전체 맥락과 예외 조항을 놓칠 위험 존재
- 사용자 질문이 조금만 달라도 검색 청크 조합이 달라져 프롬프트 캐싱 효율 저하
해결 방법
- 검색 후 생성 대신 필요한 실시간 정보를 API로 동적으로 조합해 LLM에 직접 전달하는 방식 채택
- 특정 차량 전체 데이터를 프롬프트의 고정 컨텍스트로 두어 캐싱 효율 극대화
- 다음 편에서 실시간 API 오케스트레이터 설계와 구현을 다룰 예정