AI
에이닷 개인화 경험을 위한 메모리 도입기
두줄요약
에이닷에 Agentic Memory를 도입해 대화를 구조화된 기억으로 저장하고 개인화 응답을 강화했습니다. 비동기 처리와 DSPy 최적화로 성능과 유지보수성도 함께 높였습니다.
핵심 내용
- 에이닷에 Agentic Memory를 도입해 대화 내용을 의미 단위로 구조화 저장하고, 맥락에 맞는 개인화 응답을 강화
- 메모리 추출·병합에서 ADD/UPDATE/DELETE 연산을 사용해 최신 상태 유지
- 저장 가치가 높은 정보만 남기기 위해 relevance_score로 선별하고, User Info와 User Event로 구조화
- 실시간 저장 대신 Kinesis Data Streams, Lambda, SQS를 활용한 이벤트 기반 비동기 처리로 응답 지연과 실패 영향을 최소화
- DSPy를 도입해 프롬프트를 데이터 기반으로 자동 최적화하며 저장 정확도와 유지보수성을 개선
적용해볼 점
- 장기 기억이 필요한 정보와 일시적 발화를 구분해 저장 기준을 세우는 접근
- 응답 경로와 저장 경로를 분리해 사용자 경험에 미치는 영향을 줄이는 설계
- 반복적인 프롬프트 수정을 자동화하고 평가-배포-모니터링 루프를 만드는 운영 방식