AI
LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부
두줄요약
컬리의 리뷰 요약 서비스 PoC에서 베스트 리뷰의 한계를 보완하기 위해 LLM 기반 리뷰 선별 실험을 진행했습니다. Reasoning과 CoT를 적용해 검수 정확도와 투명성을 높이는 방법을 확인했습니다.
핵심 내용
- 컬리의 리뷰 요약 서비스 PoC에서, 베스트 리뷰만으로는 범용성과 시의성 한계가 있어 더 넓은 리뷰를 선별·검수하는 방향으로 전환
- LLM을 리뷰 선별자로 두고 최신성, 관련성, 부정 후기 여부, 정보 제공도 조건을 판별하는 실험 진행
- 단순 true/false 판단보다 Reasoning과 CoT로 판단 근거와 검수 단계를 명시해 정확도와 투명성 개선
- 단계별 검증 프롬프트를 통해 비정형 리뷰 검수 작업을 성공적으로 수행