RAGAS: RAG 시스템 성능 평가, 이제는 제대로 해보자!

핵심 내용

• RAG 파이프라인의 정량 평가를 위한 오픈 소스 프레임워크 RAGAS 소개
• Faithfulness, Answer Relevancy, Context Precision, Context Recall 등 핵심 지표의 의미와 계산 방식 정리
• Streamlit 데모를 통한 평가 데이터셋 입력, 모델 선택, 평가 실행 흐름 소개
• LangSmith 연동으로 점수 산정 과정, 프롬프트, 토큰, 비용, 지연 시간까지 추적 가능

적용해볼 점

• RAG 시스템의 검색과 생성 단계를 분리해 세밀하게 진단하는 평가 체계 도입
• 객관적 지표를 활용한 강점·약점 파악과 지속적 개선
• 평가 결과의 산정 근거까지 함께 확인하는 운영 방식 검토