LLM 품질 테스팅 시작하기

이 게시물은 LLM 및 sLLM에 대한 품질 평가 필요성과 방법을 다루고 있습니다. Hugging Face의 Open LLM Leaderboard와 Open Ko-LLM Leaderboard를 통해 LLM 성능을 비교할 수 있지만, 기존 평가 방식의 한계가 있어 자체 품질 평가가 필요해졌습니다. 품질 평가 설계는 LLM을 활용한 질의문 생성, 답변 데이터 수집, 그리고 LLM을 통한 평가 진행으로 구성되어 있습니다. 평가 결과는 지표별로 점수를 매겨 Pass 또는 Fail을 결정하며, 향후 개선 방향을 설정하고 있습니다. 지속적인 피드백 세션과 협업을 통해 평가 지표의 신뢰성을 높일 계획입니다.