프롬프트 튜닝을 수작업에서 AI 튜닝으로: 유전 알고리즘 기반 자동 최적화와 고속화

핵심 내용

• DSPy와 GEPA를 활용한 유전 알고리즘 기반 프롬프트 자동 최적화 사례
• 수작업 프롬프트 튜닝을 자동화해 조정 시간을 수일·수주에서 약 1시간으로 단축한 과정
• Yahoo! JAPAN Search AI 응답의 건강·의료 쿼리에 대해 요건 준수와 가독성을 함께 개선한 적용 사례

구조와 흐름

• 문제점: 반복적 시행착오, 개인에 축적되는 노하우, 느린 개선 사이클, 모델 변경에 따른 재조정 비용
• 방법: 후보 프롬프트 생성·평가·리플렉션을 반복하는 GEPA 루프, LLM-as-a-Judge 기반 평가 함수 설계, 별도 추론·평가·리플렉션 모델 분리
• 적용: 가독성 정책으로 먼저 구조화 답변을 만들고, 건강·의료 정책으로 재최적화해 최종 프롬프트 완성

적용해볼 점

• 여러 평가 축을 단일 스칼라 점수와 자연어 피드백으로 함께 다루는 평가 설계
• 사람 검토와 자동 최적화를 분리해 반복 루틴을 줄이고 정책 설계에 집중하는 운영 방식
• 자동 최적화 결과의 프롬프트 비대화와 평가 일관성 문제를 함께 점검할 필요