

2부: 정책을 따르는 평가자, LLM-as-a-Judge
LLM-as-a-Judge를 설계해 설명 생성 품질을 자동 평가하는 방법을 소개했습니다. 체크리스트와 critique 구조화로 인간 평가와의 정합성을 높이고, 디버깅과 데이터 정제에도 활용했습니다.


LLM-as-a-Judge를 설계해 설명 생성 품질을 자동 평가하는 방법을 소개했습니다. 체크리스트와 critique 구조화로 인간 평가와의 정합성을 높이고, 디버깅과 데이터 정제에도 활용했습니다.


정답 데이터가 없는 설명 생성 문제에서 좋은 설명의 기준을 먼저 합의하고 정책으로 정리하는 과정을 소개했습니다. PM과 엔지니어가 pass/fail 평가와 critique를 반복하며 모델과 평가 기준을 함께 수렴시켰습니다.


OpenAI Codex 플러그인이 Slack, Figma, Gmail 등 실무 도구를 자연어로 연결해 워크플로우를 자동화하는 흐름을 소개했습니다. 팀 생산성을 높이기 위한 점진적 도입 방법과 개발자의 준비 포인트도 정리했습니다.


Palantir FDE를 소프트웨어를 만드는 역할이 아니라 현실에서 작동시키는 실행 역할로 설명했습니다. PoC를 운영과 채택으로 연결해야 실제 비즈니스 임팩트가 난다고 정리했습니다.


AWS Kiro를 중심으로 생성, 실행, 축적을 연결한 AX 운영 구조를 소개했습니다. 개인의 AI 활용을 조직 자산으로 전환한 사례와 적용 효과를 정리했습니다.

마이리얼트립이 여행 상품 등록의 수작업 병목을 AI로 자동화한 사례를 공유했습니다.\n번역, 상세 페이지 생성, 카테고리 분류를 묶어 하루 20개 수준을 5,000개 이상으로 늘렸습니다.
쿠팡 파트너스
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

팀 맞춤형 AI 환경을 만들기 위해 Cursor의 Rules와 Skills를 활용한 하네스 엔지니어링 사례를 소개했습니다. 전처리 스크립트로 컨텍스트를 줄여 응답 품질과 토큰 효율을 높인 점이 핵심입니다.

AI 코드 리뷰의 신뢰성을 높이기 위해 자체 벤치마크와 반영률 지표를 만들고 개선 과정을 정리했습니다. 서브에이전트와 프롬프트 튜닝의 한계를 확인한 뒤 데이터 기반으로 모델과 워크플로를 바꿨습니다.

올리브영은 AI-DLC와 Unicorn Gym으로 AI 협업 개발 프로세스를 실험했습니다. 요구사항부터 테스트까지 구조화한 워크플로우와 레거시 현대화 가능성을 확인했습니다.

13년치 조직 기억을 Knowledge DB로 묶어 AI 에이전트가 작업 전 맥락을 먼저 보게 만든 사례입니다.\n장애 대응과 온보딩 효율을 높이되, 원본 검증과 guardrail로 hallucination을 줄였습니다.

네이버 보안 세미나 참가 신청 안내입니다. LLM 보안, 피싱 탐지, 보안 아키텍처 등 실무 주제를 다루며 사전 선정자만 참석 가능합니다.
Gemini로 테스트 케이스 초안을 자동화하려 했지만, 단일 프롬프트는 한계가 있었습니다. 규칙 학습과 분할 도출 방식으로 커버리지와 효율을 크게 개선했습니다.