AI
매력적인 LLMops 구현 과정＆팁 (Feat. Chat PPT)
두줄요약
사내 PPT 분석기 Chat PPT를 만든 LLMops 구현 과정과 운영 팁을 공유했습니다. 보안 제약 대응, VLM·LLM 연계, 품질 개선 반복이 핵심이었습니다.
핵심 내용
- 사내 PPT 분석 프로그램
Chat PPT를 구현한 LLMops 운영·개발 경험 공유 - VLM으로 슬라이드별 텍스트, 도표, 그림을 분석하고 LLM으로 결과를 종합하는 구조
- 로컬 실행 가능한
.exe형태와 회사 API 활용으로 보안 제약 대응
구조와 흐름
- 목표 설정: 전문 정보의 정확한 추출, 다양한 시각 요소 이해, 사용자 접근성 확보
- 개발 과정: DRM 제약에 따른 슬라이드 단위 클립보드 처리, DPI 고정, 호출 간 휴지 시간 설정
- 품질 향상: 동료 피드백 수집, 메타인지용 프롬프트 조정, 영어 중심 응답과 반복 검증
성능/운영 포인트
- 숫자, 단어, 도표, 그림 등 세부 정보의 정확도 우선
- GUI 진행상황 표시와 CSV 저장으로 운영 편의성 확보
- 오류와 환각 최소화가 사용자 이탈 방지의 핵심 요소