대규모 서비스 환경에서의 이미지 콘텐츠 모더레이션(feat. 멀티모달 LLM)

구조와 흐름

• 대규모 서비스의 이미지 콘텐츠 모더레이션을 다루는 기술 사례
• 규칙 기반 필터링에서 ML, 멀티모달 모델, LLM까지 확장된 진화 흐름
• 탐지 성능, 지연 시간, 비용, 정책 유연성을 함께 고려한 시스템 설계

선택 이유

• 이미지의 비정형성, 맥락 의존성, 변형·우회 시도로 인한 탐지 난이도
• 하루 수백만 건 이상 처리하는 환경에서 고정밀과 고효율을 동시에 요구
• 모델 예측과 정책 로직을 분리해 국가별·서비스별 기준에 대응

성능/운영 포인트

• PyTorch 모델을 ONNX와 FP16으로 최적화해 처리량 개선
• 전통적 ML 모델로 1차 필터링 후 모호한 케이스에만 멀티모달 LLM 호출
• vLLM의 prefix caching, max_model_len, max_num_seqs, batched tokens 조정

적용해볼 점

• OCR과 멀티모달 LLM을 결합해 이미지 내 텍스트와 맥락을 함께 판별
• 정책 변경이 잦은 영역에서는 판단 결과와 정책 적용 로직 분리
• 제로샷 분류기와 프롬프트 조정으로 신규 유형 대응 범위 확대