AI
코딩 에이전트를 활용한 취약점 수집·생성 자동화로 가드레일 모델 고도화
두줄요약
LLM 가드레일의 오탐 문제를 줄이기 위해 코딩 에이전트 기반 자동화 테스트 파이프라인을 구축했습니다. 카테고리별 입력 생성과 평가를 분리해 취약점 탐색과 모델 고도화를 반복 가능하게 만들었습니다.
핵심 내용
- LLM 서비스의 프롬프트 인젝션·탈옥 위협을 탐지하는 가드레일 모델 고도화 과정
- 벤치마크와 실서비스 간 괴리, 특히 정상 요청을 공격으로 오탐하는 문제를 자동화 테스트 파이프라인으로 분석
- 코딩 에이전트와 서브 에이전트, 스킬 구조를 활용해 테스트 데이터 생성·평가·분석을 분리하고 반복 실행 가능하게 구성
- 카테고리별 입력 다양성 테스트로 오탐 사례를 수집하고 재학습·튜닝에 반영해 모델을 개선
적용해볼 점
- 입력 유형을 카테고리로 분해해 취약 지점을 체계적으로 점검하는 방식
- 생성과 평가를 별도 절차로 나눠 JSONL 산출물과 함께 재현성을 확보하는 구조
- 새로운 공격 패턴이 생기면 카테고리 명세만 추가해 실험을 확장하는 운영 방식