당근페이 AI Powered FDS로 가는 여정: 룰엔진구축부터 LLM 적용까지

구조와 흐름

• 금융 컴플라이언스용 FDS를 룰엔진 중심으로 구성해 조건, 규칙, 정책 단위로 이상거래를 유연하게 탐지하는 구조
• 동기 API와 비동기 Stream을 분리해 실시간 차단과 후속 처리를 각각 수행하는 위험 평가 흐름
• 룰엔진 결과 뒤에 LLM 평가와 알람·제재 처리를 붙여 거래 맥락까지 함께 판단하는 단계적 파이프라인

선택 이유

• 급변하는 사기 패턴에 맞춰 탐지 로직을 빠르게 바꾸기 위한 확장 가능한 규칙 구조 필요
• 모니터링 담당자별 편차와 검토 시간 문제를 줄이기 위한 LLM 도입 필요
• 전자금융업 규제를 고려해 혁신금융서비스와 AWS Bedrock 기반 Claude Sonnet 3.5를 선택

성능/운영 포인트

• 프롬프트와 Converse API로 시작한 뒤 로그를 쌓아 Precision·Recall 변화를 분석
• 최근 사기 이력만 넣는 방식의 한계를 보완하기 위해 현재 거래와 유사한 사례를 찾는 RAG로 전환
• Knowledge Base의 청킹 문제를 해결하려고 사기 이력을 개별 JSON 파일로 분리하고 chunking none 또는 작은 단위 유지

주의할 점

• Fixed size chunking에서는 JSON 내용이 잘려 retrieval 결과가 불완전해질 수 있음
• RetrieveAndGenerate는 문서 선택과 조합 기준을 세밀하게 제어하기 어려움
• 생성형 AI 적용 시 망분리와 국내 리전 같은 규제 제약을 함께 고려해야 함