AI
오픈소스 Arize Phoenix 를 활용한 멀티 에이전트 AI시스템 쉽고 빠르게 모니터링하기
두줄요약
Arize Phoenix로 Bedrock 멀티 에이전트의 실행 경로를 통합 추적하고 평가하는 방법을 소개했습니다. 지연시간, 토큰, 비용, MCP 동작까지 함께 관측해 디버깅과 최적화를 돕습니다.
핵심 내용
- Arize Phoenix 오픈소스를 이용해 Amazon Bedrock Agents 기반 멀티 에이전트 시스템의 추적과 평가를 쉽게 수행하는 방법 소개
- OpenInference와 OTLP를 통해 오케스트레이션, 서브 에이전트, Knowledge Base, Action Group 호출을 하나의 통합 트레이스로 시각화
- 지연시간, 토큰 사용량, 비용, 런타임 예외, Guardrail 차단, MCP 서버 동작까지 함께 관측 가능한 구조 설명
적용해볼 점
enableTrace=True설정과 Phoenix tracer 등록으로 Bedrock Agent 트레이싱 시작- 스팬 속성, 커스텀 어트리뷰트, 중첩 스팬을 활용해 병목 구간과 비용 높은 호출 집중 분석
- Phoenix MCP를 통해 프롬프트, 데이터셋, 실험, 평가, 주석 관리까지 확장 가능