AWS는 2026년 10월 5일 공개한 글에서 Amazon Bedrock AgentCore Evaluations를 이용해 여러 AI 에이전트로 구성된 공급망 의사결정 시스템을 평가하는 방법을 소개했습니다. 이 도구는 에이전트가 요청을 제대로 처리했는지뿐 아니라 적절한 도구와 담당 에이전트를 골랐는지, 업무상 조건을 지켰는지, 판단 이유를 설명했는지도 살펴보도록 설계됐습니다.
소개된 예시는 총괄 에이전트와 최적화, 배송, 경로 설정, 분석을 맡는 전문 에이전트로 구성됩니다. AWS는 기본 평가 기능으로 도움 되는 답변인지와 작업을 마쳤는지를 확인하고, 별도 평가 기능으로 예산·재고·창고 용량 조건, 경로의 실행 가능성, 데이터 질의의 정확성 등을 점검하는 방식을 설명했습니다. 설명 평가에서는 판단 근거와 참고한 데이터 또는 도구 결과를 제시했는지도 살펴봅니다.
평가는 개발 과정에서 비교·점검하는 방식과 실제 서비스 운영 중 결과를 살피는 방식으로 나뉩니다. 운영 중에는 일부 기록을 표본으로 평가하고 결과를 대시보드와 경보에 전달하는 구성을 제시했습니다. AWS는 평가 기능이 에이전트의 품질을 점검하고, 별도의 Amazon Bedrock Guardrails는 실행 중 콘텐츠 필터링과 허용하지 않는 주제 감지 등 안전장치를 적용한다고 설명했습니다.
이번 글은 공급망 예시를 구축하고 평가하는 방법을 다룬 AWS의 기술 설명입니다. 평가 도구와 맞춤형 기준을 활용할 수 있는 구성을 보여주지만, 특정 기업의 운영 성과가 입증됐다는 발표는 아닙니다.