마이크로소프트는 AI 에이전트가 업무 시스템에서 실제로 처리한 결과를 평가하는 ThinkingBox를 허깅페이스에 공개했습니다. 에이전트가 “처리했다”고 답했는지만 보는 대신, 데이터베이스의 최종 상태와 업무 처리 과정에서 생긴 변화를 확인합니다.
함께 공개된 ThinkingBox-Bench는 소매, 자동차 보험, 여행, 인터넷 은행, 컨설팅 분야의 업무 과제 507개로 구성됐습니다. 각 과제는 같은 초기 상태에서 20회 반복 실행해 평가합니다. 이 방식은 한 번 성공할 수 있는지와 여러 번 안정적으로 성공하는지를 나눠 살펴봅니다.
마이크로소프트는 평가 결과에서 과제를 한 번 이상 성공한 비율과 20회 모두 성공한 비율이 서로 다를 수 있다고 설명했습니다. 예를 들어 Kimi-K3는 과제의 93.89%를 적어도 한 번 풀었지만, 20회 모두 성공한 과제는 13.41%였습니다. 이 수치는 해당 평가 환경에서 나온 결과이며, 실제 서비스의 성능을 그대로 나타내지는 않습니다.
ThinkingBox는 평가 환경이고 ThinkingBox-Bench는 평가용 데이터입니다. 공개된 환경은 OpenEnv를 통해 사용할 수 있으며, 각 실행은 성공 또는 실패로 평가됩니다. 마이크로소프트는 시스템 오류도 성공하지 못한 실행으로 계산했다고 밝혔습니다. 실제 업무에 적용할 때는 모델의 완료 메시지뿐 아니라 시스템에 남은 결과를 확인하고, 되돌리기 어려운 변경에는 사람의 승인을 두는 방안을 제안했습니다.