ServiceNow CoreAI는 기업 환경에서 에이전트가 겪는 역량 부족을 학습 데이터로 바꾸는 시스템 AutoSynthData를 소개했다. 기업별 업무는 사용 시스템과 규칙, 데이터 상태에 좌우되므로 일반적인 능력을 갖춘 모델도 특정 도구 조합이나 업무 절차에서 실패할 수 있다는 문제의식에서 출발한다. 소개 글은 EnterpriseOps Gym과 공개된 데이터셋을 활용해 파이프라인을 설명한다.
AutoSynthData는 먼저 대상 모델과 더 강한 교사 모델을 환경 내 평가 과제에 투입해 실패 유형과 성공 행동을 살핀다. 이 결과를 역량 명세 카드로 정리하고, 새 과제를 생성할 때는 평가 과제의 원래 프롬프트와 개체, 실행 경로, 검증기 세부 정보를 제공하지 않는다고 설명한다. 생성 과제는 요청 문구와 환경 상태, 개체, 작업 흐름, 도구 조합, 난이도 등을 바꿔 기존 평가와 다른 사례를 만들도록 설계된다.
각 과제는 시스템 명세, 사용자 요청, 검증기로 구성된다. 과제는 환경에서 실제로 수행할 수 있어야 하고 사용자가 요청할 법한 내용이어야 하며, 대상 모델이 아직 안정적으로 풀지 못하는 수준이어야 한다. 검증기는 요청과 환경 조건에 부합하면서 실패한 수행은 거부하고, 특정 정답 경로만을 강요하지 않아야 한다고 글은 설명한다. 후보 과제는 실행과 풀이 평가, 수정을 거친 뒤 채택되며, 승인된 과제의 변형본도 별도로 검증한다.
글에 제시된 설정에서는 대상 모델이 세 번 중 한 번 이하로 해결하고 더 강한 풀이 모델이 세 번 중 두 번 이상 해결하는 과제를 선호한다. 이는 해당 실험 설정에서 적용한 과제 선별 기준이다. AutoSynthData는 채택된 예시를 지도 미세조정에 활용하고, 업데이트된 모델의 평가 결과를 다음 과제 생성에 반영하는 순환 과정을 제안한다.