ServiceNow CoreAI는 기업 에이전트의 실패 사례를 맞춤형 학습 데이터로 전환하는 AutoSynthData를 소개했다. 기업마다 사용하는 시스템과 규칙, 데이터 상태가 달라 일반적으로 유능한 모델도 특정 업무 흐름이나 도구 사용에서 어려움을 겪을 수 있다는 문제의식에서 출발했다.
시스템은 대상 모델의 진단 과제 결과에서 취약한 능력을 파악하고, 더 강한 교사 모델의 성공 사례를 참고해 다음 학습 과제를 정한다. 생성되는 과제는 시스템 명세, 사용자 요청, 성공 여부를 판정하는 검증기로 구성된다. 모델이 개선되면 남아 있는 약점에 따라 학습 과제도 바뀌는 방식이다.
ServiceNow는 과제가 실제 환경에서 수행 가능하고 현실적인 업무 요청에 가까워야 하며, 현재 모델이 아직 안정적으로 해결하지 못하는 능력을 겨냥해야 한다고 설명한다. 검증기는 요청과 환경 조건에 부합하는지 확인하고, 유효한 해결 경로를 하나만 정답으로 강요하거나 잘못된 행동을 통과시키지 않도록 설계하는 것이 중요하다고 밝혔다.
회사는 EnterpriseOps Gym의 공개 데이터셋을 사용해 파이프라인을 설명했다. 생성된 과제는 실제 환경에서 확인한 뒤 학습에 사용하고, 업데이트된 모델을 다시 평가해 남은 약점을 찾는 구조다. 이 실험은 Gemma-4-26B-A4B-it를 AutoSynthData가 생성한 합성 데이터로 지도 미세조정(SFT)한 뒤 평가한 결과다. EnterpriseOps Gym 실험에서 Hybrid 업무의 첫 시도 성공률(Pass@1)은 7.2%포인트 상승했으며, 상대 개선율은 35%였다고 회사는 보고했다. ITSM 업무의 Pass@1은 18.77%에서 27.18%로 높아졌다. 이 결과는 해당 실험 환경과 과제 구성에서 측정된 수치다.