허깅페이스는 2026년 9월 30일 블로그에서 다국어 텍스트 음성 변환(TTS)과 음성 복제 모델을 비교하는 Open TTS Leaderboard를 소개했다. 블로그에 따르면 허깅페이스 허브에는 당시 TTS 모델이 8,000개 넘게 등록돼 있었지만, 기존 평가는 분산돼 있고 표준화가 충분하지 않았다. 새 리더보드는 공개 모델과 여러 언어의 성능을 평가하는 데 초점을 맞췄다.
리더보드는 명료도, 속도, 화자 유사도를 서로 다른 지표로 다룬다. 명료도는 생성 음성의 전사 결과와 입력 문장을 비교해 단어 오류율(WER) 또는 문자 오류율(CER)로 평가하고, 속도는 H200 GPU에서 배치 추론 속도와 첫 음성 출력까지 걸리는 시간(TTFA)으로 측정한다. 화자 유사도는 생성 음성과 참조 음성의 WavLM 화자 임베딩 간 코사인 유사도로 산출한다. 허깅페이스는 객관적 지표를 사용해 모델 평가에 걸리는 시간을 투표 수집에 필요한 수 주에서 수 시간으로 줄일 수 있다고 설명했다.
기본 화면에서는 Seed TTS Eval과 CV3 Eval의 영어 데이터 분할에서 계산한 매크로 평균 WER로 모델을 정렬한다. 블로그는 해당 영어 평가에서 hexgrad/Kokoro-82M, Supertone/supertonic-3, fishaudio/s2-pro가 앞섰다고 소개했다. 다국어 평가에서는 언어별 결과를 선택해 볼 수 있으며, Seed TTS Eval의 음성 자료는 영어와 중국어에만 있어 다른 언어는 CV3 Eval의 제로샷 결과를 사용한다. 중국어·일본어·한국어는 문자 단위 오류율을 보고한다. 다국어 성능이 강한 모델로는 k2-fsa/OmniVoice, fishaudio/s2-pro, FunAudioLLM/Fun-CosyVoice3-0.5B-2512를 언급했다.
음성 복제 기능을 지원하는 모델만 골라 비교할 수도 있다. 블로그는 bosonai/higgs-tts-3-4b와 openbmb/VoxCPM2 등 일부 모델에서 참조 음성을 제공했을 때 평균 WER이 개선됐다고 밝혔다. 별도 듣기 탭에서는 생성 결과를 직접 비교하고 의견을 남길 수 있으며, 스트리밍 탭은 같은 CV3-Eval 영어 문장 50개와 동일한 하드웨어 조건에서 첫 음성 출력 시간을 비교한다. 측정은 배치 크기 1로 진행하고 첫 세 차례 실행을 준비 단계로 제외한 뒤 나머지 결과의 중앙값을 보고한다.
허깅페이스는 이 리더보드가 사람의 선호도 평가를 대신하지 않는다고 강조했다. WER은 명료도를 가늠하는 대리 지표이고, 화자 유사도는 목소리 정체성 보존을 추정할 뿐 자연스러움이나 표현력, 청자의 선호를 직접 측정하지 않는다. 회사는 평가 스크립트를 향후 공개할 예정이며, 데이터셋과 모델, 지표에 관한 커뮤니티 의견을 받겠다고 밝혔다.