Ai2는 2026년 10월 1일 Olmo-core 3를 공개했다. Olmo 모델 개발에 쓰이는 훈련 프레임워크의 주요 개선판으로, 대규모 전문가 혼합(MoE) 모델을 더 효율적으로 훈련하는 시스템을 제공한다고 밝혔다.
Ai2가 제시한 한 벤치마크에서는 전문가 풀을 8개에서 128개로 확대하면서 토큰당 선택하는 전문가는 4개로 유지했다. 이때 토큰당 활성 매개변수 수는 약 3.2B로 비슷하게 유지됐고 전체 매개변수 용량은 4.6B에서 47B로 증가했으며, 훈련 처리량 감소는 5% 미만이었다. 회사는 같은 인프라를 총 매개변수 1조 개가 넘는 규모에서도 벤치마크했다고 설명했다.
새 시스템은 전문가를 GPU에 상주시킨 뒤 관련 데이터를 전달하는 분산 데이터 병렬 방식으로 기존 구현을 대체한다. 전문가·파이프라인 병렬화와 분산 옵티마이저를 비롯해 GPU 상주 라우팅, 그룹화된 행렬 연산 등 여러 최적화를 결합했다고 Ai2는 밝혔다.
예비 시험에서 NVIDIA B300 GPU 8개를 사용한 47B MoE 모델은 GPU당 초당 52,000토큰을 처리해, 이전 구현의 19,400토큰보다 약 2.7배 높은 처리량을 기록했다. 이는 Ai2가 발표한 특정 하드웨어와 시험 구성의 결과이며, 다른 환경에서의 성능을 그대로 보장하는 수치는 아니다.