Ai2는 2026년 10월 1일 Olmo 모델 개발에 사용하는 학습 프레임워크의 새 버전인 Olmo-core 3를 공개했다. 이번 버전은 전문가 혼합(MoE) 모델의 학습을 겨냥해 구조를 다시 설계했다. Ai2는 연구자와 개발자가 이를 이용해 자체 MoE를 학습하고, 하드웨어와 라우팅·병렬화 설정에 맞게 조정할 수 있다고 밝혔다.
Ai2가 제시한 한 벤치마크에서는 토큰마다 선택하는 전문가 수를 4개로 유지하면서 전체 전문가 풀을 8개에서 128개로 늘렸다. 이때 토큰당 활성 파라미터는 약 32억 개로 거의 고정됐고, 전체 파라미터 용량은 46억 개에서 470억 개로 증가했으며 학습 처리량 감소는 5% 미만이었다. 또 8개의 NVIDIA B300 GPU를 사용한 예비 시험에서는 470억 파라미터 MoE가 GPU당 초당 5만2000개 토큰을 처리했다고 밝혔다. 이전 FSDP 기반 구현의 초당 1만9400개와 비교해 약 2.7배라는 설명이다.
프레임워크는 전문가·파이프라인 병렬화와 분산 옵티마이저를 활용해 모델 및 학습 상태를 여러 GPU에 나눈다. 전문가 입력을 배치하는 방식과 GPU에 라우팅 정보를 유지하는 방식, 여러 전문가 연산을 묶는 최적화도 적용했다. 4개의 B300 GPU를 사용한 통제 벤치마크에서는 MXFP8 적용 시 BF16 기준보다 처리량이 약 21% 높았고, 최대 활성 메모리는 103GiB에서 95GiB로 줄었다고 Ai2는 보고했다. 이 결과는 전문가 전반에 작업을 균일하게 분배한 조건에서 측정됐다.
Ai2는 B300 GPU 512개를 사용해 총 1조2000억 파라미터, 토큰당 활성 파라미터 583억6000만 개 구성도 시험했으며, 관측된 최고 처리량은 GPU당 858 TFLOP/s였다고 밝혔다. 이 시험은 학습 모델의 품질이 아닌 시스템 성능을 측정하기 위해 무작위 라우팅을 사용했다. 별도의 DeepEP v2 실험에서는 총 2조3800억 파라미터 구성에 도달했지만, 이는 전체 학습이 아닌 짧은 용량 시험이어서 지속적인 학습 성능을 입증하는 결과는 아니다.
Ai2는 다음 세대 Olmo에 MoE 구조를 사용할 계획이라고 밝혔다. 다만 이번 발표에서 차세대 모델의 성능 결과가 제시된 것은 아니다. 기술 보고서에는 라우팅 균형 지표가 실제 작업 불균형을 반영하지 못한 사례와, 통신·계산 중첩이 일부 시험에서 전체 실행을 늦춘 사례 등 학습 설계 과정의 한계도 기록했다고 설명했다.