AI 연구소 Ai2는 연구 프로젝트와 연구자에게 GPU 사용 시간을 배분하는 방식을 바꿨다고 밝혔습니다. 새 방식은 관리자가 각 프로젝트에 전체 용량 중 일정한 몫을 보장하도록 설계됐습니다. GPU는 AI를 학습시키거나 실행할 때 쓰는 계산 장치입니다.
Ai2는 짧은 시험 작업의 대기 시간을 줄이는 데 특히 주목했습니다. 이런 작업은 적은 수의 GPU를 사용하고, 프로그램이 제대로 시작되는지 확인하는 데 15분 이내가 필요합니다. 실제 운영 결과에서 짧은 시험 작업의 대기 시간 상위 10% 구간은 기존 2시간에서 30초로 줄었습니다. 앞서 자체 시뮬레이션에서는 6시간에서 5분으로 단축될 것으로 예상했습니다.
Ai2가 공개한 30일 운영 결과에 따르면 팀들은 배정받을 수 있었던 GPU 시간의 98%를 받았습니다. 15개 팀 가운데 13개 팀은 배정량의 95% 이상을 받았고, 가장 낮은 팀도 90%를 받았습니다. 동시에 장비 점유율은 변경 전후 모두 98%였습니다. 사용 준비가 되지 않은 프로젝트가 있을 때 배정되지 않은 GPU 시간을 활용해 점유율을 유지했다고 연구소는 설명했습니다.
가장 큰 H100 GPU 클러스터에서는 전체 작업의 대기 시간 중앙값이 5분에서 24초로 줄었습니다. 대기 시간 상위 10% 구간은 2.8시간에서 1.8시간으로 약 3분의 1 감소했습니다. 다만 짧은 시험 작업의 이전 대기 시간은 표본이 적어 변동성이 더 컸다고 Ai2는 밝혔습니다.
이번 결과는 연구소 내부 GPU 자원을 어떻게 나눌지에 대한 운영 사례입니다. Ai2는 새 방식이 팀별 배정량을 지키면서 장비 점유율을 유지했다고 보고했으며, 결과는 해당 연구소의 운영 조건에서 나온 것입니다.