개발자 Hayder Tirmazi는 2026년 9월 26일 llama.cpp의 출력 후보 탐색을 최대 약 42배 빠르게 만든 실험을 공개했습니다. llama.cpp는 AI 모델을 사용자의 컴퓨터 등에서 실행하는 공개 소프트웨어입니다. 글에는 후속 개선으로 후보 탐색이 최대 140배 빨라졌다는 업데이트도 있으며, 업데이트 날짜는 별도로 표시되지 않았습니다.
여기서 후보 탐색은 앞에 나온 글을 참고해 다음에 이어질 짧은 단위를 미리 고르는 과정입니다. 토큰은 AI가 글을 처리하는 단위로, 한 단어나 단어의 일부일 수 있습니다. 이 후보를 실제 모델이 확인하는 과정 등 다른 작업도 필요하므로, 내부 단계의 개선 비율을 전체 답변 속도에 그대로 적용할 수는 없습니다.
저자는 Apple M4 Pro 14코어·메모리 48GB 환경에서 WikiText-103 문장을 모델 출력처럼 재생해 시험했습니다. 초기 개선의 541MB 말뭉치 조건에서는 후보 토큰당 처리 시간이 165.48마이크로초에서 3.98마이크로초로 줄었습니다. 마이크로초는 100만분의 1초입니다. 수치는 세 번 실행한 결과의 중앙값으로 제시됐습니다.
방법의 핵심은 불필요한 자료 복사를 줄이고, 저장된 문장 조각을 더 효율적으로 찾도록 자료 구조를 바꾸는 것입니다. 저자의 개인 저장소에 연결된 변경 요청들이 공개돼 있지만, 확인한 요청들은 열린 상태입니다. 이 결과를 공식 llama.cpp에 이미 반영된 새 버전의 성능으로 소개해서는 안 됩니다.
이번 사례는 더 빠른 AI를 만들 때 모델 크기뿐 아니라 주변 소프트웨어의 처리 방식도 살펴볼 가치가 있음을 보여줍니다. 실제 이용자에게 얼마나 도움이 되는지는 사용하는 모델과 문장, 하드웨어에서 답변 전체 시간을 따로 측정해야 판단할 수 있습니다.