Ai2 연구진은 대형 언어 모델이 과학 연구 아이디어의 새로움을 얼마나 일관되게 평가하는지 조사한 연구를 공개했습니다. 연구진은 GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 여섯 모델을 비교했고, 평가 설정의 작은 차이가 같은 아이디어에 대한 판단을 크게 바꿀 수 있다고 보고했습니다.
한 실험에서는 프롬프트 문구를 몇 단어 바꾸자 두 아이디어 가운데 어느 쪽이 더 새로운지 맞히는 정확도가 50%포인트 넘게 달라졌습니다. 자료 검색을 추가하거나 모델에 더 추론하도록 하는 방법도 판단을 항상 개선하지는 않았습니다. 연구진이 만든 새로움 평가 전용 시스템 두 종류는 간단한 지시문을 사용한 Claude Opus 4.6 기준보다 성능이 낮았습니다.
연구진은 사람 전문가가 검증한 아이디어 154개와 간단한 언어 모델이 만든 아이디어 154개를 짝지어 평가 자료로 구성했습니다. 모델이 만든 아이디어가 사람의 아이디어보다 덜 새롭다고 가정한 약한 정답표를 사용했으며, 각 아이디어의 새로움을 모두 확정한 자료는 아니라고 설명했습니다.
전문가는 별도로 비교한 30쌍 모두에서 사람의 아이디어를 선호했고, 생성된 아이디어 가운데 새롭다고 판단한 것은 없었습니다. 이 결과는 해당 비교에 대한 전문가 판단이며, 모든 연구 아이디어에 대한 판정으로 확대할 수는 없습니다. 이번 연구는 연구 아이디어의 새로움을 언어 모델만으로 평가할 때 설정과 평가 자료를 함께 살펴야 한다는 점을 보여줍니다.