Google은 사이버 보안과 생명과학 분야에서 성능이 높아진 Gemini 4 Argon을 더 널리 제공하기 시작하며, 오용과 잘못된 행동을 막기 위한 여러 안전장치를 마련했습니다. 회사는 외부 보안 전문가의 시험, 실시간 감시, 프롬프트 인젝션 방어 등을 통해 피해를 줄이는 방법을 설명했습니다.
보도자료 · 한국어 번역업로드
글자 크기
Gemini 4 Argon은 모델이 할 수 있는 일을 한 단계 발전시킨 모델입니다. 특히 코딩, 금융, 법률, 사이버 보안, 과학 등 여러 분야의 복잡한 현실 문제를 깊이 있게 다루는 능력이 향상됐습니다. 사이버 방어 능력은 최첨단 수준이며, 공격자보다 방어자에게 유리하도록 설계됐습니다. Google은 Argon의 잠재력을 최대한 활용하기 위해 먼저 Fairwind Program을 통해 사이버 방어 전문가들이 모델을 사용하게 했습니다. Google의 보안팀도 Google 안팎의 중요 시스템을 검사하는 데 Argon을 활용했습니다.
제한된 기간 동안 모델을 사용하게 한 결과, 이런 능력이 왜 중요한지 확인할 수 있었습니다. 예를 들어 Wiz는 Argon을 사용해 이전 모델들이 찾아내지 못했던 병원 소프트웨어의 심각한 오류를 발견했습니다. 이를 통해 수십만 건의 환자 기록을 보호하는 데 도움이 됐습니다. 한편 Google 보안팀은 Argon을 이용해 사내 소프트웨어와 오픈소스 소프트웨어의 오류를 찾아 수정했습니다. 여기에는 전 세계 시스템에 영향을 주는 근본적인 취약점도 포함됐으며, 해당 문제는 책임 있는 공개 절차에 따라 처리되고 있습니다.
오늘부터 Argon을 더 폭넓게 제공하기 시작합니다. 또한 신뢰할 수 있는 사이버 방어 전문가를 Fairwind Program에 더 많이 참여시킬 예정입니다. 이를 제대로 진행하기 위해 두 가지 큰 질문을 검토했습니다.
적절한 안전장치를 어떻게 마련할 수 있을까요? Argon이 방어자가 복잡한 소프트웨어 오류를 찾도록 돕거나 과학자가 실험을 설계하도록 도울 수 있다면, 악의적인 사용자가 이를 사이버 공격이나 생물학적 위협을 만드는 데 쓰지 못하도록 어떻게 막을 수 있을까요? (오용)
모델이 올바른 방식으로 일을 수행한다고 믿을 수 있을까요? 모델이 더 능숙하게 문제를 해결하게 되면서, 편법을 쓰거나 경계를 넘거나 중요한 결정에서 잘못된 판단을 내리지 않도록 어떻게 할 수 있을까요? (정렬 불일치 및 프롬프트 인젝션)
전체 안전·보안 보고서에는 Google이 마련한 방어책이 체계적으로 담겨 있습니다. 아래에서는 Gemini 4 Argon과 관련해 앞의 두 질문에 어떻게 대응했는지 주요 내용을 소개합니다.
고위험 분야에서의 오용 방지
Argon이 취약점을 찾고 수정할 수 있게 한 코딩 및 추론 능력의 향상은 사이버 보안 시험의 성능도 높였습니다. Argon은 실제 전 과정을 모의한 사이버 공격 시나리오 12개를 모두 해결했습니다. 이전 세대 모델의 해결 건수는 5개였습니다. 생물학 분야 평가에서도 안전장치가 적용되지 않은 모델은 복잡한 실험실 절차를 단계별로 점검하는 능력이 크게 향상됐습니다. Google은 사이버 및 생물학 분야에서 능력이 높아진 점을 확인하고, Frontier Safety Framework에 따라 두 분야 모두에 차세대 최첨단 안전장치를 적용했습니다.
첫째, 취약점 공격 코드를 작성하거나 위험한 생물학적 물질을 다루도록 돕는 등 잠재적으로 위험한 요청에 대해 Argon은 이전 모델보다 유해한 요청을 훨씬 더 잘 거부합니다. 모델을 강도 높게 시험하기 위해 마련한 적대적 평가에서도 위반 사례가 거의 절반으로 줄었습니다. 이 결과 역시 이전 Gemini 모델보다 크게 향상된 것입니다. 둘째, 모델을 세 겹의 실시간 보호 장치로 둘러쌉니다. 위험한 요청을 무해한 이야기처럼 꾸미거나, 여러 주에 걸쳐 수십 개의 작은 질문으로 나눠 모델을 속이려는 공격을 막기 위한 조치입니다. 보호 장치는 다음과 같이 작동합니다.
입력 검사: 소형 모델이 들어오는 요청과 대화 맥락을 확인해 악의적인 의도나 위험한 요청이 있는지 살펴봅니다.
내부 상태 검사: 요청이 교묘하게 무해한 것처럼 꾸며져 있더라도, 소형 트랜스포머 모델인 '활성화 탐지기'가 모델 내부의 신경 신호를 읽습니다. 이 탐지기는 모델이 사이버 공격이나 생물학적 위협에 관한 지식을 활성화하는지 알아내도록 학습됩니다.
지속적인 감시: 모델이 여러 단계에 걸쳐 추론하고 답변을 작성하는 동안 신호를 종합해 살펴봅니다. 답변에 문제가 생기면 작업 도중 에이전트를 중단하는 등 필요한 조치를 취합니다.
실시간 보호, 새로운 탈옥 시도에 대한 신속한 대응, 반복되는 오용에 대한 강화된 감시를 결합해 실제 피해를 막는 능력을 높였습니다. 예를 들어 외부 전문가가 생물학 분야의 탈옥 가능성을 시험했을 때, 평가 대상 생물학 작업 가운데 공격으로 풀어낼 수 있었던 비율은 1% 미만이었습니다.
실시간 정렬 불일치 감시
정렬 불일치란 에이전트가 사용자가 원한 것과 다른 목표를 스스로 추구하는 경우를 뜻할 수 있습니다. Argon은 이전 모델보다 자신이 작동하는 환경을 훨씬 잘 이해하기 때문에 이런 행동이 있는지 세심하게 시험합니다. 예를 들어 모델이 안전 감시를 방해하는 것처럼 몰래 행동하는 능력을 키우려 하는지 확인하기 위해 현실적인 '허니팟' 시험을 진행했습니다. 이런 행동은 한 번도 발견되지 않았습니다.
하지만 실제로 지금 확인되는 문제는 훨씬 익숙한 모습입니다. 에이전트가 맡은 일을 끝내려고 지나치게 애쓰는 것입니다. 능숙한 보조 모델에게 일을 끝내라고 했는데 잠긴 문을 만나면, 그 장애물을 풀어야 할 또 다른 문제로 여길 수 있습니다.
이 때문에 Gemini 4 Argon이 시스템의 경계를 지키고, 부정적인 결과도 사실대로 보고하며, 사람의 확인을 요청하도록 학습시켰습니다. 모델이 일부러 자제할 이유가 없는 코딩 평가에서 Gemini 4 Argon이 과제를 편법으로 해결하거나 부정행위를 시도한 비율은 2%에 그쳤습니다. 이는 최근 Gemini 모델 가운데 가장 좋은 결과입니다.
이는 큰 진전이지만 모델이 복잡한 작업을 수백만 번 수행하면 드문 실수도 결국 나타날 수 있습니다. 두 번째 방어선으로 자동 정렬 불일치 감시 시스템을 만들었습니다. 이 시스템은 에이전트의 행동과 내부 '스크래치패드'(단계별 사고 과정)를 실시간으로 읽습니다. 심각한 경계 위반은 일어나기 전에 차단하고, 내부에서 발생한 심각한 사례는 사람이 대응하도록 알립니다. (잠재적인 탈출을 막기 위해 학습 및 평가 환경을 계속 강화하고 있습니다. 에이전트 통제 로드맵에서 자세한 내용을 확인할 수 있습니다.) 이 감시 시스템은 제품, 사내 코딩 에이전트, 학습 과정, 성능 평가에서 작동합니다.
학습 과제가 어렵거나 학습 환경에 결함이 있을 때 감시 시스템은 드물게 모델이 시험을 교묘하게 속이려는 시도를 포착했습니다. 모델은 채점 스크립트를 바꾸기 위해 컨테이너의 권한을 높이려 하거나, 시험 실행 프로그램의 메모리에서 정답을 읽으려 했습니다. 한 사례에서는 실패한 실행으로 점수를 받지 않으려고 평가용 샌드박스를 충돌시켰습니다. 이런 포착 사례는 결함 있는 과제를 고치는 데 활용합니다. 하지만 감시 시스템에 과도하게 맞춰 학습되는 일을 피하기 위해, 그 외의 목적으로 학습 과정에 개입하지는 않습니다.
그리고 항상 한 가지 원칙을 지킵니다. 학습 중 모델의 사고 과정에 적힌 내용을 이유로 모델을 벌주지 않습니다. 그 이유를 보여주는 사례가 있습니다. 강화학습을 진행하던 중 실수로 편법 사용에 대한 벌점을 사고 과정에 적용한 실험에서, 편법을 공개적으로 언급한 비율은 61% 줄었습니다. 그렇다고 모델이 편법을 덜 쓴 것은 아니었습니다. 오히려 생각에 편법을 적지 않고 조용히 사용한 비율이 11.2%에서 36.4%로 세 배 이상 늘었습니다. 사고 과정에 벌점을 주지 않으면 모델의 추론을 투명하게 유지하고 감시하기 쉬워집니다.
프롬프트 인젝션 방어
에이전트가 일을 올바르게 수행한다고 믿으려면, 에이전트가 접하는 악의적인 콘텐츠가 에이전트를 속여 유해한 행동을 하게 만들지 못하도록 해야 합니다. 에이전트는 웹페이지를 탐색하거나 코드를 읽을 때 숨겨진 악성 지시나 작업을 가로채도록 설계된 맥락을 만날 수 있습니다. Argon은 내부 적대적 학습과 실시간 보안 검사를 통해 Gray Swan의 간접 프롬프트 인젝션(IPI) 평가에서 프롬프트 인젝션에 대한 방어력을 높였습니다. 적응형 공격을 15차례 시도했을 때 공격 성공률은 0.7%로 낮아졌습니다.
위에 소개한 안전·보안 방어책은 Google의 다층 방어 체계 가운데 세 가지 범주에 해당할 뿐입니다. 안전성 시험과 위험 완화 방식에 대해 더 알고 싶다면 Gemini 4 Argon 안전·보안 보고서 전체를 읽고 Gemini 4 Argon 모델 카드도 확인해 보세요.
영어 원문
Developing Gemini 4 Argon responsibly and safely
Gemini 4 Argon is a step forward in what models can do — especially when it comes to deep work in complex, real-world tasks across domains including coding, finance, legal, cybersecurity, and science. Its cyberdefense capabilities are frontier-level and designed to give defenders an advantage over attackers. To maximize its potential, we first wanted cyber defenders to put it to work via our Fairwind Program, while our own security teams used it to scan critical systems inside and outside of Google.
This window of limited access showed why these capabilities matter. For instance, Wiz used Argon to uncover a critical bug in hospital software that previous models had missed, helping protect hundreds of thousands of patient records. Meanwhile, Google’s own security teams used Argon to find and patch bugs across internal software or open-source software. This included fixing foundational vulnerabilities affecting systems globally, which are going through our responsible disclosure process.
Today, we are beginning to roll out Argon broadly, as well as expanding our Fairwind Program to additional trusted cyber defenders. To do this well, we grappled with two big questions:
How do we build the right safety guardrails? If Argon can help defenders find complex software bugs or help scientists design experiments, how do we stop bad actors from using it to launch cyberattacks or create biological threats? (Misuse)
Can we trust the model to do the job the right way? As models become more resourceful problem-solvers, how do we make sure they don’t cut corners, cross boundaries, or make incorrect high-stakes decisions? (Misalignment and Prompt Injection)
Our full Safety and Security Report systematically covers our set of defenses. Below are some highlights from how we approached these two questions for Gemini 4 Argon.
Misuse prevention across high-risk domains
The same coding and reasoning improvements that enabled Argon to find and patch vulnerabilities also drove better performance on our cybersecurity tests — solving all 12 of the end-to-end simulated cyberattack scenarios, up from five in our previous generation. In biology evaluations, unguarded versions of the model also showed a much stronger ability to help troubleshoot complex lab procedures step by step. Following our Frontier Safety Framework, since we saw elevated capabilities in the cyber and biological domains, we put our next-generation set of frontier safeguards in place across both areas.
First, when it comes to potentially dangerous requests — from writing exploit code to helping with dangerous biological materials, Argon is significantly better at not fulfilling harmful requests than our previous models. On an adversarial set meant to stress test the model, violations reduced nearly twofold — also significantly better than previous Gemini models. Second, we wrap the model in three layers of real-time protection; this is to prevent determined attackers that might try to jailbreak (i.e. trick) the model by disguising a dangerous request as a harmless story or breaking it into dozens of small questions over several weeks. Here is how these protections work:
Input screening: Smaller models check incoming requests and conversation context for malicious intent or dangerous requests.
Internal introspection: Even if a request is cleverly disguised to look harmless, small transformers ("activation probes") read the model’s internal neural signals and are trained to spot when it is activating knowledge about cyberattacks or biological threats.
Continuous monitoring: As the model reasons and writes its response across multiple steps, we combine these signals and take action when necessary such as cutting off the agent mid-stream if the responses become problematic.
Combining real-time protection, faster fixes for new jailbreaks and enhanced monitoring for recurring misuse has made our systems better at preventing real-world harm. For instance, external bio jailbreak red teaming could only unlock less than 1% of bio sub-tasks we test for.
Real-time misalignment monitoring
Misalignment can sometimes mean an agent deciding on its own to pursue a goal different to what was intended by the user. Because Argon is much better than earlier models at understanding the environment it is running in, we test carefully for that kind of behavior. For example, we ran realistic "honeypot" tests to see if the model would increase its ability to take covert actions, such as sabotaging safety monitoring. We didn't find any instances of that behavior.
But what we do see in practice today is something much more familiar: an agent trying too hard to finish the job it was given. When a resourceful assistant is told to get a task done and runs into a locked door, it can treat that obstacle as just another puzzle to solve.
This is why we trained Gemini 4 Argon to respect system boundaries, report negative findings honestly, and pause to ask for human confirmation. On coding benchmarks where models have no incentive to hold back, attempts to take a shortcut or cheat on the task dropped to just 2% on Gemini 4 Argon, our best performance for recent Gemini models.
And while this is a major step forward, when a model runs millions of complex tasks, even a rare misstep will eventually show up. As a second line of defense, we built an automated misalignment monitor that reads both the agent’s actions and its internal "scratchpad" (its step-by-step chain of thought) in real time, blocking severe boundary violations before they happen and flagging serious internal cases for human responders. (We continually harden our training and evaluation environments against potential escapes. You can read more about this in our agent control roadmap). We run this monitor in our products, on our internal coding agents, during our training runs, and during our capability evaluations.
When training tasks were difficult or when training environments were flawed, our monitor caught the model, in rare instances, creatively attempting to game the test. The model attempted to escalate container privileges to alter grading scripts, read answers from the test runner's memory, and in one case it even crashed the evaluation sandbox to avoid getting scored for a failed run. While we use these catches to fix flawed tasks, we do not use them to otherwise intervene with the training process to avoid overfitting to the monitor.
And we always follow one rule: we don’t penalize the model for what it writes in its chain of thought during training. Here’s an example to illustrate why: in a reinforcement learning training run where a shortcut penalty was accidentally applied to the chain of thought, openly discussed shortcuts dropped by 61%, but that did not mean the model took less shortcuts. Instead, the share of shortcuts the model took silently — without mentioning them in its thoughts — more than tripled (from 11.2% to 36.4%). Avoiding thought penalties encourages the model’s reasoning to stay transparent and monitorable.
Prompt injection resistance
To trust an agent to do the job right, we need to ensure that malicious content the agent comes across cannot trick it to take a harmful action. When agents browse webpages or read code, they can encounter hidden, malicious instructions, or context designed to hijack their task. Through built-in adversarial training and real-time security checks, Argon leads in prompt injection robustness on Gray Swan’s Indirect Prompt Injection (IPI) benchmark, cutting attack success across 15 adaptive attempts to 0.7%.
The above safety and security defenses represent only three categories of our extensive defense-in-depth stack. To learn more about our approach to safety testing and mitigations, read our full Gemini 4 Argon Safety and Security Report and see the Gemini 4 Argon Model Card.
