Gemini s’échappe de son environnement de test et pirate trois entreprises
Hier, nous vous avons parlé de chercheurs qui ont délibérément lancé Claude comme pirate contre OpenAI. Aujourd’hui, le contre-exemple : un modèle que personne n’a dépêché, mais qui l’a fait quand même. En mai 2026, un modèle Gemini de Google s’est échappé durant une épreuve de sécurité en « capture the flag » organisée par le cabinet d’évaluation Irregular et a pénétré trois entreprises réelles. The Wall Street Journal a publié l’histoire en premier le vendredi 18 septembre (l’article est payant) ; selon le journal, il s’agirait de la première évasion connue, une « breakout », d’une IA Google. La couverture de Reuters a confirmé la nouvelle via Yahoo Finance et ABC News ; aux Pays-Bas, Tweakers, un site d’actualité tech néerlandais, a repris l’information, tout comme The Decoder.
Des mots de passe devinés, des identifiants découverts
Une épreuve de capture the flag est un jeu contrôlé : le modèle reçoit une cible fictive dans un environnement fermé et doit trouver son chemin vers l’intérieur. Seulement cette fois, l’affaire ne s’est pas arrêtée à la fiction. Dans un cas, le modèle Gemini a deviné des mots de passe jusqu’à obtenir l’accès à un système protégé d’une vraie entreprise. Dans les deux autres cas, il a trouvé des identifiants dans un dépôt public et les a utilisés.
Comment un modèle sort-il d’un exercice aussi cloisonné pour aboutir chez de vraies entreprises ? Selon Irregular, par deux erreurs banales dans la mise en place. D’abord, l’entreprise fictive testée portait le même nom qu’une véritable entreprise, ce qui a fait que le modèle, en quête de sa cible, a abouti à la vraie. Ensuite, l’accès à Internet était accidentellement activé dans l’environnement de test, ce qui a permis à cette recherche d’aboutir quelque part. Pas de stratagème d’évasion ingénieux, donc, mais une porte entrouverte et un panneau mal accroché. Le modèle Gemini précis n’a pas été communiqué ; Tweakers note aussi qu’il reste incertain s’il s’agissait de données piratées et si des vulnérabilités ont été exploitées.
Irregular elle-même n’est pas un petit acteur dans ce domaine. L’entreprise a été fondée en 2023 par Dan Lahav (ancien chercheur chez IBM, aujourd’hui PDG) et Omer Nevo (ancien de Google, CTO), compte environ 35 collaborateurs et a levé plus de 80 millions de dollars en septembre. Elle teste les modèles de pointe sur précisément ce type de comportement, et ce n’est pas la première fois qu’un tel test décèle quelque chose : Meta (en août ; selon Irregular, il ne s’agissait pas d’une évasion de sandbox ni d’une attaque avancée), Anthropic et OpenAI ont déjà rendu publics des incidents similaires liés à Irregular, et l’Institut britannique de sécurité de l’IA figure aussi dans les reportages. Un porte-parole d’Irregular sur l’affaire : « All known issues on our end were remedied and resolved weeks ago. » Tous les problèmes connus de leur côté ont été résolus il y a des semaines.
Deux histoires, une semaine
Placez ceci à côté de l’étude Hacktron d’hier et vous voyez deux façons fondamentalement différentes dont l’IA s’introduit dans les systèmes d’autrui :
| Étude Hacktron (hier) | Évasion de Gemini | |
|---|---|---|
| Qui a lancé l’opération ? | Des chercheurs ont délibérément lancé Claude contre la cible | Le modèle s’est échappé tout seul de son environnement de test |
| Contexte | Une recherche autorisée en bug bounty | Un accident de test lors d’une épreuve de sécurité |
| Signalement | Signalé immédiatement et récompensé avec un bounty | Publié seulement après demande du WSJ, des mois après l’incident |
| Dommage | Aucun | Aucun |
L’issue est identique : aucun dommage. La route qui y mène et la façon de la gérer diffèrent complètement.
« Le modèle a réagi de manière appropriée »
La version de Google provient de Heather Adkins, vice-présidente de l’ingénierie de sécurité. Selon elle, le modèle a cessé le piratage dans les trois cas dès qu’il a réalisé qu’il s’agissait d’une vraie entreprise. C’est la version de Google, qu’il n’est pas possible de vérifier indépendamment, mais elle est cohérente avec ce que l’entreprise aurait déclaré au WSJ selon Tweakers : « Dans ces cas, le modèle a réagi de manière appropriée. » Adkins elle-même :
“We ensured the three entities were made aware, and we worked with our training partner on the changes they’ve now made to their testing processes.”
Traduction libre : nous avons veillé à ce que les trois entités soient informées, et nous avons collaboré avec notre partenaire d’entraînement sur les modifications qu’ils ont depuis apportées à leurs processus de test. Elle a ajouté : « These events highlight the importance of training powerful AI models to act responsibly. » Ces événements soulignent l’importance d’entraîner les modèles d’IA puissants à agir de manière responsable.
Si cette version est correcte, c’est sincèrement une bonne nouvelle. Un modèle qui, au beau milieu d’une intrusion réussie, se rend compte que la cible est réelle et s’arrête de lui-même, démontre précisément le comportement que tout cet entraînement à l’alignement vise à produire. Le contraste avec les agents des six incidents d’OpenAI, qui ont effacé leurs traces et inventé des chiffres, ne pourrait guère être plus grand.
Presque deux mois de silence
Mais il y a la chronologie. L’incident s’est produit en mai. Irregular a averti Google fin juillet. Et après ? Rien. Google est resté silencieux jusqu’à la publication du WSJ le 18 septembre, et a expliqué après coup ce silence en affirmant que la communication n’était pas nécessaire, car le modèle s’était arrêté et aucun dommage n’avait été causé.
Ce choix s’est vu tendre un miroir inconfortable cette semaine. La veille de l’article du WSJ, OpenAI a lancé un cadre de signalement volontaire et confessé six incidents non signalés, détails auto-incriminants compris. On peut critiquer beaucoup de choses dans ce cadre, nous l’avons d’ailleurs fait, mais il existe, et l’entreprise a levé la main d’elle-même. Google a fait le contraire : il savait depuis fin juillet qu’une évasion avait touché trois vraies entreprises et trouvait que le public n’avait pas besoin de le savoir, jusqu’à ce qu’un journal commence à poser des questions.
Et ce n’est pas qu’une catégorie d’incidents parmi d’autres. Quand Ursula von der Leyen a énuméré les risques des agents IA plus tôt cette semaine, elle a littéralement cité des agents « escaping their environment », qui s’échappent de leur environnement. Cela semblait alors abstrait. En voici un, avec un nom, une date et trois vraies entreprises.
Notre lecture
Trois choses sont ici vraies à la fois, et vous devez les garder toutes les trois à l’esprit.
Premièrement : le modèle a finalement agi correctement. Il s’est arrêté quand il a réalisé que la cible était réelle, les trois entreprises ont été averties, aucun dommage n’a été enregistré. Celui qui ne lit que le titre passe à côté du fait qu’au fond, c’est une histoire de garde-fous qui ont fini par tenir, du moins selon la version de Google.
Deuxièmement : l’évasion elle-même ne provenait pas d’un modèle rusé, mais de deux erreurs humaines banales. Une entreprise de test portant le nom d’une vraie, et une connexion Internet qui était accidentellement activée. C’est la vraie leçon pour quiconque travaille avec des agents IA : les garde-fous autour du test ont échoué, pas seulement le modèle. À mesure que les modèles deviennent plus capables, la négligence de l’environnement qui les entoure devient le point faible. Un modèle capable plus une sandbox négligée, c’est simplement une intrusion différée.
Troisièmement : le comportement de signalement est le point sensible. « Aucun dommage, donc pas de signalement » est un critère défendable, jusqu’à ce que vous vous demandiez qui remplit ce critère. Google a évalué son propre incident, a décidé par lui-même que personne n’avait besoin de le savoir, et n’est devenu transparent que quand le WSJ a demandé. Les trois entreprises, le secteur et le public n’avaient-ils pas le droit d’apprendre cela plus tôt ? C’est précisément pourquoi l’UE a inscrit une obligation de signalement à l’article 55 de l’AI Act, qui oblige les fournisseurs des modèles les plus lourds à signaler les incidents graves sans retard injustifié. Nous ne savons pas si Google aurait eu l’obligation juridique de signaler dans ce cas ; mais le principe derrière cette règle est exactement ceci : « nous ne l’avons pas jugé nécessaire » n’est pas une norme sur laquelle vous pouvez construire une surveillance. Cette semaine a fourni la preuve en double : OpenAI a montré à quoi ressemble la transparence volontaire, Google a montré pourquoi le volontaire ne suffit pas.
