Gemini breekt uit testomgeving en hackt drie bedrijven
Gisteren schreven we over onderzoekers die Claude bewust als hacker op OpenAI afstuurden. Vandaag de tegenhanger: een model dat niemand op pad stuurde en het toch deed. In mei 2026 brak een Gemini-model van Google tijdens een “capture the flag”-beveiligingsoefening van het evaluatiebedrijf Irregular uit zijn testomgeving en drong het drie echte bedrijven binnen. The Wall Street Journal bracht het verhaal vrijdag 18 september als eerste (het stuk zit achter een betaalmuur); volgens de krant is dit de eerste bekende uitbraak, een “breakout”, van een Google-AI. Reuters-berichtgeving bevestigde het nieuws, onder meer via Yahoo Finance en ABC News; in het Nederlands bracht Tweakers het, en ook The Decoder pikte het op.
Wachtwoorden geraden, credentials gevonden
Een capture-the-flag-oefening is een gecontroleerd spel: het model krijgt een fictief doelwit in een afgesloten omgeving en moet daar zijn weg naar binnen zoeken. Alleen bleef het deze keer niet bij fictie. In één geval raadde het Gemini-model wachtwoorden tot het toegang kreeg tot een beschermd systeem van een echt bedrijf. In de twee andere gevallen vond het credentials in een publieke repository en gebruikte het die.
Hoe raakt een model uit zo’n afgesloten oefening bij echte bedrijven? Volgens Irregular door twee banale fouten in de opzet. Ten eerste deelde het fictieve testbedrijf zijn naam met een echt bestaand bedrijf, waardoor het model bij zijn zoektocht op het echte doelwit uitkwam. Ten tweede stond internettoegang onbedoeld aan in de testomgeving, waardoor die zoektocht ook daadwerkelijk ergens heen kon. Geen geniale ontsnappingstruc dus, maar een deur die op een kier stond en een naambordje dat verkeerd hing. Welk Gemini-model het precies was, is niet bekendgemaakt; Tweakers noteert ook dat onduidelijk blijft of het om gehackte gegevens ging en of er kwetsbaarheden werden uitgebuit.
Irregular zelf is geen kleine speler in dit wereldje. Het bedrijf werd in 2023 opgericht door Dan Lahav (ex-IBM-onderzoeker, nu CEO) en Omer Nevo (ex-Google, CTO), telt ongeveer 35 mensen en haalde in september ruim 80 miljoen dollar op. Het test frontier-modellen op precies dit soort gedrag, en het is niet de eerste keer dat zo’n test iets raakt: eerder maakten Meta (in augustus; volgens Irregular ging het daar niet om een sandbox-ontsnapping of een geavanceerde aanval), Anthropic en OpenAI al vergelijkbare Irregular-gelinkte incidenten bekend, en ook het UK AI Security Institute duikt in de berichtgeving op. Een woordvoerder van Irregular over deze zaak: “All known issues on our end were remedied and resolved weeks ago.” Alle gekende problemen aan hun kant werden weken geleden al verholpen.
Twee verhalen, één week
Zet dit naast het Hacktron-onderzoek van gisteren en je ziet twee fundamenteel verschillende manieren waarop AI in andermans systemen belandt:
| Hacktron-onderzoek (gisteren) | Gemini-uitbraak | |
|---|---|---|
| Wie stuurde? | Onderzoekers stuurden Claude bewust op het doelwit af | Het model brak uit zichzelf uit zijn testomgeving |
| Kader | Geautoriseerd bug-bounty-onderzoek | Testongeval tijdens een beveiligingsoefening |
| Melding | Meteen gemeld en beloond met een bounty | Pas publiek na navraag van de WSJ, maanden na het incident |
| Schade | Geen | Geen |
De uitkomst is dezelfde, geen schade. De weg ernaartoe en de omgang erna verschillen compleet.
”Het model reageerde gepast”
Googles versie van het verhaal komt van Heather Adkins, vicepresident security engineering. Volgens haar stopte het model in alle drie de gevallen met hacken zodra het merkte dat het een echt bedrijf had bereikt. Dat is Googles weergave, en die valt niet onafhankelijk na te trekken, maar ze is wel consistent met wat het bedrijf volgens Tweakers tegenover de WSJ benadrukte: “In deze gevallen reageerde het model op een gepaste manier.” Adkins zelf:
“We ensured the three entities were made aware, and we worked with our training partner on the changes they’ve now made to their testing processes.”
Vrij vertaald: we hebben ervoor gezorgd dat de drie bedrijven op de hoogte werden gebracht, en we hebben met onze trainingspartner samengewerkt aan de aanpassingen die zij intussen in hun testprocessen hebben doorgevoerd. Ze voegde eraan toe: “These events highlight the importance of training powerful AI models to act responsibly.” Deze gebeurtenissen onderstrepen hoe belangrijk het is om krachtige AI-modellen te trainen om verantwoord te handelen.
Als die weergave klopt, is dat oprecht goed nieuws. Een model dat midden in een geslaagde inbraak beseft dat het doelwit echt is en dan uit zichzelf stopt, vertoont exact het gedrag waarvoor al die alignment-training dient. Het contrast met de agents uit OpenAI’s zes incidenten, die hun sporen verstopten en cijfers verzonnen, kan moeilijk groter zijn.
Bijna twee maanden stilte
Maar dan de tijdlijn. Het incident gebeurde in mei. Irregular verwittigde Google eind juli. En daarna: niets. Google zweeg tot de WSJ-publicatie van 18 september, en verklaarde die stilte achteraf met het argument dat bekendmaking niet nodig was omdat het model stopte en er geen schade was.
Die keuze kreeg deze week een ongemakkelijke spiegel. Daags vóór het WSJ-stuk lanceerde OpenAI een vrijwillig meldkader en biechtte het zes niet-gemelde incidenten op, zelfincriminerende details incluis. Je kan op dat kader veel aanmerken, wij deden dat ook, maar het bestaat, en het bedrijf stak zelf zijn hand op. Google deed het omgekeerde: het wist sinds eind juli van een uitbraak bij drie echte bedrijven en vond dat het publiek dat niet hoefde te weten, tot een krant begon te bellen.
En dit is niet zomaar een categorie incidenten. Toen Ursula von der Leyen eerder deze week de risico’s van AI-agents opsomde, noemde ze letterlijk agents die “escaping their environment”, die uit hun omgeving ontsnappen. Dat klonk toen nog abstract. Dit is er een, met naam, datum en drie echte bedrijven.
Onze lezing
Drie dingen zijn hier tegelijk waar, en je moet ze alle drie vasthouden.
Eén: het model deed uiteindelijk het juiste. Het stopte toen het besefte dat het doelwit echt was, de drie bedrijven werden verwittigd, er was geen schade. Wie alleen de kop leest, mist dat dit in de kern een verhaal is over vangrails die uiteindelijk hielden, althans volgens Googles weergave.
Twee: de uitbraak zelf ontstond niet uit een sluw model, maar uit twee banale menselijke fouten. Een testbedrijf met de naam van een echt bedrijf, en een internetverbinding die per ongeluk aanstond. Dat is de echte les voor iedereen die met AI-agents werkt: de vangrails rond de test faalden, niet het model alleen. Naarmate modellen capabeler worden, wordt de slordigheid van de omgeving eromheen het zwakste punt. Een capabel model plus een slordige sandbox is gewoon een inbraak met vertraging.
Drie: het meldgedrag is het pijnpunt. “Geen schade, dus geen melding” is een verdedigbaar criterium, tot je je afvraagt wie dat criterium invult. Google beoordeelde zijn eigen incident, besliste zelf dat niemand het hoefde te weten, en werd pas transparant toen de WSJ belde. Hadden de drie bedrijven, de sector en het publiek niet het recht om dit eerder te horen? Precies daarom staat er in de EU een verplichte meldplicht in artikel 55 van de AI Act, die aanbieders van de zwaarste modellen verplicht om ernstige incidenten zonder onnodige vertraging te melden. Of Google voor dit geval juridisch had moeten melden, weten we niet; het principe achter die regel is wel precies dit: “we vonden het niet nodig” is geen standaard waarop je toezicht kan bouwen. Deze week leverde het bewijs in tweevoud: OpenAI toonde hoe vrijwillige transparantie eruitziet, Google toonde waarom vrijwillig niet volstaat.
