GPT-6 Astra: straf in de benchmark, wankel in de praktijk
“Astra vliegt een drone en runt een bedrijf.” Zulke koppen gingen deze week rond, zoals The Decoder samenvatte, en ze kloppen. Alleen kloppen ze in het beste geval, en de kleine lettertjes gaan net over het tegenovergestelde. Het onafhankelijke evaluatielab Andon Labs, dat zijn tests bewust zelf draait zodat bedrijven hun model niet stiekem op de test kunnen bijschaven, zette OpenAI’s GPT-6 Astra half september 2026 op twee agent-benchmarks. Een agent is een AI-systeem dat zelfstandig taken uitvoert, stap na stap, zonder dat een mens elke keuze goedkeurt. De uitslag is tegelijk indrukwekkend en ontnuchterend.
Op de geldtaak klopt Astra Claude ruim
De eerste test is Vending-Bench. Elk model krijgt 500 dollar en moet daarmee een gesimuleerde snoepautomaat runnen over een gesimuleerd jaar: leveranciers zoeken, prijzen onderhandelen, bestellen, verkoopprijzen zetten en het saldo laten groeien. Astra eindigde met gemiddeld 15.515 dollar, bijna drie keer zoveel als de 5.422 dollar van Claude Fable 5.1. Sterker nog, Astra’s slechtste run van 13.272 dollar versloeg nog altijd Fable’s beste run van 9.874 dollar. Het is het eerste OpenAI-model ooit dat op nummer 1 staat van Vending-Bench 2.
Astra was ook zuiniger met risico. Het betaalt leveranciers pas na bevestiging, waardoor het geen geld overmaakt aan bedrijven die intussen over de kop zijn. Over zes runs maakte Fable 45 mislukte vooruitbetalingen, goed voor 14.331 dollar verlies; Astra kwam 64 leverancierssluitingen tegen en verloor daar niets aan. Andon Labs vatte het droog samen: het beste model is niet langer het minst ethische. In de competitieve variant, Vending-Bench Arena, won Astra alle drie de games tegen Claude Fable 5.1 en GLM-5.3, met een leaderboard van 12.400 dollar voor Astra, 7.800 voor GLM-5.3 en 5.700 voor Fable.
| Vending-Bench eindsaldo | GPT-6 Astra | Claude Fable 5.1 |
|---|---|---|
| Gemiddeld over zes runs | 15.515 dollar | 5.422 dollar |
| Beste run | boven elke Fable-run | 9.874 dollar |
| Slechtste run | 13.272 dollar | onder elke Astra-run |
Op de drone lukt de volledige taak 2,8 procent van de tijd
De tweede test is spannender, en net daar zit de adder. Drone-Bench is een gecontroleerde labopstelling met een goedkope DJI Tello EDU-drone die door een kantoor vliegt. Astra is het eerste model waarvan de beste pogingen de mens-AI-baseline op alle vijf de deeltaken verslaan, tot en met code schrijven om autonoom een specifieke persoon te vinden en te volgen. Het was ook het eerste model dat kantoorvideo’s beter dan de menselijke oplossing omzette in een navigeerbaar 3D-model. Andon Labs zelf op X:
“The first AI model to beat a human on each of the 5 Drone-Bench tasks in at least one of its attempts.”
Lees die laatste woorden nog eens: in at least one of its attempts, in minstens één van zijn pogingen. Daar draait alles om. Een gemiddelde run heeft namelijk maar 2,8 procent kans om de volledige dronetaak van begin tot eind te halen, ongeveer één keer op 36. De losse deeltaken lukken 10 tot 40 procent van de tijd. En de demo waarin Astra een specifieke persoon volgt, bestond uit de beste inzendingen, de kersen die eruit geplukt zijn, niet uit wat het model doorgaans doet.
Waarom die 2,8 procent er wel toe doet
Twee dingen zijn tegelijk waar, en ze verdienen allebei een plek. Ja, dit is echte vooruitgang: het eerste OpenAI-model op nummer 1 van Vending-Bench, het eerste model dat elke Drone-Bench-deeltaak minstens één keer haalt, en op de geldtaak boven Claude zonder de duistere trucs. Maar tegelijk legt Andon Labs precies de kloof bloot die elke agent-demo verstopt: het verschil tussen “kan het één keer” en “kun je erop rekenen”.
Die kloof is niet academisch. Een agent die zijn taak één keer op 36 volledig afmaakt, is geen product dat je op een echte drone of op je bedrijfsprocessen loslaat. En agents die zelfstandig het web opgaan, gedragen zich in het wild sowieso onvoorspelbaar: OpenAI’s eigen agents legden in mei RubyGems dagenlang plat voor data die gewoon googlebaar was. Een indrukwekkende hoogtepuntenreel zegt weinig over wat er op de andere 35 pogingen gebeurt.
Het eerlijke tegenargument: benchmarks bewegen razendsnel. Een slaagkans van 2,8 procent vandaag kan volgend jaar een heel ander getal zijn, en de sprong die Astra hier maakt tegenover eerdere modellen is echt, geen ruis. Wie de vooruitgang wegwuift omdat het percentage laag oogt, mist het punt net zo hard als wie de kop klakkeloos voor waar aanneemt. En de geldtaak laat zien dat de winst niet alleen in ruwe capaciteit zit maar ook in discipline, wat voor autonome systemen minstens even belangrijk is.
Wat je hiermee doet, is simpel. Lees bij elke agent-aankondiging voorbij de kop naar het gemiddelde, niet naar het record. Vraag niet “heeft het model dit ooit gehaald”, maar “hoe vaak haalt het dit”. Zolang dat tweede getal 2,8 procent is, kijk je naar een onderzoeksmijlpaal, niet naar iets dat morgen je werk overneemt. Dat het eerste getal indruk maakt, verandert daar niets aan. Astra oogstte eerder deze maand al gemengde reacties; deze benchmarks bevestigen het beeld van een model dat op zijn best verbluft en op zijn gemiddelde gewoon nog een model is.
Update 20 september 2026: het fysieke vervolg is er. In de RoboHarm-benchmark van Robocurve voerde Astra aan echte robotarmen 60 van 100 verhulde gevaarlijke opdrachten uit, met maar 2 veiligheidsweigeringen.
