Open beveiligingstest: Gemini en Claude dichten twee derde van lekken
CWE-bench v2 laat AI-agents echte lekken in opensourcecode dichten. Gemini 4 Argon en Claude Opus 5.5 scoren bijna gelijk, een vijfde blijft open.
Hoe goed kan een AI-agent een beveiligingslek vinden én netjes dichten, zonder dat de rest van de software stukgaat? Het bedrijf Collinear AI heeft daar een nieuwe versie van zijn test voor uitgebracht: CWE-bench v2. Nieuw is dat 100 opdrachten nu openbaar zijn, zodat iedereen er zelf modellen mee kan doorlichten.
Zo werkt de test
Een agent krijgt een kopie van een echt opensourceproject en een korte instructie. Hij moet de zwakke plek opsporen en repareren, terwijl de bestaande functies blijven werken. De 100 opdrachten beslaan 91 verschillende soorten zwakheden uit de CWE-lijst, de bekende catalogus van softwarefouten zoals injectie- en toegangsproblemen. De beoordeling gebeurt automatisch, dus iedereen die de test opnieuw draait, krijgt dezelfde uitslag.
Collinear zegt elke opdracht met de hand te hebben nagelopen. Zo moet een oplossing goed gedrag aantonen en niet één specifieke codeoplossing nadoen, en een uit het hoofd geleerde officiële patch mag niet zomaar slagen. Een deel van de opdrachten houdt het bedrijf achter, om te kunnen meten op taken die geen model eerder zag.
Gemini en Claude nek aan nek
Van de elf geteste modellen staat Gemini 4 Argon bovenaan: 67,8 procent van de opdrachten in één poging goed, en 81 procent als het model vier pogingen krijgt. Claude Opus 5.5 volgt op een haar: 67,3 procent in één poging en 78 procent in vier. Samen loste het hele veld 95 van de 100 opdrachten minstens één keer op. Maar zelfs de koploper faalt bij ongeveer een vijfde van de set in elke poging.
Opvallend is het prijsverschil. Het goedkope DeepSeek V4.1 Flash haalt 57 procent voor 4 cent per poging. Opus doet er ongeveer tien procentpunt bovenop voor 1,83 dollar, en Gemini net iets meer voor 3,92 dollar per poging. Dat zijn de cijfers van Collinear zelf.
Waarom dit telt
AI-bedrijven presenteren hun nieuwste modellen steeds vaker als hulp voor verdedigers. Mistral zette zijn open model Le Chonk nadrukkelijk neer als gereedschap voor beveiligingswerk. Een openbare test met vaste regels helpt om zulke claims te controleren, ook voor Europese organisaties die een open model op eigen servers willen draaien. De opdrachten zijn bovendien zo gebouwd dat ze ook dienen als oefenomgeving om defensieve agents te trainen.
De uitkomst is tegelijk een waarschuwing. Twee op de drie lekken in één keer goed repareren is knap, maar een beheerder die blind een AI-patch overneemt, mist de rest. Menselijke controle blijft dus nodig.
Bron: CWE-bench v2: More coverage, quality, and transparency (Hugging Face Blog). Met AI geschreven; zie ons redactiebeleid.