Veel software waar het internet op draait, wordt onderhouden door kleine groepjes vrijwilligers. Anthropic wil die mensen helpen met OSS Scanner: een gratis dienst die hun code periodiek laat doorlichten door de sterkste Claude-modellen, waaronder Claude Mythos. De dienst ging op 8 oktober van start. Volgens de aankondiging van Anthropic is het idee geleend van Google's OSS-Fuzz, maar dan met taalmodellen in plaats van klassieke testprogramma's die willekeurige invoer op software afvuren.

Snel, maar zonder menselijke controle

Het opvallendste aan OSS Scanner is wat er níét gebeurt: de meldingen gaan rechtstreeks van het model naar de beheerders, zonder dat een mens ze eerst beoordeelt. Anthropic erkent dat zelf: het kan zo sneller en vaker scannen, maar sommige meldingen zullen onjuist zijn. Een rapport bevat een stukje code waarmee het probleem na te bootsen is, een uitleg van het lek en waar mogelijk een voorstel voor een reparatie.

Waarom die keuze? Anthropic loopt vast op het nakijken. In zes maanden vonden zijn modellen ruim 29.000 mogelijke kwetsbaarheden. Daarvan zijn er ongeveer 6.000 door mensen beoordeeld. Bijna 5.000 andere meldingen gingen al ongecontroleerd naar beheerders die daar zelf om vroegen.

Hoe betrouwbaar zijn de meldingen?

Anthropic liet ervaren pentesters 97 meldingen van ernstige en kritieke lekken in 48 projecten nalopen. Daarvan voldeden er 85 aan de lat om ze officieel te melden. Van de overige twaalf waren er elf wel echte bugs, maar al bekend of dubbel gemeld. Eén bleek vals alarm. De makers van wolfSSL, een veelgebruikte beveiligingsbibliotheek, meldden dat 72 van de 74 rapporten klopten en dat vijf ervan een officieel CVE-nummer kregen.

Er zijn ook kanttekeningen. Volgens Anthropic zelf zien beheerders soms een opgeblazen ernstscore, of begrijpt de scanner verkeerd tegen welke aanvallen een project eigenlijk beschermd moet zijn. En volgens The New Stack was op 2 oktober van de duizenden bevestigde lekken pas een klein deel daadwerkelijk gerepareerd. Een lek vinden gaat dus veel sneller dan het oplossen.

Eerste tussenstand

MarkTechPost meldt op basis van cijfers van Anthropic dat er op 19 oktober 114 projecten waren toegelaten, uit zo'n 650 aanmeldingen. In de eerste elf dagen leverde de scanner volgens die cijfers 77 kritieke en 803 ernstige bevindingen op, zoals het model ze inschatte. Hoeveel daarvan echt zijn, is dus nog niet door mensen vastgesteld.

Wie kan meedoen

De dienst is bedoeld voor gevestigde projecten met grote gevolgen voor infrastructuur en gebruikers. Anthropic kijkt onder meer naar hoeveel andere software ervan afhangt en of het project via internet aan te vallen is. Nieuwe projecten en de meeste afsplitsingen vallen buiten de boot. Kernbeheerders melden zich aan via een pull request op GitHub. De code draait in een afgesloten virtuele machine zonder internet, en beheerders kunnen de meldingen op elk moment pauzeren of stoppen. Daarnaast kunnen beheerders via Claude for OSS een gratis Max-abonnement krijgen om de lekken te repareren.

Waarom juist nu

De lancering valt in een periode waarin AI de beveiliging van opensource flink door elkaar schudt. De PHP2Shell-lekken werden met AI-hulp gevonden, en aanvallers gebruiken dezelfde technieken om oude fouten ineens te misbruiken. Cognition bracht deze week gratis AI-skills uit om die lekken te dichten. Wie in Nederland of de EU software gebruikt die op opensource leunt, en dat is vrijwel iedereen, heeft er baat bij als lekken eerder gevonden worden. Dat geldt alleen als de beheerders de stroom meldingen ook kunnen verwerken.