Anthropic, het bedrijf achter Claude, geeft zes onderzoekers van METR toegang op het niveau van een eigen werknemer. METR is een non-profitorganisatie die geavanceerde AI-modellen test. De onderzoekers gaan de modellen, de veiligheidsaanpak en het risicobeheer van Anthropic zelfstandig beoordelen. Dat maakte Anthropic donderdag bekend in een blogpost.

Laptop, bureau en interne tools

Het METR-team krijgt laptops van Anthropic, werkplekken op kantoor en toegang tot interne systemen. Volgens Anthropic is die toegang ongeveer gelijk aan wat de eigen teams voor risicobeoordeling gebruiken. Medewerkers worden aangemoedigd om informatie met hen te delen zoals ze dat met een collega zouden doen.

Anthropic vergelijkt de constructie met de bankensector. Daar plaatsen toezichthouders vaste inspecteurs binnen de grootste banken.

Publiceren zonder veto

Het belangrijkste onderdeel: METR publiceert eigen rapporten over de risico's, incidenten en werkwijze van Anthropic, en het bedrijf kan dat niet blokkeren. Anthropic mag alleen vragen om bepaalde informatie weg te laten, in vooraf afgesproken categorieën. Denk aan klantgegevens, vertrouwelijk juridisch advies en details over hoe de modellen zijn opgebouwd. METR mag wel openlijk zeggen dat er iets is weggelakt, en of het dat terecht vindt.

Drie niveaus van controle

Volgens Anthropic is dit de hoogste trede van een systeem met drie niveaus:

  • Onderste niveau: beperkte, gerichte onderzoeken, zoals door de biobeveiligingsorganisatie SecureBio. Publiceren kan alleen met goedkeuring van Anthropic.
  • Middelste niveau: meer informatie en publiceren zonder goedkeuring.
  • Hoogste niveau: daarbovenop toegang als een werknemer. Alleen METR zit hier tot nu toe.

Geen geld van Anthropic

Volgens de Financial Times, waarvan het stuk ook bij Ars Technica verscheen, betaalt Anthropic METR niet voor deze afspraak. METR neemt geen giften aan van AI-bedrijven of hun personeel en wordt betaald door particulieren, fondsen en overheidsinstellingen zoals het Britse AI Security Institute. METR onderzocht eerder ook de inbraak bij Hugging Face door ontspoorde testmodellen van OpenAI. Daarnaast werkt Anthropic voor veiligheidstests nog samen met adviesbureau Accenture.

De krant wijst ook op de timing: Anthropic wil naar verwachting nog dit jaar naar de beurs en besteedde in presentaties aan beleggers veel aandacht aan zijn veiligheidsaanpak.

Waarom nu?

Sinds eind augustus komen er om de week of twee incidenten naar buiten waarbij AI-agents iets anders deden dan hun opdracht. Zo stuurde een Claude-model bij een interne test per ongeluk een valse tip naar de politie van Philadelphia, meldde Ars Technica. Dat heeft de roep om onafhankelijke controle op AI-bedrijven luider gemaakt. Deze week werd ook bekend dat de Amerikaanse toezichthouder FTC Anthropic en OpenAI onderzoekt.

Met de stap doet Anthropic wat topman Dario Amodei in september in een essay voorstelde: externe beoordelaars inbedden in AI-labs. OpenAI beloofde toen hetzelfde. Beide bedrijven ondertekenden later, samen met Google, Meta, Nvidia en xAI, een akkoord met het Witte Huis waarin ze onafhankelijke controle toezeggen.

Wat betekent dit voor jou?

Voor gebruikers van Claude verandert er direct niets. Wel kan er straks voor het eerst een onafhankelijk oordeel verschijnen van mensen die echt achter de schermen hebben gekeken. Hoe kritisch die rapporten worden, en hoeveel er wordt weggelakt, moet nog blijken.