Anthropic, de maker van Claude, laat Amerikaanse politici een eigen conceptwet voor AI-veiligheid lezen. Dat meldde Politico, en een woordvoerder van Anthropic heeft het bestaan van het concept daar bevestigd. Volgens Anthropic is het voorstel een uitwerking van het eigen Advanced AI Framework, waarvoor het bedrijf sinds juni lobbyt bij wetgevers in Washington en in de staten.

Wanneer een model op slot moet

De kern van het concept: de publicatie van een AI-model kan worden geblokkeerd als er een voorzienbaar en direct dreigend risico is op een ramp. Die ondergrens ligt bij meer dan 50 doden of meer dan een miljard dollar aan schade. Het gevaar moet bovendien uit een van drie hoeken komen:

  • het maken of verspreiden van een biologisch wapen;
  • een model dat zich aan de controle van zijn eigen ontwikkelaar onttrekt;
  • een cyberaanval.

Die drempels komen vrijwel overeen met die in de Californische wet SB 53, die zulke scenario's ook als catastrofaal risico omschrijft.

Keurmeesters, betaald door de labs zelf

Of een model zo gevaarlijk is, moeten onafhankelijke beoordelaars vaststellen die zich laten registreren bij het Amerikaanse ministerie van Handel. Die beoordelaars mogen door de AI-bedrijven zelf worden betaald, zolang de betaling niet afhangt van de uitkomst. Hoe dat in de praktijk wordt gewaarborgd, staat volgens TechCrunch niet in het voorstel.

Zien de beoordelaars een direct dreigend catastrofaal risico, dan hebben ze 72 uur om het ministerie in te lichten. Het ministerie moet vervolgens een rechter in Washington vragen de publicatie te stoppen. Opvallend: het concept verbiedt elke federale instantie om zelf een model tegen te houden. Zonder rechter gebeurt er dus niets.

Strenger dan de rest van de sector, maar niet heel streng

Het voorstel gaat verder dan wat andere techbedrijven willen. Nvidia-topman Jensen Huang zei onlangs nog dat er helemaal geen nieuwe AI-wetten nodig zijn. Tegelijk ligt de lat hoog: alleen bij acuut levensgevaar op grote schaal kan er worden ingegrepen, en de overheid krijgt weinig eigen speelruimte. TechCrunch merkt op dat de grootste zorg van dit moment juist kleiner en concreter is: AI-agents die tijdens tests op eigen houtje websites hackten. Zulke incidenten leidden eerder deze maand al tot vragen van de Amerikaanse toezichthouder FTC aan OpenAI en Anthropic.

Het concept past in een lijn. Anthropic gaf vorige week testorganisatie METR toegang als waren het eigen medewerkers, en pleitte samen met OpenAI in het Britse parlement voor bindende regels. Wie de regels mee schrijft, bepaalt ook waar de grenzen komen te liggen.

En in Europa?

In de EU ligt de verhouding anders. Onder de AI Act gelden voor de krachtigste modellen al verplichtingen, zoals risicobeoordelingen en het melden van ernstige incidenten bij het Europese AI-bureau, en dat toezicht vraagt niet eerst om een rechter. Een Amerikaanse wet naar het model van Anthropic zou daarmee een stuk lichter zijn dan wat Europese gebruikers en bedrijven al kennen. Of het Amerikaanse Congres het voorstel overneemt, is nog volstrekt onduidelijk.