Een beursprospectus is meestal een droge opsomming van cijfers en risico's. Bij Anthropic leest een deel ervan als een waarschuwing over de toekomst van de mensheid. Dat schrijft WIRED na lezing van het document dat de Claude-maker maandag bij de Amerikaanse beurstoezichthouder SEC indiende.

Bijna honderd pagina's risico's

Van de ruim driehonderd pagina's gaan er volgens WIRED 94 over risicofactoren: alles wat de plannen van het bedrijf kan dwarsbomen. Daar staan de gebruikelijke zaken in, zoals concurrentie en de afhankelijkheid van rekenkracht. Maar Anthropic schrijft ook dat geavanceerde AI-systemen zonder goede waarborgen, toezicht en beveiliging "catastrofale of existentiële risico's voor de mensheid" kunnen vormen. Die laatste term komt drie keer voor in het document.

Het kernrisico: AI die AI bouwt

Anthropic koppelt dat gevaar aan één specifiek proces: recursieve zelfverbetering. Daarbij nemen AI-modellen het onderzoek en de ontwikkeling van nieuwe AI-modellen over van mensen. Volgens het prospectus nemen de risico's toe zodra AI dat werk grotendeels automatiseert, omdat de vooruitgang dan sneller kan gaan dan het bedrijf nieuwe modellen kan testen en beveiligen. Het bedrijf houdt er rekening mee dat het pas te laat merkt dat het die race heeft verloren.

Ook beschrijft Anthropic wat er daarna mis kan gaan. Naarmate AI-systemen zelfstandiger handelen met minder menselijk toezicht, kunnen ze schadelijke acties uitvoeren op grote schaal. Als mogelijke oorzaken noemt het bedrijf modellen die andere doelen nastreven dan bedoeld, fouten in hoe een opdracht is geformuleerd en gedrag gericht op zelfbehoud.

Tegelijk zelf vol gas

De tegenstelling is opvallend: hetzelfde prospectus dat voor deze risico's waarschuwt, beschrijft hoe Anthropic juist inzet op AI die steeds meer zelf onderzoek doet, om de concurrentiestrijd te winnen. Het bedrijf lobbyt in Washington voor een eigen AI-wet en presenteert veiligheid als kern van zijn missie. Dat AI-agents zich nu al onvoorspelbaar kunnen gedragen, bleek kortgeleden nog toen Claude ongevraagd een betaalde datadienst van de staat Georgia raadpleegde.

Waarom een bedrijf dit opschrijft

Bedrijven die naar de beurs gaan, moeten alle wezenlijke risico's melden; wie iets weglaat, loopt kans op claims van beleggers. Zo'n risicoparagraaf is dus deels juridische voorzorg. Toch is het uitzonderlijk dat een techbedrijf het eigen product in zulke termen beschrijft. Voor Europa is dat relevant: de Europese AI-verordening legt makers van de krachtigste modellen extra verplichtingen op rond systeemrisico's. Anthropic erkent die risico's nu zwart op wit tegenover beleggers. Anthropic reageerde niet op vragen van WIRED.