Anthropic: AI die zichzelf verbetert komt mogelijk heel dichtbij
In een bijgewerkt beursprospectus schrijft Anthropic dat het mogelijk binnenkort zijn eigen grens voor sterk door AI versnelde vooruitgang haalt.
Anthropic, de maker van Claude, heeft maandag een herziene versie van zijn beursprospectus (de S-1A) ingediend bij de Amerikaanse beurstoezichthouder. Naast nieuwe financiële cijfers staat er een opvallende passage in de lijst met risico's: het bedrijf verwacht dat het misschien binnenkort een punt bereikt waarop AI de eigen ontwikkeling van AI flink versnelt. TechCrunch wees als eerste op de nieuwe zinnen.
Wat staat er precies in het prospectus?
Anthropic gebruikt Claude al bij zijn eigen onderzoek en ontwikkeling. Volgens het prospectus kan dat ertoe leiden dat de modellen sneller beter worden dan het bedrijf veiligheids- en beveiligingsmaatregelen kan ontwikkelen en testen. Anthropic geeft toe dat het in het verleden een duidelijke versnelling pas achteraf heeft opgemerkt, en dat dat opnieuw kan gebeuren.
Belangrijker is de volgende stap. Op basis van interne schattingen en verwachtingen over toekomstige modellen schrijft Anthropic dat het mogelijk "binnenkort" voldoet aan de definitie uit zijn eigen veiligheidsbeleid, het Responsible Scaling Policy, van "sterk versnelde vooruitgang die aan AI is toe te schrijven". Het bedrijf benadrukt dat geen van zijn huidige modellen die drempel al overschrijdt en dat het de onderliggende gegevens nog beoordeelt.
Wat is RSI?
Het onderwerp staat bekend als recursive self-improvement (RSI): het moment waarop AI zo goed wordt in het verbeteren van zichzelf dat de vooruitgang zichzelf gaat versnellen. Voor de ene groep is dat de grote belofte van AI, met snelle wetenschappelijke doorbraken. Voor de andere is het juist het schrikbeeld: AI die zichzelf zo snel verbetert dat mensen de controle verliezen. Anthropic noemt het in het prospectus allebei: nuttig, maar ook "een aanzienlijk veiligheidsrisico".
Mens blijft aan het stuur, belooft Anthropic
Het bedrijf schrijft dat het niet verwacht Claude veilig te kunnen inzetten om volledig zelfstandig nieuwe generaties topmodellen te ontwerpen en te bouwen zonder betekenisvol menselijk toezicht. Daarom overweegt Anthropic zijn Responsible Scaling Policy aan te passen, zodat mensen de controle houden over de ontwikkeling van nieuwe modellen. Hoe die aanpassing eruit gaat zien, staat er niet in.
Waarschuwing of reclame?
Een kanttekening hoort erbij. Een beursprospectus is een juridisch document waarin bedrijven alle denkbare risico's opsommen om later claims van beleggers te voorkomen. Tegelijk is het een verkoopdocument. Een bedrijf dat zegt bijna een AI te hebben die zichzelf kan bouwen, maakt ook indruk op beleggers. TechCrunch wijst daar zelf op. Er is geen onafhankelijke manier om te controleren hoe dichtbij die drempel werkelijk is: het gaat om Anthropics eigen definitie en eigen interne schattingen.
Het past wel in de lijn van het prospectus. Eerder bleek al dat Anthropic zich voor honderden miljarden aan rekenkracht heeft verplicht, met een bedrijfsplan dat leunt op steeds snellere vooruitgang. En de manier waarop het bedrijf bestuurd wordt, met oprichters en een trust die de touwtjes in handen houden, bepaalt ook wie straks beslist over zulke veiligheidsdrempels.
Wat betekent dit voor Europa?
Voor de EU is de passage relevant omdat de AI-verordening (AI Act) aanbieders van de krachtigste modellen verplicht om systemische risico's in kaart te brengen en te beperken. Een bedrijf dat zelf in een officieel document schrijft dat zijn ontwikkeltempo zijn veiligheidsmaatregelen kan inhalen, geeft toezichthouders daarmee een concreet aanknopingspunt voor vragen. Of en hoe het Europese AI-bureau daarop reageert, is nog niet bekend.
Bron: Anthropic warns that it’s very close to RSI capability, aka self-building AI (TechCrunch). Met AI geschreven; zie ons redactiebeleid.