Anthropic gebruikt zijn eigen AI om betere AI te bouwen, en dat gaat sneller dan veel onderzoekers verwachtten. Dat concludeert de onafhankelijke veiligheidsorganisatie METR na een onderzoek van elf weken binnen het bedrijf. Het rapport verscheen donderdag en zorgt voor veel onrust onder AI-veiligheidsonderzoekers, meldt The Verge. Niet alleen om wat erin staat, maar vooral om wat Anthropic eruit heeft gehaald.

Twee jaar vooruitgang in één jaar

De kernbevinding: de modellen van Anthropic verbeteren ongeveer twee keer zo snel als een jaar geleden. Op basis van testscores schrijft METR dat Anthropic het afgelopen jaar ruwweg twee jaar aan historische vooruitgang heeft geboekt. De onderzoekers zeggen er zeker van te zijn dat dit niet simpelweg komt door meer rekenkracht. Het grootste deel van de versnelling komt volgens METR door AI zelf, en dat aandeel groeit.

Medewerkers die met het sterkste interne model werken, zeggen gemiddeld zo'n twaalf keer zo productief te zijn als zonder AI. Dat is een eigen inschatting van het personeel, verzameld via interviews en informele peilingen, geen meting. Het is wel ongeveer het dubbele van wat ze een paar maanden eerder zeiden.

Voorlopig gaat het vooral om AI die menselijke onderzoekers helpt, niet om AI die zelfstandig onderzoek doet. METR ziet wel "tekenen" dat volledig autonome bijdragen snel belangrijker worden, en vond geen duidelijke rem die nog snellere versnelling zou tegenhouden.

Drie onaangekondigde modellen

Een deel van de winst komt van modellen die het publiek nog niet kent. Volgens het rapport heeft Anthropic het afgelopen halfjaar drie modellen klaar getraind die nog niet zijn uitgebracht. METR kreeg alleen codenamen (Model 2, 3 en 4), die volgens de onderzoekers niet de interne namen zijn. Ze werden achtereenvolgens in juli, augustus-september en september-oktober afgerond.

Het meeste bewijs is weggelakt

Anthropic gaf METR meer vertrouwelijke informatie dan vooraf was afgesproken, schrijven de onderzoekers zelf. Maar het bedrijf mocht ook passages uit het eindrapport schrappen, en deed dat ruim. METR leverde een rapport van zo'n honderd pagina's in; volgens de organisatie heeft Anthropic voor de openbare versie "het grootste deel" van het meest veelzeggende bewijs weggelakt. Enkele verzoeken om data werden geweigerd. Daardoor moet het publiek volgens METR veel meer op het oordeel van METR vertrouwen dan wenselijk is.

Anthropic-medeoprichter Sam McCandlish erkent op X dat de schrappingen controle lastiger maken. Volgens hem is het delen van wat de versnelling precies veroorzaakt commercieel gevoelig en zou het anderen een "routekaart" geven om sneller te gaan. Anthropic wil de komende weken een eigen rapport publiceren over het tempo van AI-vooruitgang en nieuwe veiligheidsstappen. Vragen van The Verge beantwoordde het bedrijf niet.

Opvallend is ook dat Anthropic een deel van het onderzoek liet schrappen: METR zou nagaan hoeveel rekenkracht naar veiligheidswerk gaat en hoeveel naar betere modellen. Dat onderdeel wil Anthropic "later" weer oppakken.

Kritiek: veiligheid prediken, maar zelf gas geven

Juist omdat Anthropic zich graag presenteert als het voorzichtige AI-lab, is de reactie fel. Daniel Kokotajlo, ex-OpenAI-onderzoeker en een van de makers van het toekomstscenario AI 2027, beschuldigt het bedrijf ervan "roekeloos met onze levens te gokken". Marius Hobbhahn van Apollo Research zegt dat het tempo nog hoger ligt dan dat scenario voorspelde. Een Democratisch parlementslid uit de staat New York riep het Congres op om zogeheten recursieve zelfverbetering, AI die zelfstandig sterkere opvolgers bouwt, nog dit jaar te verbieden.

Het rapport staat los van het programma waarbij METR-onderzoekers toegang als eigen medewerkers kregen, dat Anthropic in oktober aankondigde. Die ruimere toegang gold voor dit onderzoek dus niet. En het komt op een gevoelig moment: Anthropic bereidt een beursgang voor, terwijl de AI-uitgaven van bedrijven volgens nieuwe cijfers stagneren.

Wie controleert de labs?

Voor Europa raakt dit aan een open vraag uit de AI-verordening: hoe houd je toezicht op de krachtigste modellen als het bewijs bij de bedrijven zelf blijft? De AI Act verplicht makers van zogeheten AI-modellen voor algemene doeleinden met systeemrisico tot evaluaties en het melden van risico's aan het Europese AI-bureau. Maar dit rapport laat zien hoeveel een bedrijf zelf bepaalt wat buitenstaanders te zien krijgen. Onderzoeker Brianna Rosen van het Institute for AI Policy and Strategy vindt dat zorgwekkend: overheden moeten het bewijs zelf kunnen beoordelen, zegt ze tegen The Verge. Dat het kabinet deze week een Nederlands AI-veiligheidsinstituut wil onderzoeken, krijgt zo extra betekenis.