# Ex-OpenAI-onderzoeker: neuronen in taalmodellen zijn veel beter te lezen dan gedacht

- Rubriek: Veiligheid
- Gepubliceerd: 2026-10-18T02:00:00+02:00
- URL: https://aiweekblad.nl/artikel/ex-openai-onderzoeker-neuronen-in-taalmodellen-zijn-veel-beter-te-lezen-dan-gedacht
- Bron: Het Laatste AI Nieuws, [Zwarte doos van AI toch leesbaar? Wat '90 procent' echt betekent](https://www.hetlaatsteainieuws.nl/achtergrond/zwarte-doos-ai-neuronen-leesbaar/)

> Nick Cammarata, nu bij Goodfire, stelt dat de meeste neuronen in een taalmodel één herkenbare taak hebben. Zijn eerste telling bij het open model Qwen3-32B komt rond de 90 procent uit, maar het onderzoek is nog voorlopig en collega's zijn verdeeld.

Taalmodellen gelden al jaren als een zwarte doos: ze werken, maar niemand kan goed aanwijzen hoe. Onderzoeker **Nick Cammarata** zet daar nu een opvallende claim tegenover. In een essay van 15 oktober schrijft hij dat neurale netwerken al veel ordelijker zijn dan de meeste onderzoekers aannemen. Cammarata werkte eerder bij OpenAI aan onderzoek naar wat er binnenin AI-modellen gebeurt en zit nu bij het Amerikaanse bedrijf Goodfire, dat zich op dat vakgebied richt.

## Van rommel naar orde

Een taalmodel bestaat uit enorm veel rekeneenheden, neuronen genoemd. De gangbare gedachte was dat één neuron vaak op allerlei ongerelateerde dingen tegelijk reageert. Onderzoekers verklaarden dat met _superpositie_: een model zou meer begrippen opslaan dan het neuronen heeft, door ze over dezelfde neuronen te verspreiden. Om dat te ontwarren, bouwen ze extra hulpmodellen.

Cammarata vindt dat die verklaring te snel is aangenomen. Volgens hem lijkt een neuron vaak alleen maar rommelig. Hij noemt een bekend voorbeeld van een neuron dat zowel op katten als op auto's leek te reageren, maar volgens hem eigenlijk een vorm herkent. Vaak begint een neuron bij één patroon en breidt het zich uit naar verwante patronen. Dat is iets anders dan willekeurig propwerk.

Tegenover [MIT Technology Review](https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/) vertelt Cammarata dat hij zelf lang pessimistisch was. Hij zegt het afgelopen jaar bijna dagelijks urenlang naar neuronen te hebben gekeken, geholpen door eigen tools en teams van AI-agents. "We keken er verkeerd naar", zegt hij.

## Waar de 90 procent op slaat

De koppen dat 90 procent van de neuronen één taak heeft, vragen om nuance. Cammarata deed een voorlopige controle bij **Qwen3-32B**, een open taalmodel van Alibaba. Hij keek daarbij apart naar de positieve en de negatieve kant van elk neuron, die elk iets anders kunnen betekenen. Hij noemt zelf de beperkingen: de uitkomst hangt af van hoe je zwakke signalen meetelt, welke lagen je bekijkt en wat je als 'één taak' rekent. Een deel van de steekproeven was klein, en hij presenteert het stuk als een informeel essay en werkhypothese. Een technisch paper moet nog verschijnen.

## Verdeelde reacties

Op X liepen de reacties uiteen. Sommigen spraken van een doorbraak. Neel Nanda, die bij Google DeepMind het team voor dit soort onderzoek leidt, noemde het werk interessant maar geen grote verandering van het totaalbeeld. Hij wijst erop dat juist in de zwakke signalen veel kennis verspreid kan zitten. Andere onderzoekers willen eerst het paper zien, en vinden dat een verklaring pas telt als ze het gedrag van een neuron goed voorspelt.

Ook **Chris Potts** van Stanford University, die een team leidt dat onderzoekt hoe taalmodellen werken, is kritisch. Hij noemt wat Cammarata deelde tegenover MIT Technology Review weinig meer dan een vermoeden, dat volgens hem de problemen in het vakgebied niet makkelijker maakt.

## Wat betekent dit voor jou?

Voorlopig niets: je chatbot werkt morgen precies hetzelfde. Op langere termijn is het wel belangrijk. Als onderzoekers echt kunnen zien wat er in een model gebeurt, kunnen ze beter controleren of het iets verbergt of onverwacht gedrag vertoont. Dat maakt veiligheidstests sterker. Maar een leesbaar neuron is nog geen begrepen model. Of Cammarata gelijk heeft, hangt af van het paper dat nog komt en van de vraag of andere teams zijn tellingen kunnen herhalen.

_Met AI geschreven door AIweekblad op basis van [Zwarte doos van AI toch leesbaar? Wat '90 procent' echt betekent](https://www.hetlaatsteainieuws.nl/achtergrond/zwarte-doos-ai-neuronen-leesbaar/) (Het Laatste AI Nieuws). Redactiebeleid: https://aiweekblad.nl/redactiebeleid_