Taalmodel leest neurale netwerken uit ruwe getallen, ook op laptop
Een nieuw paper laat GPT-6 Astra modelgewichten lezen en aanpassen. Simon Willison deed een deel na met Qwen 3.8 27B op zijn laptop, en het werkte.
Kan een taalmodel aan een lange lijst kommagetallen zien wat een ander neuraal netwerk heeft geleerd? Volgens een nieuw onderzoeksartikel wel. En blogger Simon Willison laat zien dat je daar geen duur topmodel voor nodig hebt: het open model Qwen 3.8 27B, dat op zijn eigen laptop draait, kreeg het ook voor elkaar.
Het onderzoek
Het artikel heet Sparks of Weight-Space Programming en is geschreven door Rikiya Takehi, Jayden Teoh, Alex Zhang en Omar Khattab. De onderzoekers gaven taalmodellen de ruwe gewichten van kleine neurale netwerken: de getallen waarin zo'n netwerk na training zijn kennis opslaat. Volgens de auteurs kon OpenAI's GPT-6 Astra daaruit afleiden waarvoor een netwerk getraind was, zonder het netwerk te draaien.
Ze gaan verder. Volgens het artikel schreef Astra zelf kleine spelnetwerken die beter speelden dan netwerken die op de gewone manier getraind waren. En bij het kleine model Qwen3.5-0.8B zou Astra een fout in de gewichten hebben gevonden die het model in denklussen liet vastlopen. Door 0,016 procent van de gewichten aan te passen, steeg de score op de wiskundetest MATH-500 van 7,9 naar 48,1 procent. De onderzoekers noemen dit weight-space programming: een model dat redeneert over wat elk deel van een netwerk doet, en de getallen daarop aanpast.
De proef op de laptop
Willison koos het eenvoudigste experiment uit het artikel. De onderzoekers trainden vier netwerkjes om versimpelde versies van klassieke spellen te spelen: Breakout, Pong, Pac-Man en Freeway. Een taalmodel krijgt alleen de gewichten te zien, zonder rekenmachine of code, en moet raden om welk spel het gaat.
Qwen 3.8 27B, een model van zo'n 17 GB, deed er lang over. Voor Pac-Man had het ruim 46 minuten en ruim 43.000 denkstappen nodig, voor Pong meer dan een uur. Maar het antwoord klopte bij alle drie de spellen die Willison bij het schrijven had getest, telkens met een zelfgeschatte zekerheid tussen 72 en 88 procent. Kimi K3.1 Pro, dat hij via een online dienst probeerde, raadde Breakout in bijna tien minuten.
Indrukwekkend, maar geen revolutie
Willison is enthousiast, maar remt ook af. Volgens hem haalt het artikel twee dingen door elkaar: wat een model kan met alleen de gewichten, en wat het kan als het ook code mag schrijven en uitvoeren. spaCy-maker Matthew Honnibal noemde het artikel daarom misleidend, en ontwikkelaar Sean Goedecke liet zien dat de verbetering van het Qwen-model dezelfde stappen volgt die een menselijke onderzoeker zou zetten. Willison denkt bovendien dat een ervaren mens met pen en papier de spellen ook kan herkennen, mits hij genoeg tijd neemt.
Zijn conclusie: een leuk resultaat, maar hij is 'niet klaar om te verklaren' dat broncode verleden tijd is en dat machines voortaan onbegrijpelijk aan hun eigen gewichten sleutelen.
Een kijkje in de zwarte doos
Het onderzoek raakt aan een groter vraagstuk: kunnen we begrijpen wat er in een AI-model gebeurt? In oktober stelde een onderzoeker van Goodfire al dat neuronen in taalmodellen beter te lezen zijn dan gedacht. Als modellen zelf andere modellen kunnen doorgronden en bijsturen, kan dat helpen bij veiligheidsonderzoek. Het raakt ook aan de vraag die Anthropic deze week opwierp, namelijk hoe dicht AI bij het punt komt waarop het zichzelf gaat verbeteren. Dat de proef ook lukt met een open model op een gewone laptop, maakt het onderzoek toegankelijk voor iedereen die het wil narekenen.
Bron: Qwen 3.8 27B on my laptop can interpret model weights, too (Simon Willison's Weblog). Met AI geschreven; zie ons redactiebeleid.