StateBench: topmodellen raken het spoor bijster in lange teksten
Een nieuwe test van Ai2 meet hoe goed AI wijzigingen bijhoudt in lange documenten. Ook Claude, Gemini en GPT haken af bij lange ketens van wijzigingen.
Wie een lang contract, een logboek of een stuk code aan een AI-model geeft, gaat ervan uit dat het model onthoudt wat er onderweg verandert. Het Allen Institute for AI (Ai2) heeft daar nu een aparte test voor gemaakt: StateBench. De uitkomst is niet geruststellend. Bij eenvoudige wijzigingen gaat het goed, maar zodra veranderingen op elkaar voortbouwen, zakken ook de bekendste modellen flink weg.
Vier niveaus van bijhouden
De onderzoekers delen het probleem op in vier moeilijkheidsgraden. Ze leggen het uit met variabelen in code, maar het werkt net zo in een verhaal of een spreadsheet:
- Vaste waarden: iets wordt één keer vastgelegd en verandert nooit, zoals een geboortedatum.
- Overschrijven: alleen de laatste waarde telt, zoals de stand van een thermostaat.
- Optellen: elke wijziging bouwt voort op de vorige, zoals een lopende score.
- Verwijzen: de ene waarde neemt die van een andere over. Denk aan een goochelaar die bekers met een balletje steeds van plek wisselt.
Bij de laatste twee niveaus moet een model elke stap goed hebben. Eén gemiste wijziging en het eindantwoord klopt niet meer.
Ook Opus, Gemini en GPT haken af
Ai2 testte vier commerciële topmodellen: Gemini 3.8 Flash, Claude Opus 5.5 en GPT-6 Sol en Luna. Op de twee makkelijke niveaus scoorden ze allemaal goed. Op de twee moeilijke niveaus daalde de nauwkeurigheid sterk naarmate de invoer langer werd. Op de langste opgaven van het zwaarste niveau bleef er volgens Ai2 hooguit 13 procent goede antwoorden over.
Daarnaast trainde het team kleine modellen van 275 miljoen parameters direct op de taak. Daaruit blijkt een verschil tussen bouwtypes. Gewone transformers, de basis van vrijwel alle bekende chatbots, leerden het zwaarste niveau nooit, ook niet met gerichte training. Zogeheten recurrente en hybride modellen, die een lopend geheugen meenemen, deden het veel beter en hielden het vol bij reeksen tot ver buiten hun trainingslengte.
Wat je ermee moet
De test zegt niets over hoe goed een chatbot je mail samenvat. Hij laat wel zien waar het risico zit bij taken waar AI nu steeds vaker voor wordt ingezet: lange agent-sessies, het doorlopen van wijzigingen in een dossier of het volgen van een boekhouding regel voor regel. Een model dat een lang document 'leest', houdt dus niet automatisch elke tussenstap goed bij. Controleer bij dat soort werk vooral de uitkomst van ketens van wijzigingen.
Voor modelbouwers is StateBench vooral een meetlat om nieuwe architecturen te vergelijken. Ai2, dat ook de open Olmo-modellen maakt, zet de data en code openbaar. Bij de grote AI-bedrijven groeit intussen de belangstelling voor modellen die verder kijken dan alleen de transformer. Een verwante onderzoekslijn zagen we eerder deze week, toen bleek dat taalmodellen zelfs de ruwe gewichten van neurale netwerken kunnen lezen.
Bron: StateBench: Testing how language models track state changes over long documents (Hugging Face Blog). Met AI geschreven; zie ons redactiebeleid.