Wie een lang contract, een complete codebase of een stapel rapporten aan een taalmodel voert, wacht vaak even voordat het eerste woord van het antwoord verschijnt. Het model moet eerst de hele tekst verwerken, en dat kost bij lange invoer onevenredig veel rekenwerk. Onderzoekers van Stanford en UC Berkeley presenteren nu TokenGate: een toevoeging die een bestaand model leert om eerst te schiften welke stukjes tekst er echt toe doen.

Skimmen in plaats van alles lezen

Een taalmodel knipt tekst op in tokens, kleine stukjes van woorden. Normaal gaat elk token door elke laag van het model, en de kosten van de aandachtsberekening groeien kwadratisch met de lengte van de tekst. TokenGate grijpt halverwege in. De eerste lagen lezen nog alles. Daarna geeft een klein extra netwerkje elk token een score, en alleen de hoogst scorende tokens gaan door naar de rest van het model. De vraag van de gebruiker zelf wordt nooit weggefilterd, alleen het meegegeven document.

Het lastige is dat zo'n harde selectie zich normaal niet laat trainen. De onderzoekers lenen daarvoor een truc uit mixture-of-experts-modellen, waar ook een 'router' bepaalt welk deel van het model aan de slag gaat. Daardoor kan de filter samen met een kleine LoRA-aanpassing gewoon worden bijgetraind op een bestaand model.

Wat het oplevert

De onderzoekers testten TokenGate op de kleine opensourcemodellen Qwen3-1.7B en Qwen3.5-2B, met teksten tot 128.000 tokens. Volgens hun eigen metingen:

  • verschijnt het eerste antwoordtoken 1,4 tot 11,3 keer sneller dan zonder filter;
  • daalt het geheugengebruik tijdens het inlezen met een factor 1,5 tot 3,4;
  • loopt de versnelling op tot 13 keer bij de allerlangste teksten;
  • blijft de methode sneller dan zes andere bekende technieken die hetzelfde proberen.

De claim 'zonder verlies aan nauwkeurigheid' verdient wel een kanttekening. Bij een van de taken, vragen beantwoorden over meerdere Wikipedia-artikelen, rapporteren de onderzoekers de snelheidswinst bij 95 procent van de oorspronkelijke nauwkeurigheid. En op sommige taken blijft de winst steken op 1,4 keer.

Geen kant-en-klare knop

TokenGate werkt niet zomaar op elk model. Per model en per soort taak moet een filter worden getraind; de onderzoekers leveren checkpoints voor vijf taken op Qwen3-1.7B en één voor Qwen3.5-2B. Alle tijden zijn gemeten op één A100-chip met één verzoek tegelijk, wat iets anders is dan een drukbezochte chatdienst. De code staat onder een Apache-2.0-licentie op GitHub en het onderzoeksartikel staat op arXiv. Een kant-en-klare versie voor thuisgebruik, bijvoorbeeld in GGUF-formaat, is er nog niet.

Kleinere modellen, langere documenten

Het onderzoek past in een bredere beweging om AI zuiniger te maken in plaats van alleen groter. Eerder deze week schreven we over Nvidia's Nemotron Bolt, dat een spraakagent in 4 GB geheugen laat draaien. Voor Nederlandse organisaties die liever geen gevoelige documenten naar een Amerikaanse clouddienst sturen, is dat relevant: hoe minder geheugen en rekenkracht een model nodig heeft om lange stukken te lezen, hoe haalbaarder het wordt om dat op eigen hardware te doen. Het blijft wel een onderzoeksresultaat; of de techniek ook in grotere, commerciële modellen terechtkomt, is nog onbekend.