Een AI-agent die een lange klus uitvoert, zoals een softwarefout opsporen of urenlang op het web zoeken, bouwt een steeds langere geschiedenis op. Elke stap kost meer rekenwerk, want het model moet alles wat eerder is gebeurd blijven meenemen. Onderzoekers van de Tsinghua-universiteit en de Chinese University of Hong Kong (CUHK) hebben nu AKV vrijgegeven: software die dat geheugen slimmer opruimt. De code staat onder de open Apache-2.0-licentie op GitHub, met een bijbehorend onderzoeksartikel.

Weggooien in plaats van samenvatten

Wordt de geschiedenis te lang, dan laten de meeste agentsystemen het model nu een samenvatting maken van oudere stappen. Dat heeft een prijs. Taalmodellen bewaren tijdens het werk een tussengeheugen, de zogeheten KV-cache, met berekende gegevens over alle eerdere tekst. Verander je iets aan het begin van de tekst, dan is alles wat daarna komt ongeldig en moet het opnieuw worden berekend. Daarom vatten systemen vaak pas laat en rigoureus samen, waardoor details uit het midden van een taak verloren kunnen gaan.

AKV pakt het anders aan. De tekst blijft zoals hij is, maar de software haalt geselecteerde stukken uit dat tussengeheugen, zodat het model er niet meer naar kijkt. Wat overblijft, wordt hergebruikt zonder herberekening. Een tweede bewerking schuift de overgebleven stukken weer netjes aaneen. Het model kan het opruimen zelfs zelf aansturen via een speciale tool.

Goedkoper en iets beter

De onderzoekers testten AKV met drie open modellen, waaronder GPT-OSS-120B van OpenAI en MiniMax-M2.7, op vier bekende tests voor zoek- en programmeeragents. Vergeleken met de gangbare aanpak van samenvatten daalden de kosten gemiddeld met 27,7 procent, terwijl de score met 1,7 punt steeg. Bij GPT-OSS-120B zakte de gemiddelde prijs per taak van 11,2 naar 7,3 dollarcent. Op een programmeertest met 80 lange taken bleef de traagste groep antwoorden bij zestien gelijktijdige gebruikers onder de 31 seconden, tegenover bijna 230 seconden zonder AKV.

Het werkt niet overal even goed. MiniMax-M2.7 scoorde op een webzoektest 3,4 punten lager dan met tekstsamenvattingen. En toen dat model zelf mocht opruimen, werd het juist iets duurder. De kostencijfers zijn bovendien schattingen op basis van gepubliceerde API-tarieven, geen echte rekeningen.

Voor wie is dit?

AKV is geen app maar serversoftware, gebouwd op het populaire open project SGLang. Je hebt Nvidia-videokaarten nodig: de snelle start draait GPT-OSS-120B op twee GPU's. Voorlopig werkt het alleen met tekstmodellen uit de families Qwen, GPT-OSS en MiniMax-M2. Het is dus vooral interessant voor bedrijven en onderzoeksgroepen die zelf open modellen draaien, iets wat ook steeds meer Nederlandse bedrijven doen om kosten te drukken en data in eigen hand te houden.

Het project past in een bredere zoektocht naar zuiniger omgaan met lange teksten. Zondag lieten onderzoekers van Stanford en Berkeley met TokenGate al zien hoe een model lange documenten sneller kan inlezen door onbelangrijke woorden over te slaan. Waar TokenGate het begin van een taak versnelt, richt AKV zich op het lange vervolg.