Hoe leer je een AI-model iets bij als het maar zelden het goede antwoord vindt? Onderzoekers van Perplexity en Nvidia komen met een nieuwe aanpak voor die laatste trainingsfase, de zogeheten post-training. Hun methode heet JOLT, kort voor Joint On-policy Learning and Teaching. Het idee: één en hetzelfde model speelt twee rollen, leraar en leerling, en beide rollen worden tegelijk getraind.

Het probleem met beloningen

Veel modellen worden na hun basistraining bijgeschaafd met versterkend leren. Het model probeert een taak, krijgt een beloning als het goed gaat en past zich daarop aan. Een veelgebruikte methode heet GRPO. Het nadeel: het model krijgt per poging maar één signaal, goed of fout, en weet niet welk deel van zijn antwoord hielp. Bij lange taken, zoals een agent die zelf een computer bedient, lukt een poging bovendien zelden. Dan leert het model traag.

Een bekende oplossing is een sterker model als leraar laten meekijken, dat per woord feedback geeft. Maar een vaste leraar kan volgens de onderzoekers te ver voor de leerling uit lopen, waardoor zijn feedback onbruikbaar wordt.

Leraar met spiekbriefje

Bij JOLT krijgt het model in de leraarrol extra informatie die de leerling niet ziet, zoals het juiste antwoord, een uitgewerkte oplossing of een samenvatting van eerdere pogingen. Met dat spiekbriefje geeft de leraar per woord feedback op de pogingen van de leerling. Het verschil met eerdere methodes is dat ook de leraar wordt bijgestuurd, en wel zo dat hij dicht bij het niveau van de leerling blijft. Een variant, JOLT+, beloont de leerling daarnaast voor zijn eigen goede antwoorden.

De resultaten

Het team testte de methode op kleinere open modellen van Alibaba (Qwen3) en DeepSeek. Een paar uitkomsten:

  • Op een wiskundetest (MATH) haalde JOLT dezelfde score als GRPO met ongeveer 6,5 keer minder verwerkte trainingstekst.
  • In AppWorld, een test waarin een agent taken in apps uitvoert, scoorde JOLT+ 72,1 procent tegen 62,2 procent voor GRPO.
  • JOLT+ had in alle geteste situaties de hoogste gemiddelde score.

Er zijn wel kanttekeningen. Alle cijfers komen uit de eigen proeven van de onderzoekers. Zonder de extra beloning voor de leerling deed JOLT het in AppWorld juist slechter dan GRPO. De spreiding in die test is groot, en op de lastige Terminal-Bench bleven alle methodes onder de 11 procent. De code is nog niet vrijgegeven, dus anderen kunnen de resultaten nog niet nadoen. Het wetenschappelijke artikel staat wel online.

Waarom dit interessant is

Je merkt hier als gebruiker niet direct iets van. Toch gaat het om een van de duurste stappen in het maken van AI-modellen. Als dezelfde kwaliteit met een fractie van de rekenkracht haalbaar is, kunnen ook kleinere bedrijven en universiteiten, waaronder Europese, beter meekomen met het bijtrainen van open modellen. Perplexity maakt de laatste tijd vaker onderdelen van zijn techniek openbaar: vorige week gaf het bedrijf al SPACE vrij, de afgeschermde werkruimte waarin zijn agents draaien.