Een AI-agent is meer dan het taalmodel dat erachter zit. Om het model heen staat een hele constructie: de instructies die het krijgt, de tools die het mag gebruiken, een geheugen, vaardigheden en afspraken over hoe taken worden verdeeld. Onderzoekers noemen dat geheel de harness, het tuig waarmee het model aan het werk wordt gezet. Onderzoekers van Google Cloud AI Research hebben nu Harness² vrijgegeven, een raamwerk dat dat tuig automatisch bijstelt terwijl de agent een taak uitvoert.

Wat doet Harness²?

Het model zelf blijft ongemoeid: er wordt niets bijgetraind. Harness² past alleen de onderdelen eromheen aan. Het gaat om acht bestanden die de agent bepalen: de systeemprompt, de vangrails, het geheugen, de uitleg over tools, hulpagents, vaardigheden, scripts en plug-ins.

Het verbeteren gebeurt op twee niveaus:

  • Per taak stelt het systeem een paar aangepaste versies van de harness voor, laat die op dezelfde taak los en vergelijkt hoe de agent zich gedraagt. Alleen aanpassingen die aantoonbaar iets opleveren, worden samengevoegd tot een verbeterde versie.
  • Over taken heen bewaart het systeem wat werkte en welke lessen het heeft geleerd, zodat het bij een volgende, onbekende taak gerichter kan bijsturen.

Bijzonder is dat dit volgens de makers werkt zonder goedgekeurde antwoorden of tests die zeggen of een uitkomst klopt. Veel bestaande methoden voor zelfverbetering hebben dat wel nodig. Harness² is juist bedoeld voor situaties waarin een agent taken krijgt die vooraf niemand heeft voorzien.

Wat levert het op?

De onderzoekers testten het raamwerk met de modellen GLM-5 en Gemini 3.5 Flash, elk in twee verschillende agentomgevingen (OpenCode en Codex), op drie benchmarks met professionele taken: WorkBuddy-Bench, JobBench en de juridische test LAB. Volgens hun eigen resultaten verbeterde één verbeterstap alle vier combinaties op alle drie de tests.

  • De grootste winst zat bij GLM-5 in OpenCode op WorkBuddy-Bench: van 64,2 naar 75,7 punten.
  • De kleinste winst was 1,2 punten, voor GLM-5 in Codex op JobBench.
  • Zwakkere combinaties gingen er het meest op vooruit; sterkere setups wonnen minder.

Het gaat om cijfers uit het eigen onderzoek van de makers, gepubliceerd in een paper op arXiv. Onafhankelijke tests zijn er nog niet.

Wat betekent dit voor jou?

Voor gewone gebruikers verandert er voorlopig niets: Harness² is een onderzoekstool voor ontwikkelaars. Het idee erachter is wel interessant. Het laat zien dat je een AI-agent beter kunt maken door slimmer om het model heen te bouwen, in plaats van te wachten op een nieuw en duurder model.

Er zitten ook nadelen aan. Elke taak wordt meerdere keren uitgevoerd om varianten te vergelijken, en dat kost extra rekentijd en dus geld. Ook waarschuwt de projectpagina op GitHub dat de agent standaard onbeperkt internettoegang heeft en dat de Codex-omgeving zonder afscherming draait. Wie ermee aan de slag gaat, moet dat zelf afschermen.

Beschikbaarheid

Harness² staat als versie 0.1.0 op GitHub onder de Apache 2.0-licentie. Het draait op Linux met Python 3.12; voor tests met echte modellen zijn onder meer Node.js en een Google Cloud-project met Vertex AI nodig. Er is ook een lokale demo die zonder modeltoegang werkt. Google benadrukt dat het geen officieel ondersteund Google-product is.