Google heeft een nieuwe benchmark uitgebracht: Multimodal Knowledge Agent. Die meet hoe goed AI-agents taken afronden waarbij ze veel met beeld moeten werken, zoals documenten, pagina's en spreadsheets die ze zelf moeten openen en bekijken. Dat staat in een blogbericht van Google.

Hoe de test werkt

De benchmark draait bij Artificial Analysis, een onafhankelijke partij die AI-modellen met elkaar vergelijkt. Daar kun je ook eigen modellen laten testen. Elk model krijgt dezelfde omgeving: de open-source agentsoftware Stirrup, met dezelfde gereedschappen, dezelfde afgeschermde werkruimte en hetzelfde maximum aantal beurten.

Het nakijken gebeurt automatisch door een agent die op een model van een ander bedrijf dan Google draait. Die opent elk opgeleverd bestand, bekijkt de pagina's, controleert formules in spreadsheets en legt het werk naast een beoordelingsschema van experts. Toen vakexperts zelf een deel nakeken, waren ze het volgens Google in 96 procent van de gevallen eens met de automatische beoordelaar.

  • De echte testset van 200 taken blijft geheim, zodat modellen de opgaven niet tijdens training of via een zoekmachine kunnen tegenkomen.
  • Tien voorbeeldtaken staan openbaar op Hugging Face, zodat je kunt zien hoe de opdrachten eruitzien.

Grote verschillen in werkwijze

Volgens het technische rapport van Google werken topmodellen op heel verschillende manieren. Op dezelfde taken hadden ze gemiddeld tussen de 30 en 130 beurten nodig. Google laat ook zien dat goed kunnen 'kijken' nodig is om de taken op te lossen: zonder beeldvermogen proberen modellen dat te compenseren, maar dat lukt niet.

Het eigen nieuwe topmodel Gemini 4 Carbon, sinds dinsdag breed beschikbaar, eindigt volgens Google op de tweede plaats qua kwaliteit. Het zou de taken gemiddeld zes keer goedkoper afronden dan het best scorende model. Welk model dat is, noemt Google in het blogbericht niet.

Kanttekening

Het is opvallend en ook verstandig dat Google de test bij een externe partij onderbrengt en een model van een concurrent laat nakijken. Toch blijft het een benchmark die Google zelf heeft ontworpen en waarover het zelf de eerste resultaten presenteert. Zoals bij elke nieuwe test is het afwachten hoe andere modellen scoren zodra anderen er zelf mee aan de slag gaan. Voor bedrijven die agents willen inzetten op het verwerken van rapporten, facturen of presentaties is de vraag wel relevant: kan een agent niet alleen tekst lezen, maar ook begrijpen wat er op een pagina of in een grafiek staat?