Robots die de was vouwen of onderdelen sorteren zien er indrukwekkend uit in demovideo's, maar die laten zelden zien wat een robot werkelijk heeft geleerd. Het Allen Institute for AI (Ai2), een Amerikaans non-profit onderzoeksinstituut, wil dat veranderen met ToyBlocks: een open simulatieomgeving met één robotarm en een tafel vol houten blokken.

Bewust simpel

Het idee lijkt op een petrischaal in de biologie: een kleine, gecontroleerde omgeving waarin je één ding tegelijk kunt veranderen en het effect meten. De blokken hebben letters en plaatjes op hun zijvlakken, zodat een robot ze niet alleen moet stapelen, maar ook moet zoeken, draaien en sorteren. Soms moet de arm een blok eerst omdraaien om te zien welke letter erop staat.

ToyBlocks maakt zelf trainingsdemonstraties aan, zonder dat een mens de robot op afstand hoeft te besturen. Volgens Ai2 draait dat op één grafische kaart tot 24 keer sneller dan in het echt. De eerste dataset bevat ruim 85.000 langere demonstraties, goed voor bijna 1.600 uur robotbewegingen.

Wat de eerste tests laten zien

  • Populaire robotmodellen generaliseren slecht. Zogeheten vision-language-action-modellen, die beeld en taal omzetten in bewegingen, hadden volgens Ai2 moeite met taken op plekken of in combinaties die ze niet in training zagen, ondanks grootschalige voortraining.
  • Een AI-agent kan de robot aansturen. Ai2 liet Claude Opus 5.5 via MCP, een standaard om AI aan tools te koppelen, de arm bedienen. Bij een spelopdracht met letterblokken loste de agent 63 procent correct op of zag goed dat de opdracht onmogelijk was. Fouten kwamen vooral door letters die op elkaar lijken of een verkeerd gedraaide letter.
  • Van simulatie naar echt werkt redelijk. Een model dat alleen in ToyBlocks was getraind, voerde losse handelingen op een echte robotarm ongeveer even goed uit als in de simulatie (rond 80 procent). Volledige spelopdrachten lukten in de echte wereld in 15 van de 30 pogingen. Ai2 zegt zelf dat meer proeven nodig zijn.

Open voor iedereen

Ai2 geeft de simulatie, de generatoren voor taken en demonstraties, twee getrainde modellen en de code voor training en evaluatie vrij. Dat is waardevol voor universiteiten en kleinere labs, ook in Nederland, die geen budget hebben voor duizenden uren handmatig robotwerk. Een tweede, grotere release staat over een paar weken gepland, met meer vaardigheden en ook tweearmige robots in het vooruitzicht.

Gesimuleerde werelden voor robots zijn een drukbezet terrein. Nvidia bracht deze week nog vier open modellen uit die rijden en robots simuleren, en startup Physicl haalde 10 miljoen dollar op voor nepwerelden waarin robots leren.