Een zelfrijdende auto leren omgaan met sneeuw, nacht of een kapot verkeerslicht gaat sneller als je die situaties niet allemaal op de weg hoeft op te zoeken. Daarvoor heeft Nvidia vier nieuwe modellen toegevoegd aan zijn wereldmodelfamilie Cosmos 3. Ze genereren nagebootste waarnemingen van camera's en sensoren, en reageren op wat een auto of robot doet.

Vier modellen, elk met een eigen taak

Alle vier zijn afgeleid van Cosmos 3 Nano en hebben 16 miljard trainbare parameters:

  • Transfer-Auto maakt synthetische rijdata, met video van tot 11 camera's tegelijk en bijpassende lidar. Weer, licht en tijdstip pas je aan met een tekstopdracht.
  • Sim-Auto is een snellere variant die beelden en lidar stukje voor stukje genereert, zodat je er een rijsimulatie mee kunt draaien die reageert op stuurinput.
  • Sim-Transfer zet de uitvoer van een natuurkundige simulator, zoals diepte en objectgrenzen, om in fotorealistische video.
  • Sim-Bimanual voorspelt hoe een omgeving verandert als een robot met twee armen iets doet, bijvoorbeeld bestuurd met een joystick.

Open, maar niet voor thuis

De gewichten zijn te downloaden via Hugging Face onder de licentie OpenMDW 1.1, die commercieel en niet-commercieel gebruik toestaat. Nvidia levert ook recepten mee om de modellen verder te trainen op eigen data, bijvoorbeeld voor een andere opstelling van camera's. Je hebt er wel een Linux-systeem met een Nvidia-videokaart voor nodig; de voorbeeldopstelling is getest op een GB200, een van Nvidia's zwaarste datacenterchips.

Nvidia is zelf voorzichtig over wat de modellen kunnen. Het bedrijf schrijft dat nog moet worden gemeten in hoeverre zulke gesimuleerde werelden echt geschikt zijn om rij- of robotgedrag te trainen en te testen. Kleine fouten in een gegenereerd beeld kunnen zich in volgende beelden opstapelen.

Simulatie als goedkope oefenplaats

Cosmos is Nvidia's manier om zijn chips onmisbaar te maken voor robotica en zelfrijdende auto's, net zoals ze dat al zijn voor taalmodellen. Eerder dook de familie op in een model dat een galblaasoperatie nabootst. Voor Europese autobouwers en robotbedrijven, die onder strenge veiligheids- en privacyregels werken, kan synthetische data aantrekkelijk zijn: je hoeft dan minder echte straatbeelden met voorbijgangers te verzamelen.