Druk je in een videogame op een toets, dan verwacht je dat er meteen iets gebeurt. Bij AI-modellen die zelf een speelbare wereld genereren, zogeheten world models, is dat nog lang niet vanzelfsprekend. Het Parijse onderzoekslab Kyutai heeft daarom CADRE uitgebracht: een familie van open video-autoencoders die de vertraging tussen jouw actie en het beeld flink moet verkleinen.

Waar zit de vertraging?

Een world model rekent niet met losse pixels, maar met een samengeperst beeld. Dat samenpersen doet een autoencoder. Veel bestaande world models lenen die van tekst-naar-videogeneratoren, die meerdere frames tegelijk in één pakketje stoppen. Handig voor een filmpje, maar lastig als je wilt sturen: elke actie moet wachten tot het hele pakketje klaar is. Bij acht frames per pakketje en 20 beelden per seconde levert dat volgens het onderzoek alleen al 400 milliseconden vertraging op. Mensen merken volgens Kyutai vanaf ongeveer 230 milliseconden dat hun eigen beweging achterloopt.

CADRE gebruikt kleinere tijdsblokken en een decoder die met één of twee stappen een beeld maakt. Kyutai meldt dat de snelste variant rond de 185 milliseconden reageert met ruim 23 beelden per seconde, op één Nvidia H100-chip. De beelden zijn wel bescheiden van formaat: 288 bij 512 pixels.

Beter, maar niet overal

Kyutai trainde hetzelfde world model van 1,2 miljard parameters op elke CADRE-variant en vergeleek de uitkomst met bekende alternatieven zoals Wan 2.2, Cosmos en LTX-2. Volgens het lab was CADRE in 42 van de 48 vergelijkingen even snel en beter. Bij het besturen van een robotarm volgde het model de opdrachten echter duidelijk slechter dan Wan 2.2, en ook Cosmos scoorde daar op beeldkwaliteit beter. Alle cijfers komen van Kyutai zelf en zijn nog niet onafhankelijk getoetst.

Het onderzoek beslaat vier omgevingen: een robotarm, mensenhanden die voorwerpen pakken, autorijden en door een huis lopen. Elk world model kent maar één zo'n omgeving. Of de aanpak ook werkt voor één algemeen model dat alles kan, laat Kyutai open.

Open, maar niet voor bedrijven

De code staat onder een vrije MIT-licentie op GitHub. De modelgewichten op Hugging Face vallen onder CC BY-NC 4.0, wat commercieel gebruik uitsluit. Wie wil proberen, kan in een browserdemo met het toetsenbord door de gegenereerde werelden bewegen. Het technische verslag staat op arXiv.

Europees lab met een eigen koers

Kyutai is een van de weinige Europese AI-labs dat vrijwel al zijn werk openbaar maakt. Vorige week bracht het nog het robotmodel REKI uit. World models zijn intussen een drukbezet terrein: grote spelers zien ze als oefenterrein voor robots en zelfrijdende auto's, omdat je daarin veilig en goedkoop kunt trainen. Juist daar telt elke milliseconde vertraging, want een robot die te laat reageert op wat hij ziet, maakt fouten.