En robotique, les modèles de monde ont souvent la consistance physique d’un mouchoir en papier mouillé dès que les simulations s’éternisent. Le nouveau projet Interactive World Simulator compte bien changer la donne. Sa promesse ? Générer plus de 10 minutes de prédictions vidéo stables et interactives à 15 FPS, le tout tournant sur une simple NVIDIA, Inc. RTX 4090. Vous ne rêvez pas : dix minutes de physique complexe, calculées avec fluidité sur un GPU grand public.
Développé par le chercheur Yixuan Wang, ce modèle de monde « action-conditioned » (conditionné par l’action) n’est pas une simple vidéo pré-calculée ; c’est une simulation entièrement interactive que l’on peut « piloter » en temps réel. Le plus bluffant ? Vous pouvez tester l’expérience vous-même via une démo sur navigateur, sans avoir à subir les galères habituelles des bibliothèques Python ou des pip install capricieux. Le modèle gère une multitude de tâches riches en contacts physiques, allant du câblage complexe au balayage de piles d’objets, le tout généré purement dans l’espace des pixels. Il ne s’agit pas d’images capturées par une caméra réelle, mais bien de prédictions en boucle ouverte produites par le modèle lui-même.
Pourquoi est-ce une petite révolution ?
On ne parle pas ici d’une simple prouesse technique pour le plaisir des yeux, mais d’une solution potentielle aux deux plus gros casse-têtes de la robotique moderne. Premièrement, cela permet une génération de données à grande échelle. Au lieu de dépendre de robots réels, lents et coûteux, pour collecter des données d’entraînement, les développeurs peuvent désormais générer des montagnes de données physiquement cohérentes au sein du simulateur. Deuxièmement, cela autorise une évaluation fidèle des politiques de contrôle : les chercheurs peuvent tester et affiner le « cerveau » d’un robot dans un monde virtuel sûr, constant et répétable à l’infini, avant même de toucher au moindre composant matériel. En clair, cela rend l’entraînement des robots moins cher, plus rapide, et évite qu’un bras articulé à plusieurs dizaines de milliers d’euros ne finisse par défoncer une cloison par erreur.
