Créer des mondes avec l’IA

Ouvrir Spell

Spell est conçu pour générer des scènes 3D entières, ou « mondes », à partir d’une image, en quelques minutes seulement. Les mondes restent cohérents avec l’image de départ et sont représentés sous forme de volume, rendu en Gaussian Splatting (ou avec d’autres méthodes, comme les NeRF).

Fonctionnalités

Spell est fondamentalement un modèle de diffusion capable de générer des mondes 3D avec une cohérence multivue réaliste dans un large éventail de catégories : personnes, objets, environnements, personnages 3D et plus encore.

Le modèle peut rendre des images d’un sujet sous plusieurs angles avec une grande précision et beaucoup de détails, et générer des trajectoires de caméra contrôlées, tout en restant cohérent avec la scène 3D.

Il sait aussi simuler visuellement des propriétés physiques des matériaux, comme les reflets, les réfractions et la rugosité des surfaces, ainsi que certaines propriétés de la caméra comme la profondeur de champ, et même les intersections entre la caméra et les objets quand on essaie de traverser une surface.

Spell privilégie la cohérence physique et cherche à rester ancré dans la réalité en simulant les intersections de la caméra avec les objets, plutôt que d’interpoler ou de transformer l’image pour préserver la continuité visuelle. Exemple : si la caméra entre dans un mur, Spell simule une véritable intersection avec le mur au lieu de transformer le mur en autre chose.

Nous avons constaté que le modèle extrapole très bien ses connaissances d’une catégorie à l’autre, et donne parfois de bons résultats même dans des situations très éloignées de la distribution des données d’origine.

Il reste cependant une marge de progression importante en matière de qualité et de cohérence, et nous y travaillons déjà. Notre priorité initiale était de trouver la meilleure approche pour entraîner le modèle et obtenir une cohérence multi-angles sur un large ensemble de catégories.

Entraînement

Spell a été entraîné principalement sur des données réelles (capturées dans la vie réelle), complétées par des données synthétiques (données 3D rendues numériquement).

Pour les données réelles, nous avons constitué notre propre jeu de données, très vaste, en capturant manuellement des données du monde réel sur une longue période, dans différents pays du monde.

Pour les données synthétiques, nous avons rendu des objets 3D avec plusieurs techniques ; dans certains cas, nous avons développé nos propres pipelines de rendu et utilisé des outils internes conçus lors du développement de l’éditeur temps réel de Spline. Nous avons aussi acquis sous licence des modèles 3D auprès d’une marketplace 3D de confiance, en nous assurant qu’ils étaient autorisés pour l’entraînement de modèles de ML.

Nous n’avons utilisé aucune donnée des utilisateurs de Spline pour l’entraînement.

Volumes

Pour l’instant, les sorties ou exports finaux de Spell peuvent être une vidéo, une séquence d’images ou un volume (Gaussian Splatting).

Mais Spell ne dépend d’aucune technique de rendu volumique particulière, et il est aussi possible de convertir la représentation volumique interne en maillage avec n’importe quelle technique de reconstruction (ou avec un modèle de reconstruction).

Une nouvelle ère pour la 3D

Nous pensons que c’est un grand pas vers une nouvelle ère du graphisme portée par l’IA, avec un contrôle fin du résultat et de l’interactivité. C’est la première version du modèle, et nous nous attendons à ce que la qualité comme la cohérence s’améliorent tout au long de l’année.

L’entraînement de Spell se poursuit, et nous prévoyons de publier régulièrement de nouveaux checkpoints du modèle.

Nous avons hâte de voir ce que vous allez créer avec !

– L’équipe Spline