Vi skapar AI-världar

Öppna Spell

Spell är skapad för att generera hela 3D-scener, eller ”världar”, från en bild på bara några minuter. Världarna stämmer överens med ursprungsbilden och representeras som en volym som kan renderas med Gaussian Splatting (eller andra metoder, som NeRF).

Funktioner

I grunden är Spell en sorts diffusionsmodell som kan generera 3D-världar med realistisk konsekvens mellan olika vinklar, inom en lång rad kategorier: människor, föremål, miljöer, 3D-karaktärer med mera.

Modellen kan rendera bilder av ett motiv från flera vinklar med hög precision och detaljrikedom, och generera styrda kamerabanor – hela tiden i överensstämmelse med 3D-scenen.

Den kan också visuellt simulera fysiska materialegenskaper som reflektioner, ljusbrytning och ytjämnhet, vissa kameraegenskaper som skärpedjup, och till och med att kameran skär genom objekt när den försöker ta sig in i ytor.

Spell prioriterar fysisk konsekvens och strävar efter att hålla sig förankrad i verkligheten genom att simulera hur kameran skär genom objekt, i stället för att interpolera eller morfa för att bevara det visuella flödet. Exempel: om kameran hamnar inne i en vägg simulerar den en verklig skärning genom väggen, i stället för att förvandla väggen till något annat.

Vi har sett att modellen är mycket bra på att överföra kunskap mellan kategorier, och i vissa fall ger den bra resultat även i situationer långt ifrån den ursprungliga datafördelningen.

Det finns dock stort utrymme för förbättringar när det gäller kvalitet och konsekvens, och vi arbetar redan med det. Vårt första fokus var att hitta det bästa sättet att träna modellen och att nå konsekvens mellan olika vinklar för ett brett spektrum av kategorier.

Träning

Spell har tränats på en kombination av främst verklig data (insamlad i verkligheten), kompletterad med syntetisk data (digitalt renderad 3D-data).

För den verkliga datan byggde vi ett eget omfattande dataset genom att manuellt samla in data under lång tid, i olika länder världen över.

För den syntetiska datan renderade vi 3D-objekt med flera tekniker. I vissa fall utvecklade vi egna renderingspipelines och använde interna verktyg som vi tidigare tagit fram när vi byggde Splines realtidseditor. Vi licensierade också 3D-modeller från en pålitlig 3D-marknadsplats och säkerställde att de var godkända för användning vid ML-träning.

Vi har inte använt någon data från Splines användare för träningen.

Volymer

Just nu kan Spells slutresultat, eller exporter, vara antingen en video, en bildsekvens eller en volym (Gaussian Splatting).

Spell är dock inte beroende av någon specifik teknik för volymrendering, och det går också att omvandla den interna volymrepresentationen till ett mesh med valfri rekonstruktionsteknik (eller med en rekonstruktionsmodell).

En ny era för 3D

Vi tror att det här är ett stort kliv mot en ny era av AI-driven grafik, med detaljerad kontroll över resultatet och interaktivitet. Det här är modellens första version, och vi räknar med att både kvaliteten och konsekvensen blir bättre under året.

Träningen av Spell pågår, och vi planerar att ofta släppa nya checkpoints av modellen.

Vi ser fram emot att se vad du skapar med den!

– Spline-teamet