Tvoříme světy pomocí AI

Otevřít Spell

Spell je navržený tak, aby z obrázku během několika minut vygeneroval celé 3D scény neboli „světy“. Světy odpovídají vstupnímu obrázku a jsou reprezentované jako objem, který lze vykreslit pomocí Gaussian Splattingu (nebo jinými metodami, například NeRF).

Možnosti

Ve svém jádru je Spell typ difuzního modelu, který dokáže generovat 3D světy s realistickou konzistencí z více pohledů napříč širokou škálou kategorií, včetně lidí, objektů, prostředí, 3D postav a dalších.

Model dokáže s vysokou přesností a detailem vykreslit snímky daného motivu z více úhlů a také generovat řízené dráhy kamery – a přitom zůstat konzistentní se 3D scénou.

Dokáže také vizuálně simulovat fyzikální vlastnosti materiálů, jako jsou odrazy, lom světla a drsnost povrchu, i některé vlastnosti kamery, například hloubku ostrosti, a dokonce průniky kamery s objekty, když se pokusí proniknout dovnitř povrchů.

Spell upřednostňuje fyzikální konzistenci a snaží se zůstat ukotvený v realitě: místo interpolace či morfování kvůli zachování vizuální plynulosti simuluje průniky kamery s objekty. Příklad: když se kamera dostane do zdi, Spell nasimuluje skutečný průnik kamery se zdí, místo aby zeď proměnil v něco jiného.

Zjistili jsme, že model dokáže velmi dobře extrapolovat znalosti napříč kategoriemi a v některých případech přináší dobré výsledky i v situacích vzdálených od původního rozložení dat.

V kvalitě a konzistenci je však stále velký prostor ke zlepšení a už na něm pracujeme. Na začátku jsme se soustředili na nalezení nejlepšího přístupu k trénování modelu a na dosažení konzistence z více úhlů napříč širokou škálou kategorií.

Trénování

Spell byl trénován na kombinaci převážně reálných dat (zachycených ve skutečném světě), doplněných o syntetická data (digitálně vykreslená 3D data).

Pro reálná data jsme vybudovali vlastní rozsáhlou datovou sadu – reálná data jsme po dlouhou dobu ručně zaznamenávali v různých zemích světa.

Pro syntetická data jsme vykreslovali 3D objekty několika technikami; v některých případech jsme vyvinuli vlastní vykreslovací pipeline a využili interní nástroje, které jsme dříve vytvořili při vývoji real-time editoru Spline. Licencovali jsme také 3D modely z důvěryhodného 3D marketplace a zajistili, že jsou schválené pro použití při trénování ML.

K trénování jsme nepoužili žádná data uživatelů Spline.

Objemy

Finálním výstupem neboli exportem Spellu může zatím být video, sekvence obrázků nebo objem (Gaussian Splatting).

Spell ale není závislý na žádné konkrétní technice vykreslování objemů a interní reprezentaci objemu lze převést i na mesh pomocí libovolné rekonstrukční techniky (nebo rekonstrukčního modelu).

Nová éra pro 3D

Věříme, že jde o významný skok k nové éře grafiky poháněné AI, s detailní kontrolou nad výstupem a s interaktivitou. Toto je první verze modelu a očekáváme, že se během roku zlepší kvalita i konzistence.

Trénování Spellu pokračuje a nové checkpointy modelu plánujeme vydávat často.

Už se těšíme, co s ním vytvoříte!

– Tým Spline