Paggawa ng mga AI World

Buksan ang Spell

Ginawa ang Spell para bumuo ng buong 3D scene o “World” mula sa isang larawan, sa loob lang ng ilang minuto. Tugma ang mga world sa unang larawang input at kinakatawan bilang isang volume na puwedeng i-render gamit ang Gaussian Splatting (o ibang paraan, gaya ng mga NeRF).

Mga Kakayahan

Sa ubod nito, ang Spell ay isang uri ng diffusion model na kayang bumuo ng mga 3D world na may makatotohanang multi-view consistency sa malawak na hanay ng mga kategorya, kasama ang mga tao, object, environment, 3D character at iba pa.

Kaya ng model na mag-render ng mga larawan mula sa iba't ibang anggulo ng isang partikular na subject nang may mataas na katumpakan at detalye, pati na gumawa ng mga kontroladong camera path, habang nananatiling tugma sa 3D scene.

Kaya rin nitong biswal na i-simulate ang mga pisikal na katangian ng material gaya ng mga reflection, refraction at surface roughness, at ilang property ng camera gaya ng Depth of field, at maging ang pagtama ng camera sa object kapag sinusubukang pumasok sa loob ng mga surface.

Inuuna ng Spell ang pisikal na consistency at sinisikap nitong manatiling nakaugat sa realidad sa pag-simulate ng pagtama ng camera sa mga object sa halip na mag-interpolate/mag-morph para mapanatili ang visual flow. Halimbawa: Kapag pumasok ang camera sa loob ng isang pader, magsi-simulate ito ng aktwal na pagtama sa pader, sa halip na gawing ibang bagay ang pader.

Natuklasan naming napakahusay ng model sa pag-extrapolate ng kaalaman sa iba't ibang kategorya, at sa ilang kaso, nakakagawa ito ng magagandang resulta kahit sa mga sitwasyong malayo sa orihinal na data distribution.

Gayunpaman, malaki pa ang puwang para sa pagpapahusay pagdating sa kalidad at consistency, at ginagawa na namin ito. Ang una naming pinagtuunan ay ang pagtuklas ng pinakamainam na approach sa pag-train ng model at pagkamit ng consistency sa maraming anggulo para sa malawak na hanay ng mga kategorya.

Training

Na-train ang Spell gamit ang kombinasyon ng pangunahing totoong data (kinuha mula sa totoong buhay), na dinagdagan ng synthetic data (digitally rendered na 3D data).

Para sa totoong data, bumuo kami ng sarili naming malawak na dataset sa manual na pagkuha ng real-world data sa mahabang panahon sa iba't ibang bansa sa buong mundo.

Para sa synthetic data, nag-render kami ng mga 3D object gamit ang iba't ibang technique; sa ilang kaso, bumuo kami ng sarili naming mga rendering pipeline at gumamit ng mga internal tool na dati naming binuo habang ginagawa ang real-time editor ng Spline. Nag-license din kami ng mga 3D model mula sa isang pinagkakatiwalaang 3D marketplace, at sinigurado naming aprubado ang mga ito para gamitin sa ML training.

Hindi kami gumamit ng anumang data mula sa mga user ng Spline para sa training.

Mga Volume

Sa ngayon, ang mga final na output o export ng Spell ay puwedeng video, sunud-sunod na mga larawan, o isang volume (Gaussian Splatting).

Gayunpaman, hindi nakadepende ang Spell sa anumang partikular na volume rendering technique, at posible ring i-convert ang internal na representasyon ng volume sa isang mesh gamit ang anumang reconstruction technique (o gamit ang isang reconstruction model).

Isang bagong panahon para sa 3D

Naniniwala kaming isa itong malaking hakbang patungo sa isang bagong panahon ng graphics na pinapagana ng AI, na may detalyadong kontrol sa output at interactivity. Ito ang unang bersyon ng model, at inaasahan naming gaganda ang kalidad at consistency sa buong taon.

Patuloy ang training ng Spell, at plano naming maglabas ng mas bagong mga model checkpoint nang madalas.

Excited na kaming makita ang gagawin mo gamit ito!

– Ang Spline Team