Mencipta Dunia AI

Buka Spell

Spell direka untuk menjana keseluruhan adegan 3D atau "Dunia" daripada satu imej, dalam masa beberapa minit sahaja. Dunia itu konsisten dengan imej input asal dan diwakili sebagai isipadu yang boleh dipaparkan menggunakan Gaussian Splatting (atau kaedah lain, seperti NeRF).

Keupayaan

Pada terasnya, Spell ialah sejenis model resapan (diffusion) yang boleh menjana dunia 3D dengan konsistensi pelbagai pandangan yang realistik merentasi pelbagai kategori, termasuk manusia, objek, persekitaran, watak 3D dan banyak lagi.

Model ini boleh memaparkan imej daripada pelbagai sudut bagi sesuatu subjek dengan ketepatan dan perincian yang tinggi, serta menjana laluan kamera yang terkawal, sambil kekal konsisten dengan adegan 3D.

Ia juga mampu mensimulasikan secara visual sifat bahan fizikal seperti pantulan, pembiasan, kekasaran permukaan, dan beberapa sifat kamera seperti kedalaman medan (depth of field), malah persilangan kamera/objek apabila cuba memasuki permukaan.

Spell mengutamakan konsistensi fizikal dan bertujuan untuk kekal berpijak pada realiti dengan mensimulasikan persilangan kamera dengan objek dan bukannya menginterpolasi/berubah bentuk untuk mengekalkan aliran visual. Contoh: Jika kamera masuk ke dalam dinding, ia akan mensimulasikan persilangan sebenar dengan dinding itu, dan bukannya menukar dinding itu menjadi sesuatu yang lain.

Kami mendapati model ini boleh mengekstrapolasi pengetahuan dengan sangat baik merentasi kategori, dalam sesetengah kes menghasilkan keputusan yang baik walaupun dalam situasi yang jauh daripada taburan data asal.

Namun, masih terdapat banyak ruang untuk penambahbaikan dari segi kualiti dan konsistensi, dan kami sudah pun mengusahakannya. Tumpuan awal kami adalah untuk menemui pendekatan terbaik bagi melatih model dan mencapai konsistensi merentasi pelbagai sudut untuk set kategori yang luas.

Latihan

Spell telah dilatih dengan gabungan data yang kebanyakannya sebenar (dirakam daripada kehidupan sebenar), dilengkapi dengan data sintetik (data 3D yang dipaparkan secara digital).

Untuk data sebenar, kami membina set data kami sendiri yang luas dengan merakam data dunia sebenar secara manual dalam tempoh yang lama di pelbagai negara di seluruh dunia.

Untuk data sintetik, kami memaparkan objek 3D menggunakan pelbagai teknik; dalam sesetengah kes, kami membangunkan saluran pemaparan kami sendiri dan menggunakan alat dalaman yang kami bangunkan sebelum ini semasa membina editor masa nyata Spline. Kami juga melesenkan model 3D daripada pasaran 3D yang dipercayai, memastikan model itu diluluskan untuk digunakan dalam latihan ML.

Kami tidak menggunakan sebarang data daripada pengguna Spline untuk latihan.

Isipadu

Buat masa ini, output akhir atau eksport Spell boleh berupa video, urutan imej atau isipadu (Gaussian Splatting).

Namun, Spell tidak bergantung pada mana-mana teknik pemaparan isipadu tertentu, dan perwakilan isipadu dalamannya juga boleh ditukar menjadi mesh menggunakan mana-mana teknik pembinaan semula (atau menggunakan model pembinaan semula).

Era baharu untuk 3D

Kami percaya ini mewakili lonjakan besar ke arah era baharu grafik yang dipacu oleh AI, dengan kawalan terperinci ke atas output, dan interaktiviti. Ini ialah versi pertama model ini, dan kami menjangkakan kualiti dan konsistensinya akan bertambah baik sepanjang tahun ini.

Latihan Spell sedang berjalan, dan kami merancang untuk mengeluarkan checkpoint model yang lebih baharu dengan kerap.

Kami teruja untuk melihat apa yang anda cipta dengannya!

– Pasukan Spline