Membuat Dunia dengan AI

Buka Spell

Spell dirancang untuk menghasilkan seluruh scene 3D atau “Dunia” dari sebuah gambar, hanya dalam beberapa menit. Dunia yang dihasilkan konsisten dengan gambar input awal dan direpresentasikan sebagai volume yang bisa dirender dengan Gaussian Splatting (atau metode lain, seperti NeRF).

Kemampuan

Pada intinya, Spell adalah sejenis model difusi yang bisa menghasilkan dunia 3D dengan konsistensi multi-sudut yang realistis di berbagai kategori, termasuk orang, objek, lingkungan, karakter 3D, dan lainnya.

Model ini bisa merender gambar dari berbagai sudut subjek tertentu dengan akurasi dan detail tinggi, serta menghasilkan jalur kamera yang terkendali, semuanya tetap konsisten dengan scene 3D-nya.

Model ini juga mampu menyimulasikan secara visual sifat-sifat material fisik seperti pantulan, refraksi, kekasaran permukaan, serta beberapa properti kamera seperti Depth of Field, bahkan perpotongan kamera/objek saat mencoba masuk ke dalam permukaan.

Spell mengutamakan konsistensi fisik dan berusaha tetap berpijak pada kenyataan dengan menyimulasikan perpotongan kamera dengan objek, alih-alih melakukan interpolasi/morphing demi menjaga kelancaran visual. Contoh: jika kamera masuk ke dalam dinding, model akan menyimulasikan perpotongan nyata dengan dinding itu, alih-alih mengubah dinding menjadi sesuatu yang lain.

Kami menemukan bahwa model ini bisa mengekstrapolasi pengetahuan dengan sangat baik lintas kategori, dalam beberapa kasus menghasilkan hasil yang bagus bahkan dalam situasi yang jauh dari distribusi data awal.

Namun, masih ada ruang perbaikan yang besar dalam hal kualitas dan konsistensi, dan kami sudah mengerjakannya. Fokus awal kami adalah menemukan pendekatan terbaik untuk melatih model dan mencapai konsistensi di berbagai sudut untuk beragam kategori.

Pelatihan

Spell dilatih dengan kombinasi data yang terutama berupa data nyata (direkam dari kehidupan nyata), dilengkapi data sintetis (data 3D yang dirender secara digital).

Untuk data nyata, kami membangun dataset ekstensif kami sendiri dengan merekam data dunia nyata secara manual selama periode yang panjang di berbagai negara di seluruh dunia.

Untuk data sintetis, kami merender objek 3D dengan berbagai teknik; dalam beberapa kasus, kami mengembangkan pipeline rendering kami sendiri dan memanfaatkan alat internal yang sebelumnya kami kembangkan saat membangun editor real-time Spline. Kami juga melisensikan model 3D dari marketplace 3D tepercaya, dan memastikan model-model itu disetujui untuk dipakai dalam pelatihan ML.

Kami tidak memakai data apa pun dari pengguna Spline untuk pelatihan.

Volume

Saat ini, hasil akhir atau ekspor Spell bisa berupa video, rangkaian gambar, atau volume (Gaussian Splatting).

Namun, Spell tidak bergantung pada teknik volume rendering tertentu, dan representasi volume internalnya juga bisa dikonversi menjadi mesh dengan teknik rekonstruksi apa pun (atau dengan model rekonstruksi).

Era baru untuk 3D

Kami percaya ini merupakan lompatan besar menuju era grafis baru yang digerakkan oleh AI, dengan kendali terperinci atas hasilnya, dan interaktivitas. Ini adalah versi pertama model ini, dan kami berharap kualitas maupun konsistensinya akan terus meningkat sepanjang tahun.

Pelatihan Spell terus berlangsung, dan kami berencana merilis checkpoint model yang lebih baru secara berkala.

Kami tidak sabar melihat apa yang Anda buat dengannya!

– Tim Spline