Yapay zekayla dünyalar yaratmak

Spell’i aç

Spell, tek bir görselden birkaç dakika içinde eksiksiz 3D sahneler ya da “dünyalar” üretmek için tasarlandı. Dünyalar başlangıçtaki görsel girdiyle tutarlı ve Gaussian Splatting (ya da NeRF gibi başka yöntemler) ile görüntülenebilen bir hacim olarak temsil ediliyor.

Yetenekler

Özünde Spell; insanlar, nesneler, ortamlar, 3D karakterler ve daha fazlası dahil çok çeşitli kategorilerde, gerçekçi çok açılı tutarlılığa sahip 3D dünyalar üretebilen bir tür difüzyon modeli.

Model, belirli bir öznenin birden fazla açıdan görüntülerini yüksek doğruluk ve ayrıntıyla oluşturabiliyor, ayrıca kontrollü kamera yolları üretebiliyor; tüm bunları yaparken 3D sahneyle tutarlı kalıyor.

Ayrıca yansımalar, kırılmalar, yüzey pürüzlülüğü gibi fiziksel malzeme özelliklerini ve alan derinliği gibi bazı kamera özelliklerini, hatta yüzeylerin içine girilmeye çalışıldığında kamera/nesne kesişimlerini görsel olarak taklit edebiliyor.

Spell fiziksel tutarlılığı ön planda tutuyor ve görsel akışı korumak için enterpolasyon/dönüşüm yapmak yerine kameranın nesnelerle kesişimini taklit ederek gerçekliğe bağlı kalmayı hedefliyor. Örnek: Kamera bir duvarın içine girerse, duvarı başka bir şeye dönüştürmek yerine duvarla gerçek bir kesişimi taklit eder.

Modelin bilgiyi kategoriler arasında çok iyi genelleyebildiğini, bazı durumlarda başlangıçtaki veri dağılımından çok uzak durumlarda bile iyi sonuçlar ürettiğini gördük.

Ancak kalite ve tutarlılık açısından hâlâ ciddi bir gelişim alanı var ve bunun üzerinde çalışmaya şimdiden başladık. İlk odağımız, modeli eğitmenin en iyi yolunu bulmak ve geniş bir kategori yelpazesinde birden fazla açıdan tutarlılık sağlamaktı.

Eğitim

Spell, ağırlıklı olarak gerçek veriler (gerçek hayattan yakalanan) ile bunu tamamlayan sentetik verilerin (dijital olarak oluşturulmuş 3D veriler) bir birleşimiyle eğitildi.

Gerçek veriler için, uzun bir süre boyunca dünyanın farklı ülkelerinde gerçek dünya verilerini elle yakalayarak kendi kapsamlı veri setimizi oluşturduk.

Sentetik veriler için 3D nesneleri çeşitli tekniklerle görüntüledik; bazı durumlarda kendi render hatlarımızı geliştirdik ve daha önce Spline’ın gerçek zamanlı editörünü inşa ederken geliştirdiğimiz dahili araçlardan yararlandık. Ayrıca güvenilir bir 3D pazar yerinden, makine öğrenimi eğitiminde kullanımı onaylanmış 3D modellerin lisansını aldık.

Eğitimde Spline kullanıcılarına ait hiçbir veriyi kullanmadık.

Hacimler

Şu anda Spell’in nihai çıktıları ya da dışa aktarımları bir video, bir görsel dizisi ya da bir hacim (Gaussian Splatting) olabiliyor.

Ancak Spell belirli bir hacim görüntüleme tekniğine bağlı değil; dahili hacim temsilini herhangi bir yeniden yapılandırma tekniğiyle (ya da bir yeniden yapılandırma modeliyle) mesh’e dönüştürmek de mümkün.

3D için yeni bir çağ

Bunun, çıktı üzerinde ayrıntılı kontrol ve etkileşim sunan, yapay zekayla yönlendirilen yeni bir grafik çağına doğru önemli bir sıçrama olduğuna inanıyoruz. Bu, modelin ilk versiyonu; hem kalitenin hem tutarlılığın yıl boyunca gelişmesini bekliyoruz.

Spell’in eğitimi sürüyor ve yeni model checkpoint’lerini sık sık yayınlamayı planlıyoruz.

Onunla neler yapacağını görmek için heyecanlıyız!

– Spline Ekibi