AI से दुनियाएँ बनाना

Spell खोलें

Spell को किसी इमेज से, बस कुछ ही मिनटों में, पूरे 3D सीन या "दुनियाएँ" (Worlds) जनरेट करने के लिए बनाया गया है। ये दुनियाएँ शुरुआती इनपुट इमेज से मेल खाती हैं और एक वॉल्यूम के रूप में दर्शाई जाती हैं, जिसे Gaussian Splatting (या NeRFs जैसे दूसरे तरीकों) से रेंडर किया जा सकता है।

क्षमताएँ

मूल रूप से Spell एक तरह का डिफ़्यूज़न मॉडल है, जो लोगों, वस्तुओं, एनवायरनमेंट, 3D कैरेक्टर और कई दूसरी श्रेणियों में असली जैसी मल्टी-व्यू एकरूपता के साथ 3D दुनियाएँ जनरेट कर सकता है।

यह मॉडल किसी ख़ास सब्जेक्ट की कई कोणों से इमेज ऊँची सटीकता और बारीकी के साथ रेंडर कर सकता है, और नियंत्रित कैमरा पाथ भी जनरेट कर सकता है, और यह सब 3D सीन से मेल खाते हुए।

यह रिफ़्लेक्शन, रिफ़्रैक्शन, सतह का खुरदुरापन जैसी भौतिक मटीरियल प्रॉपर्टी, और Depth of field जैसी कुछ कैमरा प्रॉपर्टी को भी विज़ुअली सिम्युलेट कर सकता है, और सतहों के अंदर जाने की कोशिश करने पर कैमरा/ऑब्जेक्ट के आपस में टकराने को भी।

Spell भौतिक एकरूपता को प्राथमिकता देता है और विज़ुअल फ़्लो बनाए रखने के लिए इंटरपोलेट/मॉर्फ़ करने के बजाय ऑब्जेक्ट से कैमरा के टकराव को सिम्युलेट करके हक़ीक़त से जुड़ा रहने की कोशिश करता है। उदाहरण: अगर कैमरा किसी दीवार के अंदर चला जाए, तो यह दीवार को किसी और चीज़ में बदलने के बजाय दीवार से असली टकराव सिम्युलेट करेगा।

हमने पाया कि यह मॉडल सीखे हुए ज्ञान को अलग-अलग श्रेणियों पर बहुत अच्छी तरह लागू कर सकता है, और कुछ मामलों में शुरुआती डेटा डिस्ट्रिब्यूशन से काफ़ी दूर की स्थितियों में भी अच्छे नतीजे देता है।

फिर भी, क्वालिटी और एकरूपता के मामले में सुधार की काफ़ी गुंजाइश है, और हम इस पर पहले से काम कर रहे हैं। हमारा शुरुआती ध्यान मॉडल को ट्रेन करने का सबसे अच्छा तरीका खोजने और श्रेणियों के एक बड़े सेट में कई कोणों पर एकरूपता पाने पर था।

ट्रेनिंग

Spell को मुख्य रूप से असली डेटा (असल ज़िंदगी से कैप्चर किया गया) और साथ में सिंथेटिक डेटा (डिजिटल रूप से रेंडर किया गया 3D डेटा) के मेल से ट्रेन किया गया है।

असली डेटा के लिए हमने दुनिया भर के अलग-अलग देशों में लंबे समय तक हाथ से असली दुनिया का डेटा कैप्चर करके अपना बड़ा डेटासेट बनाया।

सिंथेटिक डेटा के लिए हमने कई तकनीकों से 3D ऑब्जेक्ट रेंडर किए; कुछ मामलों में हमने अपनी रेंडरिंग पाइपलाइन बनाईं और Spline का रियल-टाइम एडिटर बनाते समय विकसित किए गए अंदरूनी टूल का इस्तेमाल किया। हमने एक भरोसेमंद 3D मार्केटप्लेस से 3D मॉडल का लाइसेंस भी लिया, यह पक्का करते हुए कि वे ML ट्रेनिंग में इस्तेमाल के लिए मंज़ूर हों।

हमने ट्रेनिंग के लिए Spline यूज़र्स का कोई डेटा इस्तेमाल नहीं किया।

वॉल्यूम

फ़िलहाल Spell के अंतिम आउटपुट या एक्सपोर्ट एक वीडियो, इमेज का एक क्रम या एक वॉल्यूम (Gaussian Splatting) हो सकते हैं।

हालाँकि, Spell किसी ख़ास वॉल्यूम रेंडरिंग तकनीक पर निर्भर नहीं है, और किसी भी रीकंस्ट्रक्शन तकनीक (या किसी रीकंस्ट्रक्शन मॉडल) से अंदरूनी वॉल्यूम को मेश में बदलना भी संभव है।

3D का एक नया दौर

हमारा मानना है कि यह AI से चलने वाले ग्राफ़िक्स के एक नए दौर की ओर एक बड़ी छलांग है, जिसमें आउटपुट पर बारीक कंट्रोल और इंटरैक्टिविटी है। यह मॉडल का पहला वर्ज़न है, और हमें उम्मीद है कि पूरे साल क्वालिटी और एकरूपता दोनों बेहतर होंगी।

Spell की ट्रेनिंग जारी है, और हम नए मॉडल चेकपॉइंट बार-बार रिलीज़ करने की योजना बना रहे हैं।

हम यह देखने के लिए उत्साहित हैं कि आप इससे क्या बनाते हैं!

– Spline टीम