Створюємо світи зі ШІ

Відкрити Spell

Spell створено, щоб генерувати цілі 3D-сцени, або «світи», із зображення всього за кілька хвилин. Світи узгоджуються з початковим зображенням і представлені як об’єм, який можна рендерити за допомогою Gaussian Splatting (або інших методів, як-от NeRF).

Можливості

По суті, Spell — це різновид дифузійної моделі, яка може генерувати 3D-світи з реалістичною узгодженістю між ракурсами в широкому діапазоні категорій: люди, об’єкти, середовища, 3D-персонажі та інше.

Модель може з високою точністю й деталізацією рендерити зображення певного об’єкта з кількох ракурсів, а також генерувати керовані траєкторії камери, залишаючись узгодженою з 3D-сценою.

Вона також здатна візуально імітувати фізичні властивості матеріалів, як-от відбиття, заломлення, шорсткість поверхні, і деякі властивості камери, як-от глибину різкості, і навіть перетини камери з об’єктами, коли камера намагається зайти всередину поверхонь.

Spell надає перевагу фізичній узгодженості й прагне триматися реальності, імітуючи перетини камери з об’єктами замість інтерполяції чи морфінгу заради плавності картинки. Приклад: якщо камера заходить у стіну, модель імітує справжній перетин зі стіною, а не перетворює стіну на щось інше.

Ми з’ясували, що модель дуже добре екстраполює знання між категоріями й у деяких випадках дає хороші результати навіть у ситуаціях, далеких від початкового розподілу даних.

Проте простору для покращення якості й узгодженості ще багато, і ми вже над цим працюємо. Спершу ми зосередилися на пошуку найкращого підходу до навчання моделі й досягненні узгодженості між ракурсами для широкого набору категорій.

Навчання

Spell навчено на поєднанні переважно реальних даних (знятих у реальному житті), доповнених синтетичними даними (цифрово відрендереними 3D-даними).

Для реальних даних ми створили власний великий датасет, упродовж тривалого часу вручну знімаючи реальний світ у різних країнах.

Для синтетичних даних ми рендерили 3D-об’єкти різними техніками; в окремих випадках ми розробили власні конвеєри рендерингу й використали внутрішні інструменти, створені раніше під час розробки редактора реального часу Spline. Ми також ліцензували 3D-моделі з перевіреного 3D-маркетплейсу, переконавшись, що їх дозволено використовувати для навчання ML.

Ми не використовували для навчання жодних даних користувачів Spline.

Об’єми

Наразі фінальним результатом або експортом Spell може бути відео, послідовність зображень чи об’єм (Gaussian Splatting).

Проте Spell не залежить від жодної конкретної техніки об’ємного рендерингу, і внутрішнє об’ємне подання можна перетворити на меш за допомогою будь-якої техніки реконструкції (або моделі реконструкції).

Нова ера для 3D

Ми віримо, що це значний стрибок до нової ери графіки на основі ШІ з детальним контролем результату й інтерактивністю. Це перша версія моделі, і ми очікуємо, що впродовж року і якість, і узгодженість покращаться.

Навчання Spell триває, і ми плануємо часто випускати нові чекпоїнти моделі.

Нам не терпиться побачити, що ви з нею створите!

– Команда Spline