Создаём ИИ-миры

Открыть Spell

Spell создан, чтобы генерировать целые 3D-сцены, или «миры», по одному изображению всего за несколько минут. Миры согласуются с исходным изображением и представлены в виде объёма, который можно отрендерить с помощью Gaussian Splatting (или другими методами, например NeRF).

Возможности

По своей сути Spell — это диффузионная модель, которая генерирует 3D-миры с реалистичной согласованностью между ракурсами для самых разных категорий: людей, объектов, окружений, 3D-персонажей и многого другого.

Модель с высокой точностью и детализацией рендерит изображения объекта с разных ракурсов, а также генерирует управляемые траектории камеры — и всё это оставаясь согласованной с 3D-сценой.

Кроме того, модель умеет визуально имитировать физические свойства материалов — отражения, преломления, шероховатость поверхности, — а также некоторые свойства камеры, например глубину резкости, и даже пересечения камеры с объектами при попытке зайти внутрь поверхности.

Spell ставит во главу угла физическую согласованность и старается оставаться верным реальности: он имитирует пересечения камеры с объектами, а не интерполирует или морфирует изображение ради плавности. Например, если камера попадает внутрь стены, модель сымитирует настоящее пересечение со стеной, а не превратит стену во что-то другое.

Мы обнаружили, что модель отлично переносит знания между категориями и в некоторых случаях даёт хорошие результаты даже в ситуациях, далёких от исходного распределения данных.

Тем не менее в плане качества и согласованности ещё многое можно улучшить, и мы уже над этим работаем. Изначально мы сосредоточились на поиске лучшего подхода к обучению модели и на согласованности между ракурсами для широкого набора категорий.

Обучение

Spell обучен в основном на реальных данных (снятых в реальной жизни), дополненных синтетическими данными (цифровыми рендерами 3D).

Для реальных данных мы собрали собственный обширный датасет, вручную снимая реальный мир на протяжении долгого времени в разных странах.

Для синтетических данных мы рендерили 3D-объекты разными методами; в некоторых случаях мы разработали собственные конвейеры рендеринга и использовали внутренние инструменты, созданные ранее при разработке редактора реального времени Spline. Мы также лицензировали 3D-модели на проверенном 3D-маркетплейсе, убедившись, что их разрешено использовать для обучения ML-моделей.

Мы не использовали для обучения никакие данные пользователей Spline.

Объёмы

На данный момент итоговым результатом или экспортом Spell может быть видео, последовательность изображений или объём (Gaussian Splatting).

Однако Spell не привязан к какой-либо конкретной технике объёмного рендеринга: внутреннее представление объёма можно также преобразовать в меш любым методом реконструкции (или с помощью модели реконструкции).

Новая эра 3D

Мы уверены, что это значительный шаг к новой эре графики на основе ИИ — с детальным контролем результата и интерактивностью. Это первая версия модели, и мы ожидаем, что в течение года и качество, и согласованность будут расти.

Обучение Spell продолжается, и мы планируем часто выпускать новые чекпойнты модели.

Нам не терпится увидеть, что вы создадите с её помощью!

– Команда Spline