Tworzymy światy AI

Otwórz Spell

Spell generuje całe sceny 3D, czyli „światy”, z jednego obrazu w zaledwie kilka minut. Światy są spójne z obrazem wejściowym i mają postać objętości, którą można wyrenderować za pomocą Gaussian Splatting (lub innych metod, takich jak NeRF).

Możliwości

W swojej istocie Spell jest rodzajem modelu dyfuzyjnego, który potrafi generować światy 3D z realistyczną spójnością wielu widoków w szerokim zakresie kategorii, w tym ludzi, obiektów, otoczenia, postaci 3D i nie tylko.

Model potrafi z dużą dokładnością i szczegółowością renderować obrazy danego obiektu z wielu kątów, a także generować sterowane ścieżki kamery – zachowując przy tym spójność ze sceną 3D.

Potrafi też wizualnie symulować fizyczne właściwości materiałów, takie jak odbicia, załamania światła i chropowatość powierzchni, niektóre właściwości kamery, jak głębia ostrości, a nawet przecięcia kamery z obiektami przy próbie wejścia w powierzchnię.

Spell stawia na fizyczną spójność i stara się pozostać zakorzeniony w rzeczywistości: symuluje przecięcia kamery z obiektami zamiast interpolować czy morfować obraz, by zachować płynność. Przykład: jeśli kamera wejdzie w ścianę, Spell zasymuluje faktyczne przecięcie ze ścianą, zamiast zamieniać ją w coś innego.

Okazało się, że model bardzo dobrze ekstrapoluje wiedzę między kategoriami, w niektórych przypadkach dając dobre wyniki nawet w sytuacjach odległych od początkowego rozkładu danych.

Wciąż jest jednak sporo do poprawy pod względem jakości i spójności – i już nad tym pracujemy. Na początku skupiliśmy się na znalezieniu najlepszego sposobu trenowania modelu i osiągnięciu spójności między wieloma kątami w szerokim zestawie kategorii.

Trening

Spell został wytrenowany głównie na danych rzeczywistych (zarejestrowanych w prawdziwym świecie), uzupełnionych danymi syntetycznymi (cyfrowo renderowanymi danymi 3D).

Na potrzeby danych rzeczywistych zbudowaliśmy własny obszerny zbiór, ręcznie rejestrując dane ze świata przez długi czas w różnych krajach.

W przypadku danych syntetycznych renderowaliśmy obiekty 3D wieloma technikami; czasem budowaliśmy własne potoki renderowania i korzystaliśmy z wewnętrznych narzędzi, które wcześniej stworzyliśmy przy budowie edytora Spline działającego w czasie rzeczywistym. Licencjonowaliśmy też modele 3D z zaufanego marketplace’u 3D, upewniając się, że są dopuszczone do użycia w treningu ML.

Do treningu nie użyliśmy żadnych danych użytkowników Spline.

Objętości

Obecnie końcowym wynikiem lub eksportem Spell może być wideo, sekwencja obrazów albo objętość (Gaussian Splatting).

Spell nie zależy jednak od żadnej konkretnej techniki renderowania objętości, a wewnętrzną reprezentację objętości można też przekształcić w siatkę dowolną techniką rekonstrukcji (lub za pomocą modelu rekonstrukcji).

Nowa era 3D

Wierzymy, że to znaczący krok w stronę nowej ery grafiki napędzanej przez AI – ze szczegółową kontrolą nad wynikiem i interaktywnością. To pierwsza wersja modelu i spodziewamy się, że w ciągu roku poprawi się zarówno jakość, jak i spójność.

Trening Spell trwa, a nowe checkpointy modelu planujemy publikować często.

Nie możemy się doczekać, co z nim stworzysz!

– Zespół Spline