Criar mundos com IA

Abrir o Spell

O Spell foi concebido para gerar cenas 3D inteiras, ou "mundos", a partir de uma imagem, em apenas alguns minutos. Os mundos são coerentes com a imagem de partida e são representados como um volume que pode ser renderizado com Gaussian Splatting (ou outros métodos, como NeRFs).

Capacidades

Na sua essência, o Spell é um tipo de modelo de difusão capaz de gerar mundos 3D com uma coerência realista entre múltiplas vistas, numa grande variedade de categorias, incluindo pessoas, objetos, ambientes, personagens 3D e muito mais.

O modelo consegue renderizar imagens de um determinado motivo a partir de vários ângulos, com grande precisão e detalhe, bem como gerar trajetórias de câmara controladas, mantendo sempre a coerência com a cena 3D.

Também é capaz de simular visualmente propriedades físicas dos materiais, como reflexos, refrações e rugosidade da superfície, e algumas propriedades da câmara, como a profundidade de campo, e até interseções entre a câmara e os objetos quando se tenta entrar dentro de superfícies.

O Spell dá prioridade à coerência física e procura manter-se fiel à realidade, simulando as interseções da câmara com os objetos em vez de interpolar ou transformar para manter a continuidade visual. Exemplo: se a câmara entrar numa parede, simula uma verdadeira interseção com a parede, em vez de transformar a parede noutra coisa.

Descobrimos que o modelo consegue extrapolar conhecimento muito bem entre categorias, produzindo em alguns casos bons resultados mesmo em situações muito afastadas da distribuição inicial dos dados.

No entanto, há ainda muito espaço para melhorar a qualidade e a coerência, e já estamos a trabalhar nisso. O nosso foco inicial foi descobrir a melhor abordagem para treinar o modelo e alcançar coerência entre vários ângulos num vasto conjunto de categorias.

Treino

O Spell foi treinado com uma combinação de dados sobretudo reais (captados na vida real), complementados com dados sintéticos (dados 3D renderizados digitalmente).

Para os dados reais, construímos o nosso próprio conjunto de dados extenso, captando manualmente dados do mundo real durante um longo período, em vários países do mundo.

Para os dados sintéticos, renderizámos objetos 3D com várias técnicas; em alguns casos, desenvolvemos os nossos próprios pipelines de renderização e usámos ferramentas internas que tínhamos criado ao construir o editor em tempo real do Spline. Também licenciámos modelos 3D de um marketplace 3D de confiança, garantindo que estão aprovados para utilização no treino de modelos de ML.

Não usámos quaisquer dados de utilizadores do Spline no treino.

Volumes

De momento, os resultados finais ou exportações do Spell podem ser um vídeo, uma sequência de imagens ou um volume (Gaussian Splatting).

No entanto, o Spell não depende de nenhuma técnica específica de renderização volumétrica, e também é possível converter a representação volumétrica interna numa malha com qualquer técnica de reconstrução (ou com um modelo de reconstrução).

Uma nova era para o 3D

Acreditamos que isto representa um salto significativo rumo a uma nova era de gráficos impulsionados pela IA, com controlo granular do resultado e interatividade. Esta é a primeira versão do modelo, e esperamos que a qualidade e a coerência melhorem ao longo do ano.

O treino do Spell continua, e planeamos lançar com frequência novos checkpoints do modelo.

Estamos entusiasmados por ver o que vais criar com ele!

– A equipa do Spline