打造 AI 世界

打开 Spell

Spell 可以根据一张图片，在短短几分钟内生成完整的 3D 场景，也就是“世界”。生成的世界与输入的图片保持一致，并以体积（volume）的形式表示，可以用高斯泼溅（Gaussian Splatting）或 NeRF 等其他方法进行渲染。

能力

Spell 本质上是一种扩散模型，能够生成在多视角下保持真实一致性的 3D 世界，涵盖人物、物体、环境、3D 角色等众多类别。

该模型可以从多个角度高精度、高细节地渲染特定主体的图像，还能生成可控的相机路径，同时始终与 3D 场景保持一致。

它还能在视觉上模拟反射、折射、表面粗糙度等物理材质属性，以及景深等部分相机属性；当相机试图进入物体表面时，甚至能模拟相机与物体的穿插。

Spell 优先保证物理一致性，力求贴近现实：它会模拟相机与物体的穿插，而不是通过插值或变形来维持画面的连贯。例如，如果相机进入了一面墙，它会模拟与墙真实穿插的效果，而不是把墙变成别的东西。

我们发现，该模型在不同类别之间的知识外推能力非常出色，在某些情况下，即使面对与初始数据分布相去甚远的情形，也能产生不错的结果。

不过，在质量和一致性方面仍有很大的提升空间，我们已经在着手改进。我们最初的重点是找到训练模型的最佳方法，并在广泛的类别中实现多角度的一致性。

训练

Spell 的训练数据以真实数据（从现实生活中采集）为主，并辅以合成数据（数字渲染的 3D 数据）。

对于真实数据，我们花了很长时间在全球多个国家手动采集真实世界的数据，建立了自己的大规模数据集。

对于合成数据，我们使用多种技术渲染 3D 物体；在某些情况下，我们开发了自己的渲染管线，并使用了此前在构建 Spline 实时编辑器时开发的内部工具。我们还从一个可信的 3D 素材市场获得了 3D 模型的授权，确保它们获准用于机器学习训练。

我们没有使用任何 Spline 用户的数据进行训练。

体积

目前，Spell 的最终输出或导出可以是视频、图像序列或体积（高斯泼溅）。

不过，Spell 并不依赖任何特定的体积渲染技术，也可以使用任意重建技术（或重建模型）将内部的体积表示转换为网格。

3D 的新时代

我们相信，这是迈向 AI 驱动图形新时代的重要一步：输出可以精细控制，并且具备交互性。这是该模型的第一个版本，我们预计今年内质量和一致性都会不断提升。

Spell 的训练仍在进行中，我们计划频繁发布新的模型检查点。

期待看到你用它创作的作品！

– Spline 团队