打造 AI 世界

開啟 Spell

Spell 的設計目標，是在短短幾分鐘內，從一張圖片生成完整的 3D 場景或「世界」。生成的世界與最初輸入的圖片保持一致，並以體積的形式呈現，可使用高斯潑濺（Gaussian Splatting）或其他方法（例如 NeRF）進行渲染。

能力

Spell 的核心是一種擴散模型，能在人物、物體、環境、3D 角色等廣泛類別中，生成具有擬真多視角一致性的 3D 世界。

模型能以高精準度和豐富細節，從多個角度渲染特定主體的圖片，也能生成受控的攝影機路徑，同時與 3D 場景保持一致。

它也能在視覺上模擬反射、折射、表面粗糙度等物理材質屬性，以及景深等部分攝影機屬性，甚至在試圖進入表面內部時，模擬攝影機與物體的交錯。

Spell 以物理一致性為優先，透過模擬攝影機與物體的交錯，而不是以插值／變形來維持畫面流暢，力求貼近現實。例如：如果攝影機進入牆壁內部，它會模擬與牆壁實際交錯的樣子，而不是把牆壁變成別的東西。

我們發現，模型能很好地跨類別外推知識，在某些情況下，即使面對與初始資料分布相去甚遠的情境，也能產生不錯的結果。

不過，在品質和一致性方面仍有很大的改進空間，我們已經著手進行。我們最初的重點，是找出訓練模型的最佳方法，並在廣泛的類別中實現多角度的一致性。

訓練

Spell 的訓練以真實資料（從現實生活中擷取）為主，並輔以合成資料（以數位方式渲染的 3D 資料）。

在真實資料方面，我們花了很長一段時間，在世界各地不同國家以人工方式擷取真實世界的資料，建立了我們自己的大型資料集。

在合成資料方面，我們使用多種技術渲染 3D 物體；在某些情況下，我們開發了自己的渲染管線，並運用先前打造 Spline 即時編輯器時開發的內部工具。我們也從值得信賴的 3D 素材市集取得 3D 模型授權，確保它們獲准用於機器學習訓練。

我們沒有使用任何 Spline 使用者的資料進行訓練。

體積

目前，Spell 的最終輸出或匯出可以是影片、一系列圖片，或體積（高斯潑濺）。

不過，Spell 並不依賴任何特定的體積渲染技術，也可以使用任何重建技術（或重建模型），將內部的體積表示轉換成網格。

3D 的新時代

我們相信，這代表朝向由 AI 驅動的圖形新時代邁出了一大步：能細緻控制輸出，並具備互動性。這是模型的第一個版本，我們預期品質和一致性都會在今年持續提升。

Spell 的訓練仍在進行中，我們計劃頻繁釋出更新的模型檢查點。

我們很期待看到你用它創作的作品！

– Spline 團隊