2025年1月22日

AIでワールドをつくる

Splineは、3Dワールドを生成するAIモデル、Spellを発表します。

Spellは、1枚の画像から3Dシーン全体、つまり「ワールド」をわずか数分で生成するように設計されています。ワールドは入力した画像と一貫しており、Gaussian Splatting（またはNeRFなどほかの手法）で描画できるボリュームとして表現されます。

押して操作できます（Spellでつくったガウシアンスプラット）

できること

Spellの核となるのは拡散モデルの一種で、人物、オブジェクト、環境、3Dキャラクターなど幅広いカテゴリーにわたって、複数の視点でリアルな一貫性をもつ3Dワールドを生成できます。

このモデルは、特定の被写体を複数の角度から高い精度とディテールで描画でき、制御されたカメラパスも生成できます。そのすべてが3Dシーンと一貫しています。

Spellが生成したボリューム

さらに、反射、屈折、表面の粗さといった物理的なマテリアルの性質や、被写界深度などのカメラの性質、さらにはサーフェスの内側に入ろうとしたときのカメラとオブジェクトの交差まで、視覚的にシミュレートできます。

Spellは物理的な一貫性を優先し、見た目の流れを保つために補間やモーフィングをするのではなく、カメラとオブジェクトの交差をシミュレートすることで、現実に根ざしたものであろうとします。たとえば、カメラが壁の中に入った場合、壁を別のものに変えるのではなく、壁との実際の交差をシミュレートします。

このモデルはカテゴリーをまたいで知識をとてもうまく外挿でき、場合によっては、もとのデータ分布から遠くかけ離れた状況でもよい結果を出せることがわかりました。

ただし、品質と一貫性の面ではまだ大きな改善の余地があり、すでに取り組みを進めています。当初の焦点は、モデルを学習させる最善のアプローチを見つけ、幅広いカテゴリーで複数の角度にわたる一貫性を実現することでした。

Spellが生成した動画

学習

Spellは、主に実データ（現実世界で撮影したもの）を、合成データ（デジタルで描画した3Dデータ）で補う組み合わせで学習しています。

実データについては、世界各国で長期間にわたって現実世界のデータを手作業で撮影し、独自の大規模なデータセットを構築しました。

合成データについては、複数の手法で3Dオブジェクトを描画しました。場合によっては独自のレンダリングパイプラインを開発し、Splineのリアルタイムエディタを構築する過程でこれまでに開発した社内ツールも活用しました。また、信頼できる3Dマーケットプレイスから、機械学習での使用が認められていることを確認したうえで3Dモデルのライセンスを取得しました。

学習には、Splineのユーザーのデータを一切使用していません。