AI로 만드는 세계

Spell 열기

Spell은 이미지 한 장으로 단 몇 분 만에 3D 씬 전체, 즉 "세계"를 생성하도록 설계되었습니다. 생성된 세계는 처음 입력한 이미지와 일관되며, Gaussian Splatting(또는 NeRF 같은 다른 방법)으로 렌더링할 수 있는 볼륨으로 표현됩니다.

기능

Spell의 핵심은 사람, 사물, 환경, 3D 캐릭터 등 폭넓은 범주에서 사실적인 다중 시점 일관성을 갖춘 3D 세계를 생성할 수 있는 확산 모델의 일종입니다.

이 모델은 특정 대상을 여러 각도에서 높은 정확도와 디테일로 렌더링하고, 제어된 카메라 경로를 생성할 수 있으며, 그 과정에서 3D 씬과의 일관성을 유지합니다.

반사, 굴절, 표면 거칠기 같은 물리적 재질 특성과 피사계 심도 같은 일부 카메라 특성, 심지어 표면 안으로 들어가려 할 때의 카메라/오브젝트 교차까지 시각적으로 시뮬레이션할 수 있습니다.

Spell은 물리적 일관성을 우선시하며, 시각적 흐름을 유지하려고 보간/모핑하는 대신 카메라와 오브젝트의 교차를 시뮬레이션해 현실에 뿌리를 두려고 합니다. 예를 들어 카메라가 벽 안으로 들어가면, 벽을 다른 무언가로 바꾸는 대신 실제로 벽과 교차하는 모습을 시뮬레이션합니다.

이 모델은 범주를 넘나들며 지식을 매우 잘 일반화하며, 경우에 따라서는 처음 학습한 데이터 분포와 동떨어진 상황에서도 좋은 결과를 냅니다.

하지만 품질과 일관성 면에서는 개선의 여지가 크며, 이미 작업 중입니다. 처음에는 모델을 학습시키는 최선의 방법을 찾고, 폭넓은 범주에서 여러 각도의 일관성을 확보하는 데 집중했습니다.

학습

Spell은 주로 실제 데이터(현실에서 촬영한 데이터)에 합성 데이터(디지털로 렌더링한 3D 데이터)를 보완해 학습했습니다.

실제 데이터는 오랜 기간 세계 여러 나라에서 직접 현실 데이터를 수집해 자체적으로 방대한 데이터셋을 구축했습니다.

합성 데이터는 여러 기법으로 3D 오브젝트를 렌더링해 만들었습니다. 경우에 따라 자체 렌더링 파이프라인을 개발하고, Spline의 실시간 에디터를 만들며 개발한 내부 도구를 활용했습니다. 또한 신뢰할 수 있는 3D 마켓플레이스에서 머신러닝 학습용으로 승인된 3D 모델의 라이선스를 받았습니다.

학습에 Spline 사용자의 데이터는 전혀 사용하지 않았습니다.

볼륨

현재 Spell의 최종 결과물이나 내보내기는 동영상, 이미지 시퀀스, 볼륨(가우시안 스플래팅) 중 하나입니다.

하지만 Spell은 특정 볼륨 렌더링 기법에 의존하지 않으며, 어떤 재구성 기법(또는 재구성 모델)을 사용해서든 내부 볼륨 표현을 메시로 변환할 수도 있습니다.

3D의 새로운 시대

이것이 결과물을 세밀하게 제어하고 상호작용할 수 있는, AI가 이끄는 그래픽의 새로운 시대를 향한 중요한 도약이라고 믿습니다. 이번이 모델의 첫 번째 버전이며, 올해 내내 품질과 일관성이 모두 향상될 것으로 기대합니다.

Spell의 학습은 계속 진행 중이며, 새로운 모델 체크포인트를 자주 공개할 계획입니다.

여러분이 Spell로 무엇을 만들지 정말 기대됩니다!

– Spline 팀