Tạo thế giới bằng AI

Mở Spell

Spell được thiết kế để tạo toàn bộ cảnh 3D, hay "thế giới", từ một hình ảnh, chỉ trong vài phút. Các thế giới này nhất quán với hình ảnh đầu vào và được biểu diễn dưới dạng một khối thể tích (volume) có thể kết xuất bằng Gaussian Splatting (hoặc các phương pháp khác, như NeRF).

Khả năng

Về cốt lõi, Spell là một dạng mô hình diffusion có thể tạo thế giới 3D với độ nhất quán đa góc nhìn chân thực trên nhiều thể loại, bao gồm con người, đồ vật, môi trường, nhân vật 3D và hơn thế nữa.

Mô hình có thể kết xuất hình ảnh của một chủ thể từ nhiều góc với độ chính xác và chi tiết cao, đồng thời tạo đường đi camera có kiểm soát, tất cả trong khi vẫn nhất quán với cảnh 3D.

Nó cũng có khả năng mô phỏng trực quan các thuộc tính vật liệu vật lý như phản chiếu, khúc xạ, độ nhám bề mặt, một số thuộc tính camera như độ sâu trường ảnh, và thậm chí cả giao cắt giữa camera và đối tượng khi cố đi vào bên trong bề mặt.

Spell ưu tiên tính nhất quán vật lý và hướng tới việc bám sát thực tế bằng cách mô phỏng giao cắt giữa camera và đối tượng, thay vì nội suy/biến hình để giữ mạch hình ảnh. Ví dụ: nếu camera đi vào trong một bức tường, nó sẽ mô phỏng sự giao cắt thực sự với bức tường, thay vì biến bức tường thành thứ gì khác.

Chúng tôi nhận thấy mô hình có thể ngoại suy kiến thức rất tốt giữa các thể loại, trong một số trường hợp còn cho kết quả tốt ngay cả trong những tình huống khác xa phân phối dữ liệu ban đầu.

Tuy nhiên, vẫn còn nhiều chỗ để cải thiện về chất lượng và tính nhất quán, và chúng tôi đã bắt tay vào làm. Trọng tâm ban đầu của chúng tôi là tìm ra cách tốt nhất để huấn luyện mô hình và đạt được tính nhất quán đa góc nhìn cho nhiều thể loại.

Huấn luyện

Spell được huấn luyện chủ yếu bằng dữ liệu thật (ghi lại từ đời thực), bổ sung thêm dữ liệu tổng hợp (dữ liệu 3D được kết xuất kỹ thuật số).

Với dữ liệu thật, chúng tôi xây dựng bộ dữ liệu lớn của riêng mình bằng cách tự ghi lại dữ liệu thực tế trong một thời gian dài ở nhiều quốc gia trên thế giới.

Với dữ liệu tổng hợp, chúng tôi kết xuất đối tượng 3D bằng nhiều kỹ thuật; trong một số trường hợp, chúng tôi phát triển pipeline kết xuất riêng và tận dụng các công cụ nội bộ đã phát triển trước đó khi xây dựng trình chỉnh sửa thời gian thực của Spline. Chúng tôi cũng mua bản quyền mô hình 3D từ một chợ 3D uy tín, đảm bảo chúng được phép dùng để huấn luyện ML.

Chúng tôi không dùng bất kỳ dữ liệu nào của người dùng Spline để huấn luyện.

Volume

Hiện tại, kết quả đầu ra hoặc bản xuất cuối cùng của Spell có thể là video, chuỗi hình ảnh hoặc volume (Gaussian Splatting).

Tuy nhiên, Spell không phụ thuộc vào kỹ thuật kết xuất volume cụ thể nào, và cũng có thể chuyển biểu diễn volume nội bộ thành mesh bằng bất kỳ kỹ thuật tái dựng nào (hoặc bằng một mô hình tái dựng).

Kỷ nguyên mới cho 3D

Chúng tôi tin đây là một bước nhảy vọt hướng tới kỷ nguyên đồ họa mới do AI dẫn dắt, với khả năng kiểm soát chi tiết kết quả và tính tương tác. Đây là phiên bản đầu tiên của mô hình, và chúng tôi kỳ vọng cả chất lượng lẫn tính nhất quán sẽ được cải thiện trong suốt năm nay.

Quá trình huấn luyện Spell vẫn đang tiếp tục, và chúng tôi dự định thường xuyên phát hành các checkpoint mô hình mới.

Chúng tôi rất hào hứng được xem bạn tạo ra gì với nó!

– Đội ngũ Spline