สร้างโลกด้วย AI

เปิด Spell

Spell ถูกออกแบบมาเพื่อสร้างฉาก 3D ทั้งฉากหรือ "โลก" จากรูปภาพในเวลาไม่กี่นาที โลกที่ได้สอดคล้องกับรูปภาพต้นทาง และแสดงในรูปแบบวอลุ่มที่เรนเดอร์ได้ด้วย Gaussian Splatting (หรือวิธีอื่น เช่น NeRF)

ความสามารถ

โดยแก่นแท้แล้ว Spell เป็นโมเดลประเภท diffusion ที่สร้างโลก 3D ซึ่งมีความสอดคล้องจากหลายมุมมองอย่างสมจริงได้ในหลากหลายหมวดหมู่ ทั้งผู้คน วัตถุ สภาพแวดล้อม ตัวละคร 3D และอื่น ๆ

โมเดลนี้เรนเดอร์ภาพจากหลายมุมของวัตถุหนึ่ง ๆ ได้อย่างแม่นยำและมีรายละเอียดสูง รวมถึงสร้างเส้นทางกล้องที่ควบคุมได้ โดยยังคงสอดคล้องกับฉาก 3D

นอกจากนี้ยังจำลองคุณสมบัติทางกายภาพของวัสดุในเชิงภาพได้ เช่น การสะท้อน การหักเหของแสง ความหยาบของพื้นผิว และคุณสมบัติบางอย่างของกล้อง เช่น ระยะชัดลึก (Depth of field) และแม้แต่การที่กล้องตัดผ่านวัตถุเมื่อพยายามเข้าไปข้างในพื้นผิว

Spell ให้ความสำคัญกับความสอดคล้องทางกายภาพ และมุ่งยึดโยงกับความเป็นจริงด้วยการจำลองการที่กล้องตัดผ่านวัตถุ แทนที่จะประมาณค่าหรือแปลงรูปเพื่อรักษาความต่อเนื่องของภาพ ตัวอย่างเช่น ถ้ากล้องเข้าไปในกำแพง มันจะจำลองการตัดผ่านกำแพงจริง ๆ แทนที่จะเปลี่ยนกำแพงให้กลายเป็นอย่างอื่น

เราพบว่าโมเดลสามารถต่อยอดความรู้ข้ามหมวดหมู่ได้ดีมาก ในบางกรณีให้ผลลัพธ์ที่ดีแม้ในสถานการณ์ที่ห่างไกลจากการกระจายตัวของข้อมูลตั้งต้น

อย่างไรก็ตาม ยังมีพื้นที่อีกมากสำหรับการพัฒนาด้านคุณภาพและความสอดคล้อง และเรากำลังดำเนินการอยู่ จุดเน้นแรกของเราคือการค้นหาแนวทางที่ดีที่สุดในการฝึกโมเดล และทำให้เกิดความสอดคล้องจากหลายมุมสำหรับหมวดหมู่ที่หลากหลาย

การฝึกโมเดล

Spell ได้รับการฝึกด้วยข้อมูลผสม ซึ่งส่วนใหญ่เป็นข้อมูลจริง (ที่บันทึกจากชีวิตจริง) เสริมด้วยข้อมูลสังเคราะห์ (ข้อมูล 3D ที่เรนเดอร์แบบดิจิทัล)

สำหรับข้อมูลจริง เราสร้างชุดข้อมูลขนาดใหญ่ของเราเองด้วยการบันทึกข้อมูลจากโลกจริงด้วยตนเองเป็นเวลานานในหลายประเทศทั่วโลก

สำหรับข้อมูลสังเคราะห์ เราเรนเดอร์วัตถุ 3D ด้วยหลายเทคนิค ในบางกรณีเราพัฒนาไปป์ไลน์การเรนเดอร์ของเราเอง และใช้เครื่องมือภายในที่เราเคยพัฒนาขึ้นระหว่างสร้างเอดิเตอร์แบบเรียลไทม์ของ Spline เรายังซื้อสิทธิ์ใช้งานโมเดล 3D จากมาร์เก็ตเพลส 3D ที่เชื่อถือได้ โดยตรวจสอบให้แน่ใจว่าได้รับอนุญาตให้ใช้ในการฝึก ML

เราไม่ได้ใช้ข้อมูลใด ๆ จากผู้ใช้ Spline ในการฝึก

วอลุ่ม

ในตอนนี้ ผลลัพธ์สุดท้ายหรือการส่งออกของ Spell เป็นได้ทั้งวิดีโอ ลำดับภาพ หรือวอลุ่ม (Gaussian Splatting)

อย่างไรก็ตาม Spell ไม่ได้ผูกติดกับเทคนิคการเรนเดอร์วอลุ่มแบบใดแบบหนึ่ง และยังแปลงการแทนวอลุ่มภายในให้เป็นเมชได้ด้วยเทคนิคการสร้างใหม่ (reconstruction) ใดก็ได้ (หรือใช้โมเดลสำหรับการสร้างใหม่)

ยุคใหม่ของ 3D

เราเชื่อว่านี่คือก้าวกระโดดครั้งสำคัญสู่ยุคใหม่ของกราฟิกที่ขับเคลื่อนด้วย AI ซึ่งควบคุมผลลัพธ์ได้อย่างละเอียดและโต้ตอบได้ นี่เป็นโมเดลเวอร์ชันแรก และเราคาดว่าทั้งคุณภาพและความสอดคล้องจะดีขึ้นตลอดทั้งปี

การฝึก Spell ยังคงดำเนินต่อไป และเราวางแผนจะปล่อยเช็กพอยต์ของโมเดลใหม่ ๆ อย่างสม่ำเสมอ

เราตื่นเต้นที่จะได้เห็นสิ่งที่คุณสร้างด้วยมัน!

– ทีม Spline