Представляємо Spline Arena

Голосувати на арені

Сьогодні ми відкриваємо Spline Arena для всіх. Це публічний рейтинг того, наскільки добре ШІ-моделі створюють у 3D, і формуєте його ви.

ШІ-моделі дедалі краще справляються з кодом і текстом, і бенчмарків для них повно. З 3D усе інакше. Чи вдала сцена, залежить від того, як вона виглядає, як освітлена, як її частини поєднуються між собою і чи робить вона те, про що просив промпт. Це важко оцінити автоматично, але людина легко оцінить з першого погляду. Тож ми створили арену, де суддями є люди.

Як це працює

Дві моделі отримують той самий промпт, наприклад «Велосипед, щоб їздити на роботу», і кожна створює справжню сцену в Spline.

Ви бачите обидві готові сцени поруч. Покрутіть їх, переміщуйте огляд, роздивіться з усіх боків, а тоді оберіть кращу: A, B, нічия або обидві погані. Моделі залишаються анонімними, тож назва ніколи не впливає на вибір, а наступний поєдинок завантажується, щойно ви проголосуєте. Як моделі співвідносяться між собою, показує рейтинг.

Промпти бувають різні: від одного об’єкта до цілих інтерактивних сцен з освітленням, анімацією та елементами, на які можна клікати:

Рейтинг

Кожен голос потрапляє в публічний рейтинг. Ми підганяємо модель Бредлі–Террі до всіх голосів у парних порівняннях і застосовуємо бутстреп, щоб дати кожній оцінці довірчий інтервал. Коли дві моделі близькі, рейтинг це показує.

Кожна оцінка означає, наскільки частіше модель перемагає в сліпому поєдинку, ніж перемагала б середня модель. Оцінка 7% означає, що вона виграє 57% поєдинків там, де середня модель виграє 50%. Нічия та «обидві погані» зараховуються кожній стороні як половина перемоги.

Арена порівнює передові моделі від Anthropic, OpenAI, Google, xAI та інших, і склад змінюється з виходом нових моделей. Поруч із рейтингом графік показує оцінку кожної моделі відносно її середньої вартості за сцену, тож видно, які дають найбільше за свої гроші.

Навіщо ми це робимо

Spline — це місце, де дедалі більше людей створюють 3D зі ШІ: у нашому власному агенті та через Claude, ChatGPT, Cursor та інші MCP-клієнти. Ми хочемо знати, які моделі добре створюють 3D і де їм ще бракує, і хочемо, щоб відповідь давали ті, хто ними користується.

Цей сигнал допомагає моделям краще працювати з 3D, а разом із ними кращають і сцени, які вони створюють у Spline. Саме тому голоси можуть передаватися в знеособленому вигляді партнерам із досліджень ШІ. Кращі моделі — це кращі результати для вас, і швидше.

Почніть

Spline Arena є на бічній панелі дашборду, у панелі запуску нової вкладки та в окремій вкладці десктопного застосунку. Потрібен лише безкоштовний обліковий запис Spline. Докладніше на spline.design/arena.

Віддати перший голос