SplineПредставляем Spline Arena
Рейтинг ИИ-моделей для 3D, составленный по вашим голосам. Две модели создают сцену в Spline по одному и тому же промпту, вы выбираете лучшую — и каждый голос меняет рейтинг.
Сегодня мы открываем Spline Arena для всех. Это публичный рейтинг того, насколько хорошо ИИ-модели создают 3D, и составляете его вы.
ИИ-модели всё лучше справляются с кодом и текстом, и бенчмарков для них полно. С 3D всё иначе. Хороша ли сцена, зависит от того, как она выглядит, как освещена, как сочетаются её части и делает ли она то, что просили в промпте. Это сложно оценить автоматически, но человеку достаточно одного взгляда. Поэтому мы создали арену, где судят люди.
Как это работает
Две модели получают один и тот же промпт — например, «Велосипед, на котором можно ездить на работу» — и каждая создаёт в Spline настоящую сцену.
Вы видите обе готовые сцены рядом. Вращайте их, двигайте, рассматривайте со всех сторон, а затем выберите лучшую: A, B, ничья или обе плохие. Модели остаются анонимными, чтобы название не влияло на выбор, а следующая битва загружается сразу после голосования. Как модели соотносятся между собой, видно в рейтинге.
Промпты бывают самыми разными — от одного объекта до целых интерактивных сцен со светом, анимацией и кликабельными элементами:
Рейтинг
Каждый голос попадает в публичный рейтинг. Мы строим модель Брэдли — Терри по всем парным голосованиям и применяем бутстрэп, чтобы у каждой оценки был доверительный интервал. Когда две модели идут почти вровень, рейтинг это показывает.
Каждая оценка показывает, насколько чаще модель выигрывает слепую битву, чем выигрывала бы средняя модель. Оценка 7% означает, что она выигрывает 57% своих битв там, где средняя модель выигрывает 50%. Ничья и «обе плохие» засчитываются каждой стороне как половина победы.
На арене сравниваются передовые модели Anthropic, OpenAI, Google, xAI и других компаний, а состав меняется по мере выхода новых моделей. Рядом с рейтингом — график, где оценка каждой модели сопоставлена со средней стоимостью одной сцены, так что видно, какие модели дают больше всего за свои деньги.
Зачем мы это делаем
Всё больше людей создают 3D с помощью ИИ именно в Spline — с нашим собственным агентом и через Claude, ChatGPT, Cursor и другие MCP-клиенты. Мы хотим знать, какие модели хорошо создают 3D и в чём они ещё не дотягивают, и хотим, чтобы ответ на этот вопрос давали люди, которые ими пользуются.
Этот сигнал помогает моделям лучше работать с 3D, а вместе с ними становятся лучше и сцены, которые они создают в Spline. Именно поэтому голоса могут передаваться партнёрам по исследованиям ИИ в обезличенном виде. Лучшие модели — это лучшие результаты для вас, и быстрее.
С чего начать
Spline Arena находится в боковой панели дашборда, в меню новой вкладки и в отдельной вкладке десктопного приложения. Нужен лишь бесплатный аккаунт Spline. Подробнее — на spline.design/arena.
