С новым сервисом пользователи могут в реальном времени взаимодействовать с различными генеративными нейросетями и оценивать их работу в зависимости от своих потребностей и задач.
LLM Arena отличается от аналогичных зарубежных сервисов, таких как LMSYS Chatbot Arena, своим акцентом на русскоязычные модели. На платформе представлены такие модели, как YandexGPT, GigaChat, Сайга и Вихрь. Пользователи могут оставлять свои оценки, которые затем используются для формирования объективного рейтинга языковых моделей.
Тест происходит в режиме реального времени и оценивать качество их ответов в соответствии с запросами пользователей. Для сравнения пользователю предлагаются две случайные модели, при этом информация о разработчиках нейросетей скрыта. Пользователи могут вводить любые запросы, сравнивать ответы моделей и выбирать лучший по их мнению ответ, основываясь на таких критериях, как количество фактов, развернутость, наличие примеров и т.д. Если ответы нерелевантные или схожие, это также можно отметить. На основе полученных оценок формируется рейтинг русскоязычных генеративных нейросетей.
Рынок искусственного интеллекта, стремительно развивающийся, начинает сталкиваться с проблемами, характерными для зрелых отраслей, такими как выбор подходящей методики оценки эффективности. Российские разработчики больших языковых моделей, применяемых, например, для создания голосовых ассистентов, используют различные инструменты для публичного сравнения своих разработок. Экспериментальная версия YandexGPT, например, оценивается с помощью парного сравнения на «чатбот-арене», тогда как модели MTS AI оцениваются на основе решения заранее определенных задач. Участники рынка отмечают необходимость использования различных бенчмарков для оценки эффективности в зависимости от конкретных вопросов.
The Big Catch: Tacklebox is the hardest 3D platformer I've ever played, 8+ hours long, and a free to play 'prologue' to a bigger, better game on the way
A Quake 2 Remaster dev has rebuilt the game's unique PlayStation port from scratch and released it as a free add-on
The Case of the Golden Idol has done so well that it's getting a free definitive edition upgrade
Epic Boss Tim Sweeney says Unreal Engine 6 will be a 'metaverse' joining Fortnite and other Unreal games, including an upcoming 'persistent universe' in development with Disney
Шестой Кубок Кремля по бальным танцам состоится 19 октября
"Фортуна" на льду: как многодетная мама развивает уникальную хоккейную команду для слабовидящих детей
Смородская о сборной России: «Тренировки или матч против какой-то там неофициальной сборной Пакистана – все это не вдохновляет. Лучше с нашими клубами сыграть»