В России разработали первую независимую платформу для оценки качества больших языковых моделей. Она называется LLM Arena. Ее создателем стал Роман Куцин, который взаимодействовал с экс-разработчиками TrainingData.ru, где он был техническим директором, и экспертами по ИИ-моделям.
С помощью бенчмарка можно тестировать нейросети, которые работают на русском языке. Большие языковые модели оценивают на основе пользовательских задач. Все желающие могут сравнивать ответы в зависимости от запросов. Работает LLM Arena следующим образом. Пользователю для сравнения дают две случайные модели, при этом ему не показывают информацию о том, кто их разработал. Затем можно написать любой запрос и выбрать ответ, который покажется лучшим по любой причине. Помимо этого, есть возможность отметить, что ответы оказались похожими или не соответствующими задаче.
Пока что пользователи LLM Arena могут протестировать 21 нейросеть. На платформу добавили самые популярные варианты. Например, там есть зарубежная большая языковая модель ChatGPT, а а также российские YandexGPT и GigaChat. В дальнейшем список ИИ-моделей расширится. При этом сами разработчики также смогут их добавить. Бенчмарк разработали по открытой лицензии, он работает по принципу популярного рейтинга LMSYS Chatbot Arena.
Как отметили создатели платформы, их задача — сделать объективный и актуальный рейтинг генеративных нейросетей на русском языке. По их словам, уже есть немало способов сравнивать модели, но сложно протестировать их на родном языке и настоящих пользовательских задачах. Авторы LLM Arena отметили, что скоро добавят в сервис возможность оценивать качество ответов в зависимости от категории запроса, в том числе по написанию кода. А в дальнейшем пользователи смогут сравнивать определение содержимого на изображениях и генерацию видео по тексту.
Отделение СФР по Москве и Московской области проактивно открыло свыше 32 тысяч СНИЛС новорожденным
Обложка песни. Обложки альбомов песен. Сделать обложку для песни.
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Blizzard politely tells Hearthstone players their game isn't dead just because it's not getting a new cosmetic board this expansion
Co-op survival game Enshrouded now lets you make things way tougher, or way easier, with an update that adds more than 30 difficulty sliders
Former GTA dev says 'it's time for a revolution' where 'animation is more AI-driven and physics-driven' than done by hand
Activision secretly experimented on 50% of Call of Duty players by 'decreasing' skill-based matchmaking, and determined players like SBMM even if they don't know it
Филиал № 4 ОСФР по Москве и Московской области информирует:
Пенсии работающих пенсионеров начнут индексироваться с 2025 года
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
С 1 августа Соцфонд увеличит страховые пенсии россиян
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Форум-фестиваль «Москва 2030» пройдет с 1 августа по 8 сентября
Глава Минтранса Старовойт признал «деградацию» федеральных дорог
Проект «Неизвестная Москва» представил прогулочный маршрут по Выхино-Жулебино
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
Пенсии работающих пенсионеров начнут индексироваться с 2025 года
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе свыше 11,3 тыс. неработающих родителей получают пособие по уходу за ребенком до 1,5 лет
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала года 86 тысяч работающих мам в Москве и Московской области получили пособие по беременности и родам
