Учёные Яндекса разработали и опубликовали в свободном доступе новые методы сжатия больших языковых моделей. По мнению специалистов Yandex Research, они позволят бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Разработка будет полезна корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании.
Чтобы большая языковая модель отвечала качественно и быстро, требуется множество дорогостоящих мощных графических процессоров. Решение Яндекса позволяет уменьшить модель в несколько раз, сократить количество необходимых процессоров и запустить её на устройствах с меньшей вычислительной мощностью. А значит внедрение нейросетей и обслуживание оборудования станет дешевле для бизнеса.
Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.
Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках. Новый подход показал лучший результат среди всех существующих методов сжатия, отмечают в Яндексе. Метод, созданный в Yandex Research, сохраняет в среднем 95% качества ответов нейросети, а другие популярные инструменты сохраняют для тех же моделей лишь 59% — 90% качества. Код нового метода опубликован на GitHub, также можно скачать уже сжатые с его помощью популярные модели с открытым исходным кодом и обучающие материалы.
Более 40 тысяч семей в Москве и области получают ежемесячные выплаты из средств материнского капитала
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
Представители «Метровагонмаш-Сервиса» посетили СЛД «Москва-Сортировочная» филиала «Московский» компании «ЛокоТех-Сервис» для обмена опытом
22 июля Всемирный день мозга. Отвечаем на популярные вопросы о когнитивных расстройствах
Малинки – чудесный парк птиц в Ростовской области у трассы М4-Дон
Молодёжь сервисного локомотивного депо «Сольвычегодск» филиала «Северный» ООО «ЛокоТех-Сервис» выиграла дорожный этап интеллектуальной лиги ОАО «РЖД» «Что? Где? Когда?»
В Московской области сотрудники Росгвардии задержали подозреваемого в краже партии товаров.
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Молодёжь сервисного локомотивного депо «Сольвычегодск» филиала «Северный» ООО «ЛокоТех-Сервис» выиграла дорожный этап интеллектуальной лиги ОАО «РЖД» «Что? Где? Когда?»
Большие гастроли на сцене Михайловского театра
Песков: Россия надеется, что Армения не пойдет по пути киевского режима
Филиал «Красноярский» компании «ЛокоТех-Сервис» по итогам 6 месяцев 2024 года выполнил плановые показатели сервисного обслуживания локомотивов
