Учёные Яндекса разработали и опубликовали в свободном доступе новые методы сжатия больших языковых моделей. По мнению специалистов Yandex Research, они позволят бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Разработка будет полезна корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании.
Чтобы большая языковая модель отвечала качественно и быстро, требуется множество дорогостоящих мощных графических процессоров. Решение Яндекса позволяет уменьшить модель в несколько раз, сократить количество необходимых процессоров и запустить её на устройствах с меньшей вычислительной мощностью. А значит внедрение нейросетей и обслуживание оборудования станет дешевле для бизнеса.
Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.
Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках. Новый подход показал лучший результат среди всех существующих методов сжатия, отмечают в Яндексе. Метод, созданный в Yandex Research, сохраняет в среднем 95% качества ответов нейросети, а другие популярные инструменты сохраняют для тех же моделей лишь 59% — 90% качества. Код нового метода опубликован на GitHub, также можно скачать уже сжатые с его помощью популярные модели с открытым исходным кодом и обучающие материалы.
Представители «Метровагонмаш-Сервиса» посетили СЛД «Москва-Сортировочная» филиала «Московский» компании «ЛокоТех-Сервис» для обмена опытом
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Отрытый конкурс красоты и таланта «Одна на миллион»
Дисбактериоз, Синдром дырявого кишечника и отеки: Кутушов рассказал, как связаны эти проблемы
Первая выставка межрегионального проекта «Живописная Россия. По законам жанра» пройдет в Ставрополе
Представители «Метровагонмаш-Сервиса» посетили СЛД «Москва-Сортировочная» филиала «Московский» компании «ЛокоТех-Сервис» для обмена опытом
Россиян предпочли туркам: в Турции, в отеле забитом российскими туристами, сломались кондиционеры и отдыхающие начали со скандалом перетаскивать кровати в ресторан
Mikel Arteta demands more Arsenal signings as he gives cryptic update on Riccardo Calafiori transfer
Why you should buy physical copies of your favorite books
TV fame Drashti Dhami shares her workout routine during the pregnancy; see video
Exclusive - Sayantani Ghosh expresses happiness as sets of her show Dahej Daasi shifted close to her home; says 'I've been manifesting this for quite some time now'
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
В Московской области сотрудники Росгвардии задержали подозреваемого в краже партии товаров.
Google отказалась от ИИ-функции поиска в сервисе Фото из-за технических проблем
Кажетта Ахметжанова: какие цифры в дате рождения отвечают за денежный магнетизм человека
Путин назначил Романа Курынина замглавы МЧС России
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
22 июля Всемирный день мозга. Отвечаем на популярные вопросы о когнитивных расстройствах
Отрытый конкурс красоты и таланта «Одна на миллион»
Как выбрать инструменты для автомобиля?
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
22 июля Всемирный день мозга. Отвечаем на популярные вопросы о когнитивных расстройствах
Путин назначил Романа Курынина замглавы МЧС России
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Главный врач клиники микрохирургии глаза АйМед Элина Санторо: что такое катаракта на самом деле