Для эффективной работы больших языковых моделей обычно требуется множество дорогостоящих графических процессоров. Решение от Яндекса позволяет уменьшить размер моделей в несколько раз, что снижает потребность в вычислительных мощностях и позволяет запускать модели на устройствах с меньшими вычислительными ресурсами. Это делает внедрение и обслуживание нейросетей более доступным для бизнеса. В отличие от других методов, которые существенно снижают качество ответов нейросетей при сжатии, метод Яндекса сохраняет до 95% качества.
Разработанное https://yandex.ru/company/news/02-23-07-2024 включает два инструмента. Первый уменьшает размер модели до 8 раз, что ускоряет её работу и позволяет запускать её на одном графическом процессоре вместо 4. Второй инструмент исправляет ошибки, возникающие в процессе сжатия, что обеспечивает высокое качество работы модели.
Эффективность методов была проверена на популярных моделях с открытым исходным кодом, таких как Llama 2, Llama 3 и Mistral. В ходе тестирования на англоязычных бенчмарках, метод Яндекса показал лучший результат среди всех существующих методов сжатия, сохранив в среднем 95% качества ответов нейросети, в то время как другие инструменты сохраняют от 59% до 90%.
Код новых методов сжатия уже опубликован на https://github.com/vahe1994/aqlm, что позволяет специалистам начать его использовать. Также доступны для скачивания уже сжатые модели и обучающие материалы, которые помогут разработчикам адаптировать уменьшенные нейросети под свои задачи.
Статья Yandex Research о методе сжатия AQLM вошла в программу одной из самых престижных конференций по машинному обучению — ICML. Работа была подготовлена в сотрудничестве с экспертами из ISTA и ИИ-стартапа Neural Magic.
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Более 40 тысяч семей в Москве и области получают ежемесячные выплаты из средств материнского капитала
Спортивные игры в СЛД "Москва-Сортировочная" филиала "Московский"
Exclusive - Sayantani Ghosh expresses happiness as sets of her show Dahej Daasi shifted close to her home; says 'I've been manifesting this for quite some time now'
Why you should buy physical copies of your favorite books
Who is Ghetts and what character does the rapper play in Supacell?
Kamala Harris’s Record on Israel Raises Questions About Support for Jewish State if Elected US President
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
"Он очень больной мальчик": диаспора просит отпустить мигранта проломившего голову депутату Госдумы Матвееву.
Heroje H288BW- портативный сканер штрих-кодов с интерфейсом Bluetooth
Более 40 тысяч семей в Москве и области получают ежемесячные выплаты из средств материнского капитала
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
На линии огня. Московские спасатели борются с пожарами по всей России