Новый метод DeepMind снижает расходы на обучение ИИ

Новый метод DeepMind – JEST, или совместный выбор примеров – отличается от принятых способов обучения ИИ простотой. Обычно они опираются в обучении и тренировках на отдельные точки данных, тогда как JEST позволяет учиться на всем пакете данных. Сначала он создает модель меньшего размера, которая быстро сортирует данные из самых ценных источников по качеству. Затем сравнивает оценку с большим набором менее качественных данных. Уменьшенная модель определяет пакеты, лучше всего подходящие для обучения. На основании вердикта малой модели происходит обучение большой.

Авторы поясняют, что для успеха метода JEST существенна способность «направлять процесс выбора данных к распределению более компактных и качественных наборов данных». По их словам, такой подход позволяет создавать передовые модели, совершая в 13 раз меньше итераций, и требует в 10 раз меньше вычислений.

JEST больше подходит профессиональным разработчикам ИИ, чем любителям. Система целиком зависит от качества данных, поскольку метод бутстрэпа не работает без отредактированного человеком набора данных наивысшего качества. Для подготовки таких данных, скорее всего, потребуются знания на экспертном уровне.

Как https://www.tomshardware.com/tech-industry/artificial-intell... Tom’s Hardware, этот инструмент появился как нельзя вовремя, когда расходы электроэнергии на обучение ИИ начинают равняться потреблению электроэнергии небольших государств. И непохоже, чтобы этот процесс собирался замедляться. В прошлом году на работу ИИ было израсходовано 4,3 ГВт энергии.

Исследователи из Google DeepMind БЯМ, которые могут работать с большим объемом текста через контекстное окно, и https://hightech.plus/2024/04/25/v-deepmind-obnaruzhili-chto..., что при включении сотен или даже тысяч примеров обучения непосредственно в запрос, возможности модели значительно улучшаются, а необходимость в традиционной тонкой настройке отпадает. Проще говоря, обучать БЯМ можно обычными текстовыми запросами, главное, чтобы они были объемными и содержали множество качественных примеров.