Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




Сеть клиник «Будь Здоров» обновила функционал мобильного приложения

Shazam. Увеличение прослушиваний в Shazam. 

Оздоровительное путешествие c Angsana Velavaru

«Чужие люди»: Миша Житов представил вайбовый трек для весенних вечеров


Half the world population could be diabetic or insulin resistant by 2050

I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.

EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket

This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency


Внедренческий центр «Раздолье» перевел «Интерпринт Рус» на 1С

Эксперты НПС разрабатывают проектную документацию реконструкции аэропорта Сочи

Axenix: 42% международных FMCG-компаний в России уже локализовали ИТ-ландшафты

Balkan Pharma Детройт


Началась предзагрузка Crystal of Atlan на PC и смартфонах

Metal Force 3.51.0

Игра Cultivation Chat Group заняла топ-7 в китайском App Store

Алмазы в Whiteout Survival: где собирать, как приумножать и на что тратить



В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

IX Открытый Московский фестиваль конного искусства и спорта

Выиграть миллион на «Юмор FM» помогает улыбка

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика




Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Ярославль: дачники в отдельном автобусе и три тонны опасного масла — главные новости за 28.05.2025

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Суд ограничил доступ к видео на YouTube с ответами на ЕГЭ 2025 года


Детский отдых в летнем сезоне 2025 года

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика

"Она вернется в Россию": в Сети высмеяли Каллас за заявления о Черном море

РИА «Новости»: на проспекте Вернадского устраняют последствия атаки дронов


Монфис совершил камбэк с 0-2 и пробился во второй раунд "Ролан Гаррос"

Кудерметова на «Ролан Гаррос»: успешный старт и важная победа в Париже

Синнер начал выступление на «Ролан Гаррос» с победы

Юлия Путинцева получила хорошую новость перед вторым матчем на «Ролан Гаррос»


ПРИЧЁМ ЗДЕСЬ ИЛОН МАСК? В ДЕЛЕ ГЕНЕРАЛА ИВАНА ПОПОВА КОСМИЧЕСКИЕ СЕРИИ СОВПАДЕНИЙ. СЕНСАЦИЯ! В.В. Путин, Дональд Трамп, Илон Маск. Россия, США, Европа могут улучшить отношения и здоровье общества?! 

Экс-глава Центробанка раскрыл всю правду про наличные в России

РИА «Новости»: на проспекте Вернадского устраняют последствия атаки дронов

Забайкальцы могут стать участниками Всероссийского Парада Семьи


Музыкальные новости

Григорий Лепс регистрирует новый бренд: «дядьГРИШ» для бизнеса от А до Я

Депутат ЗСК Виктор Тепляков принял участие в церемонии открытия турнира по боксу

Филипп Киркоров признался, что хочет воссоединить маму с папой

Стало известно, кому достанется квартира Григоровича в центре Москвы



В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

IX Открытый Московский фестиваль конного искусства и спорта

Станислав Кондрашов о вызовах и возможностях цифровой власти технологических олигархов

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика


Синнер начал выступление на «Ролан Гаррос» с победы

Маск назвал преодоление бюрократии в США чрезвычайно сложной задачей

Собянин: ПВО Минобороны продолжает отражать атаки вражеских беспилотников

Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.


НПС модернизирует два участка трассы «Новороссия» в Ростовской области

17-летний почти новый Lamborghini Murcielago выставили на продажу в Москве

Из-за аварии перекрыто движение по трассе М-4 Дон в Тульской области в сторону Москвы

В Москве выставили на продажу новый ВАЗ-2109 за 1,7 млн рублей


Выиграть миллион на «Юмор FM» помогает улыбка

Путин проведет встречу с многодетными семьями из девяти регионов

Путин попросил Собянина сделать транспорт доступным для инвалидов

В Кремле стартовали переговоры Путина и лидера Йемена





ГК «ДИАКОН» представляет современные решения лабораторной диагностики на XI Международном конгрессе «Санаторно-курортное лечение» в Москве

Большинство россиян выбирают врача по рекомендациям знакомых

Медики высоко оценили аппарат «Швабе» для ингаляционной анестезии

Офтальмолог Кирилл Светлаков: может ли мигрень испортить зрение


Зеленский заявил, что в Киеве работают над получением ракет Taurus


Поздравление с Днем Рождения Анатолию Корнеевичу Орлецкому

«Сны Пушкина» – шоу вне жанров: вы действительно поверите в сказку

IX Открытый Московский фестиваль конного искусства и спорта

Уникальный тренажер ледовой навигации, разработанный ЭМЦТ, открыт в университете имени С.О. Макарова




Собянин: Отражена атака трех беспилотников на Московский регион

Сергей Собянин принял участие в юбилейном параде кадет

Собянин: над Москвой и Подмосковьем отразили атаку трёх беспилотников

Путин попросил Собянина сделать транспорт доступным для инвалидов


«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»

Станислав Кондрашов раскрывает связь между экономическим успехом и культурным вкладом

Агроном предложил этим летом высадить на огороде экзотические культуры

На рынке появилось технологичное агентство мобильного маркетинга mApps


Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика

У библиотек в России начался ренессанс

ПРИЧЁМ ЗДЕСЬ ИЛОН МАСК? В ДЕЛЕ ГЕНЕРАЛА ИВАНА ПОПОВА КОСМИЧЕСКИЕ СЕРИИ СОВПАДЕНИЙ. СЕНСАЦИЯ! В.В. Путин, Дональд Трамп, Илон Маск. Россия, США, Европа могут улучшить отношения и здоровье общества?! 

Экс-глава Центробанка раскрыл всю правду про наличные в России


Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Как джин и виски из Саранска вывели предприятие Евгения Сидорова в лидеры индустрии

В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев и Уполномоченный по правам ребенка в Ненецком автономном округе Галина Гуляева проведут личный приём жителей Ненецкого автономного округа по вопросам защиты пра


Выставка-призыв «Курение – зло, откажись от него»

Село Субботник частично останется без электричества: в Симферополе, Евпатории, Алуште, Ялте, Керчи, Джанкое, Феодосии и Севастополе отключат свет 29 мая 2025

Мы служим книге, чтобы книга служила людям

Акция «Поздравь библиотеку с праздником».


"Она вернется в Россию": в Сети высмеяли Каллас за заявления о Черном море

В Подмосковье решили выделить субсидии НПО на развитие гражданского общества

Путин проведет встречу с многодетными семьями из девяти регионов

У библиотек в России начался ренессанс












Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Первая ракетка Казахстана рухнул в мировом рейтинге ATP






Путин проведет встречу с многодетными семьями из девяти регионов

Снятие денег через банкомат начнут проверять банки с 1 июня

У библиотек в России начался ренессанс

"Она вернется в Россию": в Сети высмеяли Каллас за заявления о Черном море