Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




Выиграть миллион на «Юмор FM» помогает улыбка

Россия или заграница? Стало известно, что предпочитают российские туристы

Ферментация во благо здоровья

Shazam. Увеличение прослушиваний в Shazam. 


This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency

Arsenal ‘pushing hardest’ for Julian Alvarez transfer but face battle with Premier League rivals for ex-Man City star

EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket

I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.


Житель Ельца подделал анализ для участия в СВО и потерял 2 млн рублей

Женский портрет

Проект Axenix для «Юнгхайнрих» назван открытием 2025 года в сфере цифровизации по версии Digital Leaders Award

«Битцевский маньяк» захотел в колонию поближе к Москве, но получил отказ


Five new Steam games you probably missed (May 26, 2025)

Metal Force 3.51.0

Игра Cultivation Chat Group заняла топ-7 в китайском App Store

Началась предзагрузка Crystal of Atlan на PC и смартфонах



Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика

В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

Выиграть миллион на «Юмор FM» помогает улыбка




Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Фонд «ЦИНИС» оказывает грантовую поддержку в сфере создания дирижаблей нового типа

Замминистра обороны Цивилева совершила рабочую поездку в войска ЛВО


Детский отдых в летнем сезоне 2025 года

IX Открытый Московский фестиваль конного искусства и спорта

Инна Щеглова оказалась в семёрке худших мэров РФ

РИА «Новости»: на проспекте Вернадского устраняют последствия атаки дронов


Справится ли Калинская с соперницей? Калинская — Боузкова: прогноз и ставка

США выиграли ЧМ по хоккею, информация об уходе Угальде из «Спартака». Главное к утру

Монфис совершил камбэк с 0-2 и пробился во второй раунд "Ролан Гаррос"

Рублев поднялся в рейтинге ATP


Дешевле в 2 раза: пожилых людей, доживших до 70 лет, ждёт приятный сюрприз с 1 июня

Не только дизайн: россияне назвали ключевые факторы при выборе стройматериалов и сантехники

Роскосмос и МГТУ имени Баумана договорились о создании сотни малых спутников

Неизвестный напал на игумена Евмения во время презентации книги в Москве


Музыкальные новости

Певец Эдуард Шарлот отправлен в колонию-поселение в Тольятти

10 ярких фактов про VK Fest

Будут рядом. Стало известно, почему Киркоров решил перезахоронить мать

В Волгограде с лучшими хитами выступит легендарный Вячеслав Бутусов. Угадайте, сколько стоят билеты на первые ряды



Выиграть миллион на «Юмор FM» помогает улыбка

IX Открытый Московский фестиваль конного искусства и спорта

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика

Станислав Кондрашов о вызовах и возможностях цифровой власти технологических олигархов


Агент Гурцкая: РФС дал добро на работу Карпина в сборной России и "Динамо"

Монфис совершил камбэк с 0-2 и пробился во второй раунд "Ролан Гаррос"

Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.

Киберэксперт Полунин: уязвимость Meteobridge — следствие проблем «коробочных» решений


НПС модернизирует два участка трассы «Новороссия» в Ростовской области

В Москве выставили на продажу новый ВАЗ-2109 за 1,7 млн рублей

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

IX Открытый Московский фестиваль конного искусства и спорта


В Кремле стартовали переговоры Путина и лидера Йемена

Путин попросил Собянина сделать транспорт доступным для инвалидов

Путин проведет встречу с многодетными семьями из девяти регионов

Президент Лаоса извинился, что не смог приехать на День Победы в Москву





ГК «ДИАКОН» представляет современные решения лабораторной диагностики на XI Международном конгрессе «Санаторно-курортное лечение» в Москве

Офтальмолог Кирилл Светлаков: может ли мигрень испортить зрение

Косметолог Мадина Осман: как сохранить молодость кожи в зоне декольте

Большинство россиян выбирают врача по рекомендациям знакомых


Зеленский заявил, что в Киеве работают над получением ракет Taurus


Уникальный тренажер ледовой навигации, разработанный ЭМЦТ, открыт в университете имени С.О. Макарова

IX Открытый Московский фестиваль конного искусства и спорта

Поздравление с Днем Рождения Анатолию Корнеевичу Орлецкому

«Чемпионат»: Комличенко согласовал контракт с «Локомотивом»




Путин попросил Собянина сделать транспорт доступным для инвалидов

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Сергей Собянин принял участие в юбилейном параде кадет

Собянин: над Москвой и Подмосковьем отразили атаку трёх беспилотников


«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»

На рынке появилось технологичное агентство мобильного маркетинга mApps

Агроном предложил этим летом высадить на огороде экзотические культуры

Станислав Кондрашов раскрывает связь между экономическим успехом и культурным вкладом


На конкурс «Это у нас семейное» за первые сутки зарегистрировались более 13 тыс. человек

Мужчина напал на игумена Евмения на презентации книги

Власти Петербурга запретят мигрантам работать в такси и доставке

Инна Щеглова оказалась в семёрке худших мэров РФ


Жара накроет регионы России

В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Как джин и виски из Саранска вывели предприятие Евгения Сидорова в лидеры индустрии

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре


Село Субботник частично останется без электричества: в Симферополе, Евпатории, Алуште, Ялте, Керчи, Джанкое, Феодосии и Севастополе отключат свет 29 мая 2025

Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».

Акция «Поздравь библиотеку с праздником».

Выставка-призыв «Курение – зло, откажись от него»


Ветеринары Подмосковья рассказали, как подготовиться к появлению собаки

29 мая в истории Асбеста

Детский отдых в летнем сезоне 2025 года

РИА «Новости»: на проспекте Вернадского устраняют последствия атаки дронов












Спорт в России и мире

Новости спорта


Новости тенниса
WTA

Елена Рыбакина — триумфатор турнира WTA 500 во Франции






Волонтеров пригласили на голосование за объекты благоустройства в Подмосковье

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

В Казани обсудят наследие Каюма Насыри на международном научном форуме

Незнакомец напал на игумена Евмения во время презентации книги