Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.

Марина Шершнева: «Что готовит бизнесу налоговая реформа 2025 года. Все, что вы должны знать»

Рэпер Machine Gun Kelly сообщил о заболевании у дочери от Меган Фокс

«Преступная красота»: очевидно, каждая слушательница захотела, чтобы парни - Keneli & Zhiro - их арестовали!


This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency

I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.

Arsenal ‘pushing hardest’ for Julian Alvarez transfer but face battle with Premier League rivals for ex-Man City star

EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket


НПС модернизирует два участка трассы «Новороссия» в Ростовской области

Проект Axenix для «Юнгхайнрих» назван открытием 2025 года в сфере цифровизации по версии Digital Leaders Award

Женский портрет

Выиграть миллион на «Юмор FM» помогает улыбка


Началась предзагрузка Crystal of Atlan на PC и смартфонах

Алмазы в Whiteout Survival: где собирать, как приумножать и на что тратить

Five new Steam games you probably missed (May 26, 2025)

Игра Cultivation Chat Group заняла топ-7 в китайском App Store



В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

Куда отправиться из Москвы в речном круизе? Обзор городов и теплоходов

Куда отправиться из Москвы в речном круизе? Обзор городов и теплоходов

Куда отправиться из Москвы в речном круизе? Обзор городов и теплоходов




Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

На западе Москвы приступили к устранению последствий атаки БПЛА

Замминистра обороны Цивилева совершила рабочую поездку в войска ЛВО


Отчётность о парниковых газах в России застопорилась на уровне труб

Обломки дрона рухнули во дворе жилого дома в Одинцове

Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Снятие денег через банкомат начнут проверять банки с 1 июня


Елена Рыбакина — триумфатор турнира WTA 500 во Франции

Арина Соболенко выходит во второй круг Открытого чемпионата Франции

Теннисистка Александрова вышла во второй круг Открытого чемпионата Франции

Теннисистка Анастасия Павлюченкова: Болезнь Лайма была обнаружена в запущенной стадии


В Тверской области пройдет благотворительный концерт «Культура в помощь Донбассу»

Росавиация сообщила о временных ограничениях в работе аэропорта Внуково

В России возрождается интерес к библиотекам, уверена глава Минкультуры

Путин проведет встречу с многодетными семьями из девяти регионов


Музыкальные новости

Бизнес Элджея летит в пропасть: убытки и долги тянут рэпера на дно

Певец Эдуард Шарлот отправлен в колонию-поселение в Тольятти

IX Открытый Московский фестиваль конного искусства и спорта

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»



Куда отправиться из Москвы в речном круизе? Обзор городов и теплоходов

IX Открытый Московский фестиваль конного искусства и спорта

Куда отправиться из Москвы в речном круизе? Обзор городов и теплоходов

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»


Трамп предупредил Путина, что Россия играет с огнем

По ставкам выше ключевой ЦБ: «Выберу.ру» подготовил рейтинг лучших краткосрочных вкладов в мае 2025 года

Суд ограничил доступ к видео на YouTube с ответами на ЕГЭ 2025 года

Синнер начал выступление на «Ролан Гаррос» с победы


Из-за аварии перекрыто движение по трассе М-4 Дон в Тульской области в сторону Москвы

В Москве выставили на продажу новый ВАЗ-2109 за 1,7 млн рублей

17-летний почти новый Lamborghini Murcielago выставили на продажу в Москве

IX Открытый Московский фестиваль конного искусства и спорта


Путин попросил Собянина сделать транспорт доступным для инвалидов

В Кремле стартовали переговоры Путина и лидера Йемена

Путин проведет встречу с многодетными семьями из девяти регионов

Выиграть миллион на «Юмор FM» помогает улыбка





Медики высоко оценили аппарат «Швабе» для ингаляционной анестезии

Офтальмолог Кирилл Светлаков: может ли мигрень испортить зрение

ГК «ДИАКОН» представляет современные решения лабораторной диагностики на XI Международном конгрессе «Санаторно-курортное лечение» в Москве

Большинство россиян выбирают врача по рекомендациям знакомых


Зеленский заявил, что в Киеве работают над получением ракет Taurus


«Сны Пушкина» – шоу вне жанров: вы действительно поверите в сказку

«Чемпионат»: Комличенко согласовал контракт с «Локомотивом»

Поздравление с Днем Рождения Анатолию Корнеевичу Орлецкому

IX Открытый Московский фестиваль конного искусства и спорта




Собянин: над Москвой и Подмосковьем отразили атаку трёх беспилотников

Собянин: Отражена атака трех беспилотников на Московский регион

Путин попросил Собянина сделать транспорт доступным для инвалидов

Сергей Собянин принял участие в юбилейном параде кадет


«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»

Подтверждена совместимость платформы SpaceVM и ОС «ОСнова»: шаг к единой экосистеме отечественных ИТ-решений

На рынке появилось технологичное агентство мобильного маркетинга mApps


Источник 360: пенсионер в московском метро упал под поезд и лишился ноги

В Подмосковье напомнили правила разработки расчета выбросов в атмосферу

Православные и католики отметят 29 мая Вознесение Господне

Новосибирское УФАС признало недобросовестными поставщиками сразу две компании


Жара накроет регионы России

В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев и Уполномоченный по правам ребенка в Ненецком автономном округе Галина Гуляева проведут личный приём жителей Ненецкого автономного округа по вопросам защиты пра

Как джин и виски из Саранска вывели предприятие Евгения Сидорова в лидеры индустрии


Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».

Мы служим книге, чтобы книга служила людям

Акция «Поздравь библиотеку с праздником».

Село Субботник частично останется без электричества: в Симферополе, Евпатории, Алуште, Ялте, Керчи, Джанкое, Феодосии и Севастополе отключат свет 29 мая 2025


В России возрождается интерес к библиотекам, уверена глава Минкультуры

Православные и католики отметят 29 мая Вознесение Господне

"Орешник" будет размещен в Белоруссии до конца 2025 года

В Подмосковье напомнили правила разработки расчета выбросов в атмосферу












Спорт в России и мире

Новости спорта


Новости тенниса
Ролан Гаррос

Кудерметова на «Ролан Гаррос»: успешный старт и важная победа в Париже






Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Путин проведет встречу с многодетными семьями из девяти регионов

У библиотек в России начался ренессанс

Росавиация сообщила о временных ограничениях в работе аэропорта Внуково