Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




10 российских аналогов иностранным достопримечательностям

Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.

Крупная иностранная авиакомпания начала отменять рейсы в Россию

Лидер российского рынка медицинского оборудования признан лучшим предпринимателем года


I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.

This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency

Exact date in DAYS millions of Nationwide customers will find out if they’ll get £100 free cash

Arsenal ‘pushing hardest’ for Julian Alvarez transfer but face battle with Premier League rivals for ex-Man City star


Управляйте климатом и безопасностью своего авто с помощью смартфона

Капитан полиции спас жилой дом от пожара в Орле

Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике

Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.


Началась предзагрузка Crystal of Atlan на PC и смартфонах

Игра Cultivation Chat Group заняла топ-7 в китайском App Store

Five new Steam games you probably missed (May 26, 2025)

Metal Force 3.51.0



Авиакомпания «Ямал» информирует о задержке рейсов в/из Москвы

Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике

На подлете к Москве за ночь силы ПВО уничтожили 33 беспилотника

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг




Народный календарь. Что можно и чего нельзя есть на Евдокию Свистунью, 30 мая

Новосибирским ветеранам СВО и их семьям предоставят ипотеку под 2% годовых

В аэропортах Москвы отменены временные ограничения

Shazam. Увеличение прослушиваний в Shazam. Прослушивание песни в Shazam.


Собянин рассказал о предстоящем открытии иммерсивного музея

Если помогать, то только от души

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

Посетитель Московского зоопарка попытался отравить животных


Теннисистка Александрова вышла во второй круг Открытого чемпионата Франции

Рублев поднялся в рейтинге ATP

«Возвращение в десятку — одна из задач» // Экс-девятая ракетка мира Вероника Кудерметова о задачах на сезон

Первая ракетка Казахстана рухнул в мировом рейтинге ATP


Посетитель Московского зоопарка попытался отравить животных

Собянин: при отражении атак БПЛА в Зеленограде никто не пострадал

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

Собянин рассказал о предстоящем открытии иммерсивного музея


Музыкальные новости

Шнуров и Розенбаум поздравили футбольный клуб «Зенит» со 100‑летним юбилеем

Денис Кукояка, Mary Gu, Аня Покров и другие звёзды на первом дне фестиваля дружбы с питомцами в Москве

«Я считал, что Анжелика в трусах, но она утверждала, что это шортики. И нас выгнали с собственной свадьбы!»: Леонид Агутин рассказал в «Шоу Воли» о своей провальной свадьбе с Анжеликой Варум

Хабенский выступит на ВДНХ под музыку Моцарта, Вивальди и «Queen»



Авиакомпания «Ямал» информирует о задержке рейсов в/из Москвы

В аэропортах Москвы отменены временные ограничения

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Президент Лаоса извинился, что не смог приехать на День Победы в Москву


В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»

Собянин рассказал о поддержке малого и среднего бизнеса

Собянин: Московские компании расширяют присутствие за рубежом

Роскосмос показал спутниковый снимок снега в Новосибирске


В Туапсе росгвардейцы задержали мужчину по подозрению в попытке хищения бензина с АЗС

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

НПС модернизирует два участка трассы «Новороссия» в Ростовской области

Неожиданные гости: массовые скопления пчел зафиксированы в двух городах России


Президент Лаоса извинился перед Путиным за отсутствие на Дне Победы в Москве

Президент Лаоса извинился, что не смог приехать на День Победы в Москву

Российская экономика приближается к "мягкой посадке"





В 2024 году Отделение СФР по Москве и Московской области оплатило более 330 тысяч дополнительных выходных дней по уходу за детьми с инвалидностью

Косметолог Мадина Осман: как сохранить молодость кожи в зоне декольте

Спортивные протезы: зачем они нужны и почему это важно

В 2025 году Отделение СФР по Москве и Московской области оплатило больничные и декретные 2 400 индивидуальным предпринимателям



Кадет Пермского президентского кадетского училища Росгвардии стал победителем регионального этапа Всероссийского чемпионата пилотирования дронов

«Абсолют Страхование» и Spirit. Fitness запустили страховую подписку для клиентов фитнес–клуба

Команда росгвардейцев победила в XIX Международном турнире по дзюдо среди полиции и армии

Спортивные протезы: зачем они нужны и почему это важно




Собянин: Москва отбила атаку 33 вражеских дронов без потерь и ущерба

Собянин рассказал о предстоящем открытии иммерсивного музея

Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Собянин: ПВО Минобороны продолжает отражать атаки вражеских беспилотников


Впервые "Атом" был представлен широкому кругу автомобилистов

Установлено, что микропластик в почве мог появиться из-за удобрений

Станислав Кондрашов раскрывает связь между экономическим успехом и культурным вкладом

«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»


Щит Родины. Посмотрите на памятники пограничникам в разных городах России

Госдеп: заявление Трампа о России не нужно воспринимать как разочарование

Вице-премьер Новак: развитие юга РФ связано с развитием Абхазии и Южной Осетии

Посетитель Московского зоопарка попытался отравить животных


Как джин и виски из Саранска вывели предприятие Евгения Сидорова в лидеры индустрии

В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Жара накроет регионы России

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре


Запущен новый поезд, соединяющий Таганрог и Симферополь

Акция «Поздравь библиотеку с праздником».

Выставка-призыв «Курение – зло, откажись от него»

Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».


Правильная голова за 1 млн. Читатели «АиФ» помогли Марку исправить череп

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

Щит Родины. Посмотрите на памятники пограничникам в разных городах России

Прокуроры нашли 18 кошек и 13 собак в квартире многоэтажного дома в Москве












Спорт в России и мире

Новости спорта


Новости тенниса
Анна Калинская

Справится ли Калинская с соперницей? Калинская — Боузкова: прогноз и ставка






«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

Вице-премьер Новак: развитие юга РФ связано с развитием Абхазии и Южной Осетии

Госдеп: заявление Трампа о России не нужно воспринимать как разочарование

Щит Родины. Посмотрите на памятники пограничникам в разных городах России