Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




Рэпер Machine Gun Kelly сообщил о заболевании у дочери от Меган Фокс

Лидер российского рынка медицинского оборудования признан лучшим предпринимателем года

Тravel-эксперт Тариел Гажиенко: советы новичкам, как правильно подготовиться к путешествию

ГК «ДИАКОН» собрала во Владикавказе 80 специалистов по лабораторной диагностике


Arsenal ‘pushing hardest’ for Julian Alvarez transfer but face battle with Premier League rivals for ex-Man City star

Half the world population could be diabetic or insulin resistant by 2050

I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.

EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket


Axenix: 42% международных FMCG-компаний в России уже локализовали ИТ-ландшафты

Пожар на "Экополисе": администрация предприятия убеждала всех в обратном

Житель Ельца подделал анализ для участия в СВО и потерял 2 млн рублей

Выиграть миллион на «Юмор FM» помогает улыбка


Five new Steam games you probably missed (May 26, 2025)

Началась предзагрузка Crystal of Atlan на PC и смартфонах

Алмазы в Whiteout Survival: где собирать, как приумножать и на что тратить

Игра Cultivation Chat Group заняла топ-7 в китайском App Store



В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика

В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»

Выиграть миллион на «Юмор FM» помогает улыбка




Ученые проанализировали частоту использования ругательств в 20 странах

Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Суд ограничил доступ к видео на YouTube с ответами на ЕГЭ 2025 года

Замминистра обороны Цивилева совершила рабочую поездку в войска ЛВО


Арматура для сложных условий – инженерный подход АГЛАНТ

Из массового отравления сотни туристов снимают с теплохода в Угличе

Неизвестный напал на игумена Евмения во время презентации книги в Москве

Спасения не будет даже в тени: синоптики назвали даты начала беспросветной жары в России


США выиграли ЧМ по хоккею, информация об уходе Угальде из «Спартака». Главное к утру

Бадоса обыграла Наоми Осаку и вышла во второй круг «Ролан Гаррос»

Арина Соболенко выходит во второй круг Открытого чемпионата Франции

Елена Рыбакина вышла в третий круг Открытого чемпионата Франции — 2025


В Улан-Удэ на территории аэродрома поселились журавли-красавки

США перейдут к максимальному давлению на Россию при необходимости, заявили в Госдепе

Снятие денег через банкомат начнут проверять банки с 1 июня

В Москве на «Авито» продают игрушку Лалубу за 100 тысяч рублей


Музыкальные новости

Сергей Арутюнов вырос на песнях Юры Шатунова и тоже сирота. Андрей Разин пригласил финалиста шоу “Голос” в группу Ласковый Май, чтобы песни Шатунова жили дальше.

Директор Арбениной Рерих назвала слова певицы о Гай Германике «легким стебом»

Филипп Киркоров признался, что хочет воссоединить маму с папой

10 ярких фактов про VK Fest



В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

IX Открытый Московский фестиваль конного искусства и спорта

Выиграть миллион на «Юмор FM» помогает улыбка


Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Академия Михалкова показала новый спектакль на фестивале «Мелиховская весна»

WSJ: Белый дом допустил ужесточение давления на Москву на фоне затяжных переговоров

Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике


Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

IX Открытый Московский фестиваль конного искусства и спорта

НПС модернизирует два участка трассы «Новороссия» в Ростовской области

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто


Президент Лаоса извинился перед Путиным за отсутствие на Дне Победы в Москве

Президент Лаоса извинился, что не смог приехать на День Победы в Москву

Путин попросил Собянина сделать транспорт доступным для инвалидов

Выиграть миллион на «Юмор FM» помогает улыбка





Косметолог Мадина Осман: как сохранить молодость кожи в зоне декольте

Офтальмолог Кирилл Светлаков: может ли мигрень испортить зрение

Медики высоко оценили аппарат «Швабе» для ингаляционной анестезии

Большинство россиян выбирают врача по рекомендациям знакомых


Зеленский заявил, что в Киеве работают над получением ракет Taurus


«Чемпионат»: Комличенко согласовал контракт с «Локомотивом»

«Сны Пушкина» – шоу вне жанров: вы действительно поверите в сказку

Поздравление с Днем Рождения Анатолию Корнеевичу Орлецкому

IX Открытый Московский фестиваль конного искусства и спорта




Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

Собянин: над Москвой и Подмосковьем отразили атаку трёх беспилотников

Собянин: Отражена атака трех беспилотников на Московский регион

Собянин: Москва отбила атаку 33 вражеских дронов без потерь и ущерба


Станислав Кондрашов раскрывает связь между экономическим успехом и культурным вкладом

Олигархи и зелёные технологии - анализ Станислава Кондрашова

«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»

Агроном предложил этим летом высадить на огороде экзотические культуры


Новосибирское УФАС признало недобросовестными поставщиками сразу две компании

Пожар на строительном рынке в подмосковном Солнечногорске потушен

Новосибирский экскурсовод рассказала, чем и кому интересен Новосибирск

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика


В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев и Уполномоченный по правам ребенка в Ненецком автономном округе Галина Гуляева проведут личный приём жителей Ненецкого автономного округа по вопросам защиты пра

Жара накроет регионы России

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре


Выставка-призыв «Курение – зло, откажись от него»

Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».

Мы служим книге, чтобы книга служила людям

Село Субботник частично останется без электричества: в Симферополе, Евпатории, Алуште, Ялте, Керчи, Джанкое, Феодосии и Севастополе отключат свет 29 мая 2025


Фольклорно-этнографическая экспедиция работает в Нижегородской области

В ГБКЗ им. Сайдашева состоялось закрытие XXXVI сезона оркестра La Primavera

На западе Москвы приступили к устранению последствий атаки БПЛА

Яндекс добавили в сервис «Путешествия» ответы Алисы из «Поиска»












Спорт в России и мире

Новости спорта


Новости тенниса
Ролан Гаррос

Арина Соболенко выходит во второй круг Открытого чемпионата Франции






Спасения не будет даже в тени: синоптики назвали даты начала беспросветной жары в России

Пробки на дорогах Подмосковья оценили в 7 баллов вечером 28 мая

Как АГЛАНТ решает задачи трубопроводных проектов

Источник 360: пенсионер в московском метро упал под поезд и лишился ноги