Добавить новость
ru24.net
Все новости
Январь
2025

Apple и Nvidia объединили усилия для ускорения работы языковых моделей

0

Apple объявила о сотрудничестве с Nvidia в целях ускорения работы крупных языковых моделей (LLM) с использованием технологии с открытым исходным кодом Recurrent Drafter (сокращённо ReDrafter). Партнёрство направлено на решение вычислительных задач при авторегрессивной генерации токенов, что критически важно для повышения эффективности и снижения задержек в приложениях с языковыми моделями, работающими в реальном времени.

ReDrafter, представленный Apple в ноябре 2024 года, использует подход спекулятивного декодирования, объединяя рекуррентную нейронную сеть (RNN) с поиском и динамическим древовидным вниманием. Согласно тестам Apple, этот метод генерирует в 2,7 раза больше токенов в секунду по сравнению с традиционной авторегрессией.

Источник: Bloomberg

Благодаря интеграции во фреймворк Nvidia TensorRT-LLM, ReDrafter расширяет своё влияние, обеспечивая более быструю работу языковых моделей на GPU Nvidia, широко используемых в производственных средах. Для поддержки алгоритмов ReDrafter компания Nvidia внедрила новые операторы и модифицировала существующие в TensorRT-LLM, сделав технологию доступной для разработчиков, стремящихся оптимизировать производительность крупномасштабных моделей.

Помимо увеличения скорости, Apple утверждает, что ReDrafter способен снизить задержку для пользователей при использовании меньшего количества GPU. Такая эффективность не только снижает вычислительные затраты, но и уменьшает энергопотребление, что является важным фактором для организаций, работающих с искусственным интеллектом в больших масштабах.

Хотя в настоящее время сотрудничество сфокусировано на инфраструктуре Nvidia, в будущем аналогичные преимущества производительности могут быть распространены и на конкурирующие GPU от AMD или Intel.

По словам представителей Nvidia: «Это сотрудничество сделало TensorRT-LLM более мощным и гибким, позволяя сообществу разработчиков языковых моделей создавать более сложные модели и легко развёртывать их с помощью TensorRT-LLM для достижения непревзойдённой производительности на GPU Nvidia. Новые возможности открывают захватывающие перспективы, и мы с нетерпением ждём следующего поколения передовых моделей от сообщества, использующих возможности TensorRT-LLM, что приведёт к дальнейшему улучшению работы языковых моделей».




Moscow.media
Частные объявления сегодня





Rss.plus




«Преступная красота»: очевидно, каждая слушательница захотела, чтобы парни - Keneli & Zhiro - их арестовали!

Лидер российского рынка медицинского оборудования признан лучшим предпринимателем года

Выиграть миллион на «Юмор FM» помогает улыбка

«Калейдоскоп»: Артём Кинг презентовал новый трек


EuroMillions jackpot rolls over to £185,000,000 after no one claims ticket

I had a bitter divorce with my ex-husband. I didn't expect his new wife to become one of my best friends years later.

This millennial CEO grew up with a heroin addict dad. Now he’s running a multimillion-dollar agency

Half the world population could be diabetic or insulin resistant by 2050


Бегуны Нацпроектстроя снова в деле

Капитан полиции спас жилой дом от пожара в Орле

Киберэксперт Полунин: уязвимость Meteobridge — следствие проблем «коробочных» решений

В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»


Алмазы в Whiteout Survival: где собирать, как приумножать и на что тратить

Началась предзагрузка Crystal of Atlan на PC и смартфонах

Five new Steam games you probably missed (May 26, 2025)

Metal Force 3.51.0



IX Открытый Московский фестиваль конного искусства и спорта

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

Выиграть миллион на «Юмор FM» помогает улыбка

Наиль Гафуров: новые эпизоды в деле российского риэлтора-жулика




На западе Москвы приступили к устранению последствий атаки БПЛА

Суд ограничил доступ к видео на YouTube с ответами на ЕГЭ 2025 года

РИА «Новости»: на проспекте Вернадского устраняют последствия атаки дронов

В Москве на «Авито» продают игрушку Лалубу за 100 тысяч рублей


Прихожане Владимирского храма посетили Донской монастырь в Москве

Новосибирский экскурсовод рассказала, чем и кому интересен Новосибирск

Из массового отравления сотни туристов снимают с теплохода в Угличе

YoLoCo представляет революционную платформу для поиска блогеров, которые увеличивают конверсии


Елена Рыбакина вышла в третий круг Открытого чемпионата Франции — 2025

Кудерметова на «Ролан Гаррос»: успешный старт и важная победа в Париже

Теннисистка Александрова вышла во второй круг Открытого чемпионата Франции

США выиграли ЧМ по хоккею, информация об уходе Угальде из «Спартака». Главное к утру


В Минкультуры заявили, что библиотечная отрасль в России идет к ренессансу

Красочный мурал с героями мультфильмов украсит детский сад в Новой Москве

Власти Петербурга запретят мигрантам работать в такси и доставке

У библиотек в России начался ренессанс


Музыкальные новости

Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике

Свадьбы не было? Раскрыт секрет статуса дочери Волочковой Ариадны

Малахов прокомментировал заявление Тимати о волшебной «воде с фтором»

Концерт МакSим, цирковые представления и катание на лошадях: как в Екатеринбурге отметят День защиты детей



IX Открытый Московский фестиваль конного искусства и спорта

В Рязани с успехом прошёл благотворительный концерт «Культура в помощь Донбассу»

В Тверской области прошёл благотворительный концерт «Культура в помощь Донбассу»

Выиграть миллион на «Юмор FM» помогает улыбка


Агент Егора Голенкова уверен, что форвард способен заиграть в «Спартаке»

Талантливые артисты и поэты выступили на благотворительном концерте «Культура в помощь Донбассу» в Нальчике

Академия Михалкова показала новый спектакль на фестивале «Мелиховская весна»

Маск назвал преодоление бюрократии в США чрезвычайно сложной задачей


Собянин рассказал, каким будет новый пешеходный мост на остров Балчуг

«Автокод» внедрил сервис проверки и оплаты штрафов ГИБДД по госномеру авто

В Москве выставили на продажу новый ВАЗ-2109 за 1,7 млн рублей

НПС модернизирует два участка трассы «Новороссия» в Ростовской области


Путин проведет встречу с многодетными семьями из девяти регионов

Президент Лаоса извинился перед Путиным за отсутствие на Дне Победы в Москве

Путин попросил Собянина сделать транспорт доступным для инвалидов

Выиграть миллион на «Юмор FM» помогает улыбка





«Абсолют Страхование» и Spirit. Fitness запустили страховую подписку для клиентов фитнес–клуба

Офтальмолог Кирилл Светлаков: может ли мигрень испортить зрение

Медики высоко оценили аппарат «Швабе» для ингаляционной анестезии

Большинство россиян выбирают врача по рекомендациям знакомых


Зеленский заявил, что в Киеве работают над получением ракет Taurus


IX Открытый Московский фестиваль конного искусства и спорта

Спортивные протезы: зачем они нужны и почему это важно

«Чемпионат»: Комличенко согласовал контракт с «Локомотивом»

Поздравление с Днем Рождения Анатолию Корнеевичу Орлецкому




Путин попросил Собянина сделать транспорт доступным для инвалидов

Собянин: Отражена атака трех беспилотников на Московский регион

Собянин: Москва отбила атаку 33 вражеских дронов без потерь и ущерба

Собянин: над Москвой и Подмосковьем отразили атаку трёх беспилотников


Олигархи и зелёные технологии - анализ Станислава Кондрашова

Станислав Кондрашов раскрывает связь между экономическим успехом и культурным вкладом

Агроном предложил этим летом высадить на огороде экзотические культуры

«Турбозавры» подвели итоги творческого конкурса «Экозавр-25»


У библиотек в России начался ренессанс

В Минкультуры заявили, что библиотечная отрасль в России идет к ренессансу

Власти Петербурга запретят мигрантам работать в такси и доставке

В дзержинском Центре адаптивных видов спорта «Парус» впервые прошел региональный этап «Трансплант игр 2025»


Заместитель прокурора Архангельской области и Ненецкого автономного округа Павел Матанцев и Уполномоченный по правам ребенка в Ненецком автономном округе Галина Гуляева проведут личный приём жителей Ненецкого автономного округа по вопросам защиты пра

В суд направлено уголовное дело о незаконной охоте с причинением крупного ущерба на территории Ненецкого автономного округа

Архангельские гребцы завоевали две медали на первенстве России в Краснодаре

Как джин и виски из Саранска вывели предприятие Евгения Сидорова в лидеры индустрии


Встреча друзей «Библиотека – волшебное место, где книгам не скучно, где всем интересно».

Выставка-призыв «Курение – зло, откажись от него»

Мы служим книге, чтобы книга служила людям

Село Субботник частично останется без электричества: в Симферополе, Евпатории, Алуште, Ялте, Керчи, Джанкое, Феодосии и Севастополе отключат свет 29 мая 2025


Тюкавин продлил контракт с «Динамо» до 2030 года

В Улан-Удэ на территории аэродрома поселились журавли-красавки

Экс-глава Центробанка раскрыл всю правду про наличные в России

Инна Щеглова оказалась в семёрке худших мэров РФ












Спорт в России и мире

Новости спорта


Новости тенниса
WTA

Елена Рыбакина — триумфатор турнира WTA 500 во Франции






Россиянам напомнили о новом законе для защиты от мошенников

Новая неделя экологических игр началась в Подмосковье

Марко Рубио призвал Сергея Лаврова к конструктивному диалогу с Киевом - Госдеп

На правом направлении Западного моста в Твери опускают пролет на опоры