Кластер обучения нейросети Llama 3 405B фиксировал сбои ускорителей Nvidia H100 примерно раз в шесть часов
Современные большие нейросети обучаются на системах с огромным количеством компонентов. А чем больше компонентов, тем выше вероятность отказа. Свежий отчёт Meta* содержит информацию о том, что компания сталкивалась со сбоями ускорителей Nvidia H100 примерно раз в три часа.
фото: Nvidia
Во время обучения модели Llama 3 405B на кластере, содержащем 16 384 ускорителя Nvidia H100 80 ГБ, в течение 54 дней было зафиксировано 419 сбоев, то есть в среднем один сбой каждые три часа. В 58,7% случаев виноваты были либо графические процессоры, либо их память HBM3. В целом сбои в таких сложных системах — это норма, и вопрос скорее в способности специалистов справляться с этими сбоями. В случае Meta* команда сохранила более 90% эффективного времени обучения.
Проблемные GPU были идентифицированы с помощью специализированных инструментов. Эти инструменты приоритизировали проблемные коммуникации, обеспечивая эффективное обнаружение и своевременное разрешение отстающих GPU, что гарантировало минимизацию замедлений, поддерживая общую эффективность обучения.
* Meta признана в России экстремистской организацией, её деятельность запрещена.
Новости России
Москва
Сбежавшего из Израиля в РФ подростка-вундеркинда нашли в отеле рядом со Внуково
Moscow.media
Частные объявления сегодня
СЕНСАЦИОННЫЕ ДАННЫЕ! В деле Дональда Трампа два Дональда, два афроамериканца, две женщины и герб Москвы, России.
Филиал № 4 ОСФР по Москве и Московской области информирует:
С 1 августа Соцфонд увеличит страховые пенсии россиян
Начальник Главного управления вневедомственной охраны Росгвардии вручил ключи от автомобиля многодетному отцу-росгвардейцу
Столичные росгвардейцы задержали мужчину, подозреваемого в грабеже
Гастроэнтеролог Садыков дал 3 совета, как не отравиться дыней и арбузом
В Москве состоялся фестиваль «ДэнсхелпФест»
Как студенты РГИСИ гастролировали в Бурятии и собирали залы со зрителями всех возрастов: от мала до велика - Театр, Культура и Концерт, Россия и Дети
Смириться нельзя выздороветь. Как живут и справляются с трудностями люди, перенесшие инсульт
Kamala Harris’s Record on Israel Raises Questions About Support for Jewish State if Elected US President
Meet Adam Peaty, British swimming hero and three-time Olympic champ returning for Paris 2024 after extended break
Technology’s grip on modern life is pushing us down a dimly lit path of digital land mines
IWF signs off “state-of-the-art” training facilities for the Paris 2024 Olympics
Беспроводной сканер штрих-кодов SAOTRON P05i промышленного класса
Штат консультантов 1C-практики «Борлас» вырос до 300 человек
Портативный ТСД корпоративного класса Saotron RT-T70
A Google Doodle animator is my new favorite Elden Ring lore theorist thanks to this cartoon retelling of Shadow of the Erdtree set to a Taylor Swift song
Приключение-головоломка Arranger вышла на смартфоны и PC
Гайд по регистрации, установке и входу в Throne and Liberty для игроков из России и СНГ
Activision secretly experimented on 50% of Call of Duty players by 'decreasing' skill-based matchmaking, and determined players like SBMM even if they don't know it
Синоптики спрогнозировали тепло до +28 и грозы в Московском регионе 28 июля
Сбежавшего из Израиля в РФ подростка-вундеркинда нашли в отеле рядом со Внуково
ДОМ, который построит РФ: главные строители страны обсудили совместные планы
Калинка моя: автокросс в Калининце
«Дожди и грозы»: какая погода будет в Москве на следующей неделе
Собянин рассказал, как за пять лет преобразилась Некрасовка
СК попросит арестовать сына бизнесмена Бажаева
Столичные росгвардейцы задержали мужчину, подозреваемого в грабеже
Патрушев: России все равно, кто будет президентом США
Москвичей предупредили о ливне с грозой и сильным ветром в воскресенье
Таинственный звонок Белоусова в Пентагон. "Если вы замышляете что-то подобное, не делайте этого"
Интересные снимки интересных людей. Голосуем!
Четвертая ракетка мира Рыбакина снялась с Олимпиады из-за состояния здоровья
Аванесян сыграет с Андреевой в финале турнира WTA в Румынии
Мирру Андрееву наградили за первую победу в турнире на уровне WTA
Даниил Медведев победил в первом круге олимпийского турнира по теннису
Из-за засады туарегов в Мали убиты около 20 военных из ЧВК «Вагнер»
Таинственный звонок Белоусова в Пентагон. "Если вы замышляете что-то подобное, не делайте этого"
Алдонин оценил старт ЦСКА в новом сезоне РПЛ
Обложка песни. Обложки альбомов песен. Сделать обложку для песни.
Музыкальные новости
Снуп Догг принял участие в эстафете олимпийского огня в Париже
Адвокат Алсу Крючков не увидел перспектив сохранения брака певицы с Абрамовым
Подключение холодной воды // 245 лет назад Екатерина II распорядилась построить московский водопровод
ДОМ, который построит РФ: главные строители страны обсудили совместные планы
Калинка моя: автокросс в Калининце
Сбежавшего из Израиля в РФ подростка-вундеркинда нашли в отеле рядом со Внуково
Синоптики спрогнозировали тепло до +28 и грозы в Московском регионе 28 июля
Путин исключил губернатора Новосибирской области Андрея Травникова из состава президиума Госсовета
ДОМ, который построит РФ: главные строители страны обсудили совместные планы
Композитор Алексей Чернаков: «Связать свою жизнь с музыкой я решил в купе поезда Саратов — Москва»
LEON Вторая лига Б. «Зенит-2» против «Динамо-2», «Форте» принимает «Аланию-2», «Чертаново» в гостях у «Родины-М»
В Москве строят новую дорогу, которая станет дублером Калужского шоссе
Источник «360»: два москвича на мотоцикле погибли из-за ДТП на Покровской улице
СК: Серебряков частично признал вину и рассказал о подготовке покушения
Обвиняемый в подрыве автомобиля в Москве был алтарником
Владимир Путин рассказал об ответе РФ на размещение ракет США в Германии
Путин указал на сигнал для США в полётах стратегической авиации России
Штаб-квартиру Роскосмоса предложили разместить в Амурской области
Эрдоган стал спешить на встречу с Асадом
Гости форума-фестиваля «Москва 2030» выберут аромат для столичных поликлиник
Родившегося с пулей в животе ребенка спасли врачи в Подмосковье
Сотрудники фитнес-клуба в Москве случайно залили в канистру с хлором ядовитый газ
Модно — не значит полезно: каким рекомендациям по похудению не стоит доверять
"Победить невозможно". В Киеве заявили о большой проблеме из-за Зеленского
Хинштейн: сын миллиардера Бажаева ударил полковника МВД в Москве
В Москве задержали сына миллиардера Мусы Бажаева за драку с полицией
Хинштейн: МВД контролирует дело о драке сына Бажаева с полицейским в Москве
Калинка моя: автокросс в Калининце
Мэр Москвы поздравил сотрудников центров госуслуг с профессиональным праздником
Поздравление от мэра Москвы получили сотрудники центров госуслуг
Собянин поздравил работников торговли с праздником
Мэр Москвы рассказал, как за пять лет преобразился район Некрасовка
Прибыли с юга: какие животные появились в Москве из-за глобального потепления
Методист Музея-заповедника «Родина В.И. Ленина» рассказала, как встречалась с потомками Яковлева
Лужнецкую набережную благоустроят
Из-за глобального потепления в Москве появились новые животные
Алдонин оценил старт ЦСКА в новом сезоне РПЛ
Китайские бренды захватывают российский авторынок
Женщина в России родила ребенка с пулей в животе
СК намерен просить об аресте Бажаева
Сергей Собянин. Неделя мэра
Погиб глава архангельской пожарной охраны Димитрий Охрименко
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
Фестиваль военных духовых оркестров одновременно открылся в трех городах Поморья
К Международному дню тигра саранская телемачта «переоденется» в редкого хищника
Утром в Симферополе рейсовый автобус насмерть сбил пенсионерку
Выставка исторической памяти
«В гости к нашим далеким предкам»
ко Дню Крещения Руси и Дню памяти равноапостольного
Великого князя Владимира
Выставка-признание
«Человек. Писатель. Актер»,
к 95-летию со дня рождения В. М. Шукшина, писателя, кинорежиссера, сценариста, актера
Лавров допустил рост рисков для безопасности из-за американского ядерного оружия в Азии
«Не повод бить по морде». Сын миллиардера Бажаева ударил полицейского
Глава Дмитрова Поночевный провел прием жителей округа в школе № 5
В Домодедове идет строительство детсада и большого паркинга