Специализированный нейропроцессор (NPU) Sohu AI оказался в 20 производительнее в языковых моделях, чем Nvidia H100 по утверждению компании-разработчика Etched, 26 июня сообщает американское интернет-издание о компьютерных технологиях Tom’s Hardware. В Etched обратили внимание на высокий спрос на большие языковые модели (LLM). В компании разработали процессор, ориентированный на выполнение наиболее востребованных в LLM с существующей архитектурой математических операций — перемножение матриц. В тестах сервер с восемью ускорителями Sohu AI показал производительность аналогичную 160 GPU Nvidia H100. Такая разница по утверждениям Etched обусловлена тем, что значительная часть вычислительных узлов H100 в расчетах почти не задействована. H100 и другие серверные GPU — это относительно универсальные вычислительные изделия, хоть и больше ориентированные на обработку видео, обучение нейросетей, чем центральные процессоры. Согласно данным Etched на перемножении матриц в LLM используется лишь 3,3% вычислительных блоков GPU. NPU Sohu AI — специализированное изделие, которое эффективно только с LLM и только построенных на моделях-трансформерах. На данный момент эта нейросетевая архитектура используется во всех популярных LLM. glavno.smi.today
Спортивные игры в СЛД "Москва-Сортировочная" филиала "Московский"
Филиал № 4 ОСФР по Москве и Московской области информирует:
С начала 2024 года 140 тысяч женщин и новорожденных Московского региона получили услуги по родовым сертификатам
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Отрытый конкурс красоты и таланта «Одна на миллион»
Готовьтесь к задержкам по 3-4 часа на всё: аэропорт Анталии стал портом притеснения - российские туристы жалуются на дикий бардак с багажом, взлётом и посадкой, а их привозят за 6-7 часов до вылета
Модные показы и лекции стилистов запланированы на форуме-фестивале «Территория будущего. Москва 2030» в «Зарядье»
Парк "Три вулкана" Группы "Интеррос" задает "зеленые" стандарты качества отечественного туризма
Мюзикл «Формула любви» при поддержке Радио Romantika
Exclusive - Sayantani Ghosh expresses happiness as sets of her show Dahej Daasi shifted close to her home; says 'I've been manifesting this for quite some time now'
Who is Ghetts and what character does the rapper play in Supacell?
Kamala Harris’s Record on Israel Raises Questions About Support for Jewish State if Elected US President
Why you should buy physical copies of your favorite books
Ночные похолодания угрожают урожаю помидоров в Подмосковье
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Клуб назначения: в каких командах окажутся Соболев, Джикия и Фернандес
13 автобусных маршрутов изменят движение около парка «Дубки»
Молодёжь сервисного локомотивного депо «Сольвычегодск» филиала «Северный» ООО «ЛокоТех-Сервис» выиграла дорожный этап интеллектуальной лиги ОАО «РЖД» «Что? Где? Когда?»
"Спартак" после первого тура РПЛ оказался на 15-м месте в турнирной таблице
Пока в Якутии была ночь: скандал с Wildberries, Киркоров в каньоне и самый жаркий день