Hardware implementation of backpropagation using progressive gradient descent for in situ training of multilayer neural networks | Science Advances
Backpropagation with progressive gradient descent enables fast and efficient training in hardware neural networks.
Abstract
Neural network training can be slow and energy-expensive due to the frequent transfer of weight data between digital memory and processing units. Neuromorphic systems can accelerate neural networks by performing multiply-accumulate operations in parallel using nonvolatile analog memory. However, executing the widely used backpropagation training algorithm in multilayer neural networks requires information—and therefore storage—of the partial derivatives of the weight values preventing suitable and scalable implementation in hardware. Here, we propose a hardware implementation of the backpropagation algorithm that progressively updates each layer using in situ stochastic gradient descent, avoiding this storage requirement. We experimentally demonstrate the in situ error calculation and the proposed progressive backpropagation method in a multilayer hardware-implemented neural network. We confirm identical learning characteristics and classification performance compared to conventional backpropagation in software. We show that our approach can be scaled to large and deep neural networks, enabling highly efficient training of advanced artificial intelligence computing systems.
Moscow.media
Частные объявления сегодня
Филиал № 4 ОСФР по Москве и Московской области информирует:
2,5 млн жителей Москвы и Московской области получили пособия по временной нетрудоспособности с начала 2024 года
Филиал № 4 ОСФР по Москве и Московской области информирует:
Более 12 тысяч жителей Москвы и Московской области получают повышенную пенсию за работу в сельском хозяйстве
Филиал № 4 ОСФР по Москве и Московской области информирует:
Пенсии работающих пенсионеров начнут индексироваться с 2025 года
С августа были повышены страховые пенсии более миллиона работающих пенсионеров Москвы и Московской области
Выбросить и забыть: какая обувь портит ваш образ
В Турции спустили на воду второй построенный для Украины корвет типа "Ада". Корабль назван "Гетман Иван Выговский"
Алексей Фомин представил новый трек «Лунный свет»
Карточка Артиста. Карточка артиста яндекс.
Latest Caleb Williams Buzz Indicates The Light Bulb Just Went On
Top Heavyweight Tells Deontay Wilder To ‘Stay On The Couch’ After Shock World Title Fight Offer
Best UFC Fight Night Betting Promos & Bonuses | Grab $4500+ for Sandhagen-Nurmagomedov Odds
Rewards Drive Mobile Wallet Use for One-Third of eCommerce Shoppers
С августа были повышены страховые пенсии более миллиона работающих пенсионеров Москвы и Московской области
Завершается ремонт эстакадной части Юбилейного моста в Ярославле
Филиал № 4 ОСФР по Москве и Московской области информирует:
2,5 млн жителей Москвы и Московской области получили пособия по временной нетрудоспособности с начала 2024 года
Один человек погиб, 9 пострадали в ДТП с микроавтобусом на трассе А-360 Лена в Якутии
Началась предзагрузка Sword of Convallaria на iOS и Android
Don't expect Dragon Age: The Veilguard before October at the absolute earliest
Former GTA dev says 'it's time for a revolution' where 'animation is more AI-driven and physics-driven' than done by hand
THQ Nordic анонсировал Wreckfest 2 на PC и консоли
Послуга перевезення кота, собаки або іншої тварини за кордон - Delivery Animal
Міжнародна академія PROeffect Academy запрошує
Сводный оркестр Росгвардии исполнил знаменитые произведения в парке Москвы
Росгвардейцы устроили участникам летнего лагеря настоящий урок мужества
Алексей Фомин представил миру новый трек «Лунный свет»
Обращение иерея Александра Туховского
Застройщик «ЛенСтройГрад» объявил о старте продаж в новом корпусе квартала «Счастье 2.0»
"Он опозорил всю семью ". Родные больше не хотят видеть "подрывника" Серебрякова
Белый дом пообещал ввести новые санкции против РФ из-за «удержания американцев»
Филиал № 4 ОСФР по Москве и Московской области информирует:
Более 12 тысяч жителей Москвы и Московской области получают повышенную пенсию за работу в сельском хозяйстве
Рябков заявил, что РФ может развернуть ракеты в ядерном оснащении
Крупный пожар произошел в промзоне Азова Ростовской области
Рябков не исключил развёртывание Россией ракет в ядерном оснащении в ответ на действия западных стран
Мужчине повредили мозг во время пластической операции в Москве
У России будет медаль на Олимпиаде в Париже
Алькарас расплакался после поражения в финале Олимпийских игр в Париже
Теннисиста Дениса Шаповалова дисквалифицировали с турнира ATP-500 в Вашингтоне
Казахстанский теннисист высмеял решение ATP
Сливочное масло: золотое сокровище на кухне
Хабенский закрывает свой продюсерский центр
Олег Сирота подвел итоги «Сырного чемпионата России» в Истре
Брат обвиняемого в подрыве авто Серебрякова рассказал, как он попадал в Польшу
Музыкальные новости
Концерт рэпера Unki отменили в Череповце после вмешательства властей
Зарубежные музыканты сталкиваются с отменой гастролей после выступлений в России, рассказал Игорь Бутман
После объявления о разводе Карди Би сообщила, что ждет третьего ребенка
В Музее Майи Плисецкой представили костюмы Пьера Кардена для Майи Плисецкой
Алексей Фомин представил миру новый трек «Лунный свет»
ЦСКА и "Оренбург" объявили составы на матч третьего тура РПЛ
Росгвардейцы устроили участникам летнего лагеря настоящий урок мужества
Якутия вошла в число регионов с наиболее высокими зарплатами у учителей
Современная ноздревщина: почему герои Гоголя никуда не делись
SpaceX пришлось нарушить график запусков Falcon 9 к МКС из-за погодных условий
Кубанский казачий центр "Баско" награжден Благодарностью Главнокомандующего ВДВ России.
Ранняя версия Summon and Merge 2 доступна в Google Play 1 страны
Очень красивая история получилась из нашумевшего «исторического» обмена, состоявшегося на днях
Наговорил на три "самые тяжкие" статьи УК: После подрыва машины военного в Москве брат диверсанта вскрыл позорный факт
Две машины столкнулись на северо-западе Москвы
В Москве буйный водитель снес две остановки, на которых находились люди
Был в шоке и чуть в обморок не упал – обмененный Роман Селезнев рассказал о встрече с Путиным
Ким Чен Ын не исключил обращения к Москве за помощью из-за наводнения
Аналитприбор монооксида углерода выдыхаемого воздуха - в списке оснащения кабинетов врачей
Как выбрать полезные продукты и кому следует употреблять их с осторожностью
Нарколог рассказал, кому больше всего вреден алкоголь
Главный нарколог Москвы Масякин рассказал, кому больше всего вреден алкоголь
Ставропольский «Виктор» завоевал бронзу Кубка России по пляжному гандболу
Премьер-лига. ЦСКА - "Оренбург" - 5:1.
Дадут ли бой «газовики» московским «армейцам»: Сегодня ФК «Оренбург» в Москве сыграет с ЦСКА
Вышел сериал Евгения Стычкина "Игры" о проведении Олимпиады-80 в Москве
Собянин: Разработки московских ученых помогают повысить качество медпомощи
Собянин: трамвайному депо им. Апакова – 115 лет
Собянин: Более 100 тысяч москвичей выбрали карьеру с «Профессиями будущего»
Сергей Собянин. Главное за день
Ким Чен Ын не исключил обращения к Москве за помощью из-за наводнения
КНДР при необходимости обратится к Москве из-за наводнения — Ким Чен Ын
В Москве показали прототип нового российского электромобиля "Молния"
Позвольте вашу лапку, Барышня: истории самых известных тигров, которые полюбились москвичам
В США пообещали новые санкции против России за якобы неправомерное удержание американцев
Новые предприятия АПК и пищевой промышленности в июне - июле 2024 года
Рябков заявил, что РФ может развернуть ракеты в ядерном оснащении
Сливочное масло: золотое сокровище на кухне
Пропавшую под Архангельском двухлетнюю девочку нашли живой в болоте
Из столицы Поморья в Белоруссию стартовал автопробег активистов поискового движения
Премьера пространственной симфонии состоялась в Архангельской области
Новую часовню Покрова Пресвятой Богородицы поставили в центре Архангельска
Выставка-юбилей
«Поговорим о человечности»,
к 100-летию со дня рождения А.Г. Алексина,
писателя, сценариста и драматурга.
В путь-дорогу: подборка полезных мобильных приложений для водителей
Цена квадратного метра в Севастополе упала, в Симферополе держится
Выставка-приглашение «Лето книжного цвета: новые книги в библиотеке!»
Олег Сирота подвел итоги «Сырного чемпионата России» в Истре
«Призывал решить вопрос миром»: кто избил боксера Дмитрия Двали
???????????????? В последнее время состоялось несколько заметных встреч российских
Генерал США заявил, что при Байдене Вашингтон не способен противостоять РФ и КНР