Разработана двухдоменная архитектура, обеспечивающая в 40 раз более высокую энергоэффективность при работе нейронных сетей
Одними из наиболее перспективных решений для запуска искусственных нейронных сетей(ИНС) являются так называемые системы вычислений в памяти (CIM). Эти системы предназначены для обработки и хранения данных в единой аппаратной системе, что позволяет снизить энергопотребление и повысить производительность моделей на основе ИНС.
Системы CIM делятся на две большие категории: цифровые системы CIM (DCIM) и аналоговые системы CIM (ACIM). В статье, опубликованной в Nature Electronics, исследователи из Университета Цинхуа представляют новую двухдоменную систему ACIM, которая может более эффективно работать с нейросетями, а также повышать их производительность в задачах общего вывода.
«Исследования ACIM для вычислений в нейронных сетях привлекли значительное внимание, но прогресс в основном наблюдался в задачах классификации (например, классификация изображений)», — рассказал Tech Xplore Цзэ Ван, первый автор статьи.
«На сегодняшний день ACIM по-прежнему сталкивается со значительными трудностями при выполнении сложных задач регрессии (например, YOLO для обнаружения объектов) из-за двух ключевых ограничений. Первое — это высокий вычислительный шум, а второе — проблемы с совместимостью данных с плавающей запятой (FP), которые делают его непригодным для задач регрессии, обычно требующих высокоточных вычислений с плавающей запятой.»
Чтобы преодолеть трудности, обычно связанные с системами ACIM, Ван и его коллеги разработали новую гибридную архитектуру, которая сочетает в себе высокоточные цифровые вычисления, совместимые с FP, и высокую энергоэффективность. Предложенная ими архитектура оказалась перспективной для работы нейронных сетей, а также для выполнения этими сетями общих задач логического вывода.
«ACIM отлично подходит для выполнения высокопараллельных и энергоэффективных операций умножения матриц — фундаментальной операции, широко используемой в нейронных сетях и предлагающей значительные преимущества по сравнению с цифровыми вычислениями», — объяснил Ван.
«ACIM работает на основе закона Кирхгофа о токе и закона Ома для умножения на основе напряжения и суммирования на основе тока непосредственно в аналоговой области. Однако производственные отклонения приводят к вычислительным шумам, влияющим на точность вычислений в нейронных сетях».
Помимо того, что системы ACIM подвержены воздействию шума, который снижает точность работы нейронных сетей, они до сих пор применялись в основном для задач, связанных с линейным умножением и сложением. В отличие от них, они оказались несовместимы с вычислениями в формате FP — более сложными математическими операциями, которые выполняются с так называемыми числами FP (т. е. вычислительными представлениями чисел). «Впервые мы демонстрируем полностью аппаратно-реализованную задачу многоцелевого и многоклассового обнаружения объектов YOLO (You Only Look Once) на реальной системе ACIM, — написал Ван. — Это важная веха, расширяющая возможности ACIM не только до поддержки задач классификации, но и до полной поддержки общего вывода нейронных сетей с потоком данных FP».
Ван и его коллеги протестировали свою архитектуру в ходе серии испытаний и обнаружили, что она обладает выдающейся энергоэффективностью, которая в 39,2 раза выше, чем у обычных умножителей FP-32, работающих с моделями на основе ANN. Исследователи также создали прототип вычислительной системы на основе мемристоров на основе своей разработки, которая показала высокую точность (в среднем в 2,7 раза выше, чем у систем ACIM).
Сообщение Разработана двухдоменная архитектура, обеспечивающая в 40 раз более высокую энергоэффективность при работе нейронных сетей появились сначала на Время электроники.