Предложен способ создания нейросетей из логических вентилей

Нейронные сети состоят из так называемых перцептрнов, крайне упрощенных моделях нейронов человеческого мозга. Когда их много, они обладают большими возможностями, но также потребляют огромное количество энергии. К тому же, перцептроны – всего лишь программная абстракция: запуск сети перцептронов на графическом процессоре требует перевода этой сети на язык аппаратного оборудования, что требует времени и энергии. Если создавать сеть напрямую из аппаратных компонентов, эти затраты можно сократить. Если нейросети можно будет встраивать сразу в микрочипы смартфонов и других устройств, объем трафика между компьютерами и серверами значимо снизится.

Феликс Питерсен представил на конференции по машинному обучению NeurIPS свою стратегию. Он разработал нейросеть, состоящую из логических вентилей, основных элементов вычислительной техники. Каждый вентиль состоит, в свою очередь, из нескольких транзисторов. Такая сеть логических вентилей работает быстрее, а энергии требует в сотни и тысячи раз меньше.

Правда, такая сеть намного хуже справляется с задачами маркировки изображений, чем обычные нейросети. Тем не менее, авторы концепции считают, что такой подход откроет интересные возможности машинного обучения, https://www.technologyreview.com/2024/12/20/1109183/the-next... Technology Review.

Не все участники конференции согласны с этим выводом. Фариназ Кушанфар из Калифорнийского университета в Сан-Диего заявила, что не уверена в способности вентильных сетей выполнять практические задачи. «Это забавная идея, но я не знаю, насколько хорошо она масштабируется», - сказала она. И добавила, что такую сеть можно обучить только аппроксимационно, методом релаксации, а аппроксимации могут подвести.

Тем не менее, Питерсон настроен оптимистично и планирует продолжать исследовать возможности сетей из логических вентилей. Он намерен создать «аппаратную базовую модель»: мощную, универсальную сеть для распознавания изображений, которую можно будет интегрировать в компьютерные чипы смартфонов и компьютеров.

Для решения проблемы «галлюцинирования» исследователи из США https://www.sciencedaily.com/releases/2024/07/240715135808.h... нейросеть RTNet, которая обучается принимать решения подобно человеку. Она может анализировать информацию, взвешивать варианты и делать выбор, учитывая вероятность разных исходов.