Импульсные нейронные сети: От обратного распространения ошибки к обучению Хебба. Идея о динамической нейронной сети

Приветствую. Меня зовут Алмаз Хуснутдинов. Я придумываю различные идеи о создании цифрового интеллекта. В этой статье я расскажу как можно вывести правило обучения Хебба из алгоритма обратного распространения ошибки и про идею о динамической нейросети. Я думаю над тем, как создавать знания в системе ИИ динамически, и как можно создать ИИ в принципе. Я не занимаюсь глубоким обучением, так как считаю, что имеет смысл развивать общие представления о создании ИИ.

Этот переход (или правило) я обнаружил случайно. Моей целью было придумать то, как сделать запоминание каждого примера нейросетью по одному. В итоге я пришел к тому, что для этого потребуются нейроны с двумя состояниями. Таким образом я открыл для себя импульсные нейросети, хотя изначально они вроде как основаны на биологической правдоподобности — испускание нейроном электрического потенциала.

Содержание: Как работает оптимизация, описание задачи, модель обычного нейрона, модель нейрона «пороговый интегратор».