by Osvaldo Matias Velarde, Hernán A. Makse, Lucas C. Parra
In the visual system of primates, image information propagates across successive cortical areas, and there is also local feedback within an area and long-range feedback across areas. Recent findings suggest that the resulting temporal dynamics of neural activity are crucial in several vision tasks. In contrast, artificial neural network models of vision are typically feedforward and do not capitalize on the benefits of temporal dynamics, partly due to concerns about stability and computational costs.
In this study, we focus on recurrent networks with feedback connections for visual tasks with static input corresponding to a single fixation. We demonstrate mathematically that a network’s dynamics can be stabilized by four key features of biological networks: layer-ordered structure, temporal delays between layers, longer distance feedback across layers, and nonlinear neuronal responses. Conversely, when feedback has a fixed distance, one can omit delays in feedforward connections to achieve more efficient artificial implementations.
We also evaluated the effect of feedback connections on object detection and classification performance using standard benchmarks, specifically the COCO and CIFAR10 datasets. Our findings indicate that feedback connections improved the detection of small objects, and classification performance became more robust to noise. We found that performance increased with the temporal dynamics, not unlike what is observed in core vision of primates.
These results suggest that delays and layered organization are crucial features for stability and performance in both biological and artificial recurrent neural networks.
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Обложка песни. Обложки альбомов песен. Сделать обложку для песни.
Синоптики спрогнозировали тепло до +28 и грозы в Московском регионе 28 июля
Приключение-головоломка Arranger вышла на смартфоны и PC
Arena Breakout празднует 1 годовщину новой картой, игровым режимом и наградами
Blizzard politely tells Hearthstone players their game isn't dead just because it's not getting a new cosmetic board this expansion
Activision secretly experimented on 50% of Call of Duty players by 'decreasing' skill-based matchmaking, and determined players like SBMM even if they don't know it
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
Отделение СФР по Москве и Московской области проактивно открыло свыше 32 тысяч СНИЛС новорожденным
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
«Душевная» гастрономия от Waldorf Astoria Seychelles Platte Island
Обложка песни. Обложки альбомов песен. Сделать обложку для песни.
На фоне роста доходов: с начала года россияне потратили вдвое больше денег на покупку авто
В Москве самокатчиков штрафуют почем зря
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг
Традиционные чаепития и круизы в закат от Banyan Tree Vabbinfaru
«Душевная» гастрономия от Waldorf Astoria Seychelles Platte Island
Филиал № 4 ОСФР по Москве и Московской области информирует:
Родители 240,5 тыс. детей в Московской области получают единое пособие
Филиал № 4 ОСФР по Москве и Московской области информирует:
За полгода 14,9 тысячи жителей Московского региона оформили страховую пенсию в автоматическом режиме на портале госуслуг