Нейросеть научили определять музыку по телодвижениям исполнителей

Исследователи Массачусетского технологического института научили нейросеть определять музыку по телодвижениям исполнителей.

Инструмент сопоставляет движения музыкантов с темпом отдельных партий. Это позволяет выделить одну флейту или одну скрипку из ряда инструментов.

Нейросеть можно использовать для микширования звука и увеличения громкости инструмента в записи, а также для снижения уровня посторонних шумов.

Стоит отметить, что новую систему разработали на базе старой, благодаря которой можно было кликать на музыкальные инструменты в концертном видео, чтобы сделать их звучание громче или тише. Новая разработка включает анализ данных о ключевых положениях тела музыканта. Это же используют спортивные комментаторы для отслеживания движений спортсменов. Нейросеть обучали на синхронизированных аудио- и видеозаписях.