Sony разработала ИИ-инструмент для мгновенного создания музыки

Инженеры Sony CSL разработали Diff-A-Riff — инструмент на основе искусственного интеллекта (ИИ), который может мгновенно создавать высококачественные инструментальные партии к любой мелодии.

Diff-A-Riff — это следующий шаг после предыдущей разработки Sony CSL, которая фокусировалась на создании басовых линий. Новая модель способна генерировать партии любых инструментов, подстраиваясь под стиль и тональность исходной композиции.

Инструмент работает на базе двух мощных технологий глубокого обучения: латентных диффузионных моделей и кодеков с автоэнкодерами. Пользователь может управлять процессом с помощью аудио и текстовых подсказок, например, указывая желаемый инструмент или настроение композиции.

Diff-A-Riff обладает рядом преимуществ. Во-первых, он обеспечивает высокое качество звука с частотой дискретизации 48 кГц и псевдостереоэффектом. Во-вторых, он работает в 64 раза быстрее, чем предыдущие подобные разработки, потребляя меньше памяти.

В ходе тестирования модель успешно создавала партии различных инструментов, которые неотличимы от записей живых музыкантов. Разработчики отмечают, что Diff-A-Riff может найти применение в музыкальном производстве, творческом сотрудничестве и sound-дизайне.