FIP: нейросеть точно определила эмоции людей по аудиороликам длиной 1,5 секунды

Немецкие исследователи из Института человеческого развития Макса Планка в Берлине выяснили, что некоторые модели искусственного интеллекта (ИИ) способны идентифицировать эмоции человека по коротким аудиозаписям также хорошо, как это делают люди. Статья опубликована в научном журнале Frontiers in Psychology (FIP).

"Мы показали, что машинное обучение можно использовать для распознавания эмоций по аудиоклипам продолжительностью всего 1,5 секунды. Наши модели достигли точности, сравнимой с человеческой, при классификации бессмысленных предложений с эмоциональной окраской, произнесенных актерами", — отметил ведущий автор статьи Ханнес Димерлинг.

Исследователи использовали лишенные смысла реплики на канадском и немецком языках, чтобы выяснить, может ли ИИ точно определить эмоции независимо от их содержания и культурно-лингвистических нюансов.

На основе данных обучения ученые создали ИИ-модели, которые работали одним из трех способов. Глубокие нейронные сети (DNN) подобны сложным фильтрам, которые анализируют компоненты звука, такие как частота или высота тона (например, когда голос становится громче из-за того, что говорящий злится), чтобы выявить скрытые эмоции.

Сверточные нейронные сети (CNN) сканируют закономерности в визуальном представлении саундтреков, подобно тому, как определяют эмоции по ритму и текстуре голоса.

И гибридная модель (C-DNN) объединяет оба метода, используя как аудио, так и визуальную спектрограмму для прогнозирования эмоций. Затем модели были протестированы на эффективность на обоих наборах данных.

"Мы обнаружили, что DNN и C-DNN достигают большей точности, чем использование только спектрограмм в CNN", — отметил Димерлинг.

Полученные результаты показали, что возможно разработать системы, которые смогут мгновенно интерпретировать эмоциональные сигналы и обеспечивать немедленную и интуитивную обратную связь в широком диапазоне ситуаций.

Это может помочь создать масштабируемые и экономически эффективных приложений в различных областях, таких как терапия и технологии межличностного общения.