AIRI: мощные нейросети под влиянием гнева поддаются эмоциональным искажениям
Ученые из Института AIRI, ИСП РАН и Лаборатории искусственного интеллекта Сбера провели исследование, чтобы понять, как эмоции влияют на принятие решений большими языковыми моделями (LLM), то есть нейросетями, в стратегических играх и этических дилеммах. В ходе исследования команда оценила, как гнев, печаль, радость, отвращение и страх искажают логику этих решений. Об этом "Газете.Ru" сообщили в пресс-службе Института AIRI.
Современные языковые модели стремятся учитывать человеческие предпочтения, однако люди принимают решения, руководствуясь эмоциями и собственными убеждениями, что делает их поступки иррациональными и труднопредсказуемыми. Поскольку LLM обучаются на данных, созданных человеком, и могут сохранять эмоциональную предвзятость, целью анализа стала проверка того, сохраняется ли это искажение при решении задач, требующих разработки стратегий.
Исследователи протестировали более 10 моделей, оценив их поведение при принятии решений в повторяющихся и неповторяющихся играх, играх для нескольких игроков, этических дилеммах и бенчмарках, а также распознавании стереотипов. Результаты показали, что модели разного размера и уровня выравнивания по-разному подвержены влиянию эмоций.
В кооперативных играх негативные эмоции чаще всего снижают готовность системы к сотрудничеству. Модели, "испытывающие" грусть, склонны делиться с другими, однако поведение моделей в состоянии страха остается непредсказуемым. Схожая картина наблюдается и при решении этических задач: счастье улучшает качество этических решений у большинства моделей, тогда как негативные эмоции снижают его.
Исследование заложило основы для изучения выравнивания мультиагентных систем, подчеркивая необходимость в новых бенчмарках для оценки уровня кооперации агентов на основе больших языковых моделей. Результаты исследования могут быть использованы для разработки более продвинутых устойчивых мультиагентных систем ИИ, чью эмоциональность можно будет устанавливать для каждой сферы применения отдельно.