Чат-боты оценивают социальные ситуации лучше людей

Способность искусственного интеллекта помогать в социальных взаимодействиях приобретает все большее значение, особенно в таких сферах, как клиентская поддержка и психологическая помощь.

Большие языковые модели, на которых работают чат-боты, обучены на огромных объемах текстовых данных, что позволяет им не только понимать язык и контекст, но и генерировать осмысленные и релевантные ответы. Хотя ранее их возможности изучались в контексте академических задач и логических рассуждений, способность решать сложные социальные вопросы оставалась недостаточно исследованной.

В рамках нового эксперимента специалисты протестировали пять чат-ботов (Claude, Microsoft Copilot, ChatGPT, Google Gemini и умный ассистент от you.com) и сравнили их результаты с группой из 276 человек. Участниками стали люди с высоким уровнем образования и мотивации, что обеспечило высокий уровень человеческой выборки. В исследовании использовался тест ситуационной оценки (Situational Judgment Test), широко применяемый в психологии для измерения социальных навыков. Он состоял из 12 сценариев, каждый из которых требовал выбора наилучшего и наихудшего вариантов поведения. Эталоном служили оценки группы из 109 экспертов.

Чат-боты проходили тест по десять раз с разным порядком вопросов, чтобы обеспечить объективность результатов. Оценки производились на основе совпадения выбранных ответов с экспертными рекомендациями. Также ИИ оценивали эффективность каждого из вариантов действий, что дало дополнительные данные для анализа.