У чат-ботов нашли признаки деменции

Популярные ИИ-сервисы заставили решать задания для проверки умственных способностей. Рассказываем, кто из них оказался самым «сообразительным».

Почти все ведущие большие языковые модели (LLM) демонстрируют признаки легких когнитивных нарушений при прохождении тестов для обнаружения ранних признаков деменции, сообщает MedicalXpress. Результаты также показывают, что «старые» версии чат-ботов, как и пожилые пациенты, как правило, хуже справляются с заданиями. 

Исследователи оценили когнитивные способности ведущих общедоступных LLM-программ — GPT-4 и 4o от OpenAI, Claude 3.5 Sonnet от Anthropic и Gemini 1 и 1.5 от Google. Для этого применялся тест Montreal Cognitive Assessment (MoCA). Он используется для выявления когнитивных нарушений и ранних признаков деменции, обычно у пожилых. С помощью коротких заданий и вопросов оцениваются такие способности, как внимание, память, язык, зрительно-пространственные навыки и исполнительные функции. Максимальный результат составляет 30 баллов, при этом 26 баллов и выше обычно считается нормальным показателем.

Модели получили такие же инструкции для каждого задания, какие даются пациентам-людям. Оценка проводилась в соответствии с официальными рекомендациями и при участии практикующего невролога. GPT-4o набрал больше всего баллов (26 из 30), за ним следуют GPT-4 и Claude (25 из 30), а самый низкий балл получил Gemini 1.0 (16 из 30).