BMJ: ИИ-модели все хуже справляются с когнитивными тестами по мере устаревания

Международная группа ученых из Израиля и Великобритании доказала, что крупные языковые модели на основе искусственного интеллекта (ИИ) демонстрируют признаки снижения когнитивных способностей с возрастом. Исследование опубликовано в научном журнале BMJ.

Команда протестировала ChatGPT, Gemini и другие популярные чат-боты с помощью теста Монреальской когнитивной оценки (MoCA), который обычно используется для выявления когнитивных нарушений у людей, таких как болезнь Альцгеймера или деменция. Тест включает задания на внимание, память, языковые навыки, визуальное восприятие и исполнительные функции.

Результаты показали, что, хотя нейросети справляются с некоторыми задачами, такими как называние объектов или выполнение языковых упражнений, они испытывают трудности с визуальными и пространственными навыками, а также с отсроченным припоминанием информации.

Например, последняя версия ChatGPT (версия 4) набрала 26 из 30 баллов, что соответствует норме для человека, а более старая версия Gemini 1.0 показала результат всего 16 баллов, что указывает на возможное "когнитивное ухудшение".

Авторы исследования подчеркивают, что их выводы носят наблюдательный характер и не могут быть прямым сравнением между ИИ и человеческим разумом. Однако они предупреждают, что обнаруженные слабости могут замедлить внедрение ИИ в клинической медицине, особенно в задачах, требующих визуальной абстракции и исполнительных функций.

"Эти результаты ставят под сомнение предположение о том, что искусственный интеллект вскоре заменит врачей-людей, — пишут исследователи. — Когнитивные нарушения у ИИ могут подорвать доверие пациентов и ограничить его применение в медицине".