Исследование, опубликованное в журнале PNAS Nexus, показало, что большие языковые модели (LLM) совершают ошибки, аналогичные человеческим, в абстрактных задачах на рассуждение. Команда ученых проверила LLM и людей на трех видах задач: вывод на естественном языке, оценка логической валидности силлогизмов и задача Уэйсона.
Оказалось, что и LLM, и люди склонны ошибочно считать неверные аргументы правильными, если их содержание выглядит логически обоснованным. В задаче Уэйсона, где участники должны определить правильность правила, проверяя набор карт с буквами и цифрами, ИИ и люди делают схожие ошибки. Например, вместо проверки информации, которая может подтвердить правило, они проверяют противоположные условия, что не дает нужной информации.
Интересно, что производительность LLM и людей улучшается, если заменить абстрактные правила на социально значимые, например, возраст людей и употребление алкоголя. Исследование показывает, что для улучшения логического мышления LLM, как и людям, требуется формальное обучение.
Интервью AppTime с компанией Innova: релиз Gran Saga в России, внутриигровая оплата и «Масленица» в корейской MMO
Yesterday I ignored 10 tornado warnings to finish a Destiny 2 raid, didn't get the exotic drop, and disappointed my fiancée. Is there some sort of lesson here?
Двадцать пять человек за одним столом под звуки караоке – это было шедеврально!
CD Projekt's Pawel Sasko tells the inspiring tale of how an Estonian beet farmer in Australia became a senior quest designer on The Witcher 4
Сергей Собянин сообщил о начале реставрации фасадов дворца Дурасова
«Я не глупая и умею постоять за себя»: Надежда Сысоева рассказала в «УТРО.ТНТ» об участии в шоу «Выжить в Дубае. Возвращение»
Ростовский ЭРЗ Желдорреммаш в 4,2 раза увеличил объем ремонта электровозов серии 2ЭС5К «Ермак».
Ротенберг о матче звезд КХЛ и НХЛ: «Не терпится увидеть коллег-тренеров, ребят, с которыми прошли огонь и воду, играли на ЧМ, побеждали на Олимпийских играх»
«Динамо» представило промо-ролик к новому сезону: в нем есть Деревянко и дельфин в красно-белой форме
Сергей Собянин. Главное за день
Скиппинг и танцы: как тренировки со скакалкой влияют на физическое здоровье
Ротенберг о матче звезд КХЛ и НХЛ: «Не терпится увидеть коллег-тренеров, ребят, с которыми прошли огонь и воду, играли на ЧМ, побеждали на Олимпийских играх»