Опасная уязвимость ИИ: языковые модели не могут определять время и дату

Достижения искусственного интеллекта продолжают впечатлять обывателей и специалистов, однако новое исследование выявило неожиданный и весьма курьезный пробел в возможностях современных нейросетей.

Как оказалось, современные системы ИИ с трудом справляются с задачами, которые для большинства людей являются элементарными — определением времени по аналоговым часам или вычислением дня недели по дате. Несмотря на потрясающие воображение достижения в генерации текстов, написании программного кода, создании фотореалистичных изображений и даже в узкоспециализированных вопросах, связанных с космосом или медициной, нейросети регулярно ошибаются в, казалось бы, простейших повседневных задачах, не требующих специальной подготовки.

В ходе своего эксперимента команда ученых из университета Эдинбурга использовала специально созданный набор данных, который включил в себя изображения аналоговых часов и календарей. Эти изображения «скормили» нескольким современным мультимодальным языковым моделям, способным работать как с текстом, так и с визуальной информацией, в том числе, GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 и Llama 3.2-Vision.

Результаты оказались весьма скромными. Модели смогли правильно определить время по изображению часов только в 38,7% случаев, а дату — всего в 26,3%. Это удивительно низкий показатель для систем, которые позиционируются как вершина развития современных ИИ. Исследователи объясняют это тем, что такие задачи требуют пространственного мышления, а не просто сопоставления с обучающими примерами. Распознать, что на изображении изображены часы, ИИ может без особого труда. Но чтобы понять, где именно находятся стрелки, под каким углом они пересекаются и что это означает, — требуется умение интерпретировать отношение предметов в пространстве, чего ИИ пока явно не хватает.