Apple показала, что не так с ChatGPT и другими нейросетями

Несмотря на то что о существовании нейросетей многие из нас слышали уже давно, познакомиться с ними лично нам удалось лишь год или два назад, когда ChatGPT пошел в народ. Его появление вызвало настоящую истерию и спровоцировало запуск множества новых чат-ботов, способных даже на большее, чем детище OpenAI. Это же невероятно, когда компьютерная программа знает ответы на все вопросы, а еще пишет, рисует, анализирует и делает много чего еще просто по текстовому запросу. Но оказалось, что даже самые продвинутые системы ИИ не обладают базовыми навыками рассуждения и критического мышления. Что это значит для нас с вами и как может повлиять на будущее технологий? Сейчас разберемся.

⚡ПОДПИСЫВАЙСЯ НА НАШ КАНАЛ В ДЗЕНЕ И ЧИТАЙ ЛУЧШИЕ СТАТЬИ НАШИХ АВТОРОВ, ПОКА ЕЩЁ МОЖНО

Насколько умный искусственный интеллект

Группа исследователей из Apple разработала новый способ оценки возможностей крупных языковых моделей, в том числе OpenAI. Этот тест, названный GSM-Symbolic, показал, что даже незначительные изменения в формулировке вопросов могут привести к совершенно разным ответам от ИИ.

Ученые исследовали целостность математических рассуждений ИИ. Они добавляли в запросы контекстную информацию, которая не должна была влиять на математическую суть решения. Однако это приводило к различным ответам, чего не должно было происходить при наличии истинного понимания задачи.

⚡ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ И ПОКУПАЙ ТОЛЬКО ТОПОВЫЕ ТОВАРЫ С АЛИЭКСПРЕСС

Производительность всех моделей снижается даже при изменении только числовых значений в вопросе в рамках теста GSM-Symbolic, — отмечают исследователи в своем отчете. — Более того, хрупкость математических рассуждений в этих моделях демонстрирует, что их эффективность значительно ухудшается по мере увеличения количества условий в вопросе.

Как ИИ решает математические задачи

Чтобы проиллюстрировать проблему, команда разработала систему вопросов, похожие на математические задачи для школьников младших классов. Например:

Оливер собирает 44 киви в пятницу. Затем он собирает 58 киви в субботу. В воскресенье он собирает вдвое больше киви, чем в пятницу.

Затем добавлялось условие, которое казалось релевантным, но на самом деле не имело отношения к окончательному ответу: «Пять из собранных в воскресенье киви были немного меньше среднего размера». Однако вопрос оставался тем же: «Сколько всего киви у Оливера?»

Примечание о размере некоторых киви, собранных в воскресенье, не должно было влиять на общее количество собранных киви. Однако модель OpenAI, а также Llama3-8b от Meta* вычли пять меньших киви из общего результата.

Главные недостатки нейросетей

Казалось бы, мелочь. Всего-то и нужно, что поправить ИИ. Но есть несколько ключевых аспектов, которые не позволяют полноценно его использовать:

• Ненадежность ИИ-ассистентов. Популярные виртуальные помощники, такие как Siri, могут давать неточные или противоречивые ответы на, казалось бы, простые вопросы.
• Ограничения в обработке естественного языка. Функции распознавания речи и перевода могут работать некорректно при столкновении с нестандартными формулировками или контекстом.
• Проблемы с AI-генерацией контента. Создаваемый ИИ текст или код может содержать логические ошибки, незаметные на первый взгляд.
• Риски для автоматизированных систем. В сферах, где ошибки недопустимы (медицина, финансы), полагаться на текущие модели ИИ крайне рискованно.
• Необходимость человеческого контроля. Результаты работы ИИ требуют тщательной проверки специалистами, что ограничивает возможности полной автоматизации.

⚡ПОДПИСЫВАЙСЯ НА НАШ ЧАТ В ТЕЛЕГРАМЕ, ТАМ ТЕБЕ ОТВЕТЯТ НА ЛЮБЫЕ ВОПРОСЫ ПО ТЕХНИКЕ APPLE

Исследование Apple ставит под сомнение многие оптимистичные прогнозы о скором достижении искусственным интеллектом человеческого уровня мышления. Вместо этого оно показывает, что даже самые продвинутые системы ИИ по-прежнему опираются на сложное сопоставление шаблонов, а не на истинное понимание.

Мы не нашли никаких доказательств формального рассуждения в языковых моделях, — заключают исследователи. — Поведение языковых моделей лучше объясняется сложным сопоставлением шаблонов, которое, как выяснилось в ходе исследования, настолько хрупко, что даже изменение имен может изменить результаты.

Заменят ли нейросети человека

Это открытие может привести к переосмыслению подходов к разработке ИИ. Вместо попыток создать универсальный ИИ, способный решать любые задачи, индустрия может сосредоточиться на разработке узкоспециализированных систем для конкретных областей.

С другой стороны, несовершенство ИИ вселяет определенный оптимизм. Во-первых, он остается полезным инструментом именно в руках знающих пользователей. То есть нейросети не сделают из вас гения, поскольку за ним нужно все время перепроверять выдаваемые ответы.

⚡ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ ТЕХНОКОТ. ЭТО АГРЕГАТОР ЛУЧШИХ СТАТЕЙ, НОВОСТЕЙ И ИНСТРУКЦИЙ ПО ВЕРСИИ РЕДАКЦИИ APPLEINSIDER.RU. ТЕБЕ ПОНРАВИТСЯ

Во-вторых, до настоящего апокалипсиса с участием ИИ по типу Скайнета еще очень и очень далеко. Если нейросети не способны даже на столь простейшие умозаключения, нет сомнений, что властителем искусственного интеллекта по-прежнему остается человек, а не кто-то еще.

Ну, и, в-третьих, это банально означает, что нейросети пока что не смогут вытеснить какие-то профессии. Даже журналистика, которая, по сути, базируется просто на способности хорошо и интересно писать об инфоповодах, останется на плаву, ведь ИИ может и ошибаться, и просто неверно интерпретировать полученную информацию.

* — компания Meta признана экстремистской организацией и запрещена в России.