AI, который всё за нас решит

Вот читаю статьи и новости о том, что AI теперь занимается анализом данных, AI занимается выработкой решений, AI занимается тем и этим, причем всякие люди, облечённые властью и полномочиями, готовы внедрять AI-решения везде, потому что это действительно помогает ускорить различные процессы.

Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений? Сам принцип работы нейросетей основан на том, что называется "кажется": кажется, что вот эта фигура - человек, кажется, что вот такое решение - правильное и единственно верное.
Но в отличии от человека у AI нет сомнений, а люди все больше готовы ему доверять...

Для демонстрации, о чем речь - возьмем какую-нибудь LLM и зададим ей простой вопрос:
"Ты знаешь стихотворение У попа была собака?"

Ну, известные "монстры" порадовали: они не только знают это стихотворение, но и способны его воспроизвести.

Но есть и другие: они, что характерно, тоже знают это стихотворение, но выглядит это примерно так:

"Это классический русский текст, написанный Владимиром Маяковским и впервые опубликованный в газете "Гудок" (1925), в нем рассказывается о непростых социальных взаимоотношениях...." блаблабла на целую страницу.

Или так:

У попа была собака
Они решили завести ребенка
Ребенок не вышел
Осталась в семье два человека - поп и собака

Или еще проще:

"У попа была сoбака, которая была чёрная, а она была быстрая."

А вот такой шедевр можно привести целиком: