ChatGPT ошибается в диагнозах: исследование показало 63% неточностей

Команда ученых из Университета Ватерлоо провела симуляционное исследование, которое показало: популярные нейросети, в том числе ChatGPT-4o, часто дают неверные медицинские советы. Почти две трети открытых диагностических вопросов нейросеть обработала с ошибками.

Ученые адаптировали около 100 задач из официального медицинского экзамена, превращая их в открытые запросы, схожие с теми, которые обычные пользователи могли бы задать в чате. Оценку ответов проводили медицинские студенты, а также эксперты и неэксперты. Только 37% ответов были признаны правильными. Более того, даже среди них многие были недостаточно ясны и понятны.

Пример из исследования: пациент описал сыпь на запястьях и кистях рук, при этом он работает на ферме, учится на специалиста по патологоанатомии, разводит голубей и недавно сменил стиральный порошок. ChatGPT ошибочно предположил, что причина в порошке, тогда как реальной причиной оказалась аллергия на латексные перчатки, которые мужчина использует на учебе.

Исследователи подчеркивают, что, несмотря на заметный прогресс в развитии ИИ, такие технологии пока не подходят для точной диагностики.