Нейросеть Яндекса YandexGPT научилась проверять текст на «галлюцинации»

Команда Яндекс обучила нейросеть на основе фирменной YandexGPT самостоятельно проверять сгенерированные тексты на наличие «галлюцинаций». Как отметили в пресс-службе, это позволило в шесть раз сократить количество неточностей в созданных нейросетью кратких описаниях мест и достопримечательностей в «Яндекс Картах». 

YandexGPT создаёт краткие описания для карт в несколько этапов. Сначала модель анализирует большое количество отзывов, а также заполненную владельцем карточку организации. Она объединяет важное для посетителей (то, о чём они пишут чаще всего) и особенности места в несколько предложений. Затем модель убирает из текста лишнее, например, слишком общие формулировки, и форматирует описание в заданной стилистике и структуре. 

Иногда при подготовке описаний нейросеть может добавить несуществующие детали — это называется галлюцинации. Поэтому на финальном этапе она оценивает написанное на правдивость — сравнивает свои ответы с отзывами, на которые опиралась, и удаляет «выдуманное».

Ранее за создание кратких описаний в «Яндекс Картах» отвечали пять различных моделей — каждая из них выполняла определённую функцию, например, расставляла запятые или фильтровала отзывы по полезности. Теперь со всеми этими задачами справляется одна обновлённая модель, поэтому для её работы требуется меньше вычислительных мощностей. Переход на новую версию позволил повысить правдивость, точность и качество кратких описаний на 90%. Это решение может быть полезно и другим сервисам компании, которые используют языковую модель для кратких пересказов больших объёмов текстов.