Яндекс сообщил об успешной сдаче ЕГЭ языковой моделью YandexGPT 2. Нейросеть смогла набрать 55 баллов при прохождении заданий в рамках ЕГЭ по литературе. Нижний порог — 40 баллов.
В рамках экзамена оценивались знания, стиль письма, эрудиция и творческие способности. Это первый в России случай, когда ИИ сдаёт экзамен с творческими заданиями. Сложность эксперимента в том, что в базе данных YandexGPT 2 не были записаны ответы на вопросы экзамена. Для эксперимента использовались варианты ЕГЭ из тренировочных экзаменов 2021–2023 годов.
Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе.
Алексей Гусаков Технический директор «Поиска» Яндекса
