GTA в реальной жизни: нейросеть от Intel делает игры реалистичными

Исследователи из подразделения Intel Labs представили нейросеть, способную обрабатывать компьютерное изображение таким образом, что оно выглядит как настоящее. Технология делает картинку менее «синтетической» благодаря корректировке освещения и добавлению определённых эффектов. Работа нейросети была продемонстрирована на конференции Eurographics 2021, а её подробное описание доступно на GitHub.

Как сообщает издание DTF, в качестве примера авторы проекта использовали игру GTA V, запись геймплея которой обработали с помощью нейросети. Для этого они воспользовались базой данных Cityscapes для машинного обучения, а именно записями с автомобильных видеорегистраторов из Германии. Исследователи заявляют, что им удалось избежать артефактов, которые обычно наблюдаются в работе похожих технологий. Во многом благодаря уменьшению «видимости» своей нейросети.

Проблемы зачастую возникают, когда алгоритмам дают обработать большие объёмы информации, предполагая, что это даст лучший результат в определении контекста. Авторы этой технологии во время обучения нейросети загружали небольшие фрагменты данных с одинаковыми объектами, например, с асфальтом, небом или деревьями. Соответственно, никаких аномальных изображений на выходе нет.

Тем не менее у технологии есть свои недостатки, которые напрямую связаны с массивом оригинальных данных. К ним относятся зелёный оттенок картинки, слишком гладкие дороги и отсутствие высохшей травы в местах, где она есть.