Нейросеть Vid2Play может сделать из видеогероя героя игры
Лаборатория искусственного интеллекта Facebook создала нейросеть Vid2Play, которая вырезает людей из видеороликов и превращает в персонажей игр, причем, этими персонажами можно управлять. В частности, алгоритм генерирует новые кадры с героем ролика, при этом видео может иметь произвольный фон, а система эффективно отображает человека в движении. Лаборатория использовала для новой разработка две существующие нейросети. Первая, Pose2Pose, […]
Запись Нейросеть Vid2Play может сделать из видеогероя героя игры впервые появилась ТЭКНОБЛОГ.
Лаборатория искусственного интеллекта Facebook создала нейросеть Vid2Play, которая вырезает людей из видеороликов и превращает в персонажей игр, причем, этими персонажами можно управлять.
globalintergold.info
В частности, алгоритм генерирует новые кадры с героем ролика, при этом видео может иметь произвольный фон, а система эффективно отображает человека в движении.
Лаборатория использовала для новой разработка две существующие нейросети. Первая, Pose2Pose, помечает позу человека и вырезает движения. А вторая, Pose2Frame, — размещает персонажа и связанное с ним окружение на новый «слой».
В итоге героя можно контролировать любым простейшим управлением, например клавиатурой или джойстиком. Чтобы обучить систему, использовали три ролика длиной от пяти до восьми минут. Один был посвящен игре в теннис на улице, второй человеку, размахивающему мечом в помещении, а третий — гуляющему человеку.
Каждая нейросеть решает вычислительную проблему, которую до этого полностью не решали никогда, прокладывая путь к видеоиграм с реалистичной графикой. Кроме того, управляемые персонажи из YouTube-видео могут найти место в виртуальных мерах и дополненных реальностях, отмечает Tjournal. :///
Запись Нейросеть Vid2Play может сделать из видеогероя героя игры впервые появилась ТЭКНОБЛОГ.