Создан инструмент для генерации объемных видео: как это работает

Представьте: вы можете сконструировать виртуальную реальность, просто описывая мир или персонажей словами. Благодаря прогрессу в 3D-видео такая перспектива не за горами.

Объемное видео по своей природе сложнее обычного. Вместо двумерного массива квадратных пикселей, изменяющихся со временем, оно генерирует кубические воксели в трехмерном пространстве. Такое представление сцены лучше подходит для создания эффекта погружения. Когда вы играете в видеоигру с 3D-миром, вы, по сути, смотрите объемный видеоролик.

Команда из Чжэцзянского и Стэнфордского университетов, а также Гонконгского университета науки и технологий представила технологию объемной видеопрезентации, которая снижает требования к видеопамяти и хранилищу данных для рендеринга фотореалистичного видео из 3D-ресурсов. Об этом сообщает New Atlas. Эта технология позволяет рендерить сцены в разрешении 1080p со скоростью 450 кадров в секунду в течение 10 минут и более, используя стандартный графический процессор Nvidia RTX 4090. Процесс рендеринга происходит в реальном времени с возможностью интерактивного управления движением камеры и другими элементами.

В основе лежит временная гауссова иерархия. Этот метод анализирует сцену и выявляет участки, которые изменяются быстро, и те, которые движутся медленно или остаются статичными. Затем создается иерархия представлений, которая позволяет выделять больше времени на рендеринг быстро меняющихся частей сцены и экономить ресурсы, снижая затраты на обработку медленно движущихся или статичных элементов.