ИИ-стартап Фей-Фей Ли показал первую технологию — генерацию 3D-сцен из 2D-изображения

Создавая контент в 3D, World Labs может избежать некоторых проблем с контролем и согласованностью, которые возникают в других генераторах изображений и видео. Инструмент GenAI генерирует сцены с постоянными визуальными аспектами, обеспечивая управление в реальном времени и согласованную геометрию. Это позволяет создателям выполнять движения камеры в сгенерированной среде, хотя границы сцены все еще остаются довольно ограниченными.

Такая быстрая генерация может изменить подход к созданию фильмов, видеоигр и симуляторов, особенно в сочетании с другими инструментами на основе искусственного интеллекта. Уже сегодня анимационные студии экспериментируют с этой технологией для создания однородных фонов, на которых можно легко и быстро размещать персонажей в тех или иных сценах.

Инструмент не предназначен для широкой аудитории, но на сайте есть примеры генераций.

Стартап World Labs, созданный в этом году, планирует научить ИИ взаимодействовать с 3D-миром. Достичь этого планируется с помощью алгоритмов «пространственного интеллекта», которые смогут анализировать изображения и текст, создавать на их основе 3D-модели, а также «рассуждать», как люди, интерпретируя визуальную информацию. Это может продвинуть вперед такие сферы, как робототехника, компьютерное зрение, дополненная и виртуальная реальность.