Как Nvidia обучает роботов с помощью Apple Vision Pro. В это реально сложно поверить

NVIDIA нашла применение Apple Vision Pro в области робототехники. Гарнитура с высокой точностью захватывает движения оператора, а потом этот массив данных используется для обучения человекоподобных роботов

Недавний запуск шлема Apple Vision Pro, на который возлагались большие надежды, прошел не совсем так, как ожидалось. Несмотря на первоначальный ажиотаж и громкие заявления компании, реальные продажи продукта оказались довольно скромными. Многие потенциальные покупатели просто не поняли, кому и зачем может понадобиться это устройство в повседневной жизни. Люди оказались банально не готовы приобретать гаджет без четких перспектив и практической пользы по цене продвинутого игрового компьютера. Но Nvidia нашла ему применение.

Зачем нужна гарнитура Apple Vision Pro

Прямо сейчас Nvidia активно развивает направление человекоподобных роботов, и одной из ключевых задач в этой области является обучение искусственного интеллекта естественным человеческим движениям. Традиционно этот процесс требовал огромного количества данных и занимал много время. Однако инженеры Nvidia нашли способ оптимизировать этот процесс, используя возможности Apple Vision Pro.

Apple Vision Pro выступает в роли высокотехнологичного инструмента для процесса телеоперации, или удаленного управления роботами. Оператор надевает гарнитуру на себя и двигается по заранее описанному сценарию. Благодаря своим передовым сенсорам и системам отслеживания движений гарнитура позволяет с высокой точностью фиксировать действия человека, а затем обучать им роботов.

Обучать роботов с Vision Pro оказалось проще, чем без. Фото: Эльдорадо

Весь образовательный процесс включает несколько ключевых этапов:

• На первом этапе операторы, используя Apple Vision Pro, выполняют ряд демонстрационных движений. Эти движения записываются с высокой точностью.
• На втором записанные движения переносятся в виртуальную среду NVIDIA Isaac Sim, где они могут быть воспроизведены и проанализированы.
• На третьем — с помощью сервиса MimicGen NIM на основе небольшого количества реальных демонстраций генерируются обширные наборы синтетических данных о движениях.
• Четвертый этап предполагает использование полученных данных для тренировки foundation-модели Project GR00T, которая лежит в основе управления человекоподобными роботами.
• Пятый этап — это дополнительное обучение. Используя сервис Robocasa NIM в рамках платформы Isaac Lab, разработчики генерируют дополнительный опыт для дообучения модели робота.

⚡ПОДПИСЫВАЙСЯ НА НАШ КАНАЛ В ДЗЕНЕ И ЧИТАЙ ЛУЧШИЕ СТАТЬИ НАШИХ АВТОРОВ, ПОКА ЕЩЁ МОЖНО

Чем уникальна Apple Vision Pro

Vision Pro считывает даже мельчайшие движения. Фото: the decoder

Все прекрасно, скажете вы, но почему нельзя делать то же самое при помощи обычных (или не совсем обычных) камер? Все-таки технологии захвата движения известны уже давно и успешно применяются в кино. Но использование Apple Vision Pro в сочетании с технологиями Nvidia дает ряд существенных преимуществ:

Во-первых, это скорость. Процесс сбора данных значительно ускоряется благодаря высокой точности и удобству использования Vision Pro.

Во-вторых, экономия. Apple Vision Pro представляет собой комплексный инструмент, который уже имеет в себе и необходимое оборудование и ПО для обработки движений, что сокращает расходы на обучение роботов.

В-третьих, качество. Высокая точность сенсоров Vision Pro, которые считывают даже мельчайшие движения и работают с широким охватом, обеспечивает более качественные входные данные для обучения.

⚡ПОДПИСЫВАЙСЯ НА НАШ ЧАТ В ТЕЛЕГРАМЕ, ТАМ ТЕБЕ ОТВЕТЯТ НА ЛЮБЫЕ ВОПРОСЫ ПО ТЕХНИКЕ APPLE

Как учат человекоподобных роботов

Впрочем, одним только Apple Vision Pro дело не ограничивается. Потому что по умолчанию гарнитура Apple предназначена для другого. Поэтому ее пришлось дополнить рядом фирменных инструментов NVIDIA. Важную роль в процессе обучения роботов играет созданная компанией среда для 3D-дизайна и симуляции под названием Omniverse. Она позволяет создавать высокореалистичные виртуальные миры, в которых можно моделировать поведение роботов и тестировать различные сценарии их работы.

Для обучения также используется огромный массив программного обеспечения. Фото: Код Дурова

Для оптимизации вычислительных ресурсов Nvidia использует систему OSMO (Omniverse Streamer for Multi-node Orchestration). Эта система автоматически распределяет вычислительные задачи между различными ресурсами, что позволяет значительно ускорить процесс обработки данных и обучения моделей.

⚡ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ И ПОКУПАЙ ТОЛЬКО ТОПОВЫЕ ТОВАРЫ С АЛИЭКСПРЕСС

На выходе мы (на самом деле не мы, а NVIDIA) получаем отличный результат. Использование Apple Vision Pro в разработке роботов Nvidia демонстрирует, как технологии разных компаний могут дополнять друг друга, открывая новые возможности. Такой подход может стать отправной точкой для дальнейших инноваций в области робототехники и искусственного интеллекта и доказывает, что AR-гарнитура Apple не является бесполезной.

Стоит ли покупать Apple Vision Pro

Очевидно, что сотрудничество между технологиями Apple и Nvidia в области робототехники не делают Apple Vision Pro гаджетом, который необходим в быту. Покупать его домой по-прежнему практически не имеет смысла. Но гарнитуру вполне может ждать судьба Google Glass, когда изначально разработанный как устройство для потребительского рынка продукт становится важным инструментом в руках инженеров, работающих над созданием следующего поколения технологий.

⚡ПОДПИШИСЬ НА ТЕЛЕГРАМ-КАНАЛ ТЕХНОКОТ. ЭТО АГРЕГАТОР ЛУЧШИХ СТАТЕЙ, НОВОСТЕЙ И ИНСТРУКЦИЙ ПО ВЕРСИИ РЕДАКЦИИ APPLEINSIDER.RU. ТЕБЕ ПОНРАВИТСЯ

Использование Apple Vision Pro в обучении роботов-гуманоидов открывает ряд интересных перспектив. Например, гарнитуру можно использовать в широком ряде сфер деятельности. Это может быть и физиотерапия, и реабилитации пациентов после травм или инсультов, и обучение роботов естественным движениям для работы на сборочных линиях и в других промышленных условиях, где требуется точность и гибкость. Осталось только найти тех, кто этим займется. А дальше — дело за малым.

Apple Vision Pro наконец-то нашлось применение. Фото: NVIDIA