Ученые придумали как облегчить обучение роботов

Новый фреймворк, получивший название EgoMimic, предлагает революционное решение для сбора данных, необходимых для обучения, за счет использования видеозаписей с точки зрения человека, выполняющего задачу.

Ученые из Технологического института Джорджии разработали новый подход к обучению роботов выполнению сложных задач с использованием имитационного метода. Разработка специалистов уже продемонстрировала впечатляющие результаты в экспериментах с манипуляцией объектами.

Идея имитационного метода заключается в том, чтобы совершенствовать алгоритм глубокого обучения путем наблюдения за действиями человека. Традиционно это требует огромного объема данных и сложного оборудования, однако EgoMimic предлагает более доступный и масштабируемый способ сбора таких данных. Система основана на записи видео с помощью умных очков Project Aria, разработанных Meta Reality Labs Research. Очки фиксируют выполнение повседневных задач от первого лица, позволяя алгоритму точно воспроизводить движения человека.

Секрет эффективности EgoMimic заключается в сочетании нескольких компонентов. Во-первых, это использование очков Project Aria для записи данных об окружающей среде и движениях рук. Во-вторых, это интеграция двухманипуляторного робота, оснащенного камерами и сенсорами, что позволяет роботу воспроизводить действия человека с минимальными отклонениями. Робот, также оснащенный очками, видит пространство аналогично человеку, что упрощает процесс переноса поведения.