Новая технология позволит роботам учиться по видеоконтенту в сети

Видео-туториалы теперь могут быть полезны не только людям, но и роботам. Так, манипулятор, используемый учеными, научился завязывать галстук с помощью ролика в интернете.

Для применения в реальной жизни роботы должны выполнять различные повседневные задачи, начиная от домашних дел и заканчивая промышленными процессами. Им часто придется взаимодействовать с тканями, что особенно проблематично. Обычно робот учится этому, наблюдая за действиями человека.

Но для такого обучения требуется огромное количество данных, демонстрирующих действия людей. Сбор таких данных может быть дорогим и трудоемким. Существующие открытые наборы часто уступают по объему тем, что используются для обучения других методов искусственного интеллекта, например, компьютерного зрения или генеративных моделей.

Исследователи из Сингапура и Китая предложили альтернативный подход, который может улучшить и упростить обучение роботов. Их идея заключается в том, чтобы использовать множество видеороликов, ежедневно публикуемых в сети, в качестве демонстраций повседневных задач. Об этом сообщает TechXplore. 

Вместо того, чтобы использовать видеоролики, специально снятые для обучения роботов (как это делалось ранее), новый подход использует произвольные видеоролики, доступные в интернете.

Подход команды ученых опирается на три ключевых компонента: Real2Sim, Learn@Sim и Sim2Real. Первый из них, Real2Sim, является центральной и наиболее важной частью всей системы.