Эхолокатор в умных очках отслеживает взгляд и выражение лица

Технология может заменить камеры в устройствах виртуальной и дополненной реальности. Результаты исследования опубликованы на сайте препринтов arXiv.

The post Эхолокатор в умных очках отслеживает взгляд и выражение лица appeared first on Хайтек.

Инженеры из Корнеллского университета использовали эхолокацию и искусственный интеллект (ИИ) для отслеживания направления взгляда и выражения лица человека. Миниатюрные датчики, которые поместятся в умные очки или VR-гарнитуры, потребляют гораздо меньше энергии, чем обычные видеокамеры, и могут работать непрерывно.

Ученые разработали две системы: GazeTrak для отслеживания взгляда и EyeEcho для распознавания выражения лица. Обе системы используют динамики и микрофоны, установленные на оправе очков, для генерации неслышимых звуковых волн и анализа отраженных сигналов от глаз или кожи лица.

Для GazeTrak исследователи разместили у центральной части оправы напротив каждого глаза по одному динамику и по четыре микрофона. Устройства генерируют звуки и регистрируют отраженные от глазного яблока и области вокруг глаза волны. Полученные данные передаются ИИ, который непрерывно определяет направление взгляда в реальном времени.

EyeEcho использует один динамика и один микрофон, расположенные рядом с дужками очков и направленных вниз, чтобы регистрировать движения кожи при изменении выражения лица. Отраженные сигналы интерпретирует ИИ.

В виртуальной реальности вам нужно воссоздать в деталях выражение лица и движения взгляда, чтобы вы могли лучше взаимодействовать с другими пользователями.

Ке Ли, соавтор исследования

Разработчики отмечают, что технологии пригодятся не только для виртуальной реальности. Отслеживание взгляда можно использовать, например, вместе с программами для чтения с экрана, чтобы помогать людям со слабым зрением просматривать веб-сайты. 

Разработка также подойдет для диагностики и контроля развития нейродегенеративных заболеваний, например, болезни Альцгейера или Паркинсона. Умные очки помогут отслеживать аномальные движения глаз и изменения в мимике лица, чтобы оценить прогрессирование болезней.

Читать далее:

Посмотрите, каким было солнечное затмение из космоса

Назван новый сценарий гибели Земли и Солнечной системы

Посмотрите, что подводный робот нашел на дне Байкала

_{На обложке: умные очки с эхолокацией. Кадр из видео: Cornell University}

The post Эхолокатор в умных очках отслеживает взгляд и выражение лица appeared first on Хайтек.