Исследователи научили нейросеть распознавать усталость у пользователя компьютера
Научная группа, в которую вошли ученые Санкт-Петербургского университета, Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и других организаций, создала базу данных, включающую стратегии глазных движений операторов в различных состояниях (утомлен/бодр), осуществляющих мониторинг объектов на экране персонального компьютера. На основе собранных данных в дальнейшем планируется обучать нейросетевые модели, которые лягут в основу высокоточных систем отслеживания функционального состояния (утомлен/бодр) для обеспечения безопасности на дорогах и промышленных объектах. Результаты исследования опубликованы в научном журнале Sensors.
Сегодня большое количество объектов транспортной, промышленной и оборонной инфраструктуры контролируются и функционируют при помощи операторов, водителей или единых информационных центров с целой командой специалистов. От психофизиологического состояния сотрудников этой сферы часто зависит способность обеспечить безопасность этих объектов. К областям применения такой системы можно отнести: автомобильные парки, пилотов самолетов, диспетчеров в авиации, диспетчеров промышленных установок и т. п.
Ученые совместили регистрацию комплекса поведенческих и нейрофизиологических показателей.
«Комплексный подход обеспечивает более полную картину и более объективную оценку функционального состояния в отличие от подходов с регистрацией в отдельности тех или иных показателей, отражающих состояние утомления. Так, довольно распространенный метод кардиоинтервалометрии, основанный на регистрации показателей сердечного ритма, используемый для регистрации утомления, сам по себе является достаточно противоречивым в плане точности оценки состояния. Мы использовали уникальный подход, основанный на сопоставлении показателей характера движений глаз, отражающих динамику взаимодействия нейронных сетей статического и динамического зрения, с психофизиологическими показателями функционального состояния и психологическими тестами», — прокомментировала один из методологов проекта, профессор Института когнитивных исследований СПбГУ Ирина Шошина.
Ученые планируют использовать базу данных для обучения нейросети, которая с высокой точностью сможет обнаруживать утомление оператора по стратегиям его глазных движений. Этот подход позволит обеспечить дистанционную оценку степени выраженности утомления, как отметила Ирина Шошина. Подготовленная база данных находится в свободном доступе для всех разработчиков программного обеспечения, и с ее помощью можно испытывать свои продукты.
«Мы разработали комплексную базу данных, пригодную для обучения нейронных сетей, классифицирующих состояние человека: утомлен/бодр. Собранная база данных обладает уникальным набором различных размеченных показателей, с помощью которых возможно с высокой точностью обучать нейросети распознавать состояние утомления человека», — рассказывает руководитель проекта, старший научный сотрудник лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексей Кашевник.
Сбор информации о показателях оператора, отражающих функциональное состояние, выполнялся у испытуемых при помощи нескольких датчиков: видеокамеры, окулографа, пульсометра, электроэнцефалографа. Кроме того, в рамках эксперимента операторы выполняли тесты по оценке качества своего сна, утомления, сложной зрительно-моторной реакции и др.
Измерения проводили утром, днем и вечером в течение рабочего дня испытуемых, процесс фиксировали на видеокамеру. Исследование длилось восемь дней, в нем приняли участие 10 человек, которые занимались различными видами деятельности: пассивным (чтение) и активным (игра в тетрис).
Проект поддержан грантом Фонда содействия развитию малых форм предприятий в научно-технической сфере (Фонда содействия инновациям). В научную группу вошли ученые из СПб ФИЦ РАН, СПбГУ, НГУ, РУДН, ФИЦ ИУ РАН, а также НИУ ВШЭ.
Текст: пресс-служба СПбГУ
Kovalenko, S.; Mamonov, A.; Kuznetsov, V.; Bulygin, A.; Shoshina, I.; Brak, I.; Kashevnik, A. Operator EYEVP: Operator Dataset for Fatigue Detection Based on Eye Movements, Heart Rate Data, and Video Information. Sensors 2023, 23, 6197. https://doi.org/10.3390/s23136197