Разработка системы мониторинга нарушений

Проект: Разработка системы мониторинга и фиксации нарушений правил охраны труда с использованием технологий компьютерного зрения.

Задача специалиста: Создать и обучить модель компьютерного зрения, способную обнаруживать и классифицировать нарушения на рабочем месте, такие как отсутствие средств индивидуальной защиты (СИЗ), курение в неположенном месте и пересечение ограничительных зон.

---

Цели

1. Разработать модель компьютерного зрения, которая будет:
   • Определять наличие или отсутствие касок, защитных очков и перчаток на работниках.
   • Обнаруживать действия, такие как курение.
   • Определять пересечение заданных границ (например, заход за ограждение).
2. Модель должна обеспечивать точность детекции и классификации не менее 90%.
3. Модель должна работать в режиме реального времени при подключении к видеопотоку.

---

Функциональные требования

1. Детекция и классификация объектов
   
   
   • Определение объектов на изображениях и видеопотоке с использованием фреймворка Detectron2 или YOLO.
   • Детекция объектов и действий с учетом следующих категорий:
     • СИЗ: каски, очки, перчатки.
     • Опасные действия: курение.
     • Ограждения и границы зон: фиксация нарушения при пересечении ограничительных зон.
2. Обработка видеопотока
   
   
   • Модель должна обрабатывать потоковое видео с разрешением Full HD или 4K.
   • Время отклика системы должно быть минимальным, не более 2 секунд на одну детекцию.
3. Фиксация нарушений
   
   
   • Модель должна фиксировать факт нарушения и передавать информацию в систему, включая:
     • Тип нарушения.
     • Время нарушения.
     • Идентификатор камеры.
   • Сохранение изображений или коротких видео отрезков (5 секунд до и после) для дальнейшего анализа.

Технические требования

1. Фреймворк и библиотека:
   
   
   • Использовать Detectron2 или YOLO для детекции объектов и классификации.
   • PyTorch как основную библиотеку для работы с моделью.
2. Предобученные модели и дообучение:
   
   
   • Применение предобученных моделей на датасете COCO (если это повышает точность) с последующим дообучением на специфичных данных проекта.
   • Использование техник дообучения и аугментации для повышения точности на специфичных изображениях (например, сложные углы обзора, плохое освещение).
3. Обработка данных и аугментация:
   
   
   • Подготовка и разметка датасета, если потребуется. Это может включать создание и разметку изображений для категорий «курение», «отсутствие СИЗ», «пересечение ограждений».
   • Аугментация данных, таких как изменение яркости, поворот, масштабирование для улучшения обобщающей способности модели.
4. Оптимизация для реального времени:
   
   
   • Настройка модели для работы в реальном времени, включая возможную оптимизацию под GPU.
   • Использование CUDA для ускорения инференса на графических процессорах, например, NVIDIA RTX 3060 и выше.

Ожидаемый результат

1. Модель, готовая к интеграции: обученная и настроенная модель, готовая для интеграции с серверной частью системы и обработки видеопотока в реальном времени.
2. Отчет по точности и производительности: отчет о точности модели (Precision, Recall, F1-score) и скорости обработки на тестовых данных.
3. Рекомендации по улучшению: возможные рекомендации по дообучению модели или изменению настроек в будущем для повышения точности и производительности.

---

Требования к отчетности и документации

1. Описание процесса обучения и настройки модели.
2. Подробные результаты тестирования, включая графики с метриками (Precision, Recall, IoU).
3. Руководство по внедрению модели и рекомендациями по оптимизации для улучшения производительности на видеопотоке.

---

Примечание: Пожалуйста, укажите примеры предыдущих работ по использованию компьютерного зрения и машинного обучения, а также ориентировочные сроки и стоимость работы.