Реализовать систему с CV для обнаружения нарушений в кафе (детекция + сегментация)

Необходимо реализовать MVP версию системы с CV (детекция + сегментация) для обнаружения нарушений на изображениях с камер из кафе и ресторанов.

- Задача системы
Повысить эффективность сотрудников с целью увеличения дохода и сокращения расходов.

- Краткое описание
Для существующего SaaS решения необходима система с CV для автоматизации ручного труда.
В данный момент есть чек-лист с нарушениями, по которому менеджеры выявляют нарушения на поступающих изображениях с камер и фиксируют их сами.

Пример нарушения во вложении задачи.

- Касательно данных для формирования датасетаДанные не структурированы и находятся в том формате, как показано на примере нарушения (изображение + описание нарушения). В общем их около 20т. Разметки как таковой нет.

- Предполагаемый стек
CV на Ultralytics с YOLOv8
Разметку на SAM
Бэк на Python, Django, FAISS
Админка на Django либо JS фреймворке

- Видение реализации
Определяем 10+ нарушений
Собираем по ним датасет (обучающую и проверочную выборки)Обучаем модельки (например, в Google.collab)
Экспериментируем с настройками для достижения 70%+ успешных определенийСобираем back-end с модельками и админкой для тестирования полученного результата, разворачиваем на сервере

- Будущее системы
Масштабируем на повышение % определения текущих нарушений + добавляем новые (чек-лист достаточно большой). Далее, нужно будет интегрироваться с существующей инфраструктурой SaaS решения: получать на автомате изображения, обрабатывать входящие видео (делить их на кадры по определенной логике), выгружать полученный результат в CRM и т.д. Ну и дальше масштабироваться на другие сферы деятельности.