Разработка парсера
Необходимо разработать парсер ютуба который сможет реализовать внутри себя 2 функции:
1. Поиск новых, только что загруженных видео. Нужно сохранять в базу данных - ссылки на такие видео с датой их загрузки и статистикой (количество просмотров/канал, количество подписчиков, количество комментариев, количество лайков/дизлайков, превью, регион, язык видео, длинна видео, описание)
Конфигурация:
1. Возможность указания что считать новым видео
2. Региона ютуба
2. Функция парсера который будет раз в сутки (интервал должен быть конфигурируемый) проходить по уже сохраненным записям в базе данных и добавлять обновленные статистику и сохранять это в хронологическом порядке.
Необходимо реализовать:
- Работа на сервере в фоновом режиме
- Поддержка конфигурирования партера
- Автоматическое восстановление работы в случае ошибок
- Поддержка списка прокси
- Обход капчи
- Возможность запуска большого количества экземпляров парсера одновременно что бы парсить в многопоточном режиме.
- Хочу получить в виде Docker контейнера.
- необходим первоначальный сетап на сервере (DO или AWS)
Желательно python, но другие варианты тоже рассматриваю.