Глубокий парсинг форума, разные форматы и протоколы данных
Глубокий парсинг форума в несколько итераций:- Для начала надо будет через VPN или прокси собрать все карточки страниц форума с мета-данными с помощью VPN и / или прокси;
- Далее надо будет провести кросс-метчинг полученных данных с внешней публичной базой данных;
- После этого надо будет скачать часть данных с форума с помощью нестандартного протокола (не TCP);
- Скорее всего на время проекта понадобятся иностранные прокси и диск на несколько терабайт;
- Предполагается, что в конечном итоге получится несколько терабайт медиа-данных;
- Предполагается, что у вас есть опыт реализации парсеров и минимальный опыт обхода блокировок;
- Оплата по факту выполнению этапов проекта. Пишите сразу напрямую в телеграм;
- Срок - 2 недели;
