Требуется написать несколько парсеров
Среднее время реализации парсера при должной подготовке 3-7 дней. Мы предлагаем оплату через безопасную сделку.
Основная задача состоит в том, чтобы парсить данные стабильно, быстро и незаметно для сайтов, язык на котором вы будете писать не важен, нужно выбрать оптимальный под каждый сайт.
Вам предстоит исследовать сайт – выяснить как фронтенд взаимодействует в бэкендом, найти полезные эндпоинты, которые отдают данные. Наилучший вариант – если вы найдете как подписаться на пуши ( например по вебсокету или graphql) если они есть.
Также достаточно хороши эндпоинты отдающие интересующие нас данные как текущие снимки состояний или инкрементальные обновления через pull.
Подробное тз составлено.
Требования:
хорошее знание html, js, jquery, api, rest. (пригодится при исследовании сайтов, дефакто стандарт )
умение писать асинхронный код – promises, async/await. (необходимо для handle повторяющихся запросов, в том числе возможно через пул прокси)
хорошо притворяться сайтом при написании своего клиента. бережно прописывать все хедеры, юзерагенты и т.д.
желательно, понимание современных веб фреймворков (для более точного понимания работы исследуемых сайтов)
желательно, понимание как работает push и subscription (не обязательно для некоторых сайтов, где нет таких транспортов)
в идеале – python3+aiohttp, нам будет проще поддерживать. но учитывая что это будет контейнер – черный ящик в принципе нас устроит все что запихивается в докер под никсами.
опыт работы в unix like ос и docker. (точное описание окружение или сразу написание Dockerfile – вообще топ)
Тз вышлем по запросу.