Добавить новость
ru24.net
Все новости
Ноябрь
2024

Разработка парсера

0
Требуется написать парсер, а также адаптировать написанные разработчиком парсер, если сайты будут меняться.
Среднее время реализации парсера при должной подготовке 1-3 дня.

Основная задача состоит в том, чтобы парсить данные стабильно, быстро и незаметно для сайтов, язык разработки python.

Вам предстоит исследовать сайт – выяснить как фронтенд взаимодействует в бэкендом, найти полезные эндпоинты, которые отдают данные. Наилучший вариант – если вы найдете как подписаться на пуши ( например по вебсокету или graphql) если они есть.
Также достаточно хороши эндпоинты отдающие интересующие нас данные как текущие снимки состояний или инкрементальные обновления через pull.

Подробное ТЗ составлено.

#####
По простому: основная работа не столько найти как доставать данные, сколько разобрать формат и отправить его в редис в нужном нам формате.
#####
Пожалуйста не отзывайтесь если у вас мало времени на реализацию этой задачи(она действительно довольно трудоемкая).



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
Australian Open

«Турнир Большого шлема покорится Андреевой и Шнайдер» — Вихлянцева






Юрист Гуськова рассказала, как защитить персональные данные от кибермошенников

Самолет "Москва-Сочи" экстренно сел в Саратове из-за отказа двигателя

Гимнастке Лале Крамаренко врачи по ошибке удалили здоровый мениск

Родители пытали 12-летнюю дочь раскаленным гаечным ключом в Московской области