Создать приложение, которое будет парсить с сайтов

Описание проекта:
Ищем опытного разработчика для создания скриптов для парсинга сайтов:

http://www.encar.com/index.do

https://www.mobile.de/

https://auto.ru/?utm_referrer=https%3A%2F%2Fauto.r...

https://www.avito.ru/

Цель проекта — настроить автоматически выгрузку информации с сайтов.

Задачи:

1. Создать формулу учитывая параметры автомобилей (марку, год выпуска, таможню тд) и получать актуальную выгрузку с 4 сайтов с ценами в рублях (с доставкой, таможней в Россию).

2. Связать таблицы 4 сайтов между собой, чтобы происходило их сравнение и выявление разницы математических расчетов.

Требования к данным:
1. Данные должны быть экспортированы в формате CSV или Excel.
2. Необходимо собрать следующую информацию по каждому объекту:
 Цена
 Расположение (город, район)
 Поколение
 Марка авто
 Кузов
 Год выпуска
 Пробег
 Комплектация
 Состояние
 Двигатель авто
 ПТС
 Таможня
 Ссылка на объявление
 Фотографии объекта (ссылки)
 Контактные данные

Технические требования:

• Скрипт должен быть написан с использованием библиотек BeautifulSoup, Scrapy или аналогичных.
• Необходимо учитывать аспекты анти-блокировки (использование прокси, ротация пользовательских агентов).
• Исходный код должен быть чистым и хорошо документированным, с комментариями к ключевым участкам кода.


Ожидаемые результаты:

• Рабочий скрипт, который можно запускать периодически для обновления данных.
• Демонстрация работы скрипта через видео или удаленную сессию.
• Краткое руководство по запуску и использованию скрипта.


Сроки выполнения:
Проект должен быть завершен в течение 2-3 недель с момента назначения.


Критерии отбора исполнителя:

• Опыт работы с веб-скрапингом и указанными технологиями.
• Портфолио с аналогичными выполненными проектами.
• Отзывы предыдущих заказчиков.