Добавить новость
ru24.net
«Фрилансим»
Ноябрь
2024

Настроить парсеры на Python (Apache Kafka + ClickHouse)

0
Есть несколько парсеров на Python.
3 самописных и 3 с rapidapi.com (по сути тоже готовые).

Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.

Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.

От исполнителя ожидаем:
1. Понимание и опыт работы с Apache Kafka и ClickHouse
2. Знания по настройке этих систем
3. Хорошие знания в Python
4. Свободное время для выполнения заказа

Подробное ТЗ по каждому парсеру пришлю исполнителю.

Потом нужно будет написать на FastApi API для работы с фронтом.
Если сработаемся и будет желание, отдам этот проект вам.



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
ATP

Андрей Рублёв вышел в четвертьфинал турнира категории ATP-500 в Дохе






АР: Путин как никогда близок к достижению ключевой цели СВО

Отделение СФР по Москве и Московской области назначило единое пособие родителям с детьми до 17 лет и беременным женщинам с учетом новых правил

Путин поблагодарил саудовского принца за организацию переговоров РФ и США

Объяснили нюансы траншевой рассрочки в 2025 году