Добавить новость
ru24.net
Работа
Ноябрь
2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
27
28
29
30

Настроить парсеры на Python (Apache Kafka + ClickHouse)

0
Есть несколько парсеров на Python.
3 самописных и 3 с rapidapi.com (по сути тоже готовые).

Нужно их доработать, а именно настроить запись в Apache Kafka, а из кафки разбор в ClickHouse.

Возможно, потребуются небольшие доработки по парсерам. Но в целом они простые - просто получаем гет запросами данные с веба и записываем куда нужно.

От исполнителя ожидаем:
1. Понимание и опыт работы с Apache Kafka и ClickHouse
2. Знания по настройке этих систем
3. Хорошие знания в Python
4. Свободное время для выполнения заказа

Подробное ТЗ по каждому парсеру пришлю исполнителю.

Потом нужно будет написать на FastApi API для работы с фронтом.
Если сработаемся и будет желание, отдам этот проект вам.



Moscow.media
Частные объявления сегодня





Rss.plus



В Чехове сотрудники Росгвардии задержали подозреваемого в незаконном обороте наркотиков в крупном размере

«Грузовичкоф» на передовой новых коллабораций с блогерами: выступление Наталии Поникаровской на конференции The Trends

В Чехове сотрудники Росгвардии задержали подозреваемого в незаконном обороте наркотиков в крупном размере

Филиал № 4 ОСФР по Москве и Московской области информирует: В Москве и Московской области 650 тысяч пенсионеров старше 80 лет получают пенсию в повышенном размере


Что посмотреть в Кисловодске: 20 главных достопримечательностей

26 ноября в МГППУ пройдет XXII Всероссийская научная конференция «Нейрокомпьютеры и их применение»

В Москве пройдет международная премия «The Women's Business Awards»

Питчинг Релиза. Отправить релиз на Питчинг.


Las Vegas GP F1 qualifying: George Russell takes pole, Lewis Hamilton only 10th

Exclusive: Sumit Kaul on joining the new season of Tenali Rama as Girgit; says ‘It will be a challenge for me to live up to the expectations of audience’

Michail Antonio reveals he was barred from entering the UK after passport blunder in nightmare international break

Sky Sports commentator stunned by ‘one of the strangest reactions to a goal I’ve ever seen’ by Watford fans


Филиал № 4 ОСФР по Москве и Московской области информирует: Отделение СФР по Москве и Московской области оплатило свыше 243 тысяч дополнительных выходных дней по уходу за детьми с инвалидностью

Филиал № 4 ОСФР по Москве и Московской области информирует: В Москве и Московской области 650 тысяч пенсионеров старше 80 лет получают пенсию в повышенном размере

Bloody - участник и технический партнер Red Expo-2024

Суд обязал Водоканал Нижнего Тагила заплатить за нанесенный двум рекам ущерб


Five new Steam games you probably missed (November 25, 2024)

The community behind the PC port of Ocarina of Time have been secretly working on a native version of Star Fox 64

Your League of Legends rank will reset less in 2025, and creepy XP-boosting flowers will now grow around your corpse thanks to the new theme coming in season 1

Rejoice, roguelike nerds: Shiren the Wanderer: The Mystery Dungeon of Serpentcoil Island is coming to Steam


"Миколаївводоканал" хоче збирати гроші з благодійників які надають безкоштовно питтєву воду


В Италии прошел второй этап проекта «Культурная миссия в Италии»

Bloody - участник и технический партнер Red Expo-2024

«Грузовичкоф» на передовой новых коллабораций с блогерами: выступление Наталии Поникаровской на конференции The Trends

Гастрольный форс-мажор: Театр Дениса Матросова едва не остался без сценических костюмов




СК завершил следствие против бывшего заместителя главы МЧС Барышева

Развязки на М12 и две платные трассы: Татарстан может поставить рекорд по вводу дорог

В Иркутской области открыто крупное газоконденсатное месторождение - Илгинское

Bloody - участник и технический партнер Red Expo-2024


Большинство иностранных компаний продолжают работать в Подмосковье, несмотря на санкции

Воробьев: деятельность МСП составляет 30% в доходах бюджета Подмосковья

В Москве охранник ресторана одним ударом отправил закурившего в помещении в кому

Депутат Хамзаев увидел в России попытки обогатиться на «Орешнике»


Елена Веснина: Синнер с итальянского переводится «грешник», но он играет как полубог

Во французском городе Грас открыли корт имени Даниила Медведева

Теннисистка Самсонова проводит подготовку к сезону на стадионе «Монако»

Синнер: Защита титула — одно из лучших чувств


Путин в ходе визита в Казахстан обсудит с Токаевым стратегическое партнерство

Психолог Роман Цветков: 5 мужских привычек, которые бесят женщин

Мероприятия к празднованию 80-летия Победы подготовит Детский общественный совет Музея Победы

«Спартак» не планирует возвращаться в Москву после матча Кубка России с «Ростовом»


Музыкальные новости

Джиган и Оксана Самойлова: «Самое сложное, что с нами случилось в родительстве – это дочь-подросток»

Shot: квартиру Ротару в Москве за 65 млн рублей сняли с продажи

Питчинг Релиза. Отправить релиз на Питчинг.

На Шарлота снизошло прощение // РПЦ встала на сторону раскаявшегося музыканта



«Грузовичкоф» на передовой новых коллабораций с блогерами: выступление Наталии Поникаровской на конференции The Trends

Bloody - участник и технический партнер Red Expo-2024

Филиал № 4 ОСФР по Москве и Московской области информирует: В Москве и Московской области 650 тысяч пенсионеров старше 80 лет получают пенсию в повышенном размере

В Италии прошел второй этап проекта «Культурная миссия в Италии»


Более 700 энергетиков продолжают устранять последствия непогоды в Смоленской области

«Торпедо» разгромило «Спартак» в Москве, Бочаров отразил два буллита и оформил «сухарь»

«Вероятно, Нагучев до сих пор живет временами ЧМ-2018, его репортаж вызвал недоумение». «Пари НН» ответил «Матч ТВ»

Опасная погода с ветром, сильными осадками и метелью накроет несколько регионов России


На заводах Желдорреммаш обновляется парк самоходной техники

Спасатели достали котенка из-под капота автомобиля на юго-востоке Москвы

Московский вышел на новые скорости мобильного интернета

Росгвардейцы пресекли хулиганство на парковке в Москве


???? По горячим следам 25.11.2024. Болодя, у меня деменция, ты как то сам это объясняй

Губернатор Архангельской области получил одобрение от президента РФ на создание





Дерматолог Мадина Байрамукова: почему нужно насторожиться при избыточном росте волос

Врач-гигиенист клиники «Мегастом» Инна Гришина: как понять, что зубная паста вам не подходит

Филиал № 4 ОСФР по Москве и Московской области информирует: Отделение СФР по Москве и Московской области оплатило свыше 243 тысяч дополнительных выходных дней по уходу за детьми с инвалидностью

Иммунный активатор под окном: доктор Садыков рассказал о свойствах шиповника



В Москве за два года построят 36 новых спортивных объектов

Мытищинские спортсменки — в числе лидеров Подмосковья

Превью матчей «Локомотива» и «Трактора» в КХЛ от Olimpbet

В Москве судья сделала замечание перекрестившемуся мальчику-спортсмену: русские требуют поставить её на место




Собянин сообщил об открытии 13 обновленных поликлиник

Сергей Собянин: Рублево-Архангельская линия метро создаст новые маршруты

Сергей Собянин сообщил об открытии еще 13 обновленных поликлиник

Собянин рассказал о прокладке Рублево-Архангельской линии метро


На Игропроме в Москве представили игры для электромобиля

Недвижимость в Дубае чаще всех покупают мужчины из Москвы и Санкт-Петербурга

Взятки и вырубка леса: за что осудили экс-главу департамента Минобороны Куракина

Москвичам предложили выбрать имя для детеныша краснокнижной гиены


Хумус: что это такое? Как его приготовить, как есть, с чем подавать

Мероприятия к празднованию 80-летия Победы подготовит Детский общественный совет Музея Победы

«Спартак» не планирует возвращаться в Москву после матча Кубка России с «Ростовом»

«Я часто пересекалась с Юрой за кулисами»: Савичева рассказала, как спела песню Шатунова


Встреча-телемост с участием российского путешественника прошла в Архангельске

Молодежь Архангельской области и города Мелитополя создаст совместные проекты на форуме «Команда 29»

Юные натуралисты Поморья представили свои исследования на детской экологической конференции

Опасная погода с ветром, сильными осадками и метелью накроет несколько регионов России


В Ялте в речке найден труп мужчины

Симферопольца задержали за аферы с недвижимостью на 19 млн рублей

Сколько стоит красная икра в Крыму и Севастополе

Сыгран седьмой тур чемпионата Республики Крым по шахматам


Праздник к нам приходит

Психолог Роман Цветков: 5 мужских привычек, которые бесят женщин

Клинический психолог Марианна Абравитова: как сказать своему партнеру о беременности

Захарова: в МИД России вызвали посла Великобритании Кейси












Спорт в России и мире

Новости спорта


Новости тенниса
Елена Веснина

Елена Веснина: «Путь длиною в 30 лет пройден. Теннис – лучшая игра на свете, но пришло время двигаться дальше»






Захарова: в МИД России вызвали посла Великобритании Кейси

На юге Москвы освободили от незаконных строений ...

Московские менеджеры сыграют благотворительный спектакль для детей

Спасатели работали вслепую: в Москве потушили сильнейший пожар