Доработка платформы данных
Есть платформа, размещенная на Яндекс Облаке. Данные с парсеров прилетают в через Kafka Connector в топики и сохраняются на диск S3. Дальше данные забираются по триггеру Spark job-ами в пайплайн, где дедуплицируются, преобразуются и сохраняются в Postgesql и Clickhouse.
Текущие задачи:1) Оптимизация Kafka.2) Spark Jobs, нужно слегка видоизменить пайплайн, а именно изменить поля взимаемые из json в s3.3) Нужно решить проблему с мерджем таблиц, а именно: есть несколько одинаковых по структуре таблицы, нужно перегнать данные из них в одну.4) Оптимизация SQL запросов, по возможности переписать на matview.5) Нужно написать еще несколько SQL запросов: запрос на получение информации о товаре, запрос для построения лайнчарта за временной период (дни, месяцы, года).
Подробности и документацию предоставим при общении.
Новости России
Москва «Он был как разъяренная чихуахуа!» Егор Шип пригрозил блогеру Андрею Савочкину встречей в Москве в новом выпуске реалити «Первые на деревне» на ТНТ
Moscow.media Частные объявления сегодня
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
Сотрудники вневедомственной охраны Росгвардии Московской области провели патриотические уроки для школьников региона
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
В столице Урала собрались участники студенческих отрядов со всей России
Российские туристы побывали в Японии и были шокированы низкими ценами
Студия звукозаписи. Студия звукозаписи в Москве. Лучшая студи звукозаписи. Профессиональная студия звукозаписи.
Фонд Юрия Лужкова награждает победителей экономического диктанта-2024
Liam Payne’s devastated dad ‘trying to bring his son’s body home’ to lay him to rest after tragic balcony fall death
'With all the talk about "Babar"...': Ashwin on Ghulam's debut ton
Ring Ratings Update: King Artur rules light heavyweight, climbs P4P rankings (with Dmitry Bivol)
The FREE water saving gadget that can slash bills by £40 – it’s so easy to do
НПС на выставке "Дорога 2024": итоги
Новые Baic X55 появились в автопарке BelkaCar
Оборудование, лодки и электроприборы стали чаще доставлять в маркетплейсы в 2024 году
На Урале вынесли приговор водителю автобуса за спровоцированное им смертельное ДТП
Diablo 4 player lands a 235 trillion damage hit with its new class and the pile of overpowered bugs keeping it at the top of the meta
This computer built inside Minecraft has 1,107,419 blocks, over 15 million views on TikTok, and all started 'for the fun of it'
You can try a taster of the Dead Cells dev's next roguelike Windblown ahead of its early access debut later this month, courtesy of Steam Next Fest
Golden Spatula — авто-баттлер по вселенной League of Legends выйдет в Юго-Восточной Азии
Огляд дверних циліндрів для замка: найкращі рішення від популярних брендів
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
«Он был как разъяренная чихуахуа!» Егор Шип пригрозил блогеру Андрею Савочкину встречей в Москве в новом выпуске реалити «Первые на деревне» на ТНТ
Продажи товаров для квадроберов в РФ с начала года выросли в десятки раз
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
«Начнем задорно»: какой будет погода в Москве на следующей неделе
Указ уже подписан: рабочая неделя станет короткой
В болгарском Пловдиве появились баннеры с лозунгом «Россия — наш друг»
«Спартак» выиграл у «Амура» в гостевом матче КХЛ
Девять человек госпитализированы после взрыва в жилом доме в Тамбовской области
Выступающий за США российский фигурист Десятов отстранен из-за поведения
Андрей Рублёв о медицинской драме: операция спасла от ампутации
Хачанов вышел в четвертьфинал турнира ATP в Алма-Ате
Разгром стоимостью $1,5 млн: Медведев под ноль отдал первый сет и проиграл Синнеру на турнире в Эр-Рияде
Касаткина прошла в четвертьфинал турнира в Нинбо
Можайские спортсменки завоевали медаи на соревнованиях по художественной гимнастике «Кубок мечты»
Подросток на питбайке разбился в Новопокровском районе
Онуфриенко о визите Белоусова в Китай: "Новые угрозы вынуждают"
У Минобороны похитили 15 объектов недвижимости, вор найден
Музыкальные новости
Концерт в честь встречи Казанской иконы Божией Матери прошел в Одинцове
Песни на продажу. Продажа песен. Продажа песни. Продать песни. Хочу продать песню. Где продать песню. Продать собственную песню. Продам песню дорого.
Shot: у экс-музыканта группы Little Big Лиссова заподозрили инфаркт
В Италии прошел первый этап проекта «Культурная миссия в Италии»
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
«Он был как разъяренная чихуахуа!» Егор Шип пригрозил блогеру Андрею Савочкину встречей в Москве в новом выпуске реалити «Первые на деревне» на ТНТ
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
В Подмосковных Люберцах росгвардейцы задержали подозреваемых в совершении кражи
Спорт, наука и культура - без преград: Какие секции и сервисы доступны слабовидящим в Москве
На пленарной сессии VI Федерального форума «Производительность 360» обсудили новые задачи по повышению производительности труда
«Мне было по кайфу спутать им карты» Антон Пануфник столкнёт лбами «умников» в новом выпуске шоу «Вызов. Китайский сезон» на ТНТ
Дистрибьюция Музыки. Дистрибьюция Музыки в России. Дистрибьюция музыки в ВК Яндекс музыка дистрибьюция. Цифровая дистрибьюция музыка. Дистрибьюция музыки под ключ.
В Ярославской области грузовик переехал пешехода
Источник 360.ru: состоящая на учете в ПНД москвичка заявила о ДТП в детсаду
В Москве 21-летний парень угнал дорогой споркар, чтобы впечатлить девушек на Новом Арбате
Путин пояснил, почему не поедет на саммит Большой двадцатки
Путин: Россия выполнила более 80% плана на председательство в БРИКС
Путин заявил об открытости России для делового сотрудничества
Мистер БРИКС // Как Владимир Путин в Москве готовился к саммиту в Казани
Подмосковные студенты-медики организовали выездную проверку здоровья
Неделя родительской компетентности! Бесплатные онлайн-мероприятия, организованные в рамках Года семьи, будут посвящены психологическому здоровью детей и их родителей.
Нейрохирург Тимонин рассказал, почему болит шея и что с этим делать
Лечение мужского бесплодия: новые возможности и подходы
Помолвка Зеленского с Тейлор Свифт: итальянская пресса выдала "тайный план" Киева
Инстинкт самосохранения: отправит ли НАТО своих военных на помощь Киеву
Амурская область станет частью "аритмии" путешественника
Гарбузов: столичные производители увеличили выпуск товаров для спорта и туризма
«Спартак» выиграл у «Амура» в гостевом матче КХЛ
Офицер Росгвардии из Иркутска стал призёром всероссийского чемпионата по джиу-джитсу
Лукашенко подверг критике постсоветские страны за желание «брать что-то» у России и «ничего взамен не давать».
Собянин: в 23 больницах Москвы работает сервис "Цифровая реанимация"
Собянин: У городских ярмарок выходного дня появился общий узнаваемый стиль
Собянин рассказал о самых популярных бесплатных экскурсиях в Москве
Собянин: все ярмарки выходного дня в Москве оформили в едином стиле
Объем предложения дорогих квартир на вторичном рынке Москвы за год снизился на 10%
Объем предложения дорогих квартир на вторичном рынке Москвы за год снизился на 10%
Объем предложения дорогих квартир на вторичном рынке Москвы за год снизился на 10%
Дубай продолжает ставить рекорды
Ветеран Великой Отечественной скончался в Свердловской области
У Минобороны похитили 15 объектов недвижимости, вор найден
Прокуратура: на Ладожском озере перевернулась лодка, погибли два человека
Онуфриенко о визите Белоусова в Китай: "Новые угрозы вынуждают"
Беспроводной сканер штрих-кодов SAOTRON P05i промышленного класса
Делегация Архангельской области принимает участие в XII Международном форуме «Россия – спортивная держава»
Александр Цыбульский и председатель Совета Центрсоюза РФ Дмитрий Зубов обсудили проведение Международного форума потребительской кооперации в Архангельске
Встреча с поэтом
«Садится солнце желтой хризантемой…»,
в рамках фестиваля «Золотая осень-2024»
"Мамаша развела в купе сущий дурдом": Мужчина рассказал о путешествии на поезде, которое запомнится на всю жизнь
Выставка-юбилей
«Рыцарь фантастики»,
к 90-летию со дня рождения Кира Булычёва,
русского советского писателя-фантаста, ученого-востоковеда, сценариста.
Дополнительный поезд в Крым запустят через Воронеж на новогодние праздники
Подросток на питбайке разбился в Новопокровском районе
Онуфриенко о визите Белоусова в Китай: "Новые угрозы вынуждают"
Ветеран Великой Отечественной скончался в Свердловской области
"Спартак" в напряженном матче добыл победу в гостях у "Амура" в рамках КХЛ
