Добавить новость
ru24.net
Работа
Декабрь
2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

ETL: автоматизация подготовки данных

0
Добрый день. Нужно выполнить задание по учебе, но имеются проблемы с установкой Airflow.

1 задание: Построение пайпланов и визуализация потоков данных в Airflow

— Зарегистрируйтесь в ОрепWeatherApi (https://openweathermap.org/api) (могу дать свою учетную запись)
— Создайте ETL, который получает температуру в заданной вами локации, и
дальше делает ветвление:
• В случае, если температура больше 15 градусов цельсия — идёт на ветку, в которой есть оператор, выводящий на
экран «тепло»;
• В случае, если температура ниже 15 градусов, идёт на ветку с оператором, который выводит в консоль «холодно».
Оператор ветвления должен выводить в консоль полученную от АРI температуру.
— Приложите скриншот графа и логов работы оператора ветвленния.

2 задание

1. Скачайте файлы boking.csv, client.csv и hotel.csv; (файлы находятся по ссылке: https://drive.google.com/drive/folders/1pg_oXbfGoT...)
2. Создайте новый dag;
3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;
4. Создайте оператор который будет трансформировать данные:
— Объедините все таблицы в одну;
— Приведите даты к одному виду;
— Удалите невалидные колонки;
— Приведите все валюты к одной;
5. Создайте оператор загрузки в базу данных;
6. Запустите dag.

Срок: 18 декабря



Moscow.media
Частные объявления сегодня





Rss.plus




Спорт в России и мире

Новости спорта


Новости тенниса
Янник Синнер

Президент Федерации тенниса Италии сравнил Янника Синнера с Винус Уильямс






Павлюченко: расстроился, что в РПЛ началась пауза, для "Спартака" это плохо

Врачам и пациентам: как искусственный интеллект помогает в медицине

FT: фондовая биржа в Лондоне переживает рекордный за 15 лет исход компаний

Активисты «Молодой гвардии» в Москве почтили память погибших на СВО журналистов