Как реализовать магию Sqoop для загрузки данных через Spark
Очень часто приходится слышать, что Sqoop — это серебряная пуля для загрузки данных большого объёма с реляционных БД в Hadoop, особенно с Oracle, и Spark-ом невозможно достигнуть такой производительности. При этом приводят аргументы, что sqoop — это инструмент, заточенный под загрузку, а Spark предназначен для обработки данных.
Меня зовут Максим Петров, я руководитель департамента "Чаптер инженеров данных и разработчиков", и я решил написать инструкцию о том, как правильно и быстро загружать данные Spark, основываясь на принципах загрузки Sqoop.
Первичное сравнение технологий
В нашем примере будем рассматривать загрузку данных из таблиц OracleDB.
Рассмотрим случай, когда нам необходимо полностью перегрузить таблицу/партицию на кластер Hadoop c созданием метаданных hive.
Читать далее
Читайте также:
29.09.2024 12:13
29.09.2024 11:10
29.09.2024 10:10
29.09.2024 11:45
Moscow.media Частные объявления сегодня
Подведены итоги конкурса «Мы верим твердо в героев спорта»
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
Стоит ли отдавать ребенка в частную школу?
Стоит ли отдавать ребенка в частную школу?
Искусствоведы узнали о крупнейшей в мире частной коллекции русского императорского фарфора Елены Батуриной
Крутой позывной для армии
Шестая встреча проекта «Квартирник у Маргулиса» пройдет в ЦДКЖ с Дианой Анкудиновой
Кристина Орбакайте ставит точку в своих отношениях с Россией
Every time we go on holiday my husband ogles other women on the beach
Nottingham rampage victim’s families slam ‘shameful & arrogant’ BBC doc ‘too sympathetic’ to killer Valdo Calocane
Just hours left for thousands of hard-up households to get £100s worth of white goods or new boiler – how to claim now
My mother and I were still estranged when she died in 2019. I went to a medium to connect with her and it brought me closure.
Мобильный принтер этикеток iMove T3Pro - лёгкий, производительный, компактный
Филиал № 4 ОСФР по Москве и Московской области информирует:
Социальный фонд выплатит остатки материнского капитала менее 10 тысяч рублей
Helldivers 2 players have been tasked with building the 'Democracy Space Station,' a 'gigastructure' of indeterminate firepower that will be aimed by literal democracy
Today's Wordle answer for Sunday, September 29
Мафия-НН: Густой аромат армянского кофе наполнил воздух старательно украшенной гостиной.
New California law inspired by Ubisoft and Sony requires retailers to warn consumers that the digital games they buy can be taken away at any time
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
С начала 2024 года 965 работодателей в Москве и Московской области получили компенсацию расходов на мероприятия по охране труда
Филиал № 4 ОСФР по Москве и Московской области информирует:
Социальный фонд выплатит остатки материнского капитала менее 10 тысяч рублей
Родители 317,2 тыс. детей в Московской области получают единое пособие
В Москве более 19 тысяч светильников заменили на светодиодные
На Сейшелы - слушать песни китов
Российские поставщики инженерных решений
завоевали доверие строителей дата-центров
Подведены итоги конкурса «Мы верим твердо в героев спорта»
Спектакль «Иллюзия счастья» в ЦДКЖ — это история о том, как жизнь может измениться в мгновение ока
Лауреаты Конкурса Чайковского из России и США впервые объединятся в Санкт-Петербурге
Banyan Tree Vabbinfaru: экологичная роскошь
Завершился чемпионат Главного управления Росгвардии по Московской области по плаванию
Рублев вышел в четвертьфинал турнира в Пекине
Сафиуллин проиграл Синнеру и не смог выйти в четвертьфинал теннисного турнира в Пекине
Павлюченкова объявила о досрочном завершении сезона
Первую ракетку мира подводят под срок // Всемирное антидопинговое агентство будет добиваться дисквалификации Янника Синнера
В Москве более 19 тысяч светильников заменили на светодиодные
KEY CAPITAL: Под давлением «ключа»
Компании «Свободные Технологии Инжиниринг», «Парус электро» и «ПСМ» договорились о сотрудничестве в области проектов по созданию дата-центров
Сборная России скорее всего сыграет в Москве против команды из Азии
Музыкальные новости
Карди Би показала изменившуюся фигуру после родов: фото
В театре драмы - премьера - "Матросская тишина" по пьесе Александра Галича
Звуки успеха и тени славы. В Перми прошел спецпоказ документального фильма о солисте NILETTO
«Я очень сильная»: Карди Би рассказала, как переживает развод с мужем-изменщиком
ТСД SAOTRON RT41 GUN: практичный, производительный, надёжный
С начала 2024 года 965 работодателей в Москве и Московской области получили компенсацию расходов на мероприятия по охране труда
Сетка и сетчатые ткани – самые «дышащие» и практичные
Филиал № 4 ОСФР по Москве и Московской области информирует:
Социальный фонд выплатит остатки материнского капитала менее 10 тысяч рублей
Трещит голова и тотальная слабость: Доктор Кутушов объяснил, как метеозависимость влияет на наше состояние
Стало известно, где живут самые щедрые женихи в России
Лауреаты Конкурса Чайковского из России и США впервые объединятся в Санкт-Петербурге
Певица Натали Орли вернулась к истокам
Водители смогут переночевать с удобствами — на трассе заработал первый отель
Вы просто поверьте: в сериале по мотивам советского хита «Москва слезам не верит» снимаются Иван Янковский, Андрей Максимов и Анастасия Талызина
ЦЕРЕМОНИЯ ПЕРЕДАЧИ КЛЮЧЕЙ РОСГВАРДЕЙЦАМ ОТ НОВЫХ АВТОМОБИЛЕЙ ПРОШЛА В САРАТОВЕ
История автомобильного бренда TANK: кому принадлежит
5 мифов о загородной жизни: разбираем на примере Крыма
Правильное питание: эксперты развеивают мифы о консервированных продуктах
Токсиколог Кутушов объяснил, как микробиота кишечника помогает справиться с отравлением
Больше всего в 2024 году инвестируют в производство компьютеров, транспортных средств и медикаментов
Врач-гигиенист клиники «Мегастом» Инна Гришина: что делать, если у вас нет с собой зубной щетки
Завершился чемпионат Главного управления Росгвардии по Московской области по плаванию
Представители Росгвардии поздравили воспитанников центра спорта и образования «Самбо-70» с принятием торжественной клятвы
Сотрудникам следственного изолятора № 3 организовали экскурсию на Сулакский каньон
В исправительной колонии № 7 прошел турнир по мини-футболу памяти сотрудников УИС, погибших при выполнении служебного долга
Сергей Собянин рассказал, как город поддерживает экспорт в страны БРИКС
Рекордное количество участников привлёк Конкурс экологических проектов в Мытищах
Banyan Tree Vabbinfaru: экологичная роскошь
В Москве более 19 тысяч светильников заменили на светодиодные
Токсиколог Кутушов объяснил, как микробиота кишечника помогает справиться с отравлением
О комбинированной ипотеке
Компании «Свободные Технологии Инжиниринг», «Парус электро» и «ПСМ» договорились о сотрудничестве в области проектов по созданию дата-центров
История автомобильного бренда TANK: кому принадлежит
Сборная России скорее всего сыграет в Москве против команды из Азии
Ефимов: на станции «Рублево-Архангельская» готовятся к проходке тоннелей
Команды Подольска взяли золото и бронзу игр «Девушки в погонах»
В Гидрометцентре прогнозируют температуру на 6-10°С выше нормы в нескольких регионах России
В Архангельске возобновилась реконструкция международного аэропорта в Талагах
Под Симферополем продолжается строительство нового крупного микрорайона
В центре Симферополя строится вдохновляющий жилой комплекс
Ретро-вечер «Джентльмен удачи – Савелий Крамаров»
В Симферополе появится новый бизнес-центр “Крымский”
О комбинированной ипотеке
KEY CAPITAL: Под давлением «ключа»
Шестая встреча проекта «Квартирник у Маргулиса» пройдет в ЦДКЖ с Дианой Анкудиновой
Компании «Свободные Технологии Инжиниринг», «Парус электро» и «ПСМ» договорились о сотрудничестве в области проектов по созданию дата-центров
