"Static vs Dynamic Partitioning В Hive есть два вида партицирования: статическое и динамическое Сначала я столкнулась с ошибкой: ```Exception in thread ""main"" org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict``` Давайте разберем на примерах У нас есть таблица, которая партицирована по двум полям: ```CREATE TABLE sales_data (...) PARTITIONED BY (date STRING, country STRING);``` Теперь пойдем вставлять данные 🤩Статическое ```INSERT INTO sales_data PARTITION (date=’2024–03–23', country=’USA’) VALUES (...);``` Здесь мы заранее говорим, в какую партицию будем вставлять кусок данных 🤩 Динамическое ```INSERT INTO sales_data PARTITION (date, country) VALUES (..., ‘2024–03–23’, ‘USA’);``` Здесь Hive сам определяет по данным, которые мы вставляем Но чтобы такое сработало, нужны 2 конфига: ```.config(""hive.exec.dynamic.partition"", ""true"") .config(""hive.exec.dynamic.partition.mode"", ""nonstrict"")``` По дефолту стоят false и strict. strict означает, что должна существовать хотя бы одна статическая партиция (о чем и была ошибка)"
"Static vs Dynamic Partitioning В Hive есть два вида партицирования:…
Из этого канала
- #386Никому больше не приходит этот спам? С рандомными несуществующими доменами, как…
Никому больше не приходит этот спам? С рандомными несуществующими доменами, как будто «сгенерируй домен почты со словами market, analyst или report»:…
- #387✨Магия конфигов✨ Запускала я свои спарк приложения в кубере. Ну надо потестить…
✨Магия конфигов✨ Запускала я свои спарк приложения в кубере. Ну надо потестить сначала на небольшом наборе данных и с небольшим количеством ресурсов Сколько…
- #388Прочитала книжку про идиотов В ней 408 страниц, но она очень быстро…
Прочитала книжку про идиотов В ней 408 страниц, но она очень быстро прочиталась всего за 4 дня 😐 Мне как будто это все и так было понятно.
- #3831. Командообразование Продолжаю рассказывать про курс команды. Как я проходила…
1. Командообразование Продолжаю рассказывать про курс команды. Как я проходила собес и первые впечатления - тут Описание программы - тут 📝 В первом модуле…
- #378"➖ Preemption 🪄Представьте, у нас есть YARN, в нем очереди, а в очередях бегут…
"➖ Preemption 🪄Представьте, у нас есть YARN, в нем очереди, а в очередях бегут наши приложения.