"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно видим только техническое описание. Но есть возможность написать что-то читаемое: ``` spark.sparkContext.setJobDescription(s""Merge into ${schema}.${table}"") spark.sql(mysql) spark.sparkContext.setJobDescription(""Count deleted rows"") df.filter(col(""is_deleted"") === true).count()``` Если не менять описание, то все экшены будут подтягивать последнее Вернуть к дефолтным можно так: ``` spark.sparkContext.setJobDescription(None)``` На вкладке SQL все это тоже отображается @data_engineerette"
"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно…
Из этого канала
- #531Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить…
Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить создание табличек через фреймворк.
- #532"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в…
"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в Сбер.
- #535Замена show partitions Часто бывает, что нужно найти последнюю партицию и…
Замена show partitions Часто бывает, что нужно найти последнюю партицию и начать грузить данные со следующей.
- #529Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением…
Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением 9999-12-31 23:59:59.000 +0300? Если зайти в настройки и поменять на таймзону…
- #527Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я…
Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я отвечаю, чтобы быть в курсе текущих трендов на рынке.