Появился Airflow 3.0 или как у вас его любят назвать - плов. __Современный интерфейс — обновления статуса в реальном времени, удобный тёмный режим для глаз и улучшенный графический вид DAG'ов. Assets — теперь можно явно указать, какие данные читает и пишет каждая задача, а Airflow сам строит полную карту зависимостей. Например, привязать загрузку файла в S3 к запуску пайплайна удалось за считаные минуты — без дополнительных скриптов.__ (а я думал assets только у Dagster)__ Событийный запуск — DAG'и могут стартовать сразу по факту появления новых данных, а не ждать расписания. Работает гораздо быстрее по сравнению с cron-запуском. Версионирование и бандлы DAG'ов — все изменения пайплайна теперь отслеживаются как изменения кода. Плюс, весь DAG (таски, зависимости, документация) можно упаковать в один бандл для удобного деплоя или отката. EdgeExecutor — можно запускать задачи на любой машине, хоть на Raspberry Pi, параллельно с основным кластером. Backfill через UI — выбрал нужный диапазон дат, кликнул один раз — и Airflow сам перерассчитал все пропущенные периоды. __ Уже кто-нибуль попробовал обновиться? PS давайте сделаем вебинарчик для DataLearn, есть желающие?
Появился Airflow 3.0 или как у вас его любят назвать - плов. Современный…
Из этого канала
- #5189Загрузил 2 вебинарчика, которые недавно проводили. Обложки создал в ChatGPT.…
Загрузил 2 вебинарчика, которые недавно проводили. Обложки создал в ChatGPT. История одного проекта с большим техническим долгом (Роман Зыков, автор канала…
- #5191Дата с Димой | Новости из мира BigTech | Эпизод 4️⃣ YouTube, Rutube 💡 В этом…
Дата с Димой | Новости из мира BigTech | Эпизод 4️⃣ YouTube, Rutube 💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые…
- #5192Как понять, что в компании проблема с дата культурой и уровень вовлеченности у…
Как понять, что в компании проблема с дата культурой и уровень вовлеченности у команды низкий? Хотя активность высокая.
- #5185Привет от Карлсона, который живет на крыше:)
Привет от Карлсона, который живет на крыше:)
- #5184Давненько никто никого не покупал. Свершилось - Datadog acquires AI-powered…
Давненько никто никого не покупал. Свершилось - Datadog acquires AI-powered observability startup Metaplane (AI там и не пахнет, так то).