Отвечу на вопрос от уважаемого подписчика 1️⃣ Нет никакой сложности оркестрации DBT + Airflow. Есть подготовленные DBT-операторы, которыми очень приятно пользоваться. 2️⃣ Dagster модный, вот про него и пишут. 😎 Лично им мало пользовался, все же Airflow стандарт, но не предвижу никаких проблем или особенностей в оркестрации DBT проекта и на Dagster тоже. Что в лоб, что по лбу. 3️⃣ Правильно - как удобнее. В не сильно большой команде удобнее в монорепо DAGs + DBT. Тогда в одном коммите видны все изменения пайплайнов. Когда команда больше, то может быть удобнее разделить. Одна команда делает DBT проект для общего пользования, другие подключают его через DBT Packages. Или когда один AF оркестрирует несколько DBT проектов: для лейка(-хауса) и для КХД с разным стеком. 4️⃣ Не, DBT не для миграций. 5️⃣ На кластере Airflow в любом случае должна быть синхронизрованная кодовая база на всех мастерах и воркерах. Спасибо за вопрос!
Отвечу на вопрос от уважаемого подписчика 1️⃣ Нет никакой сложности оркестрации…
Из этого канала
- #141Офис данных (сущ.) - Группа людей, осознанно и целенаправленно развивающая стек…
Офис данных (сущ.) - Группа людей, осознанно и целенаправленно развивающая стек обработки данных.
- #142Крик души о том как выглядят приложения от больших компаний. И ничего с этим не…
Крик души о том как выглядят приложения от больших компаний. И ничего с этим не сделаешь - так экономически эффективнее.
- #143Хакатоны это то еще развлечение. Работа после работы. Страдают от натуги…
Хакатоны это то еще развлечение. Работа после работы. Страдают от натуги организаторы, страдают эксперты, страдают участники.
- #138Нашел самый полезный курс для Архитекторов. От alma mater %)
Нашел самый полезный курс для Архитекторов. От alma mater %)
- #137Лучший на всем Западе облачный Гринплам Бывают моменты, когда хочется подвести…
Лучший на всем Западе облачный Гринплам Бывают моменты, когда хочется подвести черту под некоторыми этапами.