Примеры DBT репозиториев Интересный [DBT + Airflow + Clickhouse] репозиторий, застывший в миграции с кастомных ДАГов на DBT. Проект по оценке пользовательских аудиторий крипто-токенов и аналитики аудиторий крипто-проектов. В проекте я участвовал как консультант. Закрыт в 2023 году. https://github.com/superdao-inc/airflow-dags Здесь можно найти остатки самописного SQL бойлерплейта и оценить, как переход на DBT сильно облегчает разработку. Также есть кликхаусификация DBT-моделей и несколько специфичных фишек, актуальных именно для Clickhouse. К примеру, вот такая моделька, в которой Clickhouse валится в огромном (3 TB) Group BY запросе, так как ему не хватает RAM. Решение - разбить запрос на чанки по адресам, каждый из которых меньше по размерам, чем весь массив эфириумных транзакций. В DBT модель встроен проброс массива первых букв кошельков, который формируется циклом в Airflow DAG. Или вот такой Generic Test, который проверяет, что в текстовом поле не абы что, а эфириумный адрес-хэш. Есть и макросы-шаблоны запросов, которые после применяются в нескольких моделях для разных эфириумных сеток. Одним словом, рекомендую сделать dbt docs generate и походить по разным моделькам, макросам и тестам. Стартаперский творческий беспорядок прилагается. Мой учебный репозиторий [DBT + Airflow + Greenplum] https://github.com/alex-belozersky/dataplatform Сейчас в процессе добавления в него интеграции DBT + Trino + Iceberg. Поставьте GitHub звезду, если интересно #DBT #GitHub
Примеры DBT репозиториев Интересный [DBT + Airflow + Clickhouse] репозиторий,…
Из этого канала
- #64Примерно поэтому я ИИ-скептик в своей профессии. Репост:
Примерно поэтому я ИИ-скептик в своей профессии. Репост:
- #65Общее впечатление от работы с LLM за последние два года Я отношусь к очень…
Общее впечатление от работы с LLM за последние два года Я отношусь к очень небольшой группе людей, которые не только знакомы со всеми современными LLM…
- #66Пишет человек, искренне поверивший в магические ЛЛМ и пытавшийся внедрить в…
Пишет человек, искренне поверивший в магические ЛЛМ и пытавшийся внедрить в свои процессы. В аналитике внедряемость около нуля.
- #61Запись 1 дня вебинара по DBT совместно с @rockyourdata VK Видео
Запись 1 дня вебинара по DBT совместно с @rockyourdata VK Видео
- #60Все гениальное просто. #DBT
Все гениальное просто. #DBT