"Только 2% людей на планете знают об этом! Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна. __О чем я?__ Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю. Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02? Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен. Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом. Че писать в коде? Чтобы удобно было запускать DAG с параметрами, надо дописать параметр __params__ ```dag = DAG( dag_id=""DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline"", default_args=default_args, schedule_interval=""0 10 * * *"", catchup=False, params={ ""start_date"": Param( """", type=""string"", pattern=r""^$|^\d{4}-\d{2}-\d{2}$"", description=""Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds."", ), ""end_date"": Param( """", type=""string"", pattern=r""^$|^\d{4}-\d{2}-\d{2}$"", description=""Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date."", ), }, description=""API weather to S3 and ClickHouse pipeline"", tags=[""demo"", ""weather"", ""temp"", ""rain"", ""api"", ""s3"", ""clickhouse"", ""pipeline""], )``` Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно. А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики. Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить."
"Только 2% людей на планете знают об этом! Если вы знаете об этой фишке, прошу…
Источник
https://t.me/halltape_data/865Канал Я – Дата Инженер | Евгений Виндюков · опубликовано 30 июн. 2026 г.
Из этого канала
- #866Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки…
Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки на коробке: детали вроде бы есть, а как они складываются вместе — не всегда…
- #867Типичные вопросы на собесе на Дата Инженера Выпустил ролик про вопросы на…
Типичные вопросы на собесе на Дата Инженера Выпустил ролик про вопросы на собесах. Далеко не весь пулл, но постарался объяснить свои ответы.
- #868"Подтверди скилл в Yandex Cloud со скидкой 50% 🚀 Коллеги, у нас всего пара…
"Подтверди скилл в Yandex Cloud со скидкой 50% 🚀 Коллеги, у нас всего пара недель, чтобы закрыть вопрос с сертификацией на льготных условиях.
- #864Системный аналитик помогает бизнесу и разработке говорить на одном языке:…
Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит,…
- #863"BootCamp Июль НАБРАН! Друзья, мы набрали июльский поток полностью! Стартуем…
"BootCamp Июль НАБРАН! Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля.