Как мониторить подвисшие сенсоры? Начнем с того, что в Airflow есть несколько состояний для таски: ⭐️none - пока отдыхает ⭐️scheduled - должна быть запущена, все зависимости выполнены ⭐️queued - ждет свободный воркер ⭐️running - работает ⭐️success - успешно завершилась ⭐️restarting - перезапустили ⭐️failed - упала ⭐️skipped - пропущена ⭐️upstream_failed - упала предыдущая таска, которая нам нужна ⭐️up_for_retry - упала, но будет перезапущена ⭐️up_for_reschedule - сенсор будет перезапущен ⭐️deferred - отложена и ждет триггер ⭐️removed - удалена из дага после запуска Подвисшие сенсоры уходят в статус deferred. У нас они имеют такой нейминг - mytask_awaiting_somedag. Я написала себе запрос, который выводит: ⭕️название дага, на который смотрит сенсор ⭕️количество сенсоров, которые ждут этот даг ⭕️общее количество подвисших сенсоров И так можно сразу понять, на какой даг смотрит наибольшее количество сенсоров, и посмотреть причину ```with sensored as ( SELECT substr( task_id, strpos(task_id, 'awaiting_') + length('awaiting_') ) as sensor, dag_id FROM airflow.public.task_instance WHERE state = 'deferred' ) select sensor, count(1) over(partition by sensor) as sensor_cnt, count(1) over() as total_cnt, dag_id from sensored order by 2 desc, sensor, dag_id;```
Как мониторить подвисшие сенсоры? Начнем с того, что в Airflow есть несколько…
Из этого канала
- #474Я сделала стикеры😎 Версия 1.0 Давно была мысль придумать свой стикерпак, и вот…
Я сделала стикеры😎 Версия 1.0 Давно была мысль придумать свой стикерпак, и вот я ее реализовала🙌 Если бы я знала, сколько знаний и умений это потребует, то не…
- #480Как прошла SmartData 2025? Это были 2 дня конфы в Питере - доклады, тусовка…
Как прошла SmartData 2025? Это были 2 дня конфы в Питере - доклады, тусовка крутых ребят, активности и обсуждения.
- #484"5. Лидерство в команде Продолжаю рассказывать про курс команды, и это…
"5. Лидерство в команде Продолжаю рассказывать про курс команды, и это последний модуль 🥲 Четвертый модуль - тут Описание программы - тут Темы, которые мы…
- #469"Как я чуть не попалась на мошенников Предыстория 👢В конце августа в Казани…
"Как я чуть не попалась на мошенников Предыстория 👢В конце августа в Казани проходил «Сенной базар», где локальные бренды выставляют свою продукцию.
- #465"Data Internals Я сходила на конфу ""Data Internals"", где потусовалась еще с…
"Data Internals Я сходила на конфу ""Data Internals"", где потусовалась еще с парочкой де админов🕺 Как здорово, когда есть люди, которые могут выбить тебе…