"Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support В Airflow 3.3 появился AIP-108 — Language Task SDK. Теперь отдельные tasks можно реализовывать на Java или Go, при этом сам DAG и scheduling остаются в Python. В DAG задача объявляется как stub: ```@task.stub(queue=""golang"")``` Дальше Airflow через Coordinator передает выполнение нужному runtime: JavaCoordinator для JVM или ExecutableCoordinator для Go. При этом задача остается частью Airflow: доступны XCom, Variables, Connections, retries и стандартный logging. Это особенно интересно для команд, где orchestration построен на Airflow, а часть production-кода уже написана на Java или Go. Теперь такую логику не обязательно переписывать на Python или выносить за пределы task model Airflow. Пока Language Task SDK — experimental feature, поэтому API и protocol еще могут меняться. Документация @tldr_data"
"Apache Airflow 3.3.0: Stateful Tasks and Multi-Language Support В Airflow 3.3…
Из этого канала
- #751В Airflow теперь можно запустить java-scala приложения нативно Например -…
В Airflow теперь можно запустить java-scala приложения нативно Например - скрипты поддержки Iceberg таблиц, так как много функционала нет в pyiceberg.
- #752Молния! Амазон купили DuckDB
Молния! Амазон купили DuckDB
- #749В опросе забыл самую главную опцию: «Клодик, посчитай мне сумму… ну вопщем…
В опросе забыл самую главную опцию: «Клодик, посчитай мне сумму… ну вопщем что-нибудь там посчитай. Чтоб по красоте было»
- #748Забыли подвести итоги по статистике подписчиков канала. Почти 60% SQL-исты…
Забыли подвести итоги по статистике подписчиков канала. Почти 60% SQL-исты разных видов. Привет вам! Датасаенс с пандасом - ок. 10% 12% суровых спарковиков.
- #747Видео пока на монтаже )
Видео пока на монтаже )