🔥 Разбор AWS-стека от и до (часть 4) — 2,5 часа живого кодинга Видео 👉 https://youtu.be/nWn_hDuL4jc Провели мощную сессию по AWS Glue, MWAA Airflow, dbt Core и Iceberg Lakehouse. Всё строилось с нуля через CloudFormation с AI-агентом (Claude в Cursor) — отличный пример того, как выглядит AI-assisted инфраструктура на практике. ⚙️ Glue & Spark • Glue Data Catalog — управляемый Hive-style метастор; краулеры автоматически обнаруживают схемы в S3 • Типы Glue-джобов: визуальный редактор, ноутбуки, Python Shell и PySpark-скрипты • GlueContext vs SparkContext и DynamicFrame vs DataFrame — и почему большинство команд остаётся на чистом Spark • Подбор размера кластера, query plans и Spark UI — та же логика применима к Snowflake-вархаусам • coalesce vs repartition — управление количеством и размером выходных файлов в распределённых вычислениях • Код Glue-джобов хранится как файлы в S3 — это открывает возможности для версионирования и release-стратегий • Glue Docker-образ для локального запуска и тестирования Spark-джобов в CI/CD 🏔️ Athena & Lakehouse • Amazon Athena — serverless SQL-движок на базе Presto/Trino; оплата за TB отсканированных данных + S3 • Partition projections vs Hive-style partition metadata; обработка JSON SerDe • dbt + Apache Iceberg lakehouse через dbt-athena-community (Docker-образ на ECR) • Внутренности Iceberg: папки data и metadata, manifest-файлы, manifest lists и снапшоты • Один dbt-проект, нацеленный одновременно на Athena, Redshift и Snowflake 🔄 Оркестрация & MWAA • Managed Airflow (MWAA): синхронизация DAG'ов через S3, интеграция с Secrets Manager и CloudWatch • Почему MWAA — это НЕ serverless: VPC, биллинг 24/7 и когда локальный Airflow выгоднее • Как хостить dbt с Airflow: DAG'и в S3 vs запуск dbt в контейнере на ECS/Batch • EcsRunTaskOperator — стандартный production-паттерн для связки dbt + Airflow • Добавили Airflow MCP-сервер, чтобы AI-агент мог инспектировать и триггерить DAG'и 💡 Главный вывод: AI строит инфраструктуру быстро — но именно понимание сервисов, трейдоффов и стоимости отличает инженера, который шипит проекты, от того, кто просто копирует код. Код здесь 👉 https://github.com/surfalytics/data-ingestion-github-to-snowflake/pull/1