Дайджест статей 📰 Microsoft Fabric AI Functions for Data Engineers (по метаданным) 🔗 https://dzone.com/articles/microsoft-fabric-ai-functions-practical-overview-data-engineers 💡 Вывод: Microsoft встраивает LLM-операции (классификация, извлечение сущностей, суммаризация) прямо в Fabric как SQL-функции — это шаг индустрии к тому, чтобы ИИ становился не отдельным сервисом, а примитивом платформы данных, с соответствующим вопросом: что остаётся команде, если классификация — это AI_CLASSIFY() в SQL. 📰 Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Часть 2: Modus ETL & Modus BI 🔗 https://habr.com/ru/companies/w_code/articles/1022844/ 💡 Вывод: Российский low-code стек для МСБ строится вокруг внешнего КХД на стандартной СУБД (PostgreSQL/ClickHouse) и ELT-подхода; ключевая ценность не в BI-портале, а в нативной интеграции с 1С через HTTP-адаптер, который убирает потребность в 1С-разработчике и превращает задачу в работу дата-инженера с SQL. 📰 Платформа данных на минималках. Часть 1: проблемы Data Lake и роль Iceberg 🔗 https://habr.com/ru/companies/selectel/articles/1022920/ 💡 Вывод: Hive Metastore перестаёт работать не из-за объёмов, а из-за отсутствия транзакционности и эволюции схемы — Iceberg занимает не уровень движка или формата файла, а уровень описания таблицы как целого, что впервые даёт разделение storage/compute без вендор-лока и делает Lakehouse реальной архитектурой, а не маркетинговым термином. 📰 От формального качества к реальной пользе: как избежать потери доверия к данным 🔗 https://habr.com/ru/companies/vktech/articles/1024060/ 💡 Вывод: Data Governance проваливается не на уровне инструментов, а на уровне методологии — зелёные галочки DQ-проверок маскируют отсутствие единого бизнес-контекста; пока «клиент» имеет 40 разных определений в разных подразделениях, любые проверки остаются локальными и не дают кросс-юнитовой отчётности. 📰 Применение Data Science в цифровом производстве 🔗 https://habr.com/ru/articles/1024458/ 💡 Вывод: Цифровая нить и цифровой двойник — это не про 3D-модель, а про сквозную связность данных всего жизненного цикла изделия; без этой связности Data Science в производстве не работает, а с ней появляются предиктивное обслуживание, автоматический контроль качества и реальная оптимизация техпроцессов. 📰 Декларативный Data Pipeline 🔗 https://habr.com/ru/articles/1025014/ 💡 Вывод: Class-based декларативный фреймворк поверх Spark (Flow/Step/Context + декораторы) решает проблему, когда дата-проекты превращаются в набор несвязанных скриптов — но реальный рост достигается при переходе от явного order к dependency graph (DAG), что приближает самописное решение к оркестраторам уровня Airflow/Dagster. 📰 Иллюзия точности метрик: о чём не принято говорить в «высоком обществе» BI-аналитиков 🔗 https://habr.com/ru/articles/1025328/ 💡 Вывод: Предагрегированные витрины — это не оптимизация, а систематическая ложь: усреднение средних, count distinct поверх агрегатов и полуаддитивные показатели (остатки) математически некорректны и годами показывают топ-менеджменту неверные цифры; альтернатива — динамическое связывание данных поверх сырых таблиц на лету. 📰 Big Data больше не для гигантов: Airflow + ClickHouse вытесняет Airflow + PostgreSQL 🔗 https://habr.com/ru/articles/1022460/ 💡 Вывод: PostgreSQL остаётся лучшим OLTP, но его попытка обслуживать аналитику на 100+ млн строк — это дорога в боль; рынок (спрос на вакансии) уже проголосовал за ClickHouse как аналитический стандарт для среднего бизнеса, а не только для корпораций.