Data Governance in Lakehouse Using Open Source Tools Статья Джунаида Эффенди «Data Governance in Lakehouse Using Open Source Tools» посвящена созданию полноценной системы управления данными (data governance) в архитектуре Lakehouse с использованием ведущих open-source инструментов. В условиях, когда Lakehouse объединяет гибкость data lake и надежность data warehouse, эффективное управление данными становится критически важным. посмотрите на состав open-source инструментов для обеспечения контроля доступа, отслеживания происхождения данных, управления метаданными, обеспечения качества данных, версионирования и классификации: • Apache Ranger — централизованное управление политиками доступа на уровне базы данных, таблиц, колонок и строк. • Keycloak — управление доступом к пользовательским интерфейсам и API через SSO и ролевую модель. • Open Policy Agent (OPA) — универсальный движок для реализации политик доступа, особенно в сочетании с платформами метаданных. • Apache Atlas — отслеживание потоков данных и их преобразований в системах, включая Hive, HDFS и Kafka. • OpenLineage + Marquez — определение и визуализация метаданных о происхождении данных в пайплайнах. • Spline — сбор информации о происхождении данных в приложениях Apache Spark. Amundsen — поиск и визуализация метаданных с акцентом на удобство пользователя. • DataHub — мощная платформа для управления метаданными с поддержкой версионирования схем, анализа воздействия и управления владельцами данных. • Metacat — каталог метаданных от Netflix, поддерживающий интеграцию с Hive и Presto. • Great Expectations — определение и проверка ожиданий относительно данных, таких как отсутствие пропущенных значений или уникальность ключей. • Soda Core — инструмент командной строки для профилирования данных и мониторинга качества. • Deequ — библиотека для определения ограничений на наборы данных, работающая на основе Spark. • DQX — фреймворк для организации проверок качества данных в экосистеме Lakehouse. https://www.junaideffendi.com/p/data-governance-in-lakehouse-using