Ехал метастор через метастор, видит метастор в метасторе метастор... Одни очень большие ребята рассказали, что активно смотрят на Apache Gravitino. Плохого же не посоветуют, вот и я решил посмотреть. А получается у нас на руках каталог каталогов, через который можно управлять метаданными во всем своем зоопарке. Имея на руках HDFS+Spark, StarRocks, Vertica (jdbc) и MySQL, можно из одного места раскатывать миграшки, управлять доступами и даже работать (если есть коннектор). Интересно как реализован линейдж, но мне кажется, что это не совсем тема каталога. Идея интересная, наверное для больших ребят напрашивается. У нас сейчас 4 сервиса управления доступами (причем довольно разных), только миграции раскатываются через один сервис и однотипно. Аудит - не уверен что в этой штуке реализован корректно. Подумал, что можно наконец выкинуть из стека Apache Ranger, но нет - это только прослойка для него. Очень неоднозначная штука, на мой взгляд, и профит от нее для платформы надо внимательно рассматривать под микроскопом. Видите пльзу для себя, затеялись бы внедрять? :)
Ехал метастор через метастор, видит метастор в метасторе метастор... Одни очень…
Из этого канала
- #399Meta[store] Mesh - ловите новый термин 😁
Meta[store] Mesh - ловите новый термин 😁
- #400Хозяйке на заметку. Если нейросеть тупит, просто повторите промпт еще разик
Хозяйке на заметку. Если нейросеть тупит, просто повторите промпт еще разик
- #402DataFusion Comet Продолжаем разбор интересных докладов. Сегодня - доклад с…
DataFusion Comet Продолжаем разбор интересных докладов. Сегодня - доклад с Iceberg Summit 2024 про движок Comet от Чао Сана (Chao Sum) Staff Engineer OpenAI…
- #397Есть любопытный Q&A по фиче Spark пайплайнов. Подписчики мне справедливо…
Есть любопытный Q&A по фиче Spark пайплайнов. Подписчики мне справедливо попеняли, что речь идет не про Airflow DAG, а скорее про декларативное описание…
- #396"В Spark 4.1 появлся ... Airflow В документации версии Spark 4.1-Preview…
"В Spark 4.1 появлся ... Airflow В документации версии Spark 4.1-Preview появились так называемые Spark Declarative Pipelines (SDP) На борту: 1️⃣ Несколько…