Познакомилась с деврелом из OpenMetadata В последнем спринте работала над таской, связанной с OpenMetadata. Она была поначалу настолько непонятой, что пришлось присоединиться к коммьюнити в Slack🤩 Могу сказать, что у них просто офигенная поддержка в чате, на вопросы они отвечают в течение получаса. Как только я присоединилась, на меня сразу вышел чел с ролью «Developer Advocate». Он рассказал, что у них происходит в чатах, какие они организуют вебинары и что можно забукать небольшую встречку Поначалу я скептически отнеслась, вопросов с моей стороны не было, да и вообще потом забыла, но спустя время решила встретиться поболтать🙂 Мы довольно мило побеседовали про наше использование инструмента, про их новые фичи. Он мне рассказал, что в последней версии: 🤩джобы запускаются не в airflow, а стартуют отдельные поды в k8s 🤩поддерживается дата-контракты Дата-контакты в OMD — это как второй этап проверки. Мы однажды напоролись на такое, что данные вставлялись без проблем даже при изменении схемы на источнике. Потому что мы в коде брали из датафрейма только столбцы, которые уже были в таргет-таблице🙂 Дальше мы пошли в сендбокс. Посмотрели, как дата-контракты поддерживают изменения схемы, data quality, штуки для безопасности (все, что на скрине). Контракты можно импортнуть и экспортнуть в формате ODCS (Open Data Contract Standard) Еще мне рассказали, что OpenMetadata стартанула всего лишь 5 лет назад! А 10.06 у них будет бесплатный онлайн-саммит Collate Summit '26: Data & AI in Production, на который можно зарегаться После встречи деврел прислал несколько полезных ссылочек, которые мы обсуждали: 📍OpenMetadata’s Kubernetes Scheduler Preview 📍Data Contracts and OpenMetadata 📍OpenMetadata Standards & Building new Connectors with AI 📍OpenMetadata Standards @data_engineerette
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над…
Из этого канала
- #586На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я…
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я на него иду! Алгосы — это точно мое слабое место, и я прямо в превкушении…
- #587Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить…
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁 Предыстория У нас в airflow есть…
- #588Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика.
- #582"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая…
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая позволяет что-то вводить пользаку во время работы дага HITL = Human-in-the-loop…
- #581"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на…
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на рынке.