Кто уже использует Iceberg v3? Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков. И нет ни одного, который бы поддерживал все - ну, а как иначе🫠 Фичи протегированы версиями, и можно наглядно посмотреть конкретно v3. В стабильном виде эта спека появилась в мае этого года в релизе 1.11, и там есть: ➡️бинарные delete-векторы ➡️новый тип VARIANT ➡️точность timestamp до наносекунд ➡️поддержка default values ➡️гео типы А в релизе 1.12 от 30.09 уже пошла подготовка к v4! И там добавили относительные пути!!😝 Теперь вместо` s3://bucket/path-to-table/data/file.parquet `в манифестах будет записано просто` data/file.parquet` Ну вот надо было изначально все усложнять, чтобы потом с блеском решить глобальную проблему?😑 В той же v4 конкретно будет переделываться структура меты на адаптивное дерево с root манифестом. Умный доклад можно посмотреть тут @data_engineerette
Кто уже использует Iceberg v3? Недавно наткнулась на Apache Iceberg…
Из этого канала
- #655Университетская аудитория, только теперь вопросы другие: не «как сдать…
Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод».
- #658Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE…
Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE Получилось вот такая версия с дата инженерскими инструментами и терминами Дополняйте,…
- #663Сейчас хайпует вот этот клип про AI в жизни компаний, сгенерированный AI Туда…
Сейчас хайпует вот этот клип про AI в жизни компаний, сгенерированный AI Туда вложено очень много пасхалок, как агент со временем завоевывает компанию.
- #653📊 Открытый мок-интервью на Data Engineer | 24 октября, 15:00 мск Хочешь…
📊 Открытый мок-интервью на Data Engineer | 24 октября, 15:00 мск Хочешь понять, как проходят технические собеседования на Data Engineer и чего ждут от…
- #652Не удержалась и решила наложить бит
Не удержалась и решила наложить бит