Lance Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе ⏰ Он появился еще в 2022 году, а первая стабильная версия вышла в декабре 2025. Примерно с того же времени нашла дискуссии в де сообществе. Разрабатывают ребята, которые создали LanceDB Главные особенности: 🤩оптимизация под AI и векторный поиск 🤩доступ к данным за О(1) 🤩в одной таблице можно хранить обычные данные + медиа + векторы 🤩ядро написано на Rust 🤩построен поверх Apache Arrow 🤩time travel 🤩acid 🤩update/delete так же поддерживается Lance позиционирует себя как замена Parquet, но к данным можно достучаться в 100 раз быстрее Поддерживается много интеграций: DuckDB, Polars, Data Fusion, Spark, Doris, Trino, PyTorch, Flink. Но, например, Lance-Trino интеграция вышла из беты только 31 марта этого года, а Spark появился еще позднее, поэтому многие компоненты еще достаточно свежие А помимо Lance, еще есть Nimble, Vortex, BtrBlocks, FastLanes😯 @data_engineerette
Lance Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и…
Из этого канала
- #636А если я аналитик, но в DE пока вообще ничего не понимаю? 😳 После прошлого…
А если я аналитик, но в DE пока вообще ничего не понимаю? 😳 После прошлого поста про переход из аналитики в дата-инженерию я поймала себя на мысли, что главный…
- #637Ломаем Iceberg-таблицу🫠 Представьте, у вас есть айсберг таблица из 3 полей,…
Ломаем Iceberg-таблицу🫠 Представьте, у вас есть айсберг таблица из 3 полей, которая управляется HMS.
- #639Сходила на ТехноДень Это бесплатная конфа от Selectel, прошла в кластере…
Сходила на ТехноДень Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов».
- #6345 октября начнется 19-й поток программы Data Engineer от Newprolab Программа…
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и…
- #629"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года…
"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про Текущее…