"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про Текущее состояние рынка даты Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда А в этом году не было ни одного доклада про StarRocks или Polars 📚 Доклады Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах😫 Поэтому лично мне понравились всего 2 доклада: 1️⃣""Витрины данных на Data Lakehouse: маленькая история про большой переезд с Greenplum"", Лемана Тех Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов 2️⃣""Контракты данных: когда схема становится договором"", Uzum Market Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть На дискуссия была жесткая заруба по поводу ломающих изменений в контракте Мне от спикера так понравились две фразы, пусть они тут останутся: россыпь SDK data quality ассорти ❓ Что по AI? Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база) 📍 Новости и ссылочки Статья: How Anthropic enables self-service data analytics with Claude Дэш из доклада про ADBC (Arrow Database Connectivity) Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg Одни ребята переехали на StarRocks уже в 2023 году В Магните в июне были сокращения Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные? 21.10.2026 выходит DuckDB 2.0 AWS купили DuckLabs @data_engineerette"
"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года…
Из этого канала
- #624Исследование data-people Тут ребята из DevCrowd запустили ежегодное…
Исследование data-people Тут ребята из DevCrowd запустили ежегодное исследование специалистов по работе с данными и попросили поделиться, чтобы охватить больше…
- #6235 октября начнется 19-й поток программы Data Engineer от Newprolab Программа…
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и…
- #622Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3…
Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3 качества важны для де? В том числе: 🤩абстрактные качества, которые помогают в работе…