Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. В программе курса: • Современная архитектура аналитических систем от DWH и Data Lake до Lakehouse с разделением Compute и Storage на базе Apache Iceberg и Trino. • Iceberg: управление файлами, снимками, каталогами, схемами изменений и очисткой. • Практическое использование Iceberg Catalog, работа с кластером Trino (на Kubernetes), подключение данных на S3 и выполнение SQL/ Python-запросов. • Работа с Iceberg+Trinо на больших масштабах: сложные запросы к датасету TPC-DS (2.8 млрд строк), интеграция с DBT, Apache Airflow, оценка производительность систем. • Построение пайплайнов, инструменты для корректной поддержки, обновления и масштабирования Lakehouse-инфраструктуры на уровне предприятия. Кто мы: R&D-центр Devhands, наш канал. Автор курса — Алексей Белозерский, CDO в inSales (Сбер 2B), ex: VK Tech, М.Видео, Эльдорадо 🗓 Старт курса: 27 августа Изучить программу и записаться можно здесь. Ждём вас! __Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquZf5с8__
Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный…
Из этого канала
- #6053Говорят навык кодить руками уже умирает. Писать код самому это уже недостаток.…
Говорят навык кодить руками уже умирает. Писать код самому это уже недостаток. Понимать код, архитектуру и знать фундаментальные вещи это другое, которое…
- #6051В Lakehouse можно сколько угодно ускорять compute, но если S3 не успевает…
В Lakehouse можно сколько угодно ускорять compute, но если S3 не успевает отдавать данные, вся платформа упрётся в storage.
- #6050Рост зарплат DE в Канаде, да и в мире. Раньше в Канаде средняя вилка была…
Рост зарплат DE в Канаде, да и в мире. Раньше в Канаде средняя вилка была 140-160к, а теперь уже почти все вакансии до 200к (в год gross).
- #6049Давно не слышал про хороший open source BI Metabase.…
Давно не слышал про хороший open source BI Metabase. https://www.metabase.com/blog/security-update