Trino и Iceberg теперь есть на Bootcamp! Сейчас многие смотрят в сторону этого стека, да и в целом переходят на него. Поэтому мы тоже не стоим на месте. Что уже есть? Трино в режиме 1 координатор и 2 воркера. Также доступен Trino UI. Ну про Iceberg че говорить.. Думаю все и так знают. Короче современный LAKEHOUSE. По факту сейчас еще додумаем интересные pipeline к этому стеку и в майском потоке точно будет обновление! Есть даже идея выбора pipeline! Например можно выбрать стрим LakeHouse Trino + s3 Iceberg + CH Либо взять ближе к DWH, когда есть Spark - Greenplum (DBT) - CH Или пойти в сторону Data Lake Spark - S3 - CH При этом у нас также остается Kafka - Debezium. И вполне вероятно может появиться Flink. Точнее я уже его добавил)) И на каждый pipeline может быть своя логика сбора и обработки данных. На рынке стек в командах так быстро не меняется, поэтому разобравшись и познакомившись со всем этими инструментами будете намного увереннее себя чувствовать. 🔴 Мы уже набираем поток на МАЙ! Записаться и попасть уже в чат можно тут - @bootcampych_bot Пишите смело, мы по ту сторону бота сидим, если что! P.S. Примеры пайплайнов чисто формальные.. безусловно, там еще Airflow, Github, где-то PostgreSQL, где-то API, иногда S3 для метаданных может использоваться. Главное, чтобы вы поняли, что это мощнейщая и крутая шутковина!