Увидел интересное репо, в котором автор собрал локальный опенсорсный стек: Data Forge includes a complete modern data stack with industry-standard tools: __🗄️ Storage & Catalog __- __MinIO → S3-compatible object storage for data lakes __- __Hive Metastore → Centralized metadata catalog for tables and schemas ⚡ Compute Engines __- __Trino → Interactive SQL query engine for federated analytics __- __Apache Spark → Distributed processing for batch and streaming workloads 🌊 Streaming & CDC __- __Apache Kafka → Event streaming platform __- __Schema Registry → Schema evolution and compatibility __- __Debezium → Change data capture from databases 🗃️ Databases __- __PostgreSQL → Primary OLTP database (source system) __- __ClickHouse → Columnar analytics database (sink) 🔄 Orchestration __- __Apache Airflow 3 → Workflow orchestration 📊 Visualization & Exploration __- __Apache Superset → Modern BI and data visualization __- __JupyterLab → Interactive data science environment__ Идеальный стек для отечественного (СНГ) дата инженера. PS автору если интересно, может и вебинарчик провести для нас.
Увидел интересное репо, в котором автор собрал локальный опенсорсный стек: Data…
Из этого канала
- #5447Нашел замечательный сервис для проверки ваших Key-Pair -…
Нашел замечательный сервис для проверки ваших Key-Pair - https://isanybodyusingthisprivatekey.com Просто скопируйте ваш private key и убедитесь, что он…
- #5448Новая книга про Iceberg - Architecting an Apache Iceberg Lakehouse (еще в…
Новая книга про Iceberg - Architecting an Apache Iceberg Lakehouse (еще в процессе создания)
- #5449Если закончим книгу по Azure Databricks до конца года, то у меня будет супер…
Если закончим книгу по Azure Databricks до конца года, то у меня будет супер коллекция технологий: Snowflake и Databricks - два абсолютных лидера на мировой…
- #5445Попался пост чувака, кто стал L7 в amazon (Principal DE) после 6 лет как L6 (Sr…
Попался пост чувака, кто стал L7 в amazon (Principal DE) после 6 лет как L6 (Sr DE).
- #5442⚡️Fivetran хочет купить еще и dbt Labs, после недавний покупки sqlMesh. Как…
⚡️Fivetran хочет купить еще и dbt Labs, после недавний покупки sqlMesh. Как думаете купит или не купит?