DuckDB поддерживает стриминг?! В статье они выделяют 3 архитектурных паттерна стриминга (потоковой аналитики) __🧱 Паттерн материализованного представления (Materialized View Pattern) Часто реализуется с помощью облачных хранилищ данных, поддерживающих материализованные представления (например, BigQuery или Snowflake). Поток событий записывается в «сырую» таблицу, а поверх неё создаётся материализованное представление. Этот подход обычно имеет более высокую задержку обновления по сравнению со следующими двумя, хотя точных сравнений пока немного.__ __ ⚙️ Паттерн потокового движка (Streaming Engine Pattern) Здесь используется классический ETL-подход. Отдельный процесс (потоковый движок) читает сообщения из источника, выполняет запросы «на лету» и сохраняет результаты в постоянной таблице. Типичные движки — Spark Streaming, Flink, Kafka Streams и более новый Arroyo. Такой подход часто сопровождается сложностями: управление «водяными знаками» (watermarks), состоянием, потреблением памяти при бесконечных запросах и т.п.__ __ 🗄 Паттерн потоковой базы данных (Streaming Database Pattern) Похож на предыдущий по задержке, но значительно проще в использовании. Потоковые базы данных вроде RisingWave или Materialize могут напрямую читать поток данных и обновлять материализованное представление «на лету». Они стремятся сохранять ACID-консистентность и позволяют клиентам выполнять запросы через PostgreSQL-совместимый протокол. __ Согласно статье, DuckDB поддерживает 1й и 2й вариант. Так же можно напрямую писать запросы к Кафке через Tributary Extension.
DuckDB поддерживает стриминг?! В статье они выделяют 3 архитектурных паттерна…
Из этого канала
- #5462"Как сэкономить на миграции в S3? При реорганизации инфраструктуры компании…
"Как сэкономить на миграции в S3? При реорганизации инфраструктуры компании часто платят за перенос данных дважды — за исходное хранилище и трафик, запросы и…
- #5464AI так быстро развивается, что уже не поспеть. Мне попалось два отчета про AI,…
AI так быстро развивается, что уже не поспеть. Мне попалось два отчета про AI, там можно сразу посмотреть summary. 1.
- #54652. State of Foundation Models Основные выводы: Генеративный ИИ (Generative AI)…
2. State of Foundation Models Основные выводы: Генеративный ИИ (Generative AI) стал массовым: каждый восьмой работник в мире теперь использует ИИ ежемесячно,…
- #5460Snowflake умеет делать маркетинг - DATA ENGINEERING SCHOOL
Snowflake умеет делать маркетинг - DATA ENGINEERING SCHOOL
- #5459Один из самых ценных скилов работы с другими это уметь письменно излагать свои…
Один из самых ценных скилов работы с другими это уметь письменно излагать свои мысли и идеи.