Snowflake in Talks to Acquire Analytics Startup Redpanda By Kevin McLaughlin Что такое Snowflake вы знаете. Snowflake это ~~хранилище данных~~ это аналитическая платформа, которая позволяет: - создавать хранилище данных - работать с данными в браузере (SnowSight) используя SQL или Python (SnowPark) - возможность создавать веб-приложения на базе Streamlit (open source решение, которое Snowflake купил) - создавать Stored Procedures прям как в PL/SQL в Oracle или T-SQL в SQL Server (можно на SQL, можно и на другом языке). Работает отлично - бесплатная замена dbt для трансформации данных - ставить на расписание ваши запросы (jobs) с использованием Tasks - интеграция с Apache Iceberg, свой Iceberg каталог Polaris - поддержка стриминга через Pipes, Dynamic таблиц - своя кривая LLM Arctic - возможность хостить контейнеры (сам еще не проверял) - создавать Data Apps на любой цвет и вкус (для монетизации своих данных) - Data Sharing, большой маркетплейс различных приложений, вендоров, данных Это первое, что пришло в голову про Snowflake. То есть это целая платформа. И стриминг - это не сильная сторона Snowflake. А что такое RedPanda? __Redpanda – это высокопроизводительный потоковый движок, совместимый с Apache Kafka. 🔹 Ключевые особенности Redpanda: 1. Совместимость с Kafka API – поддерживает основные API Kafka (Producers, Consumers, Streams), что позволяет использовать Redpanda без изменения существующего кода Kafka-приложений. 2. Отказоустойчивость и высокая производительность – написан на C++ и использует локальную память и NVMe-диски для ускорения обработки событий. 3. Не требует Zookeeper – в отличие от Kafka, в Redpanda отказались от Zookeeper в пользу встроенной системы управления метаданными. 4. Меньше ресурсов, выше скорость – за счет оптимизированного использования процессора, памяти и хранения данных Redpanda показывает на 5-10 раз меньшую задержку, чем Kafka. 5. Поддержка WebAssembly (Wasm) – можно писать кастомные трансформации данных прямо в стриме, без внешних обработчиков.__ 6. Лучше работает в Kubernetes – Redpanda легче масштабируется и лучше интегрируется с облачными средами, чем Kafka. Если Snowflake купит их, то они усилят свои позиции по стримингу, потому что у их главного конкурента Databricks все очень хорошо в этом плане с Apache Spark Structured Streaming.