Snowflake начал активно контрибьютить в Apache Spark https://careers.snowflake.com/us/en/blogarticle/building-apache-spark-in-the-open-at-snowflake Статья рассказывает о подходе Snowflake к интеграции Apache Spark в свою экосистему. Вот ключевые моменты: • Главный герой — Holden Karau, Principal Software Engineer в Snowflake и коммиттер Apache Spark. • Цель Snowflake — адаптировать Spark API для улучшения возможностей дата-инженерии и создания более целостного опыта для пользователей. • Open Source подход — компания активно участвует в разработке открытых проектов, таких как Apache Spark и Apache Iceberg, что помогает лучше соответствовать потребностям клиентов. • Культура сотрудничества — Karau подчёркивает важность вклада в open source ради общего блага, а не личной выгоды, и делится опытом работы в открытых сообществах. • Если коротко: статья о том, как Snowflake строит интеграцию с Apache Spark через активное участие в open source разработке, а не просто использует готовые решения. Раньше у Snowflake был фокус на свой собственный фреймворк - Snowpark Snowflake создал Snowpark — свой собственный developer API (Python, Scala, Java) с DataFrame-подобным синтаксисом, похожим на Spark. Но это не Spark — весь код выполняется внутри движка Snowflake, никакого Spark-кластера не нужно. По сути, Snowflake пытался предложить альтернативу Spark, не требующую внешней инфраструктуры. Возможно из Spark не сработал, и они решили топить за оригинальный Spark. В Apache Spark 3.4 появился Spark Connect — архитектура с разделением клиента и кластера. Snowflake воспользовался этим, чтобы сделать Snowpark Connect for Spark: теперь можно писать настоящий PySpark-код, а выполняться он будет на движке Snowflake — без Spark-кластера. Это уже настоящий Apache Spark API, а не собственный аналог.