DataFusion Comet Продолжаем разбор интересных докладов. Сегодня - доклад с Iceberg Summit 2024 про движок Comet от Чао Сана (Chao Sum) Staff Engineer OpenAI Comet - переписанный на Rust движок вычислений для Spark с векторизацией (SIMD). Включается как Drop-In Replace, если не может по какой-то причине, то сам фолл-бечится на Scala. В итоге получаем скорость Rust, не теряя богатство экосистемы Spark и его API. На бумаге. В докладе неплохо разобрано, как выглядит с точки зрения Спарка простой запрос. Потом добавляем к нему векторизацию. Видео c таймкодами ниже в канале или на ВК. Оригинал Youtube - без таймкодов. Ранее в разборах: Часть 1 - Разбор нововведений Iceberg v3 Часть 2 - Streaming Data Lake - Redpanda ------------------------------------ ------ Архитектор данных ------- ------------------------------------