Стримить данные в S3 В контексте развития лейкхауса часто возникает мысль - а было бы круто стримить данные сразу в S3! (Еще бы лучше прямо в айсберг формат с прогоном через метастор, но это мечты-мечты) Шорт-лист вариантов, как это можно сделать. 1. S3Sink коннектор Kafka Connect. https://github.com/Aiven-Open/s3-connector-for-apache-kafka 2. S3Stream для AutoMQ. AutoMQ - совместимый с форматом Кафки Cloud Native стриминг https://www.automq.com/docs/automq/architecture/s3stream-shared-streaming-storage/overview 3. WarpStream - целая платформа вокруг этой идеи. Куплена Конфлюентом. Honorable mentions Обещания от Кафки KIP-1150 - disk-less topics. Звучит круто, подождем еще годочка три. https://cwiki.apache.org/confluence/display/KAFKA/KIP-1150%3A+Diskless+Topics TableFlow - подключаем топики Kafka как объекты в Iceberg Metastore. Не пуш, а пулл, но сгодится. Похоже, доступно только для проприетарного Confluent. Кто стримится в лейк - расскажите как именно!