👍 Обновляю Пет Проект! Неплохо так пересобрал свой ETL pipeline и теперь там есть Streaming + Batch. Это я собираю новую архитектуру с этого стрима и скорее всего она и будет в БУТКЕМПЕ в итоге! На какой стадии сейчас: 🔵 В postgres автоматически наполняются таблицы + сами обновляют строки. Debezium считывает все изменения и закидывает в Kafka. Оттуда уже Spark Streaming льет в S3 бакет и раскладывает по партициям. Настроены heartbeat + signal таблицы. 🔵Почти тоже самое со второй таблицей, но уже настроен просто забор данных батчом. 🔵Появились prometheus и grafana для отслеживание метрик (но пока еще не настроил) 🔵Автоматизировал создание БД и табличек на стадии docker-compose (чтобы все ставилось с одной кнопки) 🔵Хранилище в реальном MinioS3 (раньше просто сохранялось в файловую систему) Хочу сделать: 🔵 Добавить слои clean и mart в S3(сейчас только raw слой) 🔵 Написать spark джобы для построения витрин и складывания их в Clickhouse 🔵 Переписать старые airflow dags на новую архитектуру 🔵 Добавить Trino от CedrusData (у них есть free docker image) 🔵 Добавить Iceberg, либо продумать иной вариант обновления строк Эта версия пока доступна в соседней ветке ✅ Кто хочет, может внести свои правки и идеи, если есть желание. Более менее финальную версию дропну позже.