"Вышла лаба от @rzv_de про CDC конвейер из PostgreSQL через Debezium и Kafka Connect в S3! Как и на других его стендах, доступ к инфраструктуре, UI и материалам в одном окне браузера. Алексей построил лабу по сценарию ""что может сломаться в интеграции и как это чинить"". После тренировки сможете более уверенно внедрять и обслуживать `change data capture` интеграции на работе. Какой опыт получите в процессе - Составите конфиг коннекторов, в которых на опыте поймёте, зачем нужна каждая строчка - Зарегистрируете source- и sink-коннекторы через REST API `Kafka Connect` - Пройдёте первичную загрузку 20 000 заказов и перейдёте к живому потоку данных с операциями `I/U/D` - В процессе несколько раз обновите конфиг коннектора, проследите за результатом изменений ""на живую"" - Научитесь ориентироваться в формате сообщений внутри топика - Попереключаете живой поток на разные форматы выгрузки в `S3, JSONL и Parquet` - Научитесь управлять объёмом и количеством файлов на выходе - Проследите, что и как сломается при остановке и удалении различных частей интеграции - Научитесь чинить эти поломки У каждого участника своя выделенная инфраструктура, экспериментируйте свободно! В конце вас ждёт сводная таблица с рекомендациями по диагностике и решению частых проблем. Кому подойдёт Нужен базовый SQL и опыт с СУБД, например Postgres. Опыт с `Kafka` не обязателен, есть необходимый минимум теории. Лаба пригодится, если на работе предстоит внедрять `CDC`, собираетесь переходить на проект с такой интеграцией. Или интересно разобраться, что за зверь этот CDC такой 😁 Прохождение займёт от 4 до 6 часов, доступ открыт 30 дней, материалы останутся в PDF. Забирайте лабу со скидкой 10% p.s. Ещё там есть лабы по `Lakehouse` (`Iceberg`, `Trino`, `S3`) и разбор ошибок при переходе на `шардированный ClickHouse`. Рекомендую для подготовки к работе с современным стеком!"
"Вышла лаба от @rzvde про CDC конвейер из PostgreSQL через Debezium и Kafka…
Источник
https://t.me/halltape_data/911Канал Я – Дата Инженер | Евгений Виндюков · опубликовано 2 окт. 2026 г.
Из этого канала
- #917Чем отличается DROP DELETE и TRUNCATE? Ролик сделал с помощью нейронки. Не…
Чем отличается DROP DELETE и TRUNCATE? Ролик сделал с помощью нейронки. Не знаю, может стоит пока свой голос ставить или записывать.
- #918Заглянем внутрь современных инженерных платформ 14 октября Т-Банк приглашает на…
Заглянем внутрь современных инженерных платформ 14 октября Т-Банк приглашает на Platform Engineering Night — вечер для инженеров, которые создают платформы и…
- #919"ИИ всех уже заменил. Просто вы ещё не заметили Каждую неделю выходит новый ИИ.…
"ИИ всех уже заменил. Просто вы ещё не заметили Каждую неделю выходит новый ИИ. Естественно, читаешь новости об этом в разных пабликах ИЛИ особено в тредс -…
- #91010 вопросов по SQL для дата инженера https://www.threads.com/share/vojZtIpk/…
10 вопросов по SQL для дата инженера https://www.threads.com/share/vojZtIpk/ Этот пост набрал больше всего лайков или репостов в тредс Как думаете почему? И…
- #909Собес на 320к на руки на Дата Инженера! ▶️ https://youtu.be/lZKqJ978e1I Выложил…
Собес на 320к на руки на Дата Инженера! ▶️ https://youtu.be/lZKqJ978e1I Выложил собес. Все голоса я изменил. Никаких перс данных. Только вопросы с собеса.