Давно не слышали про data mesh? Его уже раз пять похоронили. Проблема в том, что проблема, которую он решает, хоронить себя не дала. Horse Powertrain - бывшее подразделение Volvo Cars. Делают двигатели и трансмиссии. Когда отделились от материнской компании, потеряли доступ к централизованной аналитике. Просто отрезали. И вместо того чтобы воспроизводить ту же централизованную модель с нуля, пошли в data mesh. Почему этот кейс интереснее очередного доклада из FAANG: это промышленное производство. CAD-системы, тестирование двигателей, ERP, aftermarket. Сотни источников данных, половина из которых - коммерческий софт с вендорным замком. Не самая благодарная среда для архитектурных экспериментов. Что сделали по факту. Взяли Azure Databricks, нарезали на изолированные workspace-ы по бизнес-доменам. Каждый workspace - автономная единица. Свой админ, свои данные, свои правила доступа через Unity Catalog. Новый workspace разворачивается через CLI и GitHub Actions за 10–15 минут. Без участия платформенной команды. Data products сделали трёхуровневыми: сырые данные в третьей нормальной форме (для ML и feature store), технические продукты с денормализацией и понятными именами, и бизнес-продукты - плоские таблицы, которые можно подключить к BI без посредников. На каждом уровне CI-проверки: нет описания колонки - не пройдёшь. Но самое интересное не в технологии. Внедрение шло через инкубационную модель: платформенная команда заходила в продуктовую на 1–2 спринта, строила POC, обучала людей, потом уходила. А давление на adoption шло не через разработчиков, а через OKR менеджмента. Конкретное: «перевести 5 Excel-отчётов на платформу в этом квартале». Не «изучить Databricks», а «перестать тратить 30 часов на один Excel». Data mesh хоронят те, кто думал, что это про архитектурную диаграмму. А он про ownership, про то, кто отвечает за данные и кто принимает решения о доступе. Технология — просто рельсы. Без менеджерского buy-in и оргструктуры, которая даёт командам реальный контроль, никакой mesh не взлетит. С ними — вполне себе летает. Даже на заводе по производству двигателей. https://www.infoq.com/presentations/data-mesh-horse-powertrain
Давно не слышали про data mesh? Его уже раз пять похоронили. Проблема в том,…
Из этого канала
- #2807"Для тех кому интресно что ""под капотом"" у Claude Code"
"Для тех кому интресно что ""под капотом"" у Claude Code"
- #2808Не пропускаем :)
Не пропускаем :)
- #2809VTORNIK.Вечер #7 28 апреля, с 19:00 до 21:00 мы рады вас пригласить на наш…
VTORNIK.Вечер #7 28 апреля, с 19:00 до 21:00 мы рады вас пригласить на наш новый митап. Он пройдет как обычно офлайн.
- #2805Дайджест статей 📰 Microsoft Fabric AI Functions for Data Engineers (по…
Дайджест статей 📰 Microsoft Fabric AI Functions for Data Engineers (по метаданным) 🔗…
- #2804Хороший пример того, что для меня является эталоном инженерного решения -…
Хороший пример того, что для меня является эталоном инженерного решения - просто горизонтальная линия на борту корабля.