"Про качество данных В конце прошлого года я зачитывалась книжками. И в одной из них мне понравилось выражение, что данные - это ""тихий убийца"". Мы можем даже не понимать, что они некачественные, но в какой-то момент это выстрелит. 😭 Был кейс, когда одна команда сделала финансовую отчетность на основе некорректных данных и направила куда-то выше. В этой отчетности цифры были сильно меньше, чем потратили. И встал вопрос - а куда делись все остальные средства? Так что это может довести до серьезных последствий. ❤️🩹 А вообще качество данных - это очень хрупкая вещь. Где может пойти не так? ▶️при выгрузке из источника (поставили лишний фильтр) ▶️при передаче между системами (все задублировалось, потеряли куски информации) ▶️при интеграции нескольких источников (не на все данные прописаны правила сопоставления) ▶️при анализе (неправильно посчитали) А это очень милая и грустная аномалия в контексте целостности данных: ▶️сироты - когда внешние ключи никуда не ведут Каждый, кто прикасается к данным, способен повлиять на их качество. Обеспечение качества данных — предмет заботы всей организации, а не только команды качества данных или ИТ. Руководство данными нужно для того, чтобы «делать правильные вещи» (Doing the right things), а управление данными — для того, чтобы «делать вещи правильно» (Doing things right) #data_dmbok #fundamentals_of_de"
"Про качество данных В конце прошлого года я зачитывалась книжками. И в одной…
Из этого канала
- #305Полезности про Spark 1️⃣Я периодически посматриваю доклады с хайлоада. Один из…
Полезности про Spark 1️⃣Я периодически посматриваю доклады с хайлоада. Один из крутых - «Оптимизация Spark-приложений от простого к сложному. С примерами».
- #309"Теперь я lamodian☺️ Начинаю эту весну с изменений в своей жизни - теперь я…
"Теперь я lamodian☺️ Начинаю эту весну с изменений в своей жизни - теперь я буду дата инженерить в Lamoda Tech🙂 👔 В пн был мой первый рабочий день - провели…
- #316Песочница для DE Один крутой чел создал песочницу с де-инструментами. Из…
Песочница для DE Один крутой чел создал песочницу с де-инструментами. Из прикольного там есть Zookeeper, MinIO, Iceberg, MariaDB и даже Grafana.
- #303"А вы знали, что в питоне так можно? Собрала несколько кейсов, о которых вы…
"А вы знали, что в питоне так можно? Собрала несколько кейсов, о которых вы могли даже не подозревать: 1️⃣ Имя функции - это переменная, и этому имени мы можем…
- #300Посмотрела вчерашний митап, вот еще картиночки архитектур По сути это…
Посмотрела вчерашний митап, вот еще картиночки архитектур По сути это классическое двх, data lake и data lakehouse Но вам не кажется, что кх поверх гринплам -…