Котятки🐱 Я по качеству данных всегда иду простым путем - создание DQ-policy as a layer и ставлю какую-то отдельностоящую коробочку или изолированное решение: в любимках у меня Great Expectations как ядро всяких DQ-коробочек, но кто что любит, тут вкусовщина: https://www.kdnuggets.com/5-python-data-validation-libraries-you-should-be-using В этом сезоне у меня сошлись в команде три парадигмы, и команда тоже разделилась на три части: -одна топит за уменьшение скорости вставки данных и работу с целостностью на уровне ключей там, где у нас слой datamarts, типа так: https://chat2db.ai/resources/blog/primary-and-foreign-keys -вторая - моя, но я в одиночестве и без адептов) Централизация функции качества данных почти всегда ведет к росту затрат, увы. -третья перешла в религию пооперационной истины (о чем я писала выше) и предложила вставить шаблоны DQ прямо в пайплайны как обязательные элементы. Динамические скрипты подъехали незаметно, что их)) Сижу на развилке, дальше все интереснее и интереснее. Из новенького: открыла для себя портал Data Quality Pro, у них концептуальный блог, не гайдлайны, но тоже занимательно: https://www.dataqualitypro.com