Data Vault за один вечер Решила я тут погрузиться в дата волт на практике. Нашла интересный проект — AutomateDV (бывший dbtvault) У них есть демо-проект, в котором создаются разные сущности, несколько видосов с объяснениями и небольшая, но очень детальная дока 💻 Поставила себе по инструкции dbt-core, dbt-postgres: ``` python -m pip install dbt-core dbt-postgres ``` Подключила AutomateDV — это просто пакет в dbt-проекте, задается в packages.yml: ``` dbt deps ``` Подняла постгрю в докере, настроила коннекшены, создала проект: ``` dbt init``` Сгенерила данные из датасета TPC-H и положила их в volume: ``` pip install tpchgen-cli mkdir data tpchgen-cli -s 1 -f csv -o ./data``` Создала таблицы и загрузила в них данные: ``` COPY region FROM '/var/lib/postgresql/data/data/region.csv' DELIMITER ',' CSV HEADER;``` 🐾 Поначалу я смотрела видосы и делала все ручками. Потом забила и чисто запускала модельки, смотрела, что получается. Фреймворк автоматизирует создание дата волта. Во-первых, для стейджинга можно использовать такие поля: derived_columns - новые поля hashed_columns - поля для хэширования Тут мы добавили поле как алиас другого, поле с константной строкой, сделали хэш из 2х первичный ключей: ``` {%- set yaml_metadata -%} source_model: 'raw_orders' derived_columns: CUSTOMER_KEY: 'CUSTOMERKEY' RECORD_SOURCE: '!TPCH-ORDERS' hashed_columns: ORDER_CUSTOMER_PK: - 'CUSTOMER_KEY' - 'ORDERKEY' ...``` Во-вторых, создание самих сущностей происходит с помощью удобных макросов: ``` automate_dv.stage() automate_dv.hub() automate_dv.sat() automate_dv.link() automate_dv.pit() ...``` Все модельки можно позапускать, а потом сгенерить доку по проекту: ``` dbt run -s +v_stg_orders dbt run -s hub_customer dbt docs generate dbt docs serve ``` 😅 Но саааамое прикольное — это после компиляции моделек зайти в папку target/ и посмотреть, что там нагенерилось. И еще сходить в исходный код самого пакета в dbt_packages/ А нагенерилось там вот такое: ``` —хэширование нескольких полей DECODE(MD5(NULLIF(CONCAT_WS('||', COALESCE(NULLIF(UPPER(TRIM(CAST(CUSTOMER_KEY AS VARCHAR))), ''), '^^'), COALESCE(NULLIF(UPPER(TRIM(CAST(ORDERKEY AS VARCHAR))), ''), '^^') ), '^^||^^')), 'hex') AS ORDER_CUSTOMER_PK, —отбор по rn для инсерта в линки ROW_NUMBER() OVER( PARTITION BY rr.ORDER_CUSTOMER_PK ORDER BY rr.LOAD_DATE ) AS row_number —отбор уникальных значений в сателлит по хешу WHERE b.INVENTORY_HASHDIFF != b.prev_hashdiff ``` В общем, интересно поковыряться, как они придумали, и вдохновиться, если у вас сложнее/что-то забыли учесть/еще не реализовали @data_engineerette