LLI Wiki — My Digital Knowledge Base

Data Vault, Snowflake et couches bronze, argent, or : ce que je retiens

Hubs, links et satellites, ce que Snowflake apporte, et comment Data Vault s'emboîte dans l'architecture en couches bronze, argent et or.

Un data warehouse, ce n'est pas « une grosse base avec des rapports dessus ». C'est surtout une question : comment garder l'historique de tout, venant de sources qui changent tout le temps, sans tout casser à chaque changement ? Data Vault répond côté modélisation, Snowflake côté moteur, et les couches bronze, argent et or côté organisation. Voici ce que j'en retiens.

Data Vault découpe chaque sujet métier en trois types de tables. On dirait de l'astronomie, c'est de la modélisation.

Table Ce qu'elle contient Exemple
Hub La clé métier, et rien d'autre : une ligne par client, par commande, par produit hub_customer (numéro client)
Link Une relation entre deux hubs ou plus link_order_customer (telle commande appartient à tel client)
Satellite Les attributs descriptifs et leur historique sat_customer_details (nom, adresse, segment… avec la date de chaque version)

Les règles qui font tenir l'ensemble :

Une nouvelle source ou un nouvel attribut ? On ajoute un satellite à côté. Rien d'existant ne bouge. C'est tout l'intérêt : le modèle grandit sans refonte.

-- Exemple générique (syntaxe Snowflake)
CREATE TABLE hub_customer (
    hk_customer    BINARY(16)    NOT NULL,   -- MD5 de la clé métier
    customer_no    VARCHAR       NOT NULL,   -- clé métier
    load_dts       TIMESTAMP_NTZ NOT NULL,
    record_source  VARCHAR       NOT NULL,
    CONSTRAINT pk_hub_customer PRIMARY KEY (hk_customer)
);

CREATE TABLE sat_customer_details (
    hk_customer    BINARY(16)    NOT NULL,
    load_dts       TIMESTAMP_NTZ NOT NULL,
    hashdiff       BINARY(16)    NOT NULL,   -- MD5 des attributs ci-dessous
    customer_name  VARCHAR,
    segment        VARCHAR,
    record_source  VARCHAR       NOT NULL,
    CONSTRAINT pk_sat_customer_details PRIMARY KEY (hk_customer, load_dts)
);

Dans Snowflake, PRIMARY KEY est documentaire : la contrainte n'est pas appliquée. C'est le chargement qui doit garantir l'unicité.

Le revers : personne ne veut écrire un rapport sur des hubs et des satellites. Il faut, au-dessus, des marts en étoile (faits et dimensions), souvent aidés par des tables PIT (point in time) et bridge pour que les requêtes restent rapides. Data Vault, c'est la cave à vin bien rangée, pas le verre qu'on sert.

Snowflake : pourquoi ça colle bien

Bronze, argent, or : où met-on quoi ?

L'architecture en couches (dite « médaillon ») range les données par niveau de qualité :

Couche Contenu Règle
Bronze Les données brutes, telles que la source les envoie On ne touche à rien. C'est la preuve de ce qui est arrivé
Argent Les données nettoyées, dédoublonnées, typées, intégrées Une seule version propre de chaque chose
Or Les données prêtes à servir : modèles en étoile, agrégats Pensé pour le rapport ou l'application qui les lit

Data Vault et médaillon ne se font pas concurrence, ils s'emboîtent :

sources ──> bronze (brut, staging) ──> argent (Data Vault : hubs, links, satellites) ──> or (marts en étoile)

Comme un bon café : le grain brut, puis torréfié, puis dans la tasse. Ou un Pepsi Max : la canette, le frigo, le verre.

Ce que je retiens

Mastodon LLIMastodon SocialFosstodon