Data Vault, Snowflake et couches bronze, argent, or : ce que je retiens
Hubs, links et satellites, ce que Snowflake apporte, et comment Data Vault s'emboîte dans l'architecture en couches bronze, argent et or.
Un data warehouse, ce n'est pas « une grosse base avec des rapports dessus ». C'est surtout une question : comment garder l'historique de tout, venant de sources qui changent tout le temps, sans tout casser à chaque changement ? Data Vault répond côté modélisation, Snowflake côté moteur, et les couches bronze, argent et or côté organisation. Voici ce que j'en retiens.
Data Vault en trois mots : hub, link, satellite
Data Vault découpe chaque sujet métier en trois types de tables. On dirait de l'astronomie, c'est de la modélisation.
| Table | Ce qu'elle contient | Exemple |
|---|---|---|
| Hub | La clé métier, et rien d'autre : une ligne par client, par commande, par produit | hub_customer (numéro client) |
| Link | Une relation entre deux hubs ou plus | link_order_customer (telle commande appartient à tel client) |
| Satellite | Les attributs descriptifs et leur historique | sat_customer_details (nom, adresse, segment… avec la date de chaque version) |
Les règles qui font tenir l'ensemble :
- On n'écrit qu'en insertion. Jamais d'
UPDATE, jamais deDELETE: une modification dans la source devient une nouvelle ligne dans le satellite. L'historique est complet par construction. - Chaque ligne dit d'où elle vient et quand elle est arrivée : une date de chargement (
load_dts) et une source (record_source). - Les clés sont des hash de la clé métier (Data Vault 2.0). Hub, link et satellite peuvent donc se charger en parallèle, sans attendre une séquence.
- Un satellite compare un hash de ses attributs (
hashdiff) pour savoir si quelque chose a changé. Pas de changement, pas de nouvelle ligne.
Une nouvelle source ou un nouvel attribut ? On ajoute un satellite à côté. Rien d'existant ne bouge. C'est tout l'intérêt : le modèle grandit sans refonte.
-- Exemple générique (syntaxe Snowflake)
CREATE TABLE hub_customer (
hk_customer BINARY(16) NOT NULL, -- MD5 de la clé métier
customer_no VARCHAR NOT NULL, -- clé métier
load_dts TIMESTAMP_NTZ NOT NULL,
record_source VARCHAR NOT NULL,
CONSTRAINT pk_hub_customer PRIMARY KEY (hk_customer)
);
CREATE TABLE sat_customer_details (
hk_customer BINARY(16) NOT NULL,
load_dts TIMESTAMP_NTZ NOT NULL,
hashdiff BINARY(16) NOT NULL, -- MD5 des attributs ci-dessous
customer_name VARCHAR,
segment VARCHAR,
record_source VARCHAR NOT NULL,
CONSTRAINT pk_sat_customer_details PRIMARY KEY (hk_customer, load_dts)
);
Dans Snowflake, PRIMARY KEY est documentaire : la contrainte n'est pas appliquée. C'est le chargement qui doit garantir l'unicité.
Le revers : personne ne veut écrire un rapport sur des hubs et des satellites. Il faut, au-dessus, des marts en étoile (faits et dimensions), souvent aidés par des tables PIT (point in time) et bridge pour que les requêtes restent rapides. Data Vault, c'est la cave à vin bien rangée, pas le verre qu'on sert.
Snowflake : pourquoi ça colle bien
- Le stockage et le calcul sont séparés. Les « virtual warehouses » sont des groupes de calcul qu'on démarre, agrandit ou arrête à la demande. Le chargement du soir et les rapports du matin ne se marchent pas dessus.
- Suspension automatique. Un warehouse inactif s'arrête tout seul ; on ne paie que quand il calcule. À régler soigneusement, sinon c'est la facture qui fait du data mining sur vous.
- Time Travel. On peut relire une table telle qu'elle était il y a quelques heures ou jours (selon la durée de rétention configurée). Pratique après un chargement raté.
- Clonage zéro copie. Un clone d'une base ou d'une table est instantané et ne duplique pas les données au départ. Parfait pour tester un nouveau chargement sur une copie de la prod.
- L'écriture en insertion seule de Data Vault s'accorde bien avec le stockage de Snowflake, qui préfère les ajouts aux mises à jour ligne par ligne.
Bronze, argent, or : où met-on quoi ?
L'architecture en couches (dite « médaillon ») range les données par niveau de qualité :
| Couche | Contenu | Règle |
|---|---|---|
| Bronze | Les données brutes, telles que la source les envoie | On ne touche à rien. C'est la preuve de ce qui est arrivé |
| Argent | Les données nettoyées, dédoublonnées, typées, intégrées | Une seule version propre de chaque chose |
| Or | Les données prêtes à servir : modèles en étoile, agrégats | Pensé pour le rapport ou l'application qui les lit |
Data Vault et médaillon ne se font pas concurrence, ils s'emboîtent :
sources ──> bronze (brut, staging) ──> argent (Data Vault : hubs, links, satellites) ──> or (marts en étoile)
Comme un bon café : le grain brut, puis torréfié, puis dans la tasse. Ou un Pepsi Max : la canette, le frigo, le verre.
Ce que je retiens
- Garder le brut. Tant que la couche bronze existe, on peut tout recalculer. Le jour où on la supprime « pour gagner de la place », on le regrette.
- Ne jamais modifier l'historique. Une erreur se corrige par une nouvelle ligne, pas par un
UPDATEdiscret. - Du code, pas des clics. Les chargements sont des scripts versionnés (SQL, Python, Spark). Un modèle Data Vault est très répétitif : il se génère à partir de métadonnées bien mieux qu'il ne s'écrit à la main.
- Le modèle sert le métier. Data Vault n'est pas une fin en soi : si personne ne lit la couche or, la plus belle cave du monde ne sert à rien.