i

Description

Écluse de canal vue de l'amont : l'eau passe par étapes, de bief en bief, sous le contrôle de portes.

Source

Poliphilo · page d’origine

Licence

CC0 Domaine public

Photo d’origine, non retouchée. L’arrière-plan en est une version stylisée par le site.

Couche données et ETL

Ce thème couvre tout ce qui amène la donnée jusqu'au modèle : vues ou tables sources, Power Query (langage M), requêtes natives, query folding, dataflows, rafraîchissement incrémental…

En bref

Ce thème couvre tout ce qui amène la donnée jusqu'au modèle : vues ou tables sources, Power Query (langage M), requêtes natives, query folding, dataflows, rafraîchissement incrémental, contrats de colonnes, rejeu et idempotence. Il s'arrête où commence la modélisation (MOD) et où commence le pipeline de données en amont (matrice PD).

Sur cette page

1. 1. Pourquoi ce thème
2. 2. Ce que mesure le thème
3. 3. Les 5 niveaux
4. 4. Jalons par niveau
5. 5. Lecture détaillée par niveau
   1. 🟢 Niveau 1 — Copié-collé
   2. 🟢 Niveau 2 — Vues sources
   3. 🟡 Niveau 3 — Replié et paramétré
   4. 🟡 Niveau 4 — Contractuel et rejouable
   5. 🔴 Niveau 5 — Incrémental outillé
6. 6. Atteinte partielle et notation
7. 7. Passer au niveau suivant
8. 8. Voir aussi

Niveau : 🟢→🔴 · Code thème : ETL

1. Pourquoi ce thème#

La logique de transformation placée dans le rapport (Power Query) est la plus chère à maintenir : invisible du DBA, non testée, recalculée à chaque rafraîchissement, souvent dupliquée d'un rapport à l'autre. La règle d'or des équipes mûres : transformer le plus en amont possible (vue SQL, table du datamart), le plus tard possible seulement ce qui est propre au rapport. Une étape M qui casse le query folding fait basculer un filtre de « poussé au serveur » à « tout charger puis filtrer en mémoire » : un rafraîchissement de 2 minutes devient 40.

2. Ce que mesure le thème#

• Axe : de la requête copiée-collée à une alimentation déclarative, repliée, incrémentale et contractualisée.
• Indicateurs clés : part des requêtes qui se replient (diagnostic M), nombre de sources utilisées sans vue dédiée, temps de rafraîchissement, taux d'échec, taux de rejeu réussi.
• Unités : % de requêtes repliées, minutes, nombre d'incidents/mois.

3. Les 5 niveaux#

4. Jalons par niveau#

5. Lecture détaillée par niveau#

🟢 Niveau 1 — Copié-collé#

• Signes : classeurs Excel sur un poste, requêtes dupliquées, identifiants personnels.
• Gain : démarrage immédiat. Ne garantit pas : la reprise, la fraîcheur, la sécurité.
• Difficulté : 1/5 · Effort : 1/5.

🟢 Niveau 2 — Vues sources#

• Signes : les rapports interrogent SELECT … FROM rpt.vFactVisite plutôt que les tables de l'application ; le DBA connaît les consommateurs.
• Gain : isolation entre schéma applicatif et rapport ; une évolution de table n'impacte pas le rapport si la vue absorbe le changement.
• Limite : pas encore de contrôle du folding.
• Difficulté : 2/5 · Effort : 2/5.

🟡 Niveau 3 — Replié et paramétré#

• Signes : les filtres, jointures, regroupements sont repliés vers SQL ; un diagnostic M est fait pour chaque table volumineuse ; l'incrémental sur date réduit le chargement.
• Gain : rafraîchissements courts et prévisibles ; mêmes sources sur dev/test/prod.

let
    Source   = Sql.Database(Serveur, Base),
    Faits    = Source{[Schema="rpt", Item="vFactVisite"]}[Data],
    Fenetre  = Table.SelectRows(Faits, each [Date] >= RangeStart and [Date] < RangeEnd)
in
    Fenetre

• Limite : fenêtre incrémentale rarement testée en rejeu.
• Difficulté : 3/5 · Effort : 3/5.

🟡 Niveau 4 — Contractuel et rejouable#

• Signes : un test compare le schéma attendu au schéma réel ; l'idempotence est démontrée (rejouer la fenêtre J−3 donne le même total). Les clés orphelines sont gérées par un membre « inconnu ».
• Gain : plus de rafraîchissement qui réussit en produisant des chiffres faux.
• Difficulté : 4/5 · Effort : 4/5.

🔴 Niveau 5 — Incrémental outillé#

• Signes : partitions pilotées par API/XMLA, reprise partielle automatique, lineage de la source jusqu'au visuel, surveillance de dérive.
• Gain : le coût d'alimentation croît moins vite que le volume.
• Limite : outillage à entretenir ; complexité d'exploitation (OPS).
• Difficulté : 5/5 · Effort : 5/5.

6. Atteinte partielle et notation#

Voir la règle commune. « Un 5 partiel » : partitions XMLA en place pour deux faits sur quatre (BI-ETL-5.1 = 0,5), alerte de dérive présente mais sans reprise automatique (5.2 = 1, 5.3 = 0) : le niveau 5 n'est pas acquis, mais la moyenne des jalons du niveau 5 (≈ 0,5) donne un score ≈ 4,5 si le niveau 4 est acquis.

7. Passer au niveau suivant#

Moyens possibles (facultatifs) :

Pièges :

• Faux positif : « tout est replié » mais sur une vue qui fait elle-même un scan complet de 300 M de lignes. Le goulot a changé de place.
• Goodhart : viser « 100 % de folding » conduit à exclure des transformations utiles ; juge sur le temps de rafraîchissement et la correction.
• Réécrire en M ce qui devrait être dans le datamart : dette cachée (voir PD — modélisation).

8. Voir aussi#

• Thèmes voisins : MOD · PRF · TST · OPS
• Autres matrices : PD — sources et contrats de données · PD — délais et DataOps · PD — qualité des données
• Contenus : SQL Server SaaS — vue d'ensemble · OneLake — difficultés et pièges · GDS et données SQL/BI · CI/CD pour la data

✻ Rédigé par Claude Sonnet 5.5