Matrice : Alimentation

Comment les données des systèmes sources entrent dans le produit : connaissance des sources, modes d'acquisition, capture des changements, contrats, évolution des schémas, sécurité, suivi.

≈ 12 min de lectureLecture

En bref

8 dimensions, niveaux 0 à 5, 112 critères.
Outil : état des lieux en choisissant « Alimentation ».
Niveaux et critères : synthèse originale, références citées en bas de page.

Sur cette page

Vue d'ensemble
Connaître et atteindre les sources
1. Inventaire des sources
2. Modes d'acquisition
Flux et fiabilité
Contrat et sécurité
Sources et vérification

Périmètre

L'arrivée des données : inventaire des sources, modes d'acquisition (fichier, requête, interface, capture de changements, flux), fenêtres d'extraction, contrat avec le fournisseur de données, évolution des schémas sources, accès sécurisés, suivi des arrivées. Ce qui est fait des données une fois arrivées relève des thèmes « Stockage » et « Traitements ».

8 dimensions, six niveaux (0 à 5) et 112 critères observables. Pour situer votre produit : ouvrir l'état des lieux de ce thème. Les règles de calcul sont ici.

Vue d'ensemble#

Chaque cellule est la signature du niveau pour la dimension.

Dimension	0 · Artisanal	1 · Local outillé	2 · Partagé	3 · Industrialisé	4 · Intégré et gouverné	5 · Autonome
Inventaire des sources	Sources connues de mémoire, par la personne qui les a branchées.	Liste des sources.	Fiche par source.	Inventaire tenu à jour.	Inventaire gouverné.	Inventaire alimenté automatiquement.
Modes d'acquisition	Fichiers reçus ou récupérés à la main.	Récupération planifiée.	Accès directs aux sources.	Mode choisi selon la source.	Sources hétérogènes unifiées.	Acquisition en continu.
Capture des changements à la source	Copie complète de la source à chaque fois.	Repérage par date.	Mécanisme de détection par source.	Capture fiable.	Capture complète et vérifiée.	Capture quasi continue.
Planification et fenêtres d'extraction	Extractions lancées quand cela arrange, parfois en pleine activité de la source.	Heures fixes.	Fenêtre convenue.	Fenêtre gérée.	Extractions cohérentes.	Extraction adaptative.
Contrats de données	Aucun accord : on prend ce qui arrive.	Attentes écrites.	Accord de livraison.	Contrat vérifié.	Contrat négocié et suivi.	Contrat exécutable.
Évolution des schémas sources	Un changement de structure est découvert par une erreur de traitement.	Changements constatés.	Changements détectés.	Changements absorbés.	Changements anticipés.	Changements pilotés.
Accès et sécurité des connexions	Connexions avec des comptes personnels ou à droits étendus, mots de passe dans les scripts.	Comptes dédiés.	Droits minimaux.	Connexions gérées.	Identités gérées.	Connexions surveillées.
Suivi des arrivées et fraîcheur	On constate l'absence de données quand un rapport est vide ou faux.	Contrôle manuel.	Arrivée enregistrée.	Fraîcheur mesurée.	Fraîcheur publiée.	Retards anticipés.

Lien avec le modèle global

Dimensions du modèle global les plus concernées : Sources et flux de données, Qualité des données, Sécurité et conformité et Support et observabilité.

Connaître et atteindre les sources#

Inventaire des sources#

Sait-on quelles sources alimentent le produit, d'où elles viennent et qui en répond ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Sources connues de mémoire, par la personne qui les a branchées.	Point de départ : aucun critère.
1 · Local outillé	Liste des sources.	Les sources de données sont listées dans un document. Chaque source a un nom et un système d'origine.
2 · Partagé	Fiche par source.	Chaque source a une fiche : contenu, volume, fréquence, mode d'accès. Chaque source a un responsable côté fournisseur et côté produit. La liste est revue lors de chaque ajout ou retrait de source.
3 · Industrialisé	Inventaire tenu à jour.	L'inventaire est tenu dans un outil partagé, pas dans un document isolé. Chaque source est reliée aux tables et aux rapports qu'elle alimente. Les sources inactives sont repérées et traitées (retrait ou justification).
4 · Intégré et gouverné	Inventaire gouverné.	Chaque source est classée (sensibilité, criticité, données personnelles). L'impact d'une indisponibilité ou d'un changement de source est connu avant qu'il se produise. Un nouvel accès à une source passe par un circuit de demande et de validation.
5 · Autonome	Inventaire alimenté automatiquement.	Les sources et leurs structures sont découvertes et inventoriées automatiquement. Un écart entre l'inventaire et la réalité (source non déclarée, source disparue) est détecté automatiquement. La criticité de chaque source se calcule à partir de son usage réel.

Effet sur l'utilisateur

Une question sur l'origine d'un chiffre trouve sa réponse en quelques minutes, pas en quelques jours.

Modes d'acquisition#

Par quels moyens les données arrivent-elles, et sont-ils adaptés à chaque source ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Fichiers reçus ou récupérés à la main.	Point de départ : aucun critère.
1 · Local outillé	Récupération planifiée.	La récupération des fichiers est planifiée et non manuelle. Le format et l'emplacement attendus de chaque fichier sont définis.
2 · Partagé	Accès directs aux sources.	Les sources de bases de données sont interrogées directement par une connexion dédiée. Les interfaces (API) des applications sont utilisées quand elles existent. Chaque mode d'acquisition est documenté avec ses limites (volume, débit, fenêtre).
3 · Industrialisé	Mode choisi selon la source.	Le mode d'acquisition est choisi selon le volume et la fraîcheur voulue, par une règle écrite. L'impact de l'extraction sur le système source est mesuré et accepté par son responsable. Les connecteurs sont standard et réutilisés plutôt que réécrits pour chaque source.
4 · Intégré et gouverné	Sources hétérogènes unifiées.	Des sources de natures différentes (bases, fichiers, interfaces, flux) arrivent par un même cadre d'acquisition. Ajouter une source de type connu demande une description, pas du code nouveau. Les sources externes à l'organisation suivent des règles spécifiques (échange sécurisé, accusé de réception).
5 · Autonome	Acquisition en continu.	Les sources qui le justifient alimentent le produit en flux continu. Le mode d'acquisition s'adapte à la disponibilité de la source (reprise automatique, bascule). Le coût et le délai de chaque mode sont suivis et comparés pour décider.

Effet sur l'utilisateur

Chaque source est atteinte par le moyen le plus fiable, sans bricolage propre à une personne.

Flux et fiabilité#

Capture des changements à la source#

Peut-on savoir ce qui a changé dans la source depuis la dernière fois ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Copie complète de la source à chaque fois.	Point de départ : aucun critère.
1 · Local outillé	Repérage par date.	Les lignes modifiées sont repérées par une date de modification, quand la source la fournit. Les sources sans date de modification sont identifiées.
2 · Partagé	Mécanisme de détection par source.	Un mécanisme de détection est choisi pour chaque source (date, version, empreinte, journal). Les suppressions de la source sont détectées ou, à défaut, identifiées comme un manque. Un rechargement complet reste possible pour vérification.
3 · Industrialisé	Capture fiable.	Une capture de changements native (journal de transactions, suivi des modifications) est utilisée quand la source la propose. La période couverte par les changements disponibles est connue, et une période manquante est détectée. La charge ajoutée sur la source par la capture est mesurée.
4 · Intégré et gouverné	Capture complète et vérifiée.	Les insertions, modifications et suppressions sont toutes reprises dans le produit. Un contrôle compare régulièrement le contenu du produit à celui de la source. Les changements de structure de la source sont capturés avec les changements de données.
5 · Autonome	Capture quasi continue.	Les changements arrivent dans le produit avec un délai mesuré et garanti. Un retard de capture est détecté et signalé automatiquement. Le délai de bout en bout, de la source au rapport, est publié.

Effet sur l'utilisateur

On ne recopie que ce qui a changé : les données sont fraîches et la source n'est pas pénalisée.

Planification et fenêtres d'extraction#

Quand extrait-on, et cela gêne-t-il les utilisateurs de la source ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Extractions lancées quand cela arrange, parfois en pleine activité de la source.	Point de départ : aucun critère.
1 · Local outillé	Heures fixes.	Les extractions ont des heures fixes. Les heures évitent les pics d'activité connus de la source.
2 · Partagé	Fenêtre convenue.	Une fenêtre d'extraction est convenue avec le responsable de chaque source. Les jours de clôture et les arrêts planifiés de la source sont pris en compte. Une extraction qui dépasse sa fenêtre est signalée.
3 · Industrialisé	Fenêtre gérée.	La durée des extractions est suivie et comparée à la fenêtre convenue. Les extractions de sources liées sont coordonnées (même instant de référence). Une indisponibilité de la source est gérée par une reprise planifiée.
4 · Intégré et gouverné	Extractions cohérentes.	Les données de plusieurs sources sont extraites à des instants cohérents entre eux. La charge sur les sources est répartie, et un plafond est défini. Le calendrier des sources (clôtures, migrations, arrêts) alimente automatiquement la planification.
5 · Autonome	Extraction adaptative.	Le lancement s'adapte à l'activité de la source (extraction en période creuse détectée). Un changement d'habitude de la source est détecté et propose un ajustement. Les fenêtres sont revues régulièrement à partir de leur historique.

Effet sur l'utilisateur

Les extractions ne perturbent ni la source ni les utilisateurs, et les données arrivent quand on les attend.

Suivi des arrivées et fraîcheur#

Sait-on, source par source, si les données sont arrivées et si elles sont à jour ?

Niveau	Signature	Critères à réunir
0 · Artisanal	On constate l'absence de données quand un rapport est vide ou faux.	Point de départ : aucun critère.
1 · Local outillé	Contrôle manuel.	L'arrivée des données est vérifiée à la main après chaque chargement important. La date des dernières données reçues est connue.
2 · Partagé	Arrivée enregistrée.	Chaque arrivée est enregistrée avec sa date, sa source et son volume. Une absence de livraison à l'heure attendue déclenche une alerte. Une livraison vide ou anormalement petite est signalée.
3 · Industrialisé	Fraîcheur mesurée.	La fraîcheur de chaque source est calculée par rapport à son rythme attendu. Un seuil de retard est défini pour chaque source, avec un responsable de la relance. Un retard d'une source est répercuté sur les traitements qui en dépendent.
4 · Intégré et gouverné	Fraîcheur publiée.	La fraîcheur de chaque jeu de données est visible des utilisateurs. Les retards sont suivis dans le temps, par fournisseur. Les engagements de livraison sont rappelés aux fournisseurs avec leurs écarts.
5 · Autonome	Retards anticipés.	Un retard probable est annoncé à partir des habitudes de livraison. Les utilisateurs concernés sont prévenus automatiquement d'un retard de données. Les retards récurrents d'une source déclenchent une action avec son fournisseur.

Effet sur l'utilisateur

Un retard ou une absence de données est connu avant que les utilisateurs ne le constatent.

Contrat et sécurité#

Contrats de données#

Le fournisseur et le consommateur ont-ils convenu de ce qui est livré, quand et avec quelle qualité ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Aucun accord : on prend ce qui arrive.	Point de départ : aucun critère.
1 · Local outillé	Attentes écrites.	Ce qu'on attend de chaque source (contenu, format, fréquence) est écrit. Un interlocuteur est connu côté fournisseur.
2 · Partagé	Accord de livraison.	La structure attendue (colonnes, types, clés) de chaque livraison est décrite. La fréquence et l'heure limite de livraison sont convenues. Un écart à l'accord est signalé au fournisseur par un circuit défini.
3 · Industrialisé	Contrat vérifié.	Un contrat de données décrit structure, règles de qualité, délais et responsables. Chaque livraison est vérifiée automatiquement par rapport au contrat. Le contrat est versionné et daté.
4 · Intégré et gouverné	Contrat négocié et suivi.	Un changement de contrat suit une procédure avec préavis et validation des consommateurs. Le respect du contrat est mesuré et partagé avec le fournisseur. Le contrat précise aussi la sécurité et la sensibilité des données.
5 · Autonome	Contrat exécutable.	Le contrat est une définition lisible par une machine, appliquée par les traitements. Une livraison non conforme est isolée automatiquement, sans bloquer les autres. Les contrats sont publiés dans un catalogue consultable par les consommateurs.

Effet sur l'utilisateur

Une livraison non conforme est un écart au contrat, qu'on constate et qu'on traite, pas une surprise.

Évolution des schémas sources#

Que devient le produit quand une source change de structure ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Un changement de structure est découvert par une erreur de traitement.	Point de départ : aucun critère.
1 · Local outillé	Changements constatés.	Un changement de structure d'une source est constaté au chargement suivant. La correction est faite à la main, au cas par cas.
2 · Partagé	Changements détectés.	La structure attendue est comparée à la structure reçue à chaque chargement. Un écart de structure bloque le chargement ou le met en quarantaine, avec un message clair. Les ajouts de colonnes sont distingués des suppressions et des changements de type.
3 · Industrialisé	Changements absorbés.	Une nouvelle colonne n'interrompt pas le chargement des colonnes attendues. Les colonnes inattendues sont conservées dans la couche brute. Les changements de structure sont consignés avec leur date.
4 · Intégré et gouverné	Changements anticipés.	Les fournisseurs préviennent des changements, et un calendrier les recense. L'impact d'un changement de source sur les tables et les rapports est connu avant son application. Les deux structures, ancienne et nouvelle, peuvent être traitées pendant une période de transition.
5 · Autonome	Changements pilotés.	Une adaptation courante de structure se propage automatiquement dans les couches du produit. Un changement non déclaré est détecté et signalé avant le prochain chargement. Les changements passés alimentent une mesure de stabilité de chaque source.

Effet sur l'utilisateur

Un changement chez le fournisseur est détecté avant qu'il ne casse un rapport.

Accès et sécurité des connexions#

Comment le produit se connecte-t-il aux sources, avec quels droits et quelle protection ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Connexions avec des comptes personnels ou à droits étendus, mots de passe dans les scripts.	Point de départ : aucun critère.
1 · Local outillé	Comptes dédiés.	Chaque connexion utilise un compte dédié au produit, et non un compte de personne. La liste des comptes de connexion est tenue.
2 · Partagé	Droits minimaux.	Les comptes de connexion n'ont que des droits de lecture, limités aux objets nécessaires. Les mots de passe et les clés sont conservés hors des scripts et des fichiers de configuration versionnés. Les échanges avec les sources sont chiffrés.
3 · Industrialisé	Connexions gérées.	Les secrets sont conservés dans un coffre, avec un accès journalisé. Les secrets sont renouvelés à intervalle défini, sans interruption de service. La connexion aux sources internes passe par un réseau privé ou une liste d'adresses autorisées.
4 · Intégré et gouverné	Identités gérées.	Les connexions utilisent des identités gérées, sans secret stocké, quand la source le permet. Les droits de chaque connexion sont revus à intervalle régulier. Les accès aux sources sensibles sont journalisés et contrôlés.
5 · Autonome	Connexions surveillées.	Une utilisation anormale d'une connexion (volume, heure, origine) est détectée automatiquement. Les droits excessifs ou inutilisés sont détectés et proposés au retrait. Un secret compromis peut être remplacé automatiquement partout où il sert.

Effet sur l'utilisateur

Le produit ne lit que ce dont il a besoin, et la compromission d'une connexion reste limitée.

Origine des critères

Les dimensions s'inspirent des références citées ci-dessous ; les niveaux et les critères sont une synthèse originale, pas une reprise d'un référentiel. Ils sont proposés pour être discutés et adaptés, pas pour faire foi.

Sources et vérification#

Kimball Group — ETL Architecture's 34 Subsystems — trois sous-systèmes d'extraction parmi trente-quatre, répartis en extraire, transformer, charger et gérer
Microsoft Learn — What is change data capture (CDC)? (SQL Server) — capture des insertions, modifications et suppressions à partir du journal de transactions ; fenêtre de validité et nettoyage des changements ; gestion des changements de structure de la source
Bitol — Open Data Contract Standard (ODCS) — un contrat de données est un accord entre producteur et consommateurs : structure, qualité, niveaux de service, responsables, sécurité
Microsoft Learn — What is the medallion lakehouse architecture? (Azure Databricks) — couche brute : état d'origine conservé, ajout incrémental, minimum de validation ; ne pas écrire dans la couche validée directement depuis l'ingestion
DAMA International — DAMA-DMBOK2 — le domaine « Data Integration and Interoperability » ; référentiel payant, donc non relu ligne à ligne