clement13.net
Photo d’origine : Un entrepôt
Description
Un entrepôt
Source
Casey Deshong · page d’origine
Licence
PD Domaine public
Photo d’origine, non retouchée. L’arrière-plan en est une version stylisée par le site.

Matrice : Stockage

Où et comment les données du produit sont rangées, modélisées, historisées, protégées, conservées puis retirées.

≈ 14 min de lectureLecture
Périmètre

Ce qui concerne la conservation des données du produit : emplacements et couches, modèle de tables, historique, sauvegarde, durée de conservation, sécurité du stockage, performance physique et coût. Les flux qui alimentent le stockage relèvent du thème « Alimentation », ceux qui le transforment du thème « Traitements ».

8 dimensions, six niveaux (0 à 5) et 110 critères observables. Pour situer votre produit : ouvrir l'état des lieux de ce thème. Les règles de calcul sont ici.

Vue d'ensemble#

Chaque cellule est la signature du niveau pour la dimension.

Dimension0 · Artisanal1 · Local outillé2 · Partagé3 · Industrialisé4 · Intégré et gouverné5 · Autonome
Organisation en couchesDonnées déposées en vrac dans des fichiers ou une base unique, sans distinction entre brut et exploitable.Un emplacement par source.Séparation du brut et de l'exploitable.Couches formalisées : brut, validé, prêt à l'emploi.Couches par domaine métier, sous la responsabilité de propriétaires.Couches pilotées par des définitions versionnées et surveillées automatiquement.
Modèle et intégritéTables recopiées des systèmes sources, sans modèle propre.Tables identifiées et nommées.Séparation des faits et des axes d'analyse.Relations déclarées et intégrité contrôlée.Modèle documenté, évolutions revues.Modèle évolutif sans rupture, contrôles bloquants.
Historisation et traçabilitéSeule la dernière valeur est conservée ; la précédente est écrasée.Copies datées de temps à autre.Dates et source portées par les lignes.Historique des dimensions et chargements atomiques.Rejeu et provenance.Historique interrogeable et expliqué automatiquement.
Rétention et cycle de vieTout est conservé indéfiniment, ou supprimé au hasard.Données inutiles repérées.Durées écrites par famille de données.Durées justifiées et purges tracées.Archivage, minimisation et effacement répercuté.Politique appliquée et contrôlée automatiquement.
Sauvegarde et restaurationAucune sauvegarde propre : on compte sur le stockage lui-même.Sauvegarde complète, à la main ou planifiée.Sauvegardes automatiques et surveillées, restauration décrite.Objectifs de reprise fixés et restauration testée.Restauration à un instant donné, copies protégées.Reprise exercée et automatisée.
Sécurité du stockageComptes partagés ou accès sans contrôle aux emplacements de stockage.Comptes nominatifs.Droits par groupe, chiffrement au repos, secrets protégés.Droits revus, accès journalisés, réseau restreint.Données classées, protégées selon leur classe.Détection et contrôle automatiques.
Performance physiqueTables sans index ni réflexion sur le rangement physique.Index sur les clés.Index choisis d'après les requêtes réelles.Stockage adapté à l'usage, maintenance planifiée.Agrégats et tests de charge.Optimisation guidée par l'usage mesuré.
Capacité et coûtTaille du stockage inconnue ; on le découvre à la saturation.Espace libre surveillé à la main.Volumétrie mesurée, alerte avant saturation.Croissance prévue, coût connu, niveaux de stockage.Coûts imputés, données froides déplacées.Dimensionnement et anomalies de coût automatiques.
Lien avec le modèle global

Les dimensions du modèle global les plus concernées sont Sources et flux de données, Qualité des données, Sécurité et conformité et Disponibilité et performance ; ce thème en détaille le versant stockage.

Organisation et modèle#

Organisation en couches#

Les données brutes, validées et prêtes à l'emploi sont-elles distinguées, et qui peut lire quoi ?

NiveauSignatureCritères à réunir
0 · ArtisanalDonnées déposées en vrac dans des fichiers ou une base unique, sans distinction entre brut et exploitable.Point de départ : aucun critère.
1 · Local outilléUn emplacement par source.
  • Chaque source de données a un emplacement dédié et nommé.
  • Les données reçues sont conservées telles quelles avant toute transformation.
2 · PartagéSéparation du brut et de l'exploitable.
  • Une zone brute est distincte de la zone exploitée par les rapports.
  • Les données brutes ne sont pas modifiées après leur dépôt.
  • Les rapports ne lisent que la zone exploitable.
3 · IndustrialiséCouches formalisées : brut, validé, prêt à l'emploi.
  • Trois couches, ou leur équivalent, sont nommées et documentées.
  • Une règle écrite dit ce qui est permis dans chaque couche (par exemple : aucun nettoyage dans la couche brute).
  • Les couches ont des espaces et des droits d'accès séparés.
4 · Intégré et gouvernéCouches par domaine métier, sous la responsabilité de propriétaires.
  • Chaque domaine métier a sa couche prête à l'emploi.
  • Chaque jeu de données a un propriétaire et un contrat : structure attendue, fraîcheur, périmètre.
  • Toute donnée de la couche validée peut être reconstruite à partir de la couche brute.
5 · AutonomeCouches pilotées par des définitions versionnées et surveillées automatiquement.
  • La création et l'évolution des couches et des schémas sont automatisées à partir de définitions versionnées.
  • Les écarts entre couches (volumes, structure) sont détectés automatiquement.
  • Les jeux de données qui ne sont plus utilisés sont repérés et proposés au retrait.
Effet sur l'utilisateur

Les rapports ne lisent que des données dont le niveau de confiance est connu ; une erreur de source ne contamine pas les chiffres publiés.

Modèle et intégrité#

Les tables suivent-elles un modèle pensé pour l'analyse, et l'intégrité est-elle vérifiée ?

NiveauSignatureCritères à réunir
0 · ArtisanalTables recopiées des systèmes sources, sans modèle propre.Point de départ : aucun critère.
1 · Local outilléTables identifiées et nommées.
  • Chaque table a une clé identifiée.
  • Les noms de tables et de colonnes suivent une convention écrite.
2 · PartagéSéparation des faits et des axes d'analyse.
  • Les données d'analyse sont séparées en tables de faits (mesures) et en dimensions (axes).
  • Le grain de chaque table de faits, c'est-à-dire ce que représente une ligne, est défini par écrit.
  • Les clés de jointure sont stables : clés de substitution ou codes garantis uniques.
3 · IndustrialiséRelations déclarées et intégrité contrôlée.
  • Les relations entre tables sont déclarées (clés étrangères ou équivalent), et leur activation est justifiée.
  • Les dimensions communes sont partagées entre les tables de faits.
  • Les anomalies d'intégrité (lignes orphelines, clés en double) sont détectées à chaque chargement.
4 · Intégré et gouvernéModèle documenté, évolutions revues.
  • Le modèle est documenté (schéma, description des colonnes) à partir des métadonnées de la base.
  • Tout changement de modèle passe par une revue et un contrôle de l'impact sur les consommateurs.
  • Une même notion a le même type et la même nullabilité dans toutes les tables.
5 · AutonomeModèle évolutif sans rupture, contrôles bloquants.
  • Les évolutions de modèle sont versionnées, et leur compatibilité avec les consommateurs est testée.
  • Un contrôle d'intégrité en échec empêche la publication du jeu de données.
  • Les écarts de modèle entre environnements sont détectés automatiquement.
Effet sur l'utilisateur

Les mêmes chiffres sortent de tous les rapports, et une jointure ne change pas silencieusement un total.

Cycle de vie des données#

Historisation et traçabilité#

Que devient une valeur qui change, et peut-on savoir d'où vient une ligne ?

NiveauSignatureCritères à réunir
0 · ArtisanalSeule la dernière valeur est conservée ; la précédente est écrasée.Point de départ : aucun critère.
1 · Local outilléCopies datées de temps à autre.
  • Une copie datée des données est conservée à intervalles irréguliers.
  • Les copies sont nommées avec leur date.
2 · PartagéDates et source portées par les lignes.
  • Chaque ligne porte sa date de chargement et sa source.
  • L'historique des faits est conservé par ajout, sans écrasement.
  • La règle d'historisation de chaque dimension est choisie et écrite : écraser, ajouter une ligne, ou ajouter une colonne.
3 · IndustrialiséHistorique des dimensions et chargements atomiques.
  • Les changements significatifs des dimensions sont historisés avec leurs dates de validité.
  • On peut restituer l'état des données à une date passée.
  • Un chargement interrompu ne laisse pas de données partielles (transaction ou remplacement atomique).
4 · Intégré et gouvernéRejeu et provenance.
  • Une période peut être rechargée depuis la couche brute sans créer de doublons.
  • Les corrections rétroactives de la source sont prises en compte et tracées.
  • La provenance de chaque ligne (source, lot, version de la règle) peut être interrogée.
5 · AutonomeHistorique interrogeable et expliqué automatiquement.
  • L'historique de chaque table peut être interrogé à une date ou une version donnée.
  • La différence entre une restitution ancienne et l'actuelle est expliquée automatiquement (lot, règle modifiée).
  • Les règles d'historisation sont couvertes par des tests automatiques.
Effet sur l'utilisateur

On peut répondre à « quel était le chiffre à cette date ? » et expliquer pourquoi un chiffre a changé.

Rétention et cycle de vie#

Combien de temps garde-t-on chaque donnée, pourquoi, et comment la retire-t-on ?

NiveauSignatureCritères à réunir
0 · ArtisanalTout est conservé indéfiniment, ou supprimé au hasard.Point de départ : aucun critère.
1 · Local outilléDonnées inutiles repérées.
  • Les données qui ne servent plus sont repérées.
  • Une personne identifiée décide de ce qui est supprimé.
2 · PartagéDurées écrites par famille de données.
  • Une durée de conservation est écrite pour chaque grande famille de données.
  • Les données personnelles sont identifiées dans le stockage.
3 · IndustrialiséDurées justifiées et purges tracées.
  • Chaque durée est justifiée par une finalité ou une obligation (principe de limitation de la conservation).
  • Une purge ou un archivage est exécuté à intervalle régulier.
  • Chaque purge est tracée : ce qui a été retiré, quand, en quel nombre.
4 · Intégré et gouvernéArchivage, minimisation et effacement répercuté.
  • Les données peu consultées sont archivées sur un stockage moins coûteux, et restent restituables.
  • Les colonnes personnelles inutiles aux analyses ne sont pas conservées dans les zones exploitées (minimisation).
  • Une demande d'effacement ou de rectification se répercute sur toutes les couches, selon une règle écrite pour les sauvegardes.
5 · AutonomePolitique appliquée et contrôlée automatiquement.
  • Les durées sont appliquées par des règles de cycle de vie automatiques.
  • Les écarts à la politique de conservation sont détectés automatiquement.
  • Les durées sont revues à intervalle fixe avec leurs propriétaires.
Effet sur l'utilisateur

On ne garde ni trop (risque et coût) ni trop peu (perte d'historique utile) ; l'effacement demandé par une personne est possible.

Protection#

Sauvegarde et restauration#

Si les données sont perdues ou corrompues, en combien de temps et à quel point peut-on les retrouver ?

NiveauSignatureCritères à réunir
0 · ArtisanalAucune sauvegarde propre : on compte sur le stockage lui-même.Point de départ : aucun critère.
1 · Local outilléSauvegarde complète, à la main ou planifiée.
  • Une sauvegarde complète existe.
  • Elle est conservée à un autre emplacement que les données d'origine.
2 · PartagéSauvegardes automatiques et surveillées, restauration décrite.
  • Les sauvegardes sont planifiées automatiquement et leur réussite est surveillée.
  • La fréquence tient compte de la perte de données acceptable.
  • Une procédure de restauration est écrite.
3 · IndustrialiséObjectifs de reprise fixés et restauration testée.
  • Un objectif de temps de reprise (RTO) et de perte acceptable (RPO) est fixé pour chaque jeu de données selon sa criticité.
  • La restauration est testée régulièrement, et le résultat daté est conservé.
  • Une copie est conservée hors du site ou de la région d'origine, avec des identifiants distincts de ceux de la production.
4 · Intégré et gouvernéRestauration à un instant donné, copies protégées.
  • Les données peuvent être restaurées à un instant précis.
  • Des copies sont protégées contre la suppression et la modification (immuables ou à écriture unique).
  • L'ordre de restauration tient compte des dépendances entre magasins de données.
5 · AutonomeReprise exercée et automatisée.
  • Des exercices de reprise sont menés à intervalle régulier, avec mesure des RTO et RPO réels.
  • La restauration est automatisée et déclenchable par script.
  • Le plan de reprise est revu à chaque changement d'architecture et au moins deux fois par an.
Effet sur l'utilisateur

Une panne ou une erreur de manipulation coûte une reprise planifiée, pas la perte du produit.

Sécurité du stockage#

Qui peut lire, modifier ou emporter les données stockées, et comment le sait-on ?

NiveauSignatureCritères à réunir
0 · ArtisanalComptes partagés ou accès sans contrôle aux emplacements de stockage.Point de départ : aucun critère.
1 · Local outilléComptes nominatifs.
  • L'accès aux emplacements de stockage passe par des comptes nominatifs.
  • Aucun emplacement de stockage n'est accessible publiquement.
2 · PartagéDroits par groupe, chiffrement au repos, secrets protégés.
  • Les droits d'accès sont attribués par groupe sur chaque emplacement.
  • Le chiffrement au repos est activé.
  • Les secrets (clés, chaînes de connexion) ne figurent pas en clair dans les scripts ni dans les fichiers de paramètres.
3 · IndustrialiséDroits revus, accès journalisés, réseau restreint.
  • Les droits d'accès sont revus à intervalle régulier.
  • Les accès aux données sensibles sont journalisés.
  • Le stockage n'est accessible que par un réseau privé ou une liste d'adresses autorisées.
4 · Intégré et gouvernéDonnées classées, protégées selon leur classe.
  • Les données sont classées par sensibilité, et une règle de stockage correspond à chaque classe (masquage, pseudonymisation).
  • Les clés de chiffrement sont gérées : rotation, séparation des rôles.
  • Les environnements de test ne contiennent pas de données réelles non masquées.
5 · AutonomeDétection et contrôle automatiques.
  • Les accès anormaux et les données sensibles mal placées sont détectés automatiquement.
  • Les droits sont attribués et retirés automatiquement, y compris au départ d'une personne.
  • La conformité des paramètres de stockage est vérifiée en continu, avec une preuve exportable.
Effet sur l'utilisateur

Les données sensibles restent dans leur périmètre, et un accès anormal laisse une trace.

Performance et coût#

Performance physique#

Le rangement physique des données (index, partitions, formats) sert-il les requêtes réelles ?

NiveauSignatureCritères à réunir
0 · ArtisanalTables sans index ni réflexion sur le rangement physique.Point de départ : aucun critère.
1 · Local outilléIndex sur les clés.
  • Les clés de chaque table sont indexées.
  • Une personne sait lister les tables les plus volumineuses.
2 · PartagéIndex choisis d'après les requêtes réelles.
  • Les requêtes les plus lentes sont identifiées et mesurées.
  • Les index sont choisis à partir des requêtes réellement exécutées.
  • Les statistiques utilisées par le moteur sont tenues à jour.
3 · IndustrialiséStockage adapté à l'usage, maintenance planifiée.
  • Le format de stockage est adapté à l'usage (colonnes et compression pour l'analyse, lignes pour les mises à jour fréquentes).
  • Les grandes tables chronologiques sont partitionnées ou découpées.
  • La maintenance des index est planifiée.
4 · Intégré et gouvernéAgrégats et tests de charge.
  • Les calculs les plus consultés sont préparés (agrégats, vues matérialisées).
  • Des tests de charge sont menés sur une volumétrie réaliste.
  • Une dégradation des temps de requête est détectée après chaque changement.
5 · AutonomeOptimisation guidée par l'usage mesuré.
  • L'usage mesuré déclenche des recommandations d'index ou d'agrégats.
  • La capacité de calcul s'ajuste automatiquement à la charge.
  • Un seuil de performance fait partie des critères d'acceptation automatiques d'une livraison.
Effet sur l'utilisateur

Les rapports s'affichent vite et de façon stable, même quand les données grossissent.

Capacité et coût#

Sait-on combien de place on utilise, combien elle coûte, et quand elle manquera ?

NiveauSignatureCritères à réunir
0 · ArtisanalTaille du stockage inconnue ; on le découvre à la saturation.Point de départ : aucun critère.
1 · Local outilléEspace libre surveillé à la main.
  • L'espace libre est consulté à intervalle régulier.
  • La taille des plus gros jeux de données est connue.
2 · PartagéVolumétrie mesurée, alerte avant saturation.
  • La volumétrie de chaque jeu de données est mesurée régulièrement.
  • Une alerte se déclenche avant la saturation.
3 · IndustrialiséCroissance prévue, coût connu, niveaux de stockage.
  • La croissance est prévue sur douze mois.
  • Le coût de stockage est connu par environnement et par grand jeu de données.
  • Des niveaux de stockage distincts existent (données fréquemment lues, données peu lues).
4 · Intégré et gouvernéCoûts imputés, données froides déplacées.
  • Chaque coût de stockage est rattaché à un propriétaire.
  • Les données peu lues sont déplacées vers un niveau moins coûteux selon une règle.
  • Les environnements non productifs sont dimensionnés au besoin ou arrêtés hors usage.
5 · AutonomeDimensionnement et anomalies de coût automatiques.
  • Le dimensionnement du stockage s'ajuste automatiquement.
  • Une anomalie de coût est détectée automatiquement.
  • L'arbitrage entre coût et performance est revu à partir de mesures.
Effet sur l'utilisateur

La croissance des données est une décision budgétée, pas une surprise.

Origine des critères

Les dimensions s'inspirent des références citées ci-dessous ; les niveaux et les critères sont une synthèse originale, pas une reprise d'un référentiel. Ils sont proposés pour être discutés et adaptés, pas pour faire foi.

Sources et vérification#