Matrice : Analytique avancée

Comment le produit porte des analyses avancées (prédiction, détection d'anomalies, recommandation) : cadrage, données, expérimentation, validation, mise en production, surveillance, responsabilité, intégration.

≈ 12 min de lectureLecture

En bref

8 dimensions, niveaux 0 à 5, 112 critères.
Outil : état des lieux en choisissant « Analytique avancée ».
Niveaux et critères : synthèse originale, références citées en bas de page.

Sur cette page

Vue d'ensemble
Cadrage et préparation
Validation et mise en production
Confiance et décision
1. Explicabilité et usage responsable
2. Intégration dans la décision
Sources et vérification

Périmètre

Les capacités analytiques au-delà du reporting intégrées au produit : prévisions, détection d'anomalies, classification, recommandations, assistants. Cadrage des cas d'usage, préparation des données, expérimentation, validation, industrialisation des modèles, surveillance, explication et usage responsable, intégration dans la décision. Le reporting descriptif relève du thème « Restitution ».

8 dimensions, six niveaux (0 à 5) et 112 critères observables. Pour situer votre produit : ouvrir l'état des lieux de ce thème. Les règles de calcul sont ici.

Vue d'ensemble#

Chaque cellule est la signature du niveau pour la dimension.

Dimension	0 · Artisanal	1 · Local outillé	2 · Partagé	3 · Industrialisé	4 · Intégré et gouverné	5 · Autonome
Cadrage des cas d'usage	Analyses lancées par curiosité ou par effet de mode.	Idées notées.	Cas d'usage décrits.	Cas d'usage priorisés.	Valeur suivie.	Portefeuille piloté.
Préparation des données d'analyse	Données extraites et nettoyées à la main pour chaque essai.	Jeux de données figés.	Préparation scriptée.	Variables gérées.	Préparation contrôlée.	Variables partagées.
Expérimentation et reproductibilité	Essais dans des carnets personnels, sans trace des paramètres.	Essais conservés.	Essais tracés.	Environnements reproductibles.	Entraînement automatisé.	Expérimentation industrialisée.
Validation et mesure de la performance	Un modèle est jugé bon parce que le résultat paraît plausible.	Mesure simple.	Validation structurée.	Validation indépendante.	Validation en conditions réelles.	Validation continue.
Industrialisation des modèles	Le modèle est un fichier envoyé à la main, utilisé par son auteur.	Modèle remis à l'équipe applicative.	Entraînement reproductible.	Déploiement automatisé.	Exploitation automatisée.	Cycle de vie complet.
Surveillance et dérive	Un modèle est cru bon tant que personne ne se plaint.	Suivi manuel.	Suivi régulier.	Dérive détectée.	Réaction organisée.	Réaction automatique.
Explicabilité et usage responsable	Le modèle est une boîte noire utilisée sans condition.	Fonctionnement décrit.	Résultats expliqués.	Usage encadré.	Équité examinée.	Responsabilité vérifiée.
Intégration dans la décision	Les résultats restent dans des documents d'étude.	Résultats communiqués.	Résultats dans les rapports.	Résultats dans le processus.	Boucle de retour.	Décision assistée.

Lien avec le modèle global

Dimensions du modèle global les plus concernées : Utilisation (niveau 5, expérience assistée), Processus métier et Industrialisation et déploiement. Pour l'analytique au niveau de l'organisation, voir la matrice TDWI.

Cadrage et préparation#

Cadrage des cas d'usage#

Choisit-on les analyses avancées d'après la valeur attendue et la faisabilité ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Analyses lancées par curiosité ou par effet de mode.	Point de départ : aucun critère.
1 · Local outillé	Idées notées.	Les idées d'analyses avancées sont recueillies dans une liste. Chaque idée indique la question métier à laquelle elle répond.
2 · Partagé	Cas d'usage décrits.	Chaque cas d'usage retenu décrit la décision visée, les données nécessaires et l'utilisateur concerné. Un indicateur de réussite est fixé avant de commencer. Une solution plus simple (règle, seuil, tableau croisé) est examinée avant un modèle.
3 · Industrialisé	Cas d'usage priorisés.	Les cas d'usage sont classés selon la valeur, le coût et la disponibilité des données. La faisabilité est vérifiée sur un échantillon avant d'engager le développement. Un propriétaire métier s'engage à utiliser le résultat.
4 · Intégré et gouverné	Valeur suivie.	La valeur obtenue de chaque cas d'usage en production est mesurée. Un cas d'usage sans valeur démontrée est arrêté ou retravaillé. Les enseignements des cas d'usage passés guident le choix des suivants.
5 · Autonome	Portefeuille piloté.	Le portefeuille des cas d'usage est revu à intervalle régulier avec les métiers. Les composants réutilisables (jeux de variables, modèles de base) sont mutualisés entre cas d'usage. Les besoins d'analyse émergent de l'usage constaté du produit.

Effet sur l'utilisateur

Le produit ne porte que des analyses dont on sait ce qu'elles apportent et comment on saura qu'elles marchent.

Préparation des données d'analyse#

Les données utilisées par les modèles sont-elles préparées, versionnées et reproductibles ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Données extraites et nettoyées à la main pour chaque essai.	Point de départ : aucun critère.
1 · Local outillé	Jeux de données figés.	Les jeux de données d'étude sont conservés avec leur date d'extraction. Les règles de nettoyage sont écrites.
2 · Partagé	Préparation scriptée.	La préparation des données est un script, rejouable sur de nouvelles données. Les données d'étude sont tirées de la couche validée du produit, pas de copies. Les périodes d'apprentissage et de test sont séparées, sans fuite d'information de l'une vers l'autre.
3 · Industrialisé	Variables gérées.	Les variables dérivées (indicateurs calculés, agrégats) sont définies une fois et réutilisées. La même préparation s'applique à l'entraînement et à l'utilisation en production. Les jeux de données d'apprentissage sont versionnés.
4 · Intégré et gouverné	Préparation contrôlée.	La qualité des données d'entrée est vérifiée automatiquement avant chaque entraînement. Les données personnelles utilisées sont justifiées par une finalité et minimisées. La provenance de chaque variable est tracée jusqu'à la source.
5 · Autonome	Variables partagées.	Un magasin de variables partagé sert l'entraînement et la production avec les mêmes valeurs. La fraîcheur et la santé des variables sont surveillées. Une variable devenue inutile ou dégradée est détectée automatiquement.

Effet sur l'utilisateur

On sait avec quelles données un modèle a été construit, et on peut les reconstruire à l'identique.

Expérimentation et reproductibilité#

Les essais sont-ils tracés, comparables et reproductibles ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Essais dans des carnets personnels, sans trace des paramètres.	Point de départ : aucun critère.
1 · Local outillé	Essais conservés.	Le code des essais est conservé dans un dépôt partagé. Les résultats principaux sont notés.
2 · Partagé	Essais tracés.	Chaque essai enregistre ses paramètres, ses données, son code et ses résultats. Les essais sont comparables entre eux avec les mêmes mesures. Un essai peut être refait par une autre personne.
3 · Industrialisé	Environnements reproductibles.	Les environnements d'exécution (versions de bibliothèques) sont décrits et reconstruits à l'identique. Les graines aléatoires et les versions de données sont enregistrées. Le passage d'un carnet d'essai à un code testé suit une règle définie.
4 · Intégré et gouverné	Entraînement automatisé.	L'entraînement s'exécute par un enchaînement automatique, déclenché à la demande ou à date fixe. Les modèles et leurs métadonnées sont conservés dans un registre. Un modèle peut être reconstruit à partir de sa description, sans intervention manuelle.
5 · Autonome	Expérimentation industrialisée.	La recherche de paramètres et la comparaison de modèles sont automatisées. Les ressources de calcul sont allouées à la demande et libérées après usage. Tout résultat publié est relié à l'essai qui l'a produit.

Effet sur l'utilisateur

Un résultat se refait, et le meilleur modèle est choisi sur des faits, pas sur la mémoire de quelqu'un.

Validation et mise en production#

Validation et mesure de la performance#

Sait-on comment mesurer qu'un modèle est bon, et pour qui ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Un modèle est jugé bon parce que le résultat paraît plausible.	Point de départ : aucun critère.
1 · Local outillé	Mesure simple.	Une mesure de performance (erreur, précision) est calculée sur des données non utilisées pour l'entraînement. Le résultat est comparé à une référence simple (valeur précédente, moyenne).
2 · Partagé	Validation structurée.	Le choix des mesures découle de la décision visée et du coût des erreurs. La performance est examinée par segment (période, région, type de client), pas seulement globalement. Les limites connues du modèle sont écrites.
3 · Industrialisé	Validation indépendante.	La validation est faite par une personne autre que celle qui a construit le modèle. Le modèle est confronté aux utilisateurs métier sur des cas concrets avant mise en service. Un seuil minimal de performance conditionne la mise en production.
4 · Intégré et gouverné	Validation en conditions réelles.	Un nouveau modèle est comparé à l'ancien en parallèle avant de le remplacer. La performance observée en production est comparée à celle mesurée à la validation. Les décisions prises avec le modèle sont rapprochées de leurs résultats réels.
5 · Autonome	Validation continue.	La validation est rejouée automatiquement à chaque nouvel entraînement. Des essais comparatifs en conditions réelles (par exemple deux versions en parallèle) sont organisés de façon régulière. Les écarts de performance par segment déclenchent une alerte.

Effet sur l'utilisateur

On sait dire avec quelle fiabilité le modèle se trompe, et dans quels cas il ne faut pas s'y fier.

Industrialisation des modèles#

Passe-t-on d'un essai à un modèle exploité de façon fiable, versionnée et automatisée ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Le modèle est un fichier envoyé à la main, utilisé par son auteur.	Point de départ : aucun critère.
1 · Local outillé	Modèle remis à l'équipe applicative.	Le modèle est remis avec sa description (entrées, sorties, version). Le code d'utilisation du modèle est versionné.
2 · Partagé	Entraînement reproductible.	L'entraînement est automatisé et reproductible. Les performances d'entraînement sont suivies de façon centralisée. Les modèles sont gérés dans un registre avec leur version.
3 · Industrialisé	Déploiement automatisé.	Le déploiement d'un modèle suit un enchaînement automatique, avec tests unitaires et d'intégration. Le passage d'un environnement à l'autre est automatisé. La traçabilité du modèle en production remonte jusqu'aux données d'origine.
4 · Intégré et gouverné	Exploitation automatisée.	Un modèle peut être retiré ou remplacé par sa version précédente en une opération. Les métriques de production déclenchent un réentraînement automatique. La promotion d'un modèle est soumise à une politique appliquée automatiquement.
5 · Autonome	Cycle de vie complet.	L'ensemble du cycle (données, entraînement, validation, déploiement, surveillance) est automatisé et supervisé. Les nouveaux modèles s'ajoutent sans développement d'infrastructure. L'indisponibilité due au renouvellement des modèles est quasi nulle.

Effet sur l'utilisateur

Un modèle en production est un composant comme un autre : versionné, testé, déployé et supervisé.

Surveillance et dérive#

Un modèle en production reste-t-il bon quand les données changent ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Un modèle est cru bon tant que personne ne se plaint.	Point de départ : aucun critère.
1 · Local outillé	Suivi manuel.	La performance du modèle est regardée de temps en temps. Les erreurs flagrantes sont corrigées.
2 · Partagé	Suivi régulier.	Les entrées et les sorties du modèle sont enregistrées. La performance est recalculée à intervalle régulier quand les résultats réels deviennent connus. Un seuil de dégradation est défini.
3 · Industrialisé	Dérive détectée.	La dérive des données d'entrée (distribution, valeurs manquantes) est mesurée. La dérive de la relation entre entrées et résultat est mesurée dès que les résultats sont connus. Un dépassement de seuil déclenche une alerte avec un responsable.
4 · Intégré et gouverné	Réaction organisée.	Une procédure décrit la réponse à une dérive : réentraînement, repli, arrêt. Un repli vers une règle simple existe quand le modèle n'est plus fiable. Les utilisateurs sont prévenus quand un modèle est suspendu.
5 · Autonome	Réaction automatique.	Un signal de dérive ou de régression déclenche automatiquement un réentraînement. Le modèle remplaçant est validé automatiquement avant sa mise en service. La santé de l'ensemble des modèles est visible sur un tableau de bord commun.

Effet sur l'utilisateur

Un modèle qui se dégrade est détecté et traité avant qu'il ne fausse des décisions.

Confiance et décision#

Explicabilité et usage responsable#

Peut-on expliquer un résultat, et l'usage du modèle est-il encadré ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Le modèle est une boîte noire utilisée sans condition.	Point de départ : aucun critère.
1 · Local outillé	Fonctionnement décrit.	Le principe du modèle est décrit dans un document accessible aux utilisateurs. Les données utilisées sont listées.
2 · Partagé	Résultats expliqués.	Chaque résultat est accompagné des facteurs qui l'ont le plus influencé. Une fiche du modèle précise son but, ses limites et les cas où il ne faut pas l'utiliser. Un résultat est présenté avec son degré d'incertitude.
3 · Industrialisé	Usage encadré.	Les décisions importantes prises avec un modèle restent validées par une personne. Les utilisateurs peuvent contester ou corriger un résultat, et la correction est enregistrée. Les données sensibles ou les critères discriminatoires sont exclus ou justifiés.
4 · Intégré et gouverné	Équité examinée.	Les écarts de résultats entre groupes de personnes sont mesurés. Chaque modèle a un responsable de son usage et de ses effets. Une revue d'impact précède la mise en service des modèles qui touchent des personnes.
5 · Autonome	Responsabilité vérifiée.	Les contrôles d'équité et d'explicabilité sont automatisés à chaque nouvelle version. Les registres de modèles précisent leurs usages permis et leurs obligations réglementaires. Les retours des personnes concernées sont analysés et pris en compte.

Effet sur l'utilisateur

L'utilisateur comprend pourquoi le modèle propose ceci, et sait quand ne pas le suivre.

Intégration dans la décision#

Les résultats avancés arrivent-ils dans le geste de décision, et sont-ils utilisés ?

Niveau	Signature	Critères à réunir
0 · Artisanal	Les résultats restent dans des documents d'étude.	Point de départ : aucun critère.
1 · Local outillé	Résultats communiqués.	Les résultats sont communiqués aux métiers sous forme de rapport ou de fichier. Un utilisateur métier est identifié pour chaque résultat.
2 · Partagé	Résultats dans les rapports.	Les résultats (prévisions, scores) sont disponibles dans les rapports, à côté des chiffres réels. Les résultats modélisés sont signalés comme tels, pour ne pas les confondre avec des faits. La date du dernier calcul est affichée.
3 · Industrialisé	Résultats dans le processus.	Les résultats déclenchent des alertes ou des tâches dans les outils de travail. Les seuils d'alerte sont réglés avec les métiers. L'usage des résultats est mesuré : consultés, suivis, ignorés.
4 · Intégré et gouverné	Boucle de retour.	Les décisions prises après un résultat sont enregistrées avec leur issue. Ces retours servent à améliorer le modèle et les seuils. Les résultats qui ne sont jamais suivis sont repérés et retravaillés ou retirés.
5 · Autonome	Décision assistée.	Les utilisateurs interrogent les données et les modèles en langage courant, avec des réponses sourcées. Les décisions routinières sont automatisées dans un cadre défini, avec reprise par une personne en cas de doute. La valeur de chaque automatisation est mesurée et revue.

Effet sur l'utilisateur

Une prévision ou une alerte change vraiment une décision ; sinon elle ne vaut pas son coût.

Origine des critères

Les dimensions s'inspirent des références citées ci-dessous ; les niveaux et les critères sont une synthèse originale, pas une reprise d'un référentiel. Ils sont proposés pour être discutés et adaptés, pas pour faire foi.

Sources et vérification#

Microsoft Learn — MLOps Maturity Model (Azure Architecture Center) — cinq niveaux : pas de MLOps, DevOps sans MLOps, entraînement automatisé, déploiement du modèle automatisé, exploitation entièrement automatisée ; un niveau 4 où la dérive déclenche un réentraînement
dbt — Add data tests to your DAG — tests de données automatiques sur les entrées
Microsoft Learn — Fabric adoption roadmap : maturity levels — l'analytique avancée dans la trajectoire d'adoption
RGPD, article 5, paragraphe 1, points c) et e) — texte sur le site de la CNIL — minimisation et limitation de la conservation, applicables aux données d'apprentissage