i

Description

Un lingot de cuivre antique en forme de peau de bœuf, exposé dans un musée.

Source

Gary Todd · page d’origine

Licence

CC0 Domaine public

Photo d’origine, non retouchée. L’arrière-plan en est une version stylisée par le site.

Le biais de l'expert

Plus on connaît un sujet, plus on est sûr de soi, et pas forcément plus juste, surtout quand le problème sort un peu du terrain connu.

En bref

• Quoi : l'expert est trop confiant dans ses jugements et ramène tout problème à son domaine.
• Pourquoi : un savoir approfondi donne une explication prête à tout, la confiance suit, et l'on ne reçoit pas toujours de retour sur ses erreurs.
• Détecter : des prévisions sans probabilité, sans date et jamais vérifiées ; une seule famille de solutions proposée.
• Éviter : demander des probabilités et les suivre, croiser les spécialités, distinguer ce que l'expert sait de ce qu'il pressent.

Sur cette page

1. Définition
2. Le mécanisme
3. Où on le rencontre
   1. En conduite de projet
   2. En management
4. Cas célèbres
   1. Le pari Simon-Ehrlich : l'expert de la rareté contre l'économiste 1980-1990
   2. Vingt ans de prévisions d'experts 1984-2003
5. Signaux de détection
6. Réflexes d'évitement
7. Avec l'IA : détecter, remédier, atténuer
   1. Détecter
   2. Remédier
   3. Atténuer
   4. Prompts à intégrer à vos usages
   5. Comment les intégrer
   6. Précautions
8. Limites
9. Sources et vérification
10. Voir aussi
    1. Se combine avec, ou renforce
    2. Biais voisins
    3. Contrepoids et réflexes associés

Définition#

Illustration fictive

Le biais de l'expert recouvre deux travers voisins. Le premier est la surconfiance : un spécialiste juge ses propres prévisions et analyses plus fiables qu'elles ne le sont. Le second est l'étroitesse du cadre : il tend à traiter tout problème avec les outils et les explications de sa discipline, et à ne pas voir les solutions qui sortent de son champ.

L'étude la plus connue est celle de Philip Tetlock, Expert Political Judgment (2005) : sur une vingtaine d'années, il a recueilli les prévisions de 284 experts de politique et d'économie (des dizaines de milliers de jugements au total) et les a comparées aux événements. Les experts s'en sortent à peine mieux que le hasard, et moins bien que des méthodes d'extrapolation simples. Ceux qui connaissent un grand principe explicatif (les « hérissons », selon l'image d'Isaiah Berlin) font plus mal que ceux qui combinent plusieurs sources et corrigent leur avis (les « renards »).

L'expertise, en soi, n'est pas en cause : elle est précieuse dans un grand nombre de domaines. Le biais apparaît quand on confond la maîtrise d'une technique avec la capacité de prédire ou de trancher hors d'elle.

Le mécanisme#

• Une histoire prête à l'emploi. L'expert dispose de modèles qui expliquent presque tout, après coup. Il lui est facile de rendre cohérent un événement imprévu, ce qui nourrit la confiance dans ses modèles (voir le biais rétrospectif).
• Peu de retours fiables. Un pilote ou un chirurgien voit vite le résultat de ses choix ; un analyste, un architecte ou un consultant attend des mois ou des années, avec mille causes possibles. Shanteau (1992), puis Kahneman et Klein (2009), ont montré que l'intuition experte est fiable dans les environnements réguliers à retour rapide, et peu dans les environnements instables.
• Le blocage par le connu. Avec le dispositif d'Einstellung, Bilalić, McLeod et Gobet (2008) ont montré que des joueurs d'échecs experts, devant une position où existe une solution connue et une meilleure, ne voient pas la meilleure : la solution familière les bloque, sans qu'ils s'en rendent compte.
• Le rôle social. On attend de l'expert qu'il sache : dire « je ne sais pas » ou donner une probabilité de 60 % est jugé faible. La récompense va à l'affirmation nette (voir le biais d'autorité).
• Les enjeux. Réputation, honoraires, identité professionnelle : revenir sur une position publique a un coût.

Où on le rencontre#

En conduite de projet#

• Architecture : l'expert d'un style (microservices, bases relationnelles, un langage) propose ce style pour un problème qu'il n'a pas décomposé. Le choix est présenté comme une évidence technique (voir l'effet marteau).
• Chiffrage et prévision de date : « je connais ce type de projet, ce sera fini en juin », avec une certitude qui dispense de décomposer et de comparer à l'historique.
• Choix de méthode : le coach ou le consultant d'une méthode (agile, cycle en V, framework) en recommande l'extension, y compris à des contextes où elle s'applique mal.
• Revues et audits : l'expert externe, venu sur un périmètre précis, conclut sur des sujets de gouvernance ou de métier qu'il connaît peu.
• Sécurité et exploitation : le spécialiste d'un risque l'estime partout, et néglige les risques d'une autre famille (humaine, organisationnelle, contractuelle).

En management#

• Promotion d'un expert technique : on suppose qu'il sera aussi bon manager, ou que son avis compte sur tout dans l'équipe.
• Comités d'experts : la personne la plus ancienne ou la plus reconnue donne le ton ; les autres s'alignent ou se taisent.
• Prévisions de marché, de recrutement ou de budget : on accorde du crédit aux prévisions affirmées d'un cadre ou d'un cabinet, sans jamais comparer les prévisions passées à ce qui s'est produit.
• Recours à un cabinet : le consultant recommande ce que son cabinet sait faire.

Cas célèbres#

Signaux de détection#

• Des prévisions sans probabilité ni échéance, que personne ne pourra jamais déclarer fausses.
• « Je l'ai déjà vu cent fois » ou « c'est évident » en réponse à une question sur laquelle on n'a pas de donnée.
• Une seule famille de solutions proposée, toujours celle que l'expert sait faire.
• Un avis qui sort du domaine de la personne (un architecte sur la gouvernance, un juriste sur la technique) donné avec la même assurance.
• Un désaccord avec un non-spécialiste écarté parce que « vous n'êtes pas du métier ».
• Les erreurs passées de l'expert sont expliquées (« l'exception ») plutôt que comptées.
• Personne dans la salle n'ose contredire la personne la plus ancienne.

Réflexes d'évitement#

1. Demander une probabilité et une date. « À quel pourcentage pensez-vous que nous tiendrons la date ? » Une réponse chiffrée peut être vérifiée ; une affirmation nette, non.
2. Tenir un journal de prévisions. Notez qui a prévu quoi, avec quelle confiance, puis comparez. Au bout de quelques mois, les écarts parlent.
3. Distinguer savoir et intuition. « Qu'est-ce qui, dans ce que vous dites, vient de données ou d'une règle vérifiée, et qu'est-ce qui vient de votre expérience ? » L'intuition est utile surtout en environnement stable, à retour rapide.
4. Croiser les spécialités. Faites relire une proposition d'architecture par quelqu'un d'exploitation, de sécurité, de métier. Chacun voit ce que l'autre ne voit pas.
5. Comparer à une classe de référence. Avant l'avis de l'expert, regardez le sort de projets semblables : l'historique corrige une certitude (voir l'erreur de planification).
6. Demander les trois autres options. « Quelles sont les approches concurrentes, et pourquoi la vôtre est-elle meilleure ici ? » Un expert qui ne sait pas décrire les alternatives n'a peut-être pas comparé.
7. Chercher un avis d'un non-initié. La question naïve (« pourquoi ne pas faire plus simple ? ») pousse l'expert à expliciter ses hypothèses.
8. Récompenser la révision. Un expert qui dit « j'ai changé d'avis, voici ce que j'ai appris » donne l'exemple. Ne le traitez pas de girouette.

Avec l'IA : détecter, remédier, atténuer#

Prompts à intégrer à vos usages#

1. Transformer un avis en prévision vérifiable. Après une recommandation d'expert, avant de décider.

Voici une recommandation ou une prévision donnée par un expert : [texte].
1. Reformule chaque affirmation en énoncé vérifiable : événement, échéance, critère de réussite ou d'échec.
2. Propose, pour chacune, la question à poser à l'expert pour qu'il donne une probabilité.
3. Liste les hypothèses implicites, que l'expert n'a pas écrites.
4. Dis quelles affirmations relèvent d'un fait vérifié, et lesquelles relèvent d'une intuition ou d'une expérience.
N'invente aucune donnée ni référence.

2. Alternatives à la solution proposée. Quand un expert ou un cabinet recommande une solution unique.

On me recommande la solution suivante pour le problème suivant : [problème] / [solution].
Donne trois à cinq approches concurrentes sérieuses, en précisant pour chacune : dans quelles conditions elle est meilleure, ce qu'elle coûte, ce qu'elle risque.
Puis liste les questions à poser à l'expert pour savoir s'il a comparé ces approches et ce qui l'a fait choisir la sienne.
Enfin, indique les éléments d'information qui me manqueraient pour trancher, sans conclure à ma place.

Comment les intégrer#

• Avant la réunion : le prompt 2 donne la liste des questions à poser, y compris à l'expert maison.
• Pendant : chaque prévision importante est notée avec une probabilité, grâce au prompt 1.
• Après : à l'échéance, comparez ; la mesure est le meilleur antidote.

Précautions#

• L'IA n'est pas un expert de plus : elle peut être fausse sur un ton assuré. Vérifiez toute référence ou donnée chiffrée.
• N'écartez pas l'expert au motif de ce biais : le but est de mieux l'utiliser, pas de s'en passer.
• Ne collez pas de dossier confidentiel ou contractuel dans un outil non autorisé.

Limites#

• L'expertise est réelle et utile dans les environnements réguliers à retour rapide (soins, échecs, lutte contre l'incendie). Kahneman et Klein (2009) précisent à quelles conditions l'intuition d'un expert est fiable ; le biais concerne surtout les prévisions à long terme dans des environnements peu prévisibles.
• Les résultats de Tetlock portent sur la politique et l'économie ; on ne peut pas les étendre telle quelle à la conduite de projet, même si le mécanisme y ressemble.
• Le pari Simon-Ehrlich porte sur dix ans et cinq métaux : il ne tranche pas le débat sur les ressources, et sur une autre période le résultat aurait pu être différent.
• Se défier de l'expert au point de décider sans lui est le biais inverse.

Sources et vérification#

• Tetlock (2005), Expert Political Judgment: How Good Is It? How Can We Know?, Princeton University Press.
• Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction, Crown.
• Kahneman & Klein (2009), « Conditions for intuitive expertise: A failure to disagree », American Psychologist, 64(6)
• Shanteau (1992), « Competence in experts: The role of task characteristics », Organizational Behavior and Human Decision Processes, 53(2)
• Bilalić, McLeod & Gobet (2008), « Why good thoughts block better ones: The mechanism of the pernicious Einstellung (set) effect », Cognition, 108(3)
• Simon–Ehrlich wager — dates, métaux, chèque de 576,07 dollars (à recouper avec les sources primaires citées).
• Our World in Data, « The Simon-Ehrlich bet » — données de prix.

Voir aussi#