- Description
- Une fiche d'empreintes digitales
- Source
- Daly City, CA Medical Examiner · page d’origine
- Licence
- PD Domaine public
Le biais de confirmation
Une fois qu'on tient une explication, on ne cherche plus à la tester : on cherche des raisons d'avoir eu raison.
En bref
- Quoi : on cherche, interprète et mémorise les informations de façon à conforter ce qu'on croit déjà.
- Pourquoi : tester une idée par ses réussites coûte moins d'effort et fait moins mal que la mettre en danger.
- Détecter : tous les tests prévus pouvaient réussir ; les données contraires sont « des cas particuliers ».
- Éviter : chercher le test qui réfuterait l'hypothèse, écrire d'avance ce qui la ferait abandonner, faire contredire par un tiers.
Définition#
Illustration fictiveLe biais de confirmation est la tendance à rechercher, interpréter, privilégier et se rappeler les informations qui confirment une croyance ou une hypothèse existante, et à traiter plus légèrement celles qui la contredisent. Le psychologue britannique Peter Wason en a donné la démonstration expérimentale classique en 1960 ; le terme recouvre en réalité plusieurs mécanismes (voir plus bas), ce que la synthèse de Nickerson (1998) a bien mis en évidence.
Ce n'est pas de la mauvaise foi : la personne croit sincèrement chercher la vérité. Le biais agit sur où elle regarde, sur ce qu'elle compte pour une preuve et sur ce qu'elle retient.
Le mécanisme#
Trois étages, qui se cumulent :
- Recherche biaisée. On choisit les tests, les questions, les sources qui ont le plus de chances de donner raison. Klayman et Ha (1987) montrent que ce « test positif » est souvent une stratégie raisonnable ; il devient un piège quand il est la seule stratégie, car un test qui ne peut pas échouer n'apprend rien.
- Interprétation biaisée. Un même fait est jugé solide s'il va dans notre sens, discutable s'il le contredit. Dans l'étude de Lord, Ross et Lepper (1979), des étudiants favorables ou opposés à la peine de mort lisaient les mêmes deux études, l'une dans chaque sens : chacun jugeait l'étude conforme à son opinion plus convaincante, et ressortait plus sûr de lui qu'avant.
- Mémoire biaisée. On se souvient mieux des cas qui confirment que de ceux qui infirment.
On annonce aux participants que la suite 2, 4, 6 obéit à une règle, qu'ils doivent deviner en proposant d'autres suites ; l'expérimentateur dit à chaque fois « oui » ou « non ». La règle réelle est très large : trois nombres strictement croissants. Beaucoup imaginent « +2 à chaque fois » et ne proposent que des suites qui la confirment (8, 10, 12 ; 20, 22, 24), reçoivent des « oui », et annoncent leur règle avec assurance, à tort. Ceux qui réussissent proposent des suites qui devraient être refusées si leur idée est juste (par exemple 1, 2, 3 ou 5, 4, 3). Wason y voit un échec à chercher le contre-exemple.
La transposition à l'informatique est immédiate : tester un correctif sur le cas qui vient de planter prouve seulement qu'il corrige ce cas. L'information utile vient du test qui aurait pu échouer.
Tests de validation d'un correctif (illustratif)
Chargement du graphique…
Voir les données
| Tests qui ne peuvent que confirmer | Tests qui pourraient réfuter | |
|---|---|---|
| Tests joués | 24 | 3 |
Où on le rencontre#
En conduite de projet#
- Diagnostic de bug : on est convaincu que la faute vient du réseau ; on cherche dans les journaux les erreurs de délai et on ignore les lignes qui n'y ressemblent pas. On « vérifie » le correctif en rejouant le seul scénario qui plantait.
- Choix techniques : l'équipe qui a déjà choisi la technologie réunit des benchmarks, des articles et des témoignages qui la valident ; les mises en garde sont lues pour être réfutées.
- Revues de code et recette : le relecteur qui sait que l'auteur est fiable cherche moins ; le testeur qui sait ce que l'application « doit faire » déroule le scénario nominal.
- Analyse de données : on essaie des découpages jusqu'à trouver celui qui montre l'effet attendu, puis on s'arrête.
- Retours d'expérience : la cause « évidente » est retenue dès le deuxième jour, et l'enquête sert à la documenter (voir aussi le biais rétrospectif).
En management#
- Jugement sur une personne : une fois « cette personne est faible », chaque retard le confirme et chaque réussite est mise sur le compte de la chance ou de l'aide d'un autre. L'inverse vaut pour la personne « brillante » (voir l'effet de halo).
- Recrutement : l'entretien devient une recherche de preuves de la première impression, par des questions fermées qui appellent la réponse attendue.
- Décisions déjà prises : les indicateurs retenus sont ceux qui montrent que la réorganisation « fonctionne ».
- Information reçue : on fréquente les canaux et les collègues qui pensent comme soi, et le retour qu'on reçoit se contente de refléter l'idée de départ.
Le choix des mesures et des filtres d'un rapport peut ne retenir que ce qui confirme l'hypothèse : on retient la mesure qui monte. Écrivez l'hypothèse et son critère de réfutation avant de construire la mesure DAX, puis faites relire la définition par quelqu'un qui n'y croit pas.
Cas célèbres#
L'empreinte de Madrid et Brandon Mayfield mars-mai 2004 ; rapport 2006#
Biais en jeu : confirmation, autorité de l'expert, surconfiance.
Ce qui s'est passé. Après les attentats, la police espagnole transmet au FBI une empreinte partielle relevée sur un sac de détonateurs. La recherche dans la base du FBI propose plusieurs candidats, dont Brandon Mayfield. Un expert du FBI conclut à une correspondance certaine, confirmée par deux autres examinateurs, puis par un expert extérieur ; la police espagnole, elle, doutait dès avril. Mayfield est arrêté le 6 mai 2004 puis libéré deux semaines plus tard, lorsque les Espagnols établissent que l'empreinte appartient à un autre homme. En 2006, le Office of the Inspector General du ministère de la Justice publie un rapport sur l'affaire : il y relève notamment que, une fois la correspondance supposée posée, les examinateurs ont trouvé des « points de concordance » de plus en plus nombreux, et que les objections de leurs collègues espagnols ont été écartées au lieu d'être examinées.
Ce que cela illustre
Une conclusion posée tôt oriente l'examen de tout ce qui suit : l'expert qui « voit » la correspondance finit par en voir davantage, et la vérification par des pairs informés de la conclusion confirme au lieu de contrôler. D'où le réflexe à reprendre en projet : une revue qui connaît la conclusion de l'auteur n'est pas une contre-expertise. Une vraie vérification se fait en aveugle, par quelqu'un dont la tâche est de chercher l'erreur.
Wason et la règle 2-4-6 1960#
Biais en jeu : confirmation, test positif.
Peter Wason publie en 1960 dans le Quarterly Journal of Experimental Psychology l'expérience décrite plus haut. Ce qui la rend célèbre n'est pas le chiffre, mais le comportement : des étudiants, répondant « oui » à leurs propres propositions, annonçaient avec assurance des règles plus étroites que la règle réelle, sans jamais avoir testé une suite qui l'aurait réfutée. Les résultats précis (nombre de participants, proportion de réussites) sont à consulter dans l'article.
Ce que cela illustre
Un test qui ne peut pas échouer ne vaut pas preuve. Avant de lancer une campagne de recette ou de choisir un jeu de données de validation, la question utile est : « quel résultat me ferait changer d'avis ? ». Si la réponse est « aucun », le test confirme seulement l'idée de départ.
Les « avions renifleurs » d’Elf (France) 1976-1979 ; révélé en 1983#
Biais en jeu : biais de confirmation (avec la pensée désidérative).
Ce qui s’est passé. Deux inventeurs prétendaient détecter depuis un avion des gisements de pétrole à des milliers de mètres sous terre ; le groupe pétrolier public Elf les a financés pendant trois ans pour des centaines de millions de francs. Le procédé était une supercherie. Les démonstrations étaient conduites au-dessus de sites déjà connus d’Elf, avec un appareil tenu secret : les essais favorables étaient retenus comme des preuves, les doutes écartés. En mai 1979, le physicien Jules Horowitz établit qu’une règle placée derrière un écran apparaissait intacte sur l’image alors qu’elle avait été altérée : l’appareil ne « voyait » rien.
Le récit complet, avec ses sources et ses limites, est dans la fiche sur la pensée désidérative.
Ce que cela illustre
Une preuve n’en est une que si elle aurait pu échouer : faire choisir les cas de test par un tiers, qui ne connaît pas la réponse attendue.
Signaux de détection#
- « Je le savais, regardez, ça confirme » : chaque nouvelle information est lue comme un argument de plus.
- Aucun participant ne sait dire ce qui prouverait qu'on se trompe.
- Les contre-exemples sont accueillis par « c'est un cas particulier », « c'est un faux positif », « ça ne compte pas ».
- Les sources consultées sont toutes du même avis (même équipe, même éditeur, même fil de discussion).
- La recherche s'arrête dès que la première explication plausible est trouvée.
- Le seuil d'exigence change selon le sens : on exige un protocole rigoureux pour les données défavorables, et une anecdote suffit pour celles qui arrangent.
Réflexes d'évitement#
- Écrire d'avance ce qui ferait abandonner l'hypothèse. « Si le correctif est bon, le test X ne doit plus échouer ; s'il échoue encore, c'est que nous nous trompons de cause. » Le critère doit être fixé avant de regarder les résultats.
- Chercher le test qui peut échouer. Pour une hypothèse, choisissez l'expérience où elle est le plus exposée, pas celle où elle brille.
- Garder plusieurs hypothèses vivantes. Au moins deux explications rivales, notées au tableau, jusqu'à ce que l'une soit éliminée par un fait.
- Demander le contraire. « Quelles données auraient-on s'il n'en était rien ? » ; « qu'est-ce qu'un détracteur honnête citerait ? ». Voir aussi l'avocat du diable et le pré-mortem.
- Faire vérifier en aveugle. Le contrôleur ne connaît pas la conclusion de l'auteur, ou est missionné pour la contredire. Il ne s'agit pas de cynisme : c'est la condition pour qu'une vérification apporte quelque chose.
- Séparer l'observation de l'interprétation. Noter d'abord les faits bruts (journaux, mesures), puis l'interprétation, et seulement ensuite la décision.
- Décider des critères avant les données : indicateurs de succès d'une réorganisation, seuil de décision d'un choix technique, découpage d'une analyse.
- Chercher activement l'avis contraire : lire la critique la mieux argumentée de la solution retenue, ou la demander à quelqu'un qui ne l'a pas choisie.
Avec l'IA : détecter, remédier, atténuer#
Un modèle de langage peut jouer sans fatigue le rôle d'avocat du diable et rédiger des tests réfutants. Mais il a lui-même tendance à abonder dans le sens de l'interlocuteur (complaisance, « sycophancy ») : si vous lui présentez votre hypothèse comme probable, il l'étayera. Son utilité dépend de la manière de poser la question.
Détecter#
- Relire une analyse d'incident ou un dossier de choix et lister les éléments qui ne vont pas dans le sens de la conclusion, puis ceux qui ont été écartés.
- Repérer les formulations qui immunisent (« cas particulier », « ne compte pas »).
- Vérifier si tous les tests prévus peuvent réussir.
Remédier#
- Proposer des hypothèses rivales et pour chacune le test qui la départagerait.
- Rédiger des tests réfutants (cas limites, entrées inattendues) pour un correctif.
- Faire l'argumentaire contraire d'une décision déjà prise.
Atténuer#
- Soumettre la question sans dire ce que vous pensez, ou en proposant plusieurs réponses possibles.
- Demander deux argumentaires opposés d'égale force, à comparer.
- Faire relire par un second modèle ou une seconde session qui ne connaît pas la conclusion.
Prompts à intégrer à vos usages#
1. Hypothèses rivales et test départageant. Au début d'un diagnostic, avant de s'engager sur une cause.
Voici un symptôme observé : [description factuelle, sans interprétation].
Ne cherche pas à valider une cause. Propose cinq explications possibles, y compris peu vraisemblables, du plus probable au moins probable.
Pour chacune, donne : (1) un test qui la départagerait des autres et qui pourrait la réfuter, (2) ce que l'on observerait si elle était fausse.
Termine en indiquant quels éléments factuels manquent pour trancher.2. Avocat du diable sur une conclusion. Quand une cause ou un choix semble acquis et que vous voulez le mettre à l'épreuve.
Notre équipe conclut que : [conclusion]. Les éléments sur lesquels elle repose : [liste de faits].
Ton rôle est de contredire, pas de nuancer : donne les trois meilleures raisons pour lesquelles cette conclusion pourrait être fausse, les faits de la liste qui pourraient s'interpréter autrement, et les données que nous n'avons pas cherchées.
Puis écris le test le plus dangereux pour notre conclusion. N'invente pas de références.Comment les intégrer#
- Avant de tester : le prompt 1 fixe l'espace des hypothèses ; le critère de réfutation est écrit avant de lancer le moindre test.
- Avant de décider : le prompt 2 sert de contre-expertise légère, en complément (pas en remplacement) d'un regard humain extérieur.
- En revue : rejouer le prompt 2 sur le compte rendu final, pour voir ce qu'un lecteur sceptique y reprocherait.
Précautions#
- Ne formulez pas votre conclusion dans le prompt : « confirme que le cache est en cause » produira une confirmation.
- Un contre-argument fluide n'est pas une preuve : il fournit des pistes à vérifier, pas des faits.
- Les références citées peuvent être inventées : vérifiez-les.
- Ne transmettez pas de journaux ou de données contenant des informations personnelles ou confidentielles à un outil non autorisé.
Limites#
- Chercher à confirmer n'est pas toujours une erreur. Klayman et Ha (1987) rappellent que tester un cas où l'on s'attend à trouver la propriété est souvent efficace, notamment quand elle est rare. Le biais commence quand c'est la seule stratégie.
- Le terme recouvre des phénomènes distincts (recherche, interprétation, mémoire) dont l'ampleur varie ; la tâche de Wason elle-même est discutée : elle mesure autant la difficulté de la règle que la préférence pour la confirmation.
- L'expérience et l'expertise ne protègent pas : elles peuvent même rendre les explications plus faciles à construire après coup.
- Exiger un test réfutant pour tout est coûteux : on réserve l'exercice aux décisions importantes ou difficiles à défaire.
Sources et vérification#
- Wason (1960), « On the failure to eliminate hypotheses in a conceptual task », Quarterly Journal of Experimental Psychology 12(3) — la tâche 2-4-6.
- Nickerson (1998), « Confirmation bias: A ubiquitous phenomenon in many guises », Review of General Psychology 2(2) — synthèse.
- Klayman & Ha (1987), « Confirmation, disconfirmation, and information in hypothesis testing », Psychological Review 94(2)
- Lord, Ross & Lepper (1979), « Biased assimilation and attitude polarization: The effects of prior theories on subsequently considered evidence », Journal of Personality and Social Psychology 37(11)
- U.S. Department of Justice, Office of the Inspector General (2006), A Review of the FBI's Handling of the Brandon Mayfield Case — rapport public sur l'affaire de l'empreinte de Madrid ; à consulter pour le détail des constats.
