Calibration — quand 80 % de confiance doit signifier environ 80 % de réussite

Imaginez que quelqu’un fasse cent prévisions et déclare à chaque fois :

« J’en suis sûr à 80 %. »

Si cette personne est bien calibrée, environ quatre-vingts de ces prévisions devraient se révéler correctes et vingt incorrectes.

Si quatre-vingt-dix-huit sont correctes, elle était sous-confiante : ses prévisions méritaient davantage de confiance qu’elle ne leur en accordait.

Si seulement cinquante-cinq sont correctes, elle était surconfiante : le sentiment de certitude dépassait fortement la fiabilité réelle de ses jugements.

C’est le principe de la calibration. Il ne demande pas seulement si nous avons raison ou tort. Il compare systématiquement le niveau de confiance annoncé à la fréquence réelle de réussite.

Cette idée paraît élémentaire, mais elle transforme profondément la manière de penser l’incertitude. Une personne rationnelle n’est plus celle qui « sait » ou « ne sait pas ». Elle peut dire :

« Je pense que c’est vrai avec environ 70 % de confiance. »

Puis accepter qu’une croyance à 70 % soit parfois fausse sans considérer chacune de ces erreurs comme une contradiction.

La rationalité devient alors moins une collection de certitudes qu’un apprentissage progressif de la bonne quantité de confiance à accorder à ses propres jugements.

Une probabilité ne peut pas être vérifiée sur un seul événement

Supposons que je dise :

« Il y a 70 % de chances qu’il pleuve demain. »

Le lendemain, il pleut.

Cela ne prouve pas que mon estimation de 70 % était bonne. Une prévision de 20 % aurait également pu être suivie de pluie.

Inversement, s’il ne pleut pas, cela ne montre pas que 70 % était une mauvaise prévision : un événement auquel on attribue 70 % de probabilité doit précisément échouer environ trois fois sur dix si les probabilités sont bien calibrées.

Une prévision probabiliste doit donc être évaluée sur une série de situations comparables.

Regroupons toutes les journées auxquelles un météorologue attribue environ 70 % de probabilité de pluie.

S’il pleut environ 70 % de ces jours, ce niveau de prévision est bien calibré.

La question n’est donc pas :

« Cette prévision s’est-elle réalisée ? »

mais :

« Sur le long terme, les événements annoncés avec cette probabilité se produisent-ils approximativement à cette fréquence ? »

Cette idée est au cœur de la tradition de recherche sur la calibration probabiliste synthétisée notamment par Sarah Lichtenstein, Baruch Fischhoff et Lawrence Phillips.

La calibration transforme la confiance en quelque chose de testable

Dans le langage ordinaire, les expressions de confiance sont extrêmement vagues.

« C’est probable. »

« Presque certainement. »

« J’en doute un peu. »

« Il y a de bonnes chances. »

Deux personnes peuvent utiliser exactement la même expression pour des degrés de confiance très différents.

L’utilisation de probabilités numériques n’élimine pas tous les problèmes, mais elle permet une opération essentielle : confronter nos niveaux de confiance au réel.

Si j’utilise régulièrement :

60 %, 70 %, 80 %, 90 %

je peux progressivement regarder ce que ces nombres signifient dans mes propres prévisions.

Mes événements à 90 % se produisent-ils neuf fois sur dix ?

Mes prévisions à 60 % réussissent-elles seulement légèrement plus souvent que le hasard ?

Mes « presque certains » échouent-ils beaucoup plus souvent que je ne l’imaginais ?

Le langage probabiliste transforme ainsi une impression interne en engagement empirique.

Il devient possible d’apprendre non seulement si nos croyances étaient correctes, mais si nous savions à quel point elles étaient fragiles.

Être bien calibré n’implique pas de faire de bonnes prévisions

Il existe toutefois un piège important.

Imaginez quelqu’un qui répond toujours :

« 50 %. »

Sur une série d’événements binaires équilibrés, cette personne pourrait sembler correctement calibrée : environ la moitié des événements se réaliseront.

Mais son information est presque inutile.

Elle n’a jamais distingué les événements très probables des événements très improbables.

La calibration n’est donc qu’une dimension de la qualité d’une prévision.

Il faut également ce que l’on appelle selon les contextes discrimination, résolution ou sharpness : la capacité à attribuer des probabilités différentes aux situations qui n’ont réellement pas les mêmes chances de se produire.

Un bon prévisionniste doit idéalement posséder les deux qualités :

ses 80 % doivent réussir environ 80 % du temps ;

et

il doit savoir quand utiliser 80 % plutôt que 50 % ou 20 %.

Une personne qui annonce toujours 50 % ne prend presque aucun risque métacognitif.

Elle n’apporte presque aucune information non plus.

Calibration et discrimination répondent à deux questions différentes

On peut résumer la distinction ainsi :

PropriétéQuestion
CalibrationLorsque je dis 80 %, ai-je raison environ 80 % du temps ?
DiscriminationSuis-je capable de donner une confiance plus élevée aux événements qui se produisent réellement plus souvent ?
Précision globaleMes probabilités sont-elles proches des résultats observés ?
RésolutionEst-ce que je distingue effectivement les situations faciles des situations incertaines ?

Une personne peut être raisonnablement calibrée mais peu discriminante.

Une autre peut distinguer correctement les bons et mauvais cas mais être systématiquement surconfiante.

La métacognition idéale doit donc faire davantage que produire « la bonne moyenne ».

Elle doit faire varier la confiance au bon endroit.

Le score de Brier : récompenser la bonne probabilité, pas seulement la bonne réponse

Une manière classique d’évaluer les prévisions probabilistes est le score de Brier, introduit par le météorologue Glenn Brier en 1950.

Pour un événement binaire, l’idée est simple.

On compare la probabilité annoncée à ce qui s’est effectivement produit.

Si vous annoncez une probabilité \(p\), et que l’événement vaut finalement 1 s’il se produit et 0 sinon, on calcule :

(p − résultat)²

puis on moyenne cette erreur sur de nombreuses prévisions.

Un score faible est meilleur.

Supposons que l’événement se produise.

Une prévision de 90 % donne une petite erreur :

(0,9 − 1)² = 0,01.

Une prévision de 60 % donne :

0,16.

Une prévision de 10 % donne :

0,81.

Le score ne demande donc pas simplement :

« Aviez-vous choisi le bon côté ? »

Il récompense une probabilité d’autant plus fortement qu’elle était appropriée.

Cette propriété est essentielle pour apprendre à quantifier son incertitude.

Une prédiction à 51 % et une prédiction à 99 % ne sont pas le même acte intellectuel

Supposons que deux personnes prédisent toutes deux la victoire du même candidat.

La première estime ses chances à :

51 %.

La seconde :

99 %.

Le candidat perd.

Si nous évaluons simplement la catégorie choisie — « victoire » — les deux se sont trompées.

Pourtant, leurs erreurs n’ont pas la même signification.

La première disait essentiellement :

« Je pense qu’il est légèrement favori, mais le résultat inverse serait presque aussi plausible. »

La seconde disait :

« Sa défaite serait extrêmement surprenante. »

La défaite constitue donc une preuve beaucoup plus forte contre la qualité du second jugement.

Le langage probabiliste permet de distinguer l’erreur dans un monde incertain de l’excès de certitude.

C’est particulièrement important en politique, économie, médecine ou géopolitique, où même une excellente analyse ne peut généralement pas transformer l’avenir en certitude.

Une bonne prévision peut être fausse

C’est l’une des difficultés psychologiques majeures de la pensée probabiliste.

Supposons qu’un médecin estime correctement qu’un patient a 10 % de risque de développer une complication.

La complication survient.

Il serait incorrect de conclure :

« Le médecin avait donc tort. »

Une bonne prévision à 10 % doit être suivie de l’événement environ une fois sur dix.

Inversement, une personne qui avait affirmé :

« Cela va forcément arriver »

n’est pas automatiquement un meilleur prévisionniste parce que l’événement s’est effectivement produit une fois.

Les prévisions doivent être évaluées en séries.

Cette règle protège contre une grande illusion rétrospective : juger la qualité d’une décision uniquement à partir du résultat qu’elle a produit.

Une décision raisonnable peut mal tourner.

Une décision imprudente peut réussir.

L’épistémologie de la décision exige de conserver séparément :

la qualité du raisonnement au moment du choix

et

le résultat particulier obtenu ensuite.

Cas pratique — « J’étais certain que ce patient allait se dégrader »

Après un événement grave, il est fréquent de reconstruire mentalement le passé.

« C’était évident. »

« On savait qu’il allait se dégrader. »

« Les signes étaient déjà là. »

Mais que signifiait réellement cette confiance avant l’événement ?

La personne aurait-elle déclaré :

60 % ? 80 % ? 99 % ?

Aurait-elle fait la même prédiction pour d’autres patients présentant des signes comparables ?

Et parmi ceux-là, combien se sont effectivement dégradés ?

Sans ces informations, l’impression rétrospective « c’était évident » est presque impossible à calibrer.

Une pratique intéressante consiste donc à documenter certains jugements avant de connaître l’issue.

On peut alors distinguer :

ce qui paraissait probable à l’époque

de

ce qui paraît évident maintenant que nous connaissons la suite.

L’enregistrement extérieur protège ici la mémoire contre sa propre reconstruction.

La surconfiance n’est pas une seule chose

La littérature sur la surconfiance utilise plusieurs définitions qu’il faut soigneusement distinguer.

Don Moore et Paul Healy en identifient notamment trois.

La première est la surestimation : croire que notre performance absolue est meilleure qu’elle ne l’est réellement.

« Je pense avoir obtenu 90 % de bonnes réponses », alors que j’en ai 65 %.

La deuxième est le surclassement (*overplacement*) : croire que nous sommes meilleurs que les autres à un degré injustifié.

« Je conduis mieux que 90 % des automobilistes. »

La troisième est l’excès de précision (*overprecision*) : être trop certain que notre estimation se situe dans un intervalle étroit.

Par exemple, donner un intervalle de confiance extrêmement serré autour d’une estimation alors que la vraie valeur tombe trop souvent en dehors.

Ces trois phénomènes ne doivent pas être fusionnés sous un vague :

« Les humains se croient toujours meilleurs qu’ils ne sont. »

Ils possèdent des propriétés différentes.

Le fameux « tout le monde se croit meilleur que la moyenne » est trop simple

Les travaux de Moore et Healy montrent notamment que les phénomènes d’overplacement peuvent s’inverser selon la difficulté des tâches.

Pour des tâches faciles, les personnes peuvent avoir tendance à se considérer comme meilleures que les autres.

Pour des tâches difficiles, elles peuvent parfois faire l’erreur inverse et se croire relativement moins bonnes que les autres.

Pourquoi ?

Parce qu’une personne connaît assez directement sa propre expérience de difficulté mais connaît beaucoup moins précisément celle des autres.

Si une tâche paraît très facile :

« J’ai réussi, donc je dois probablement être assez bon. »

Mais les autres ont peut-être réussi eux aussi.

Si la tâche paraît extrêmement difficile :

« J’ai eu beaucoup de mal, donc je dois probablement être mauvais. »

Mais les autres ont peut-être eu tout autant de mal.

La confiance comparative dépend donc en partie de l’information disponible sur soi et sur autrui.

Encore une fois, le phénomène réel est plus intéressant que son slogan populaire.

La surconfiance absolue et la sous-confiance peuvent coexister

Le même cadre produit un résultat qui paraît paradoxal.

Sur une tâche très difficile, une personne peut simultanément :

surestimer son propre score absolu

et

se croire moins bonne que les autres.

Supposons qu’elle pense avoir réussi 50 % des problèmes alors qu’elle n’en a réussi que 30 %.

Elle surestime sa performance.

Mais si elle pense que les autres ont réussi 70 %, alors qu’ils ont en réalité obtenu également 30 %, elle se sous-estime relativement aux autres.

Elle est donc :

surconfiante sur sa performance absolue

et

sous-confiante sur son classement relatif.

C’est pourquoi parler globalement « d’excès de confiance » sans préciser ce qui est mesuré peut créer beaucoup de confusion.

L’excès de précision est particulièrement important

Une forme de surconfiance mérite une attention particulière pour l’esprit critique : croire que l’incertitude est beaucoup plus faible qu’elle ne l’est réellement.

Imaginons qu’on vous demande :

« En quelle année a été inventé cet appareil ? Donnez un intervalle dont vous êtes sûr à 90 % qu’il contient la bonne réponse. »

Une personne bien calibrée devrait produire des intervalles qui contiennent la vraie réponse environ neuf fois sur dix.

Si la vraie valeur tombe en dehors beaucoup plus souvent, les intervalles étaient trop étroits.

Le problème n’est pas de s’être trompé sur la valeur centrale.

Il est d’avoir sous-estimé l’étendue de son ignorance.

Cette forme d’erreur est particulièrement dangereuse pour les prévisions complexes.

Une estimation centrale peut être raisonnable tandis que l’intervalle d’incertitude est beaucoup trop étroit.

Nous savons à peu près où regarder.

Nous croyons simplement voir beaucoup plus précisément que nous ne le pouvons réellement.

Dire « entre 20 et 80 » protège la calibration, mais peut rendre la prévision inutile

Une autre difficulté apparaît immédiatement.

Si l’on veut éviter l’excès de précision, pourquoi ne pas donner systématiquement des intervalles gigantesques ?

« La population future sera probablement comprise entre 10 millions et 10 milliards. »

Cette affirmation aura de bonnes chances de contenir la bonne valeur.

Elle n’aidera personne.

Comme pour les prévisions à 50 %, une bonne évaluation doit combiner calibration et information.

L’objectif n’est pas d’agrandir artificiellement l’incertitude.

Il est de produire l’intervalle le plus informatif compatible avec ce que nous savons réellement.

L’esprit critique ne doit donc pas remplacer :

fausse précision

par

flou permanent.

Il doit apprendre à distinguer les endroits où nous pouvons être précis de ceux où nous devons conserver une marge importante.

Les domaines ne se calibrent pas tous aussi facilement

La météo possède un avantage considérable pour apprendre la calibration.

Les prévisions sont fréquentes.

Les résultats arrivent rapidement.

Les critères sont relativement clairs.

Une prévision de pluie peut être comparée quelques heures plus tard à ce qui s’est produit.

Beaucoup de domaines intellectuels ne fournissent pas ce type de feedback.

Un expert politique peut expliquer pourquoi une décision était correcte même si ses effets sont décevants.

Un analyste géopolitique peut reformuler après coup ce qu’il voulait dire.

Un conseiller peut attribuer un succès à ses recommandations et un échec à des événements imprévisibles.

Plus les résultats sont ambigus et plus le délai est long, plus il devient difficile d’apprendre spontanément si notre niveau de confiance était justifié.

Nous retrouvons la distinction précédente entre environnements favorables et trompeurs.

La calibration a besoin de feedback.

Le feedback doit être suffisamment propre pour apprendre

Recevoir un résultat ne suffit pas toujours.

Supposons qu’un chirurgien traite des patients très différents.

Un cas grave échoue malgré une intervention excellente.

Un cas simple réussit malgré plusieurs erreurs.

Comparer mécaniquement résultat et confiance risquerait d’enseigner les mauvaises leçons.

Il faut donc définir ce qui constitue réellement le résultat pertinent.

Même problème en économie.

Une politique est adoptée, puis l’économie évolue.

Mais elle est simultanément affectée par la conjoncture internationale, les taux d’intérêt, les prix de l’énergie, les décisions d’autres gouvernements et une multitude d’événements.

La calibration d’une prévision ne peut pas éliminer ces incertitudes.

Elle oblige simplement à les intégrer avant de connaître le résultat.

Plus un environnement comporte de variables incontrôlées, plus une bonne prévision devrait souvent être accompagnée d’un intervalle de confiance plus large.

La politique récompense souvent l’assurance davantage que la calibration

Cette difficulté est renforcée par les incitations sociales.

Imaginez deux commentateurs.

Le premier dit :

« Je pense que cette coalition est légèrement favorite, peut-être 60 %, mais plusieurs scénarios restent plausibles. »

Le second affirme :

« Cette coalition va évidemment gagner. Je ne vois même pas comment il pourrait en être autrement. »

Le second peut sembler plus compétent.

Son discours est plus simple, plus mémorable et plus facile à médiatiser.

S’il gagne son pari, son assurance semblera confirmée.

S’il se trompe, l’attention publique se sera peut-être déjà déplacée vers autre chose.

Un environnement sans mémoire systématique des prévisions peut donc sélectionner l’assurance rhétorique plutôt que la calibration.

La solution n’est pas seulement individuelle.

Il faut conserver les prédictions.

Les dater.

Les quantifier.

Puis les évaluer collectivement.

Autrement, l’environnement fournit un feedback beaucoup trop pauvre pour distinguer le prévisionniste réellement calibré du commentateur momentanément chanceux.

Écrire ses prévisions rend l’apprentissage possible

Une technique simple consiste à créer un journal de prévisions.

Avant un événement, écrire :

« 70 % que X se produise avant telle date. »

Puis conserver cette estimation.

Quelques mois plus tard, on code le résultat.

Après plusieurs dizaines ou centaines de prévisions, des régularités apparaissent.

Mes 90 % sont-ils réellement très fiables ?

Mes 60 % ressemblent-ils davantage à 50 % ?

Suis-je particulièrement mauvais sur certains sujets ?

Ai-je tendance à utiliser trop souvent les probabilités extrêmes ?

Mes prévisions s’améliorent-elles lorsque je consulte certaines sources ?

Ce dispositif possède une vertu fondamentale : il transforme la métacognition en apprentissage mesurable.

On ne demande plus :

« Suis-je généralement quelqu’un de prudent ? »

On demande :

« Que montrent mes prévisions passées ? »

Il faut résister à la tentation de réécrire les prévisions après coup

Une prévision vague protège très bien l’ego.

« Il pourrait y avoir d’importantes tensions dans les prochains mois. »

Presque n’importe quel événement pourra ensuite être présenté comme une confirmation.

Pour apprendre réellement, une prévision doit être suffisamment précise pour permettre de déterminer ce qui compterait comme réussite ou échec.

Par exemple :

« J’estime à 65 % la probabilité que X se produise avant le 31 décembre. »

La date empêche de prolonger indéfiniment l’horizon.

La probabilité empêche de prétendre après coup qu’on était « certain ».

La définition de X empêche de modifier silencieusement le sens de la prédiction.

Nous retrouvons encore une fois le rôle essentiel de l’externalisation.

La trace écrite protège notre ancienne croyance contre la mémoire du raisonneur qui connaît maintenant le résultat.

Le score de Brier décourage certaines formes de bluff

Le score de Brier possède une propriété intéressante.

Une confiance extrême est fortement récompensée lorsqu’elle est correcte, mais fortement sanctionnée lorsqu’elle est fausse.

Si vous attribuez 99 % à un événement qui se produit, votre erreur est minuscule.

Mais s’il ne se produit pas, l’erreur devient énorme.

Cela crée une discipline intellectuelle.

Avant de choisir 99 %, il faut se demander :

« Est-ce vraiment le genre d’événement dont je serais surpris qu’il échoue plus d’une fois sur cent ? »

La question est bien plus exigeante que :

« Est-ce que je pense que cela va arriver ? »

Elle oblige à traduire une impression en fréquence implicite d’erreur.

Les probabilités extrêmes doivent être rares

Cette réflexion conduit naturellement à une pratique utile.

Dire 100 % signifie en principe que l’événement contraire est impossible.

Dans les décisions empiriques complexes, cette situation est extrêmement rare.

Même lorsque nous sommes presque certains, une probabilité comme 99 % reconnaît encore qu’une information inconnue, une erreur de mesure ou une hypothèse oubliée peut exister.

Cela ne signifie pas qu’il faut artificiellement éviter les fortes probabilités.

Certaines propositions méritent une confiance extrêmement élevée.

Il est par exemple raisonnable d’attribuer une probabilité extraordinairement forte au fait que le Soleil se lèvera demain.

Mais dans les domaines complexes — élections, conflits, marchés, comportement individuel, politique publique — les probabilités proches de 0 ou 100 % doivent généralement être utilisées avec beaucoup plus de prudence.

Plus notre modèle du système est incomplet, plus une petite réserve d’incertitude possède de valeur.

La calibration n’est pas le relativisme

Une objection peut apparaître :

si toutes nos croyances deviennent des degrés de confiance, ne renonçons-nous pas à distinguer le vrai du faux ?

Non.

Une proposition reste vraie ou fausse indépendamment de notre confiance.

La probabilité exprime notre incertitude épistémique, pas nécessairement une indétermination du monde.

Dire :

« Je suis à 80 % convaincu que X »

ne signifie pas :

« X est vrai à 80 %. »

Cela signifie :

« Compte tenu de ce que je sais, je devrais traiter X comme une proposition fortement probable mais encore révisable. »

La calibration ne dilue donc pas la vérité.

Elle discipline notre rapport à ce que nous savons de la vérité.

Un désaccord devient plus informatif lorsqu’on compare les niveaux de confiance

Deux personnes peuvent sembler en opposition totale :

A : « Cette réforme va fonctionner. »

B : « Elle va échouer. »

Demandons des probabilités.

A répond :

55 % de chances de succès.

B répond :

45 %.

Le désaccord réel est faible.

Les deux pensent que la situation est presque équilibrée.

Inversement :

A : 95 %.

B : 5 %.

Le désaccord est profond.

L’expression de confiance permet donc de distinguer désaccord de direction et désaccord de magnitude.

Elle peut également rendre les discussions plus productives :

Quelle information justifie dix points de différence entre nos estimations ?

Cette question est souvent plus précise que :

« Qui a raison ? »

La calibration permet aussi de repérer les domaines où nous devrions déléguer

Supposons que vos prévisions politiques à 80 % réussissent réellement environ 80 % du temps, mais que vos prévisions financières à 80 % n’atteignent que 55 %.

Vous apprenez quelque chose de plus utile que :

« Je suis bon ou mauvais en prévision. »

Vous découvrez une structure de compétence.

Votre jugement peut être correctement calibré dans un domaine et beaucoup moins dans un autre.

Cette connaissance doit influencer vos décisions.

Lorsque votre jugement politique est à 80 %, vous pouvez peut-être lui accorder une certaine valeur.

Lorsque votre intuition financière annonce également 80 %, votre historique vous dit :

« Dans ce domaine, mon 80 % ne vaut probablement pas 80 %. »

La calibration devient ainsi un outil pour déterminer quand se faire confiance et quand chercher une expertise extérieure.

C’est exactement le type de fonction que nous attribuons pédagogiquement à notre « Système 3 ».

Une institution peut elle aussi être calibrée

La notion ne concerne pas seulement les individus.

Un service médical peut comparer les probabilités de complications prédites aux fréquences réellement observées.

Un modèle de risque peut être évalué de la même manière.

Une agence météorologique peut examiner ses probabilités de pluie.

Une équipe d’analystes peut conserver ses prévisions géopolitiques.

Une entreprise peut enregistrer les probabilités de réussite attribuées à ses projets.

Une institution apprend alors non seulement :

« Combien de fois avons-nous eu raison ? »

mais :

« Nos niveaux de confiance correspondaient-ils réellement à nos taux de réussite ? »

C’est une forme de métacognition collective.

Elle permet de corriger les personnes, procédures ou modèles qui produisent une assurance excessive ou une prudence inutile.

La procédure surpasse parfois l’introspection

Une personne peut essayer de devenir plus humble.

Mais comment savoir si elle l’est devenue suffisamment ?

Elle peut essayer d’être moins surconfiante.

Mais elle risque simplement de diminuer arbitrairement toutes ses probabilités.

La calibration fournit une réponse beaucoup plus robuste :

mesurez.

Si vos 90 % ne réussissent que 70 % du temps, réduisez votre confiance ou améliorez vos modèles.

Si vos 60 % réussissent 85 % du temps, vous êtes peut-être trop prudent.

La correction ne vient plus uniquement d’une vertu intérieure appelée « humilité ».

Elle vient d’une comparaison entre prédictions et résultats.

C’est une différence majeure pour l’autonomie intellectuelle.

Nous ne cherchons pas seulement à devenir des personnes qui se sentent modestes.

Nous cherchons à construire des procédures permettant de découvrir si notre modestie ou notre assurance sont réellement justifiées.

Le feedback peut améliorer la calibration, mais pas automatiquement

Les travaux classiques de Lichtenstein et Fischhoff montrent qu’un entraînement accompagné de feedback peut améliorer la calibration de certains jugements probabilistes. Mais ils soulignent également que cet apprentissage ne se généralise pas automatiquement d’un domaine à l’autre.

Cette limitation est importante.

Apprendre à calibrer des questions de culture générale ne garantit pas que nous deviendrons immédiatement bien calibrés en médecine, politique ou économie.

Les indices de difficulté diffèrent.

Les connaissances nécessaires diffèrent.

Les environnements de feedback diffèrent.

La calibration semble donc dépendre à la fois de compétences générales — apprendre à penser en probabilités, accepter l’erreur, conserver les prédictions — et d’un apprentissage spécifique aux domaines.

Encore une fois, il n’existe pas un « muscle de rationalité » unique que quelques exercices suffiraient à renforcer partout.

Notre « Système 3 » doit apprendre son propre langage

Nous avons progressivement construit une nouvelle image de la métacognition.

Elle ne peut pas simplement déclarer :

« Je sais. »

ou

« Je doute. »

Elle doit apprendre une gradation beaucoup plus fine.

Je suis presque certain.

Je pense que c’est probable.

Les deux possibilités restent sérieuses.

Je n’ai quasiment aucune information.

Je suis confiant parce que j’ai beaucoup d’expérience dans ce type de situation.

Je suis confiant, mais mon historique montre que je suis souvent trop sûr dans ce domaine.

Cette richesse du vocabulaire de l’incertitude permet une régulation plus efficace.

Le but n’est pas que nous donnions un pourcentage à chaque phrase de la vie quotidienne.

Il est que nous arrêtions de penser nos croyances comme si elles se répartissaient naturellement entre seulement deux catégories :

certaines

et

incertaines.

Penser juste, c’est aussi apprendre combien on peut se tromper

La calibration complète finalement la confiance métacognitive étudiée précédemment.

Une personne peut ressentir une incertitude.

La calibration demande :

« Cette incertitude correspond-elle réellement à ma probabilité d’erreur ? »

Une personne peut être extrêmement sûre.

La calibration demande :

« Mes anciennes certitudes de ce niveau étaient-elles effectivement presque toujours correctes ? »

Une personne peut apprendre de ses erreurs.

La calibration ajoute :

« Apprends également des erreurs que tu n’avais pas prévues comme possibles. »

C’est une transformation profonde de l’humilité intellectuelle.

L’humilité n’est plus simplement une attitude morale consistant à rappeler que « tout le monde peut se tromper ».

Elle devient une compétence empirique :

savoir approximativement à quelle fréquence nous nous trompons lorsque nous nous sentons aussi sûrs qu’aujourd’hui.

À ce stade, notre « Système 3 » commence réellement à devenir un système de régulation.

Il surveille la confiance.

Il compare cette confiance aux résultats.

Il apprend où nous sommes trop certains et où nous sommes trop prudents.

Mais une grande partie de nos connaissances ne concerne pas directement une décision ou une prévision. Nous devons également surveiller ce que nous pensons savoir et ce que nous pensons pouvoir retrouver.

C’est le domaine de la métamémoire.

Pour aller plus loin

Sarah Lichtenstein, Baruch Fischhoff & Lawrence D. Phillips (1982), « Calibration of Probabilities: The State of the Art to 1980 », dans Daniel Kahneman, Paul Slovic & Amos Tversky, *Judgment under Uncertainty: Heuristics and Biases*, Cambridge University Press. Une synthèse classique de la recherche sur la calibration des probabilités, les écarts entre confiance et exactitude et les possibilités d’amélioration par feedback. DOI : 10.1017/CBO9780511809477.023.

Glenn W. Brier (1950), « Verification of Forecasts Expressed in Terms of Probability », *Monthly Weather Review*, 78(1), 1–3. Le texte fondateur du score de Brier, qui permet d’évaluer quantitativement des prévisions probabilistes plutôt que de les réduire à une opposition correcte/incorrecte. DOI : 10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2.

Don A. Moore & Paul J. Healy (2008), « The Trouble with Overconfidence », *Psychological Review*, 115(2), 502–517. Une contribution importante distinguant trois phénomènes souvent confondus sous le terme de surconfiance : surestimation, surclassement et excès de précision. DOI : 10.1037/0033-295X.115.2.502.

Sarah Lichtenstein & Baruch Fischhoff (1980), « Training for Calibration », *Organizational Behavior and Human Performance*, 26(2), 149–171. Une étude classique montrant que le feedback peut améliorer la calibration des jugements probabilistes tout en soulignant les limites du transfert de cet apprentissage à d’autres tâches. DOI : 10.1016/0030-5073(80)90052-5.

Asher Koriat (2012), « When Are Two Heads Better Than One and Why? », *Science*, 336(6079), 360–362. Une étude importante pour la dimension collective de la confiance : elle montre comment les jugements de confiance peuvent contribuer à agréger efficacement plusieurs réponses lorsque cette confiance est suffisamment informative, mais également pourquoi des différences systématiques de biais de confiance entre individus peuvent perturber cette agrégation. DOI : 10.1126/science.1216549.

21 sur 30Retour à la catégorie