Institutions de correction — organiser la contradiction, l’audit et la réplication

Une personne brillante peut se tromper.

Une équipe brillante aussi.

Un laboratoire entier peut partager la même hypothèse, les mêmes méthodes, les mêmes présupposés et les mêmes angles morts.

Si toutes les vérifications sont réalisées par les personnes qui ont construit l’idée initiale, une difficulté apparaît : les mêmes mécanismes qui ont produit le raisonnement sont également chargés de découvrir ses erreurs.

Nous avons déjà rencontré ce problème à l’échelle individuelle avec la rationalisation et les limites de l’introspection.

Les institutions peuvent apporter une réponse différente : au lieu d’espérer que chaque individu devienne parfaitement impartial, elles peuvent organiser la possibilité que d’autres personnes, d’autres méthodes et d’autres intérêts rencontrent le raisonnement initial.

Relecture indépendante, contradiction, audit, réplication, séparation des responsabilités, transparence des données, préenregistrement ou contrôle externe peuvent être compris comme des technologies sociales de correction.

Leur principe commun est simple :

une conclusion devient plus robuste lorsqu’elle doit survivre à des contrôles qui ne dépendent pas entièrement de ceux qui souhaitent qu’elle soit vraie.

Mais aucune institution ne se corrige automatiquement. La revue par les pairs peut échouer. Une réplication peut être mauvaise. Un audit peut devenir rituel. Un organisme de contrôle peut partager les incitations de ceux qu’il contrôle.

Le problème n’est donc pas seulement d’ajouter des contrôles.

Il est de concevoir des contrôles capables de produire une véritable résistance.

L’objectivité peut être une propriété sociale

Nous imaginons facilement l’objectivité comme une qualité intérieure.

Un bon chercheur serait neutre, détaché, sans préférence personnelle et capable d’observer les faits sans les déformer.

Cet idéal contient quelque chose d’important : nous voulons que les préférences individuelles pèsent le moins possible sur les conclusions factuelles.

Mais il place une exigence immense sur chaque individu.

Helen Longino propose une autre manière de penser le problème. Dans son empirisme contextuel critique, l’objectivité scientifique dépend notamment de la possibilité d’une critique transformatrice au sein d’une communauté. Les chercheurs apportent inévitablement des présupposés et perspectives différentes ; ce qui importe est que ces présupposés puissent être rendus visibles et contestés par d’autres.

L’objectivité ne suppose alors plus nécessairement un observateur sans perspective.

Elle peut émerger d’un système où plusieurs perspectives peuvent réellement se corriger.

Cette conception est particulièrement adaptée à notre parcours.

Nous ne supprimons pas les biais individuels.

Nous construisons des mécanismes permettant à certains d’entre eux de rencontrer une opposition extérieure.

La contradiction n’est utile que si elle peut réellement modifier quelque chose

Il ne suffit pas qu’une institution tolère formellement la critique.

Imaginons une organisation où chacun peut théoriquement contredire son supérieur.

Mais toute personne qui le fait est ensuite marginalisée.

La contradiction existe dans le règlement.

Elle n’existe pas fonctionnellement.

Longino insiste justement sur le fait que la critique doit satisfaire certaines conditions pour contribuer à l’objectivité : existence de lieux reconnus pour la critique, prise en compte effective des objections, existence de standards partagés permettant d’évaluer les réponses, et possibilité suffisante pour les participants d’avoir voix au chapitre.

Cette idée est générale.

Une institution de correction n’est pas caractérisée seulement par la présence d’un contradicteur.

Elle doit donner au contradicteur une possibilité réelle de produire une révision.

Sinon, la critique devient décorative.

Le contradicteur ne doit pas seulement être autorisé : il doit être écouté

Prenons une réunion où dix personnes approuvent un projet.

Une onzième exprime une objection importante.

Deux scénarios sont possibles.

Dans le premier :

« Merci pour ton retour. »

Puis la réunion continue comme si rien n’avait été dit.

Dans le second :

l’objection est explicitée, documentée, confrontée aux données et reçoit une réponse avant que la décision soit validée.

Les deux organisations pourront ensuite affirmer :

« Nous encourageons les désaccords. »

Elles ne possèdent pourtant pas la même architecture cognitive.

La première permet l’expression de l’objection.

La seconde organise son traitement.

Cette distinction est cruciale.

Le but institutionnel n’est pas que chacun puisse parler.

Il est que les informations capables de changer une décision puissent effectivement entrer dans le processus de décision.

La revue par les pairs : une tentative d’externaliser la critique

La science institutionnalise une partie de cette fonction avec la revue par les pairs.

Avant publication, un manuscrit est généralement examiné par d’autres chercheurs du domaine.

Ils peuvent demander :

la méthode permet-elle réellement de tester l’hypothèse ?

Les analyses sont-elles appropriées ?

Une interprétation concurrente a-t-elle été négligée ?

Les conclusions dépassent-elles les données ?

Certaines références importantes manquent-elles ?

L’idée est très proche du problème que nous avons étudié précédemment.

L’auteur connaît trop bien son propre travail.

Il possède également un intérêt évident à ce qu’il soit jugé convaincant.

Un regard extérieur peut donc repérer des problèmes que l’auteur ne voyait pas ou ne jugeait pas importants.

La revue par les pairs constitue ainsi un dispositif institutionnel de contradiction.

Mais la revue par les pairs n’est pas un certificat de vérité

Une confusion très fréquente consiste à passer de :

« cet article a été évalué par des pairs »

à

« cette conclusion est donc scientifiquement établie ».

La revue par les pairs ne peut fournir une telle garantie.

Les évaluateurs disposent d’un temps limité.

Ils travaillent généralement à partir du manuscrit et des données que les auteurs rendent accessibles.

Ils peuvent manquer une erreur statistique, accepter une hypothèse méthodologique discutable ou partager les mêmes présupposés que les auteurs.

Deux évaluateurs peuvent également arriver à des conclusions différentes sur le même texte.

La revue par les pairs est donc mieux comprise comme un filtre et une occasion de critique, pas comme une machine transformant automatiquement une affirmation en connaissance.

Un article publié reste une proposition susceptible d’être réfutée, réanalysée ou corrigée.

L’erreur scientifique devient visible lorsqu’une autre équipe essaie de refaire le travail

La réplication ajoute un contrôle d’une nature différente.

La revue par les pairs demande :

« Le raisonnement paraît-il suffisamment solide ? »

Une réplication demande :

« Obtient-on à nouveau le phénomène lorsque l’étude est répétée ? »

Cette différence est considérable.

Une méthode peut sembler impeccable sur le papier.

Le résultat peut pourtant dépendre d’un hasard statistique, d’une particularité de l’échantillon, d’une erreur non détectée ou d’une condition non identifiée.

La réplication oblige la conclusion à rencontrer un nouveau processus de production des données.

L’indépendance devient alors cruciale.

Plus la nouvelle équipe, les nouveaux échantillons et les nouvelles décisions analytiques sont partiellement indépendants des conditions initiales, plus la convergence est informative.

La crise de réplication a révélé une faiblesse institutionnelle

Au cours des années 2010, plusieurs disciplines ont connu un débat important sur la reproductibilité et la réplicabilité de leurs résultats.

En psychologie, un projet collaboratif massif publié en 2015 a tenté de répéter 100 études provenant de revues importantes. Selon les critères utilisés, la proportion de résultats reproduits était nettement inférieure à celle des résultats initialement significatifs, et les tailles d’effet obtenues lors des réplications étaient en moyenne plus faibles.

Il serait abusif d’en conclure :

« La psychologie est fausse à 60 %. »

La réussite d’une réplication dépend de nombreuses décisions, et l’échec d’une réplication particulière ne démontre pas automatiquement que l’étude initiale était erronée.

Mais le projet a rendu visible une question institutionnelle majeure :

si une discipline produit énormément de résultats mais très peu d’efforts indépendants pour les retester, comment découvre-t-elle lesquels sont robustes ?

Le problème ne concernait donc pas seulement certains chercheurs.

Il concernait l’organisation de la correction scientifique.

Reproduire et répliquer ne sont pas exactement la même chose

Les termes sont parfois utilisés différemment selon les disciplines, mais une distinction conceptuelle est utile.

La reproductibilité peut désigner la capacité à retrouver un résultat à partir des mêmes données et des mêmes procédures analytiques.

La réplication demande davantage : recueillir de nouvelles données ou répéter l’expérience afin de déterminer si le phénomène réapparaît.

Si je possède vos données et votre code, je peux découvrir que votre tableau ne correspond pas à votre analyse.

C’est un problème de reproductibilité.

Si votre calcul est impeccable mais que l’effet disparaît dans une nouvelle expérience, le problème est différent.

Ces deux contrôles cherchent donc des classes d’erreurs différentes.

C’est pourquoi une institution robuste multiplie parfois les voies de vérification plutôt que d’utiliser un seul contrôle universel.

L’accès aux données rend possible un type de contradiction qui n’existait pas auparavant

Supposons qu’un article affirme un résultat statistique important.

Si seules les conclusions sont publiées, le lecteur doit faire largement confiance aux auteurs.

Si les données et le code sont disponibles, d’autres chercheurs peuvent :

reproduire l’analyse ;

tester une erreur de codage ;

vérifier une exclusion ;

essayer une spécification alternative ;

rechercher une incohérence.

La transparence ne garantit pas qu’une erreur sera découverte.

Elle transforme néanmoins ce qu’il devient possible de contrôler.

Une affirmation ne dépend plus exclusivement de la compétence et de la sincérité de ceux qui l’ont produite.

D’autres acteurs peuvent entrer dans le raisonnement.

C’est une forme extrêmement concrète de cognition distribuée.

Mais la transparence n’est utile que si quelqu’un regarde

Rendre cent gigaoctets de données disponibles ne constitue pas en soi un audit.

Une institution peut parfaitement multiplier les obligations de transparence tout en créant une masse documentaire que personne n’examine réellement.

Nous retrouvons le problème des checklists.

La présence formelle d’un mécanisme n’implique pas son fonctionnement cognitif.

Il faut donc distinguer :

possibilité de vérification

et

vérification effective.

Les données ouvertes augmentent la première.

Des incitations, compétences et ressources sont nécessaires pour produire la seconde.

Une bonne institution ne demande donc pas seulement :

« L’information est-elle disponible ? »

Elle demande aussi :

« Quelqu’un possède-t-il réellement les moyens et l’intérêt de la contrôler ? »

L’audit introduit un regard qui n’a pas participé à la production initiale

Le principe de l’audit est similaire.

Une personne ou une équipe extérieure examine un système, une décision, une comptabilité, une procédure ou des résultats déjà produits.

L’avantage potentiel vient précisément de la séparation des rôles.

La personne qui a effectué l’opération possédait un objectif :

faire fonctionner le système.

L’auditeur possède un autre objectif :

rechercher les écarts, erreurs ou vulnérabilités.

Cette différence d’incitations peut être épistémiquement utile.

L’auteur d’un projet consacre naturellement son énergie à faire marcher son idée.

L’auditeur est explicitement rémunéré ou mandaté pour chercher où elle ne marche pas.

Le système répartit ainsi les motivations.

Il ne demande plus à la même personne d’être simultanément le meilleur défenseur et le meilleur adversaire de son propre travail.

L’audit peut devenir ritualisé

Mais l’audit possède exactement les mêmes vulnérabilités que les autres institutions.

Un audit peut être réalisé par une organisation financièrement dépendante de l’entité contrôlée.

Il peut devenir un exercice de conformité :

les documents demandés existent ;

les signatures sont présentes ;

les cases sont cochées.

Pendant ce temps, le risque réel demeure intact.

La qualité d’un audit dépend donc de plusieurs facteurs :

indépendance ;

compétence ;

accès à l’information ;

capacité à sanctionner ou modifier ;

méthode de contrôle ;

incitations de l’auditeur.

Dire :

« cela a été audité »

est aussi insuffisant que :

« cela a été évalué par des pairs ».

Il faut savoir quel audit, par qui, avec quel accès et quelles conséquences possibles.

La séparation des rôles limite certains conflits d’intérêts

Les institutions utilisent souvent un principe simple :

la personne qui décide ne doit pas être la seule à contrôler sa propre décision.

On sépare :

autorisation et exécution ;

production et vérification ;

analyse et validation ;

conseil et contrôle ;

gestion et audit.

Cette séparation n’est pas toujours nécessaire et peut créer des lourdeurs.

Mais elle répond à une difficulté fondamentale du raisonnement motivé.

Une personne directement responsable du succès apparent d’un projet possède naturellement davantage de raisons de minimiser certains signaux d’échec.

Un contrôleur extérieur peut partager moins de ces incitations.

Le système ne suppose pas que la première personne est malhonnête.

Il considère simplement que la sincérité ne supprime pas les conflits d’intérêts cognitifs.

Cas pratique — enquêter sur sa propre erreur

Supposons qu’un incident se produise dans un service.

La personne directement impliquée doit expliquer ce qui s’est passé.

Son témoignage est indispensable.

Elle connaît des détails que personne d’autre n’a vus.

Mais elle possède également des enjeux personnels :

culpabilité ;

peur de la sanction ;

volonté de montrer que sa décision était raisonnable ;

mémoire reconstruite après avoir connu l’issue.

Demander à cette seule personne de produire l’explication définitive de l’incident serait donc fragile.

Une enquête plus robuste combine :

son témoignage ;

les traces disponibles ;

les témoignages d’autres personnes ;

les procédures applicables ;

l’état du système ;

les contraintes organisationnelles.

La conclusion devient un produit collectivement contrôlable, pas simplement une introspection individuelle.

Une institution doit rendre les erreurs dicibles

Une organisation dans laquelle toute erreur entraîne immédiatement une punition sévère peut produire un effet pervers.

Les personnes apprennent à cacher les erreurs.

Les signaux faibles disparaissent.

Les quasi-accidents ne sont pas déclarés.

Le système paraît très performant précisément parce que ses données sur ses propres échecs deviennent mauvaises.

À l’inverse, une organisation qui refuse toute responsabilité individuelle sous prétexte de « culture de sécurité » peut perdre d’autres mécanismes indispensables.

Le problème est donc de créer une structure où les erreurs peuvent être signalées suffisamment tôt pour produire de l’apprentissage, tout en conservant des distinctions entre :

erreur compréhensible ;

négligence ;

violation délibérée ;

défaillance du système.

L’institution doit optimiser la qualité de l’information qu’elle reçoit sur ses propres erreurs.

Les quasi-accidents sont une source d’information précieuse

Une catastrophe produit un feedback évident.

Mais attendre la catastrophe pour apprendre est évidemment une mauvaise stratégie.

Les quasi-accidents — situations où une erreur a été rattrapée avant de produire ses conséquences — fournissent une information particulièrement utile.

Ils montrent :

« ce mécanisme pouvait conduire à un échec, même si cette fois il n’y est pas parvenu ».

Une institution capable de collecter et analyser ces événements possède un avantage immense.

Elle apprend sur les trajectoires vers l’erreur, pas uniquement sur les erreurs ayant produit un dommage final.

Ce principe rejoint notre discussion sur la simulation mentale et les scénarios rares.

Il permet de corriger le système avant que le pire résultat ne fournisse le feedback.

La science possède elle aussi des quasi-accidents

Un résultat publié puis rapidement corrigé peut sembler embarrassant.

Mais une discipline où les erreurs deviennent visibles et corrigibles peut être plus saine qu’une discipline où elles restent invisibles.

Une rétractation n’est donc pas nécessairement la preuve que le système scientifique « ne fonctionne pas ».

Elle peut constituer une manifestation de la correction en train de fonctionner.

Évidemment, une fréquence élevée d’erreurs initiales peut révéler un problème.

La bonne métrique institutionnelle n’est cependant pas simplement :

« Combien d’erreurs avons-nous ? »

Il faut aussi demander :

« Les erreurs sont-elles détectées ? À quelle vitesse ? Par qui ? Et quelles modifications produisent-elles ? »

Une institution capable de rendre visibles ses propres échecs peut paraître moins parfaite tout en étant plus fiable à long terme.

Le problème des incitations : que récompense le système ?

Une institution peut proclamer :

« Nous valorisons la rigueur. »

Mais si les promotions, financements et réputations dépendent principalement du nombre de résultats nouveaux et spectaculaires, les comportements suivront en partie ces incitations.

C’est un point central de la métascience contemporaine.

Munafò et ses collègues ont souligné que plusieurs menaces à la reproductibilité — flexibilité analytique, biais de publication, manque de réplication ou pratiques de recherche discutables — ne doivent pas être comprises uniquement comme des fautes individuelles. Elles s’inscrivent également dans un système d’incitations qui valorise certaines productions davantage que leur vérification.

Cela déplace radicalement la question.

Au lieu de demander :

« Pourquoi les chercheurs ne sont-ils pas plus rigoureux ? »

nous pouvons demander :

« Quel comportement le système rend-il rentable ? »

Une institution peut produire rationnellement des comportements collectivement irrationnels

Supposons qu’un chercheur soit récompensé lorsqu’il publie un résultat nouveau.

Une réplication réussie possède moins de prestige.

Une réplication négative est difficile à publier.

Chaque chercheur, pris individuellement, peut donc avoir de bonnes raisons de privilégier la nouveauté.

Le résultat collectif est pourtant un système où trop peu de résultats sont vérifiés.

Personne n’a nécessairement pris la décision :

« Nous allons construire une littérature insuffisamment répliquée. »

Le problème émerge de l’agrégation de comportements individuellement compréhensibles.

C’est une leçon générale de l’analyse institutionnelle.

Les résultats collectifs dépendent moins des intentions déclarées que des structures d’incitation et de contrôle.

Changer les incitations peut être plus efficace que former davantage les individus

Face à une pratique scientifique problématique, une réponse consiste à enseigner l’éthique et les bonnes méthodes.

C’est nécessaire.

Mais si le système continue à récompenser fortement le comportement opposé, l’éducation possède une limite.

Des réformes peuvent modifier :

les critères de publication ;

les exigences de transparence ;

la valorisation des réplications ;

l’enregistrement préalable des études ;

l’accès aux données ;

les modes d’évaluation des chercheurs.

Le manifeste de Munafò et ses collègues sur la science reproductible propose précisément une approche multi-niveaux : améliorer les méthodes, le reporting, la reproductibilité, l’évaluation et les incitations, tout en évaluant ensuite empiriquement l’efficacité de ces réformes.

Ce dernier point est crucial.

Les institutions de correction doivent elles-mêmes être soumises à la méthode scientifique.

Une réforme conçue pour améliorer la science peut avoir des effets indésirables

Imaginons que l’on rende obligatoire une nouvelle procédure destinée à accroître la transparence.

Les chercheurs doivent remplir trente pages supplémentaires.

Certains commencent à produire des réponses standardisées uniquement pour satisfaire la règle.

La procédure consomme du temps qui aurait peut-être été mieux utilisé ailleurs.

Nous avons créé un contrôle.

Nous ne savons pas encore s’il améliore réellement la fiabilité.

C’est pourquoi Munafò et ses collègues insistent sur la nécessité d’évaluer et d’améliorer itérativement les réformes plutôt que de les considérer comme des solutions définitives.

Cette exigence s’applique à toutes les institutions.

Un contrôle n’est pas bon parce qu’il a été créé avec une bonne intention.

Il est bon s’il améliore les résultats que nous voulons réellement améliorer sans produire des coûts disproportionnés.

L’indépendance constitue une ressource épistémique

Plusieurs mécanismes étudiés dans cette fiche reposent sur une même propriété :

l’indépendance partielle des contrôles.

Une réplication indépendante.

Un audit extérieur.

Une seconde analyse qui ne connaît pas la première réponse.

Un contradicteur possédant d’autres hypothèses.

Pourquoi cette indépendance est-elle si importante ?

Parce que les erreurs corrélées résistent à la multiplication des vérifications.

Si dix personnes répètent la même erreur à partir de la même hypothèse, dix accords ne valent pas dix preuves indépendantes.

À l’inverse, plusieurs voies différentes convergeant vers le même résultat renforcent beaucoup plus la confiance.

La quantité d’accord compte.

Mais la structure de dépendance entre les accords compte aussi.

Un consensus peut être très informatif ou presque vide

Supposons que cent sites Internet répètent la même information.

Cela peut sembler une convergence impressionnante.

Mais si les cent ont copié la même dépêche erronée, nous avons en réalité une source répétée cent fois.

Même principe dans la science.

Dix articles peuvent utiliser la même base de données.

Plusieurs experts peuvent se fonder sur la même étude.

Plusieurs institutions peuvent reprendre le même modèle.

Le consensus reste potentiellement informatif.

Mais sa force dépend notamment de la diversité des données, méthodes et équipes ayant conduit à la convergence.

L’esprit critique doit donc apprendre à demander :

« Combien de voies réellement indépendantes conduisent à cette conclusion ? »

et pas seulement :

« Combien de personnes la répètent ? »

Les désaccords institutionnels doivent être protégés

Une organisation peut rechercher tellement la cohérence qu’elle élimine progressivement les personnes qui contestent ses hypothèses centrales.

À court terme, les décisions deviennent plus rapides.

Les réunions sont plus agréables.

Le consensus semble fort.

Mais l’institution détruit simultanément une partie de son propre mécanisme de détection d’erreur.

Longino place justement la possibilité de critique parmi les conditions de l’objectivité sociale.

La diversité utile n’est toutefois pas n’importe quelle diversité d’opinion.

Une objection doit rester soumise à des critères de preuve et d’argumentation.

Protéger la contradiction ne signifie pas donner le même poids à toutes les affirmations.

Cela signifie préserver la possibilité institutionnelle qu’une objection compétente puisse survivre suffisamment longtemps pour être examinée.

La dissidence n’est pas automatiquement rationnelle

Il faut en effet éviter une inversion romantique.

Si le consensus peut être biaisé, le dissident n’a pas automatiquement raison.

Une institution scientifique ne devient pas plus objective en donnant systématiquement 50 % du temps de parole à une opinion soutenue par 99 % des données et 50 % à une spéculation marginale.

La contradiction possède une valeur épistémique lorsqu’elle :

identifie une faiblesse réelle ;

propose une alternative testable ;

apporte de nouvelles données ;

révèle un présupposé contestable ;

ou oblige la majorité à renforcer ses justifications.

La bonne institution ne valorise donc pas le désaccord pour le désaccord.

Elle valorise la contestabilité.

Cette distinction protège à la fois contre le conformisme et contre la fausse balance.

Cas pratique — le « devil’s advocate » permanent

Une équipe décide qu’avant chaque grande décision, une personne jouera systématiquement l’avocat du diable.

L’idée paraît excellente.

Mais plusieurs effets sont possibles.

Si chacun sait que la personne critique uniquement parce qu’elle a reçu ce rôle, ses objections peuvent être moins prises au sérieux.

Elle-même peut produire des objections superficielles puisqu’elle ne défend pas réellement l’alternative.

Une méthode potentiellement meilleure consiste parfois à demander des évaluations indépendantes avant la discussion, ou à charger une équipe distincte d’élaborer sérieusement un scénario concurrent.

L’objectif n’est pas de théâtraliser la contradiction.

Il est de produire une véritable exploration d’une possibilité que l’équipe principale risque de négliger.

La qualité du dispositif dépend encore une fois de son fonctionnement réel, pas de son étiquette.

La réplication institutionnalise l’idée « ne me croyez pas sur parole »

C’est probablement l’un des idéaux les plus puissants de la science.

Un résultat doit être décrit suffisamment précisément pour que d’autres puissent essayer de l’obtenir à nouveau.

La crédibilité ne repose donc pas uniquement sur :

le statut de l’auteur ;

sa sincérité ;

sa réputation ;

ou la beauté de son raisonnement.

Elle repose aussi sur la possibilité qu’une personne indépendante dise :

« J’ai refait l’expérience. Voilà ce qui s’est passé. »

Cette propriété transforme la structure épistémique.

L’autorité personnelle est partiellement remplacée par la reproductibilité publique des opérations.

Évidemment, toutes les sciences ne peuvent pas répliquer leurs objets de la même manière. On ne répète pas une supernova, une révolution historique ou une pandémie.

Mais même dans ces domaines, la logique générale reste pertinente :

rendre les données inspectables ;

expliciter les méthodes ;

confronter plusieurs sources ;

tester les prédictions dérivées ;

permettre des analyses concurrentes.

La correction peut être lente

Une autre illusion doit être évitée.

Dire que la science est autocorrective peut donner l’impression que toute erreur sera spontanément éliminée.

Ce n’est pas garanti.

Une erreur peut persister longtemps.

Un résultat spectaculaire peut être cité des centaines de fois avant d’être correctement réévalué.

Une réplication négative peut attirer beaucoup moins d’attention que l’étude originale.

Des enjeux de carrière, de prestige ou de financement peuvent ralentir les révisions.

La science possède des mécanismes de correction.

Elle n’est pas une machine dans laquelle chaque affirmation fausse serait automatiquement expulsée.

La vitesse et l’efficacité de la correction dépendent des institutions concrètes qui la rendent possible.

C’est précisément pourquoi la métascience cherche aujourd’hui à étudier scientifiquement ces mécanismes.

Une institution vraiment autocorrective doit pouvoir corriger ses mécanismes de correction

Ce point produit une régression apparemment vertigineuse.

Qui contrôle l’auditeur ?

Qui évalue les évaluateurs ?

Qui vérifie la procédure de réplication ?

Qui décide que le système de revue par les pairs fonctionne correctement ?

La solution n’est évidemment pas de créer une chaîne infinie de contrôleurs.

Elle consiste à construire des boucles de feedback.

Le système mesure ses performances.

Compare plusieurs méthodes.

Analyse ses propres échecs.

Modifie ses règles.

Puis observe si ces modifications améliorent effectivement la situation.

Autrement dit, une institution de correction mature ne possède pas seulement :

des règles.

Elle possède :

des règles pour réviser ses règles.

C’est l’équivalent institutionnel du métaraisonnement.

Une institution peut être plus rationnelle que chacun de ses membres

Cette possibilité est remarquable.

Tous les chercheurs peuvent être partiellement biaisés.

Tous peuvent aimer leurs hypothèses.

Tous peuvent souffrir de limites de mémoire, d’attention et d’introspection.

Pourtant, si :

les données sont rendues accessibles ;

les méthodes sont explicites ;

des chercheurs concurrents peuvent critiquer ;

les résultats importants sont répliqués ;

les erreurs sont corrigées ;

et les incitations rendent ces activités suffisamment possibles,

la communauté peut produire des connaissances plus fiables que les jugements individuels qui la composent.

L’objectivité devient alors une propriété émergente de l’organisation sociale du contrôle. Cette intuition est centrale dans la conception de Longino de l’objectivité comme dépendant de pratiques de critique capables de transformer les croyances collectives.

Mais une institution peut aussi être moins rationnelle que chacun de ses membres

L’inverse est tout aussi possible.

Chaque membre peut savoir qu’une procédure est absurde.

Personne ne la change.

Chaque chercheur peut savoir qu’un indicateur est mauvais.

Tout le monde continue à l’optimiser parce que la carrière en dépend.

Chaque professionnel peut constater qu’une obligation administrative produit peu de valeur.

Chacun la remplit parce que le système l’exige.

La rationalité individuelle ne garantit donc pas la rationalité institutionnelle.

Les règles, incitations et rapports de pouvoir peuvent produire un comportement collectif que presque personne ne juge personnellement raisonnable.

Cette possibilité interdit de sacraliser les institutions simplement parce qu’elles ont été conçues pour contrôler.

Autonomie intellectuelle et confiance institutionnelle

Nous dépendons inévitablement d’institutions que nous ne pouvons pas auditer entièrement nous-mêmes.

Agences sanitaires.

Laboratoires.

Universités.

Instituts statistiques.

Journaux scientifiques.

Tribunaux.

Organismes de contrôle.

La bonne question n’est pas :

« Dois-je faire confiance aux institutions ? »

comme s’il fallait répondre oui ou non en bloc.

Elle est :

« Quels mécanismes rendent cette institution digne de confiance sur cette question précise ? »

Possède-t-elle des procédures de contrôle ?

Les conflits d’intérêts sont-ils visibles ?

Les données peuvent-elles être contestées ?

Existe-t-il des voies de recours ?

Les erreurs sont-elles corrigées publiquement ?

Les experts peuvent-ils être contredits par d’autres experts ?

L’institution conserve-t-elle les traces nécessaires à l’audit ?

La confiance devient graduée et structurelle.

La méfiance généralisée détruit aussi l’autonomie

Parce que les institutions peuvent échouer, une réaction possible consiste à ne plus faire confiance à aucune.

Ce serait intellectuellement paralysant.

Nous n’avons ni le temps ni les compétences pour vérifier personnellement :

la sécurité d’un avion ;

l’efficacité de chaque médicament ;

les comptes nationaux ;

les calculs d’un satellite ;

la composition de l’eau potable ;

des milliers d’études scientifiques.

Une autonomie qui exigerait de tout reconstruire soi-même serait impossible.

La bonne autonomie n’est donc pas une indépendance absolue vis-à-vis des institutions.

Elle est la capacité à évaluer quels mécanismes de correction justifient différents degrés de confiance.

Une institution faillible mais fortement contrôlée peut être beaucoup plus fiable que notre jugement individuel sur un domaine dont nous ne savons presque rien.

Le meilleur « Système 3 » peut être une communauté qui nous contredit

Nous pouvons maintenant achever le mouvement commencé dans les fiches précédentes.

Au départ, notre « Système 3 » pédagogique semblait désigner une capacité intérieure :

surveiller sa propre pensée.

Puis nous avons ajouté :

calibration ;

métamémoire ;

métaraisonnement ;

outils ;

checklists ;

procédures.

Nous arrivons maintenant à une forme encore plus large.

Le contrôle peut être porté par d’autres personnes et par les institutions qui organisent leurs relations.

Une communauté scientifique peut vérifier ce qu’un chercheur ne voit pas.

Un auditeur peut examiner ce que le responsable du projet a intérêt à négliger.

Une réplication peut tester ce que la revue par les pairs ne pouvait qu’évaluer sur le papier.

Une règle de transparence peut donner aux futurs contradicteurs accès à ce qu’ils doivent contrôler.

Dans ce sens très précis, le meilleur « Système 3 » n’est parfois pas en nous.

Il est dans la possibilité organisée que quelqu’un d’autre puisse nous donner tort.

Une institution rationnelle n’abolit pas l’erreur : elle la rend corrigible

C’est probablement la définition la plus utile à retenir.

Une bonne institution n’est pas une institution où personne ne se trompe.

Cet objectif serait irréaliste.

Elle cherche plutôt à produire des erreurs qui :

laissent des traces ;

peuvent être signalées ;

peuvent être examinées ;

peuvent être reproduites ou contestées ;

peuvent modifier les règles futures.

La qualité institutionnelle se mesure alors moins à l’image d’infaillibilité qu’à la qualité des mécanismes de correction.

Cette idée vaut pour la science, la médecine, la justice, l’administration et n’importe quelle organisation complexe.

Elle vaut aussi pour notre propre autonomie intellectuelle.

Nous ne deviendrons jamais infaillibles.

Nous pouvons en revanche devenir plus facilement corrigibles.

L’objectif final : rendre la révision moins héroïque

Une personne capable d’admettre seule et publiquement une erreur importante malgré toutes les pressions mérite probablement notre respect.

Mais une institution rationnelle ne doit pas dépendre en permanence d’un tel héroïsme.

Elle doit rendre la révision :

possible ;

documentée ;

normale ;

moins coûteuse ;

et parfois obligatoire lorsque les preuves changent.

Même chose à l’échelle individuelle.

Le but de l’esprit critique ne devrait pas être de devenir cette personne extraordinaire qui, par une volonté parfaite, résiste toujours à ses biais.

Il devrait être de construire des habitudes, des outils, des relations et des institutions où la correction devient une partie ordinaire du fonctionnement.

Nous pouvons alors formuler une conception beaucoup plus riche de l’autonomie intellectuelle :

être autonome, ce n’est pas ne dépendre de personne ; c’est vivre dans un système où nos dépendances restent contestables et où nos erreurs peuvent effectivement nous revenir sous forme de corrections.

Nous avons maintenant presque terminé notre parcours à travers les « Systèmes 1, 2 et 3 ».

Il reste à rassembler les différentes pièces : intuition, réflexion, expertise, conflit, confiance, métacognition et dispositifs externes, afin de répondre à la question pratique qui justifie toute cette catégorie :

quand faut-il faire confiance à son intuition, quand faut-il ralentir et quand faut-il demander de l’aide ?

Pour aller plus loin

Helen E. Longino (1990), *Science as Social Knowledge: Values and Objectivity in Scientific Inquiry*, Princeton University Press. Un ouvrage majeur de philosophie des sciences défendant l’idée que l’objectivité doit être comprise aussi à travers les pratiques sociales de critique permettant de rendre visibles et contestables les présupposés des chercheurs.

Open Science Collaboration (2015), « Estimating the Reproducibility of Psychological Science », *Science*, 349(6251), aac4716. Une étude collaborative majeure ayant tenté de répliquer 100 résultats publiés en psychologie et devenue l’un des points de référence du débat contemporain sur la reproductibilité scientifique. DOI : 10.1126/science.aac4716.

Marcus R. Munafò, Brian A. Nosek, Dorothy V. M. Bishop et al. (2017), « A Manifesto for Reproducible Science », *Nature Human Behaviour*, 1, 0021. Une synthèse importante proposant d’améliorer simultanément les méthodes, la transparence, la reproductibilité, les systèmes d’évaluation et les incitations, tout en soumettant ces réformes elles-mêmes à une évaluation empirique. DOI : 10.1038/s41562-016-0021.

Helen E. Longino (2002), *The Fate of Knowledge*, Princeton University Press. Un prolongement de sa réflexion sur le caractère social de la connaissance et sur les conditions permettant aux pratiques critiques collectives de contribuer à l’objectivité scientifique.

28 sur 30Retour à la catégorie