Erreur, fraude et autocorrection : pourquoi la science se trompe-t-elle, et comment peut-elle se corriger ?

Une science faillible peut-elle rester digne de confiance ?

La science produit régulièrement des résultats qui seront ensuite corrigés, limités ou abandonnés. Des études influentes ne se répliquent pas. Des erreurs de calcul sont découvertes plusieurs années après leur publication. Des chercheurs retirent des articles, parfois à cause d’une faute honnête, parfois à cause d’une manipulation volontaire. Ces événements peuvent donner l’impression que la science est moins fiable qu’elle ne le prétend. Ils peuvent également conduire à la réaction inverse : considérer toute critique comme une preuve de la force du système, puisque la science finirait toujours par se corriger.

Ces deux conclusions sont excessives.

Une erreur scientifique n’est pas exceptionnelle au sens où toute enquête complexe peut échouer. Les chercheurs travaillent avec :

  • des données incomplètes ;
  • des mesures imparfaites ;
  • des modèles simplifiés ;
  • des contraintes de temps ;
  • des attentes théoriques ;
  • des incitations institutionnelles.

Mais toutes les erreurs ne possèdent pas le même statut. Il faut distinguer :

  • l’incertitude normale ;
  • l’erreur honnête ;
  • la négligence ;
  • les pratiques méthodologiques discutables ;
  • la falsification ou la fabrication volontaire.

Il faut également distinguer deux affirmations :

La science possède des mécanismes de correction.

et :

La science corrige automatiquement, rapidement et complètement toutes ses erreurs.

La première est généralement vraie. La seconde ne l’est pas. Une erreur peut rester longtemps dans la littérature. Une étude rétractée peut continuer à être citée. Un résultat spectaculaire peut se diffuser beaucoup plus vite que sa correction. Les institutions peuvent décourager les réplications et protéger les chercheurs prestigieux.

La question centrale n’est donc pas simplement :

« La science se trompe-t-elle ? »

mais :

« Quelles erreurs sont produites par les méthodes et les institutions scientifiques, comment peuvent-elles être détectées, et quelles conditions permettent une correction réelle plutôt qu’une confiance abstraite dans l’autocorrection ? »


L’erreur n’est pas l’opposé absolu de la science

Une représentation naïve oppose :

  • science ;
  • erreur.

La science serait la production de vérités certaines, tandis que l’erreur indiquerait un échec de la démarche scientifique. Mais une science empirique fonctionne nécessairement sous incertitude. Elle formule des hypothèses, construit des mesures et estime des effets à partir d’échantillons limités.

Même une étude parfaitement conçue peut produire, par hasard :

  • un faux positif ;
  • un faux négatif ;
  • une estimation trop forte ;
  • une estimation trop faible.

Une conclusion raisonnable aujourd’hui peut être révisée demain lorsque de meilleures données deviennent disponibles. Le caractère scientifique d’une démarche ne se mesure donc pas à l’absence totale d’erreur. Il dépend plutôt de sa capacité à :

  • rendre les affirmations testables ;
  • représenter l’incertitude ;
  • détecter les contradictions ;
  • rendre les données contrôlables ;
  • corriger les conclusions.

L’incertitude n’est pas une faute

Une étude peut fournir une estimation accompagnée d’une grande incertitude. Cela ne signifie pas que les chercheurs ont mal travaillé.

Le phénomène peut être :

  • rare ;
  • variable ;
  • difficile à mesurer ;
  • étudié dans un petit échantillon ;
  • inaccessible à une expérimentation plus précise.

L’erreur consiste plutôt à transformer une conclusion incertaine en affirmation définitive.

Une science honnête peut dire :

Les données sont compatibles avec plusieurs effets possibles.

Cette réponse paraît moins spectaculaire qu’un verdict clair. Elle est parfois plus fidèle à l’état de la connaissance.

Il faut donc distinguer :

  • une estimation incertaine correctement présentée ;
  • une estimation incertaine présentée comme certaine.

L’erreur aléatoire

L’erreur aléatoire provient des fluctuations inévitables de l’échantillonnage ou de la mesure. Deux études identiques sur des participants différents ne produiront pas exactement le même résultat. L’erreur aléatoire peut être réduite par :

  • un échantillon plus grand ;
  • une mesure plus précise ;
  • plusieurs observations ;
  • une réplication ;
  • une synthèse de plusieurs études.

Elle ne disparaît jamais entièrement.

Les outils statistiques cherchent notamment à représenter cette incertitude à travers :

  • erreurs standards ;
  • intervalles ;
  • probabilités ;
  • distributions postérieures.

Une grande étude réduit souvent l’erreur aléatoire. Elle ne corrige pas nécessairement les biais systématiques.


Le biais systématique

Un biais systématique déplace les résultats dans une direction particulière. Il peut provenir :

  • du recrutement ;
  • de la mesure ;
  • des pertes de suivi ;
  • du modèle ;
  • du rapport sélectif ;
  • d’un facteur confondant.

Supposons qu’un instrument surestime toujours une concentration. Répéter la mesure des milliers de fois produira une estimation très précise, mais toujours trop élevée. La précision n’est donc pas la validité. Une étude peut être :

  • très précise ;
  • statistiquement significative ;
  • parfaitement reproductible ;

et rester fausse parce que toutes ses observations sont produites par une procédure biaisée.


L’erreur de mesure

Une donnée n’est jamais indépendante de son instrument.

Une mesure peut être affectée par :

  • mauvaise calibration ;
  • définition imprécise ;
  • questionnaire ambigu ;
  • erreur de saisie ;
  • détection différente entre groupes ;
  • appareil défectueux.

Certaines erreurs sont aléatoires. D’autres favorisent systématiquement une conclusion. Par exemple, un évaluateur connaissant le groupe traité peut interpréter plus favorablement des symptômes ambigus.

Une mesure fiable doit produire des résultats suffisamment stables. Une mesure valide doit représenter correctement le phénomène étudié. Une mesure peut être fiable sans être valide : elle peut reproduire constamment la même erreur.


L’erreur de codage

Les analyses contemporaines reposent souvent sur du code.

Une erreur peut apparaître dans :

  • le nettoyage ;
  • la fusion de fichiers ;
  • le filtrage ;
  • le calcul ;
  • l’affichage ;
  • la transformation des variables.

Un seul signe, une mauvaise condition ou une ligne appliquée au mauvais groupe peut modifier le résultat. Ces erreurs ne sont pas toujours faciles à repérer, car le programme produit malgré tout :

  • des tableaux ;
  • des graphiques ;
  • des valeurs numériques plausibles.

Le partage du code, les tests automatisés et la reproduction indépendante réduisent ce risque. Mais un code public ne devient pas automatiquement correct. Il rend surtout l’erreur plus détectable.


L’erreur de données

Une base peut contenir :

  • doublons ;
  • dates impossibles ;
  • unités incohérentes ;
  • valeurs inversées ;
  • identifiants mal associés ;
  • observations simulées laissées par erreur.

Les données brutes ne sont pas toujours réellement brutes. Elles passent par plusieurs étapes :

  • collecte ;
  • transcription ;
  • nettoyage ;
  • codage ;
  • agrégation.

Chaque étape peut introduire une erreur.

Une bonne recherche documente ces transformations afin qu’un autre chercheur puisse comprendre :

  • ce qui a été supprimé ;
  • ce qui a été corrigé ;
  • ce qui a été imputé ;
  • selon quelle règle.

Les erreurs d’unité

Certaines erreurs viennent d’une confusion entre :

  • grammes et milligrammes ;
  • mètres et pieds ;
  • pourcentages et proportions ;
  • euros courants et euros constants ;
  • valeurs individuelles et totaux.

Ces erreurs paraissent élémentaires, mais elles peuvent avoir des conséquences importantes.

Une vérification de cohérence doit demander :

  • l’ordre de grandeur est-il plausible ?
  • les unités sont-elles homogènes ?
  • le graphique correspond-il au tableau ?
  • le résultat respecte-t-il les contraintes physiques ou logiques ?

Les contrôles simples évitent parfois des erreurs que des modèles statistiques complexes ne détectent pas.


Les erreurs statistiques

Une analyse statistique peut être incorrecte sans que les données soient fausses.

Les erreurs fréquentes comprennent :

  • test inadapté ;
  • non-respect de l’indépendance ;
  • confusion entre corrélation et causalité ;
  • interprétation erronée de la valeur de *p* ;
  • comparaison de significativités au lieu de tester une différence ;
  • ignorance des comparaisons multiples ;
  • mauvais traitement des données manquantes.

Une analyse sophistiquée n’est pas nécessairement meilleure.

Plus un modèle est complexe, plus il demande :

  • expertise ;
  • vérifications ;
  • transparence ;
  • analyses de sensibilité.

Les erreurs de modèle

Un modèle repose sur des hypothèses concernant :

  • la forme des relations ;
  • la distribution ;
  • l’indépendance ;
  • les variables pertinentes ;
  • les interactions.

Un modèle peut sembler bien ajusté tout en produire une interprétation trompeuse. Par exemple, une relation non linéaire peut être résumée par une moyenne qui masque :

  • un seuil ;
  • une inversion ;
  • plusieurs sous-groupes.

L’erreur ne vient pas nécessairement d’une faute technique. Elle peut venir d’une représentation trop simple du phénomène.

Les diagnostics, graphiques et modèles alternatifs permettent d’examiner cette dépendance.


Les erreurs de raisonnement causal

Une association peut être interprétée comme un effet causal alors qu’elle provient :

  • d’un facteur confondant ;
  • d’une causalité inverse ;
  • d’une sélection ;
  • d’un collidant ;
  • d’une tendance temporelle.

Ces erreurs ne sont pas toujours corrigées par l’ajout de nombreuses variables au modèle. Contrôler une mauvaise variable peut produire un biais plutôt que le réduire. L’analyse causale demande :

  • une chronologie ;
  • un modèle des relations ;
  • une comparaison crédible ;
  • des hypothèses explicites.

Une grande quantité de données ne remplace pas une bonne structure causale.


L’erreur d’interprétation

Les résultats d’une étude peuvent être techniquement corrects et néanmoins interprétés de manière excessive.

Une étude locale peut être présentée comme universelle. Une association faible peut être décrite comme un déterminant majeur. Une absence de significativité peut être traduite par une absence d’effet. Ces exagérations apparaissent parfois :

  • dans l’article ;
  • dans le résumé ;
  • dans le communiqué ;
  • dans les médias.

La distance entre les données et le titre peut ainsi augmenter à chaque étape de communication.

La rigueur ne concerne donc pas seulement le calcul. Elle concerne aussi la portée du langage.


L’erreur théorique

Une théorie peut orienter la recherche vers une interprétation fausse.

Les chercheurs choisissent :

  • les variables ;
  • les catégories ;
  • les hypothèses ;
  • les contrôles ;

selon un cadre théorique.

Si ce cadre est inadéquat, les données peuvent être correctement analysées tout en répondre à une mauvaise question.

La correction peut demander :

  • une nouvelle théorie ;
  • une nouvelle classification ;
  • une autre unité d’analyse ;
  • l’abandon d’un présupposé.

Les erreurs les plus profondes ne se trouvent pas toujours dans une cellule de tableur. Elles peuvent être intégrées à la manière même dont le problème est formulé.


Les erreurs conceptuelles

Un concept peut être :

  • trop vague ;
  • trop large ;
  • circulaire ;
  • confondu avec son indicateur.

Par exemple, définir une compétence uniquement par le score au test utilisé pour la mesurer rend difficile toute critique de la validité du test. Une étude peut produire des chiffres exacts sur une catégorie mal construite. La clarification conceptuelle doit donc précéder ou accompagner la mesure. L’erreur conceptuelle est parfois invisible aux contrôles statistiques, puisque les calculs peuvent être parfaitement cohérents à l’intérieur de la mauvaise définition.


Le biais de confirmation

Les chercheurs, comme toutes les personnes, cherchent plus facilement les données compatibles avec leurs attentes, les explications protégeant leur théorie et les défauts des résultats adverses.

Le biais de confirmation ne suppose pas une manipulation consciente. Il peut influencer :

  • la sélection des hypothèses ;
  • la manière de nettoyer les données ;
  • l’interprétation des anomalies ;
  • le choix des analyses supplémentaires.

Les procédures scientifiques cherchent à réduire cette influence par :

  • préenregistrement ;
  • aveuglement ;
  • critique ;
  • réplication indépendante ;
  • analyses adversariales.

L’objectivité ne repose pas sur l’absence de biais psychologiques. Elle repose sur l’organisation de leur correction.


Le raisonnement motivé

Un résultat peut menacer :

  • une théorie ;
  • une carrière ;
  • une conviction morale ;
  • une politique ;
  • un intérêt financier.

Le chercheur devient alors plus exigeant envers les résultats défavorables et plus tolérant envers les résultats favorables. Cette asymétrie peut rester inconsciente. Le raisonnement motivé est particulièrement dangereux lorsqu’un domaine devient associé à des identités politiques. Les critiques méthodologiques sont alors jugées selon le camp qu’elles semblent servir. Une discipline robuste doit pouvoir distinguer :

  • la validité d’un résultat ;
  • les usages idéologiques qui pourraient en être faits.

Le biais rétrospectif

Après avoir observé le résultat, il paraît souvent prévisible. Les chercheurs peuvent reconstruire une justification théorique donnant l’impression que l’effet avait été annoncé dès le départ. Cette pratique est parfois appelée HARKing : formuler l’hypothèse après avoir connu les résultats tout en la présentant comme antérieure. L’exploration n’est pas un problème. Elle est nécessaire pour découvrir de nouvelles hypothèses. Le problème consiste à présenter une découverte exploratoire comme une prédiction confirmée.

Une hypothèse formulée après observation doit être testée sur de nouvelles données.


Le jardin aux sentiers qui bifurquent

Une analyse contient souvent de nombreuses décisions possibles :

  • inclure ou exclure certaines observations ;
  • utiliser telle variable ;
  • choisir telle période ;
  • transformer les données ;
  • tester tel sous-groupe.

Chaque décision peut sembler raisonnable isolément. Mais si les choix sont influencés par les résultats observés, l’ensemble augmente fortement la probabilité de trouver une association favorable. Ce phénomène ne demande pas nécessairement que le chercheur lance volontairement des centaines de tests. Il suffit que les données guident progressivement les décisions sans que cette flexibilité soit intégrée à l’incertitude finale.


Le *p*-hacking

Le *p*-hacking désigne des pratiques conduisant à rechercher ou privilégier une analyse produisant un résultat statistiquement significatif. Il peut prendre la forme :

  • d’arrêter la collecte au bon moment ;
  • d’exclure certains cas ;
  • de tester plusieurs variables ;
  • de sélectionner un sous-groupe ;
  • de choisir le modèle favorable.

Dans certains cas, la manipulation est consciente. Dans d’autres, le chercheur pense seulement explorer raisonnablement les données.

La solution ne consiste pas à interdire toute analyse flexible. Elle consiste à distinguer :

  • analyses confirmatoires prévues ;
  • analyses exploratoires ;
  • analyses de sensibilité.

Le rapport sélectif

Une étude peut mesurer de nombreux résultats et ne publier que ceux qui semblent intéressants. Elle peut également :

  • omettre un critère principal négatif ;
  • mettre en avant un résultat secondaire ;
  • modifier la durée ;
  • sélectionner un sous-groupe.

Le rapport sélectif donne au lecteur une image incomplète.

Le registre des protocoles et le préenregistrement permettent de comparer :

  • ce qui était prévu ;
  • ce qui a été publié.

Une modification peut être légitime. Elle doit être expliquée clairement.


Le biais de publication

Les études positives, nouvelles ou spectaculaires sont plus facilement publiées.

Les études négatives peuvent rester :

  • dans un dossier ;
  • dans une thèse ;
  • dans un rapport interne ;
  • jamais rédigées.

La littérature visible devient alors différente de l’ensemble des recherches réalisées. Même si chaque étude publiée est honnête, la sélection collective produit une surestimation des effets. Le biais de publication est particulièrement grave lorsque :

  • les études sont petites ;
  • de nombreuses équipes testent la même idée ;
  • les résultats nuls sont peu valorisés.

L’effet tiroir

L’effet tiroir désigne les études non publiées parce que leurs résultats paraissent peu intéressants ou non significatifs. Supposons que vingt équipes testent une hypothèse fausse. Par hasard, une étude peut obtenir un résultat positif.

Si seule cette étude est publiée, la littérature donne l’impression d’une découverte.

La correction du biais de publication demande :

  • enregistrement des études ;
  • publication indépendante du résultat ;
  • accès aux rapports ;
  • valorisation des résultats nuls.

Une méta-analyse ne peut pas intégrer les études dont personne ne connaît l’existence.


Le biais de nouveauté

Les revues et les médias valorisent souvent :

  • surprise ;
  • rupture ;
  • contradiction ;
  • nouvelle théorie.

Cette préférence encourage les chercheurs à présenter leurs résultats comme plus nouveaux ou plus généraux qu’ils ne le sont. Une réplication solide peut recevoir moins d’attention qu’un effet fragile mais spectaculaire. La littérature se remplit alors plus rapidement de nouveautés que de vérifications. Une science cumulative doit valoriser également :

  • confirmation ;
  • précision ;
  • correction ;
  • synthèse.

Les petites études

Une petite étude possède une faible précision. Si elle ne devient visible que lorsque son résultat est significatif, les effets publiés seront souvent surestimés. Une étude de faible puissance produit également un paradoxe :

  • elle détecte rarement un effet réel ;
  • lorsqu’elle le détecte, l’estimation est souvent exceptionnellement forte.

La solution n’est pas que toute étude soit immense.

Il faut adapter :

  • l’échantillon ;
  • la question ;
  • le degré de conclusion ;
  • la nécessité de réplication.

Une petite étude peut être utile comme exploration ou pilote. Elle ne doit pas être présentée comme une démonstration définitive.


La pression à publier

La carrière scientifique dépend souvent du nombre d’articles, du prestige des revues, des citations et des financements. Cette organisation peut encourager :

  • découpage excessif des résultats ;
  • priorité à la vitesse ;
  • choix de sujets facilement publiables ;
  • exagération ;
  • faible investissement dans la réplication.

La formule « publier ou périr » ne transforme pas automatiquement les chercheurs en fraudeurs. Elle modifie les comportements moyens et la sélection des pratiques.

Une institution raisonnable doit aligner les récompenses sur :

  • qualité ;
  • transparence ;
  • fiabilité ;
  • utilité cumulative.

Les indicateurs de performance

Les universités et financeurs utilisent des indicateurs comme :

  • nombre de publications ;
  • facteur d’impact ;
  • indice de citations ;
  • montant des contrats.

Ces indicateurs simplifient l’évaluation. Mais lorsqu’ils deviennent des cibles, les acteurs adaptent leur comportement :

  • multiplication des articles ;
  • stratégie de citation ;
  • choix de sujets populaires ;
  • préférence pour les résultats positifs.

La mesure cesse alors partiellement de représenter la qualité scientifique. C’est une application de la loi de Goodhart.


Le prestige

Un chercheur ou une institution prestigieuse bénéficie souvent d’une présomption de qualité. Cette confiance peut être justifiée par :

  • compétence ;
  • sélection ;
  • expérience ;
  • moyens.

Elle peut également réduire la vigilance. Un résultat signé par un auteur célèbre peut être moins contesté. Un jeune chercheur peut hésiter à signaler une erreur. Une revue prestigieuse peut défendre plus longtemps un article embarrassant. L’argument d’autorité ne disparaît pas dans les institutions scientifiques. Il doit être compensé par des procédures permettant à la critique de porter sur les méthodes plutôt que sur le statut.


Les hiérarchies

La recherche est organisée par des relations de pouvoir :

  • directeur et doctorant ;
  • titulaire et précaire ;
  • évaluateur et auteur ;
  • responsable d’équipe et technicien.

Une personne subordonnée peut détecter un problème mais craindre :

  • la perte de financement ;
  • la rupture de contrat ;
  • l’exclusion du projet ;
  • la réputation de personne difficile.

La fiabilité scientifique dépend donc aussi de la protection des personnes capables de signaler des erreurs.

Une communauté ne peut pas compter uniquement sur le courage individuel.


La négligence

La négligence se situe entre l’erreur honnête et la fraude volontaire. Elle peut consister à :

  • ignorer des contrôles élémentaires ;
  • conserver une base manifestement incohérente ;
  • publier une analyse non vérifiée ;
  • refuser de corriger une erreur connue.

La personne ne cherche pas forcément à fabriquer un résultat faux. Elle n’accorde pas le soin raisonnablement attendu compte tenu des conséquences.

La distinction avec l’erreur honnête dépend :

  • des standards du domaine ;
  • des avertissements reçus ;
  • de la gravité ;
  • de la répétition.

Les pratiques de recherche discutables

Certaines pratiques ne sont pas toujours classées comme fraude, mais dégradent la fiabilité :

  • sélection opportuniste des analyses ;
  • exclusion non justifiée ;
  • changement de critère ;
  • présentation exagérée ;
  • omission des limites ;
  • double publication ;
  • attribution abusive d’auteur.

Ces pratiques se situent dans une zone grise. Elles peuvent être plus fréquentes que la fraude spectaculaire et produire un effet collectif important sur la littérature.

Une politique d’intégrité ne doit donc pas se concentrer uniquement sur les cas extrêmes.


La fabrication

La fabrication consiste à inventer des données, des observations ou des résultats qui n’ont jamais existé. Elle peut prendre la forme :

  • de participants fictifs ;
  • de mesures inventées ;
  • d’expériences jamais réalisées ;
  • de documents fabriqués.

La fabrication détruit la relation entre le résultat et le monde observé. Elle ne constitue pas une erreur scientifique ordinaire. Elle est une tromperie volontaire.

Sa détection peut être difficile lorsque les données inventées paraissent plausibles et que les contrôles sont faibles.


La falsification

La falsification consiste à modifier, supprimer ou sélectionner volontairement des données afin de produire une conclusion trompeuse. Elle peut inclure :

  • changement de valeurs ;
  • suppression ciblée d’observations ;
  • modification d’une image ;
  • présentation partielle d’un résultat ;
  • altération d’un protocole.

La frontière avec certaines décisions analytiques discutables peut être difficile à établir.

La question centrale est de savoir si la modification visait à représenter honnêtement le phénomène ou à tromper le lecteur sur ce qui a été observé.


Le plagiat

Le plagiat consiste à présenter le travail, le texte ou les idées d’autrui comme les siens sans attribution appropriée. Il ne rend pas nécessairement le résultat empirique faux. Il constitue néanmoins une faute grave parce qu’il viole :

  • la reconnaissance ;
  • la traçabilité ;
  • la confiance ;
  • la responsabilité.

Le plagiat peut également masquer l’origine d’une méthode ou d’une donnée et compliquer la vérification.

Les reprises de texte automatiques ou l’usage d’outils de génération ne suppriment pas la responsabilité de l’auteur sur l’originalité et l’exactitude du contenu publié.


Les images manipulées

Dans certains domaines, des résultats reposent sur :

  • photographies ;
  • gels ;
  • microscopies ;
  • cartes ;
  • graphiques.

Une modification peut être légitime lorsqu’elle améliore globalement la lisibilité sans changer l’information. Elle devient trompeuse lorsqu’elle :

  • supprime un élément ;
  • duplique une zone ;
  • modifie sélectivement un contraste ;
  • assemble des images sans l’indiquer.

Les logiciels facilitent à la fois :

  • la manipulation ;
  • sa détection.

Des outils automatiques peuvent repérer certaines duplications, mais ils ne remplacent pas l’examen scientifique du contexte.


Les données trop parfaites

Des données fabriquées peuvent parfois paraître plus régulières que des données réelles.

Des signaux suspects comprennent :

  • distributions improbables ;
  • répétitions excessives ;
  • corrélations presque parfaites ;
  • nombres trop équilibrés ;
  • absence de valeurs manquantes.

Mais l’anomalie statistique ne prouve pas automatiquement la fraude. Un protocole, un nettoyage ou une structure particulière peut produire des régularités inattendues. Une accusation grave demande :

  • vérification ;
  • accès aux données ;
  • contradiction ;
  • procédure indépendante.

La fraude est-elle fréquente ?

La fraude avérée semble moins fréquente que les erreurs ordinaires et les pratiques discutables. Mais sa fréquence exacte est difficile à connaître. Les cas détectés ne représentent pas nécessairement tous les cas existants. Les enquêtes, définitions et disciplines varient. Il faut éviter deux exagérations :

  • présenter toute la recherche comme corrompue ;
  • réduire l’intégrité scientifique à quelques individus exceptionnellement malhonnêtes.

Les problèmes systémiques peuvent produire une littérature biaisée sans fraude consciente généralisée.


Le mauvais individu ou le mauvais système ?

Une fraude est commise par une personne ou un groupe identifiable. Il est tentant de traiter chaque scandale comme le produit d’un « mauvais individu » dans une institution saine. Mais le système peut faciliter la faute par :

  • pression excessive ;
  • absence de contrôle ;
  • concentration de pouvoir ;
  • données inaccessibles ;
  • sanctions asymétriques ;
  • récompenses pour les résultats spectaculaires.

Cela ne retire pas la responsabilité individuelle. Cela signifie que la prévention doit agir sur :

  • les personnes ;
  • les procédures ;
  • les incitations ;
  • la gouvernance.

La responsabilité du responsable d’équipe

Le responsable d’une équipe ne peut pas personnellement vérifier chaque mesure. Mais il possède une responsabilité dans :

  • l’organisation ;
  • la documentation ;
  • la supervision ;
  • la culture ;
  • la réponse aux alertes.

Un responsable ne devrait pas être automatiquement accusé de fraude commise à son insu. Il ne peut pas non plus se déclarer totalement étranger à des pratiques rendues possibles par :

  • absence de contrôle ;
  • pression ;
  • opacité ;
  • refus d’écouter les subordonnés.

La responsabilité doit être proportionnée au niveau de connaissance et de contrôle.


La responsabilité des coauteurs

Un article peut comporter de nombreux auteurs.

Tous ne maîtrisent pas nécessairement :

  • chaque méthode ;
  • chaque donnée ;
  • chaque analyse.

Mais le nom d’auteur implique une responsabilité.

Les contributions devraient être décrites précisément :

  • conception ;
  • collecte ;
  • analyse ;
  • rédaction ;
  • supervision.

Un auteur ne doit pas bénéficier du prestige d’un article tout en refuser toute responsabilité lorsque des problèmes apparaissent.

La responsabilité peut être distribuée sans être identique pour tous.


Les auteurs honorifiques et fantômes

Un auteur honorifique est ajouté en raison de son statut ou de son pouvoir malgré une contribution insuffisante.

Un auteur fantôme a réellement contribué mais n’est pas mentionné, parfois pour masquer l’influence d’un commanditaire ou d’un rédacteur industriel. Ces pratiques brouillent :

  • le mérite ;
  • la responsabilité ;
  • les conflits d’intérêts.

Une attribution transparente des contributions améliore la traçabilité.

L’ordre des auteurs ne suffit pas toujours à comprendre qui a fait quoi, car les conventions varient entre disciplines.


Le rôle des revues

Les revues sélectionnent, évaluent et diffusent les articles. Elles peuvent améliorer la qualité par :

  • examen ;
  • demandes de correction ;
  • normes de transparence ;
  • publication de commentaires ;
  • rétractations.

Mais elles possèdent aussi des intérêts :

  • prestige ;
  • citations ;
  • abonnements ;
  • rapidité ;
  • nouveauté.

Un résultat spectaculaire attire l’attention. Une correction peut menacer la réputation de la revue. Les revues doivent donc être évaluées comme des institutions avec leurs propres incitations, et non comme des arbitres parfaitement désintéressés.


L’évaluation par les pairs

L’évaluation par les pairs demande à des spécialistes d’examiner un manuscrit avant publication. Elle peut détecter :

  • incohérences ;
  • erreurs méthodologiques ;
  • références manquantes ;
  • conclusions exagérées.

Elle ne constitue pas une certification de vérité.

Les évaluateurs disposent souvent :

  • de peu de temps ;
  • d’informations incomplètes ;
  • de données non accessibles ;
  • de compétences limitées hors de leur spécialité.

L’évaluation par les pairs est un filtre, pas une réplication.

Un article publié reste une proposition soumise à la critique scientifique.


Les limites de l’évaluation par les pairs

Les évaluateurs peuvent :

  • se tromper ;
  • être en désaccord ;
  • favoriser leur école ;
  • manquer une fraude ;
  • rejeter une innovation valable.

Le système peut également souffrir :

  • de lenteur ;
  • d’inégalité ;
  • de travail non rémunéré ;
  • de conflits d’intérêts.

Plusieurs réformes sont possibles :

  • examen ouvert ;
  • publication des rapports ;
  • évaluation après publication ;
  • accès aux données ;
  • participation d’experts statistiques.

Aucune formule ne supprime toutes les erreurs.


L’évaluation après publication

Après publication, un article peut être examiné par une communauté beaucoup plus large.

Des chercheurs peuvent :

  • reproduire les analyses ;
  • demander les données ;
  • signaler des anomalies ;
  • tenter une réplication ;
  • publier un commentaire.

Cette évaluation prolongée est essentielle. La publication ne doit pas être considérée comme la fin de l’examen, mais comme l’entrée d’un résultat dans la discussion collective. Les plateformes de commentaires et les échanges publics peuvent accélérer la correction, à condition d’éviter :

  • harcèlement ;
  • accusation sans preuve ;
  • conflit personnalisé.

La reproduction

La reproduction computationnelle consiste à vérifier que les résultats annoncés peuvent être retrouvés avec :

  • les mêmes données ;
  • le même code ;
  • la même méthode.

Elle permet de détecter :

  • erreurs de calcul ;
  • incohérences ;
  • étapes manquantes ;
  • résultats impossibles à retrouver.

Une étude non reproductible n’est pas automatiquement frauduleuse. Elle peut souffrir d’une mauvaise documentation ou d’une dépendance logicielle disparue. Mais l’impossibilité persistante de reconstruire les résultats diminue fortement la confiance.


La réplication

La réplication utilise de nouvelles données pour vérifier si le phénomène se retrouve. Elle est essentielle pour distinguer :

  • effet réel ;
  • fluctuation ;
  • particularité locale ;
  • erreur cachée.

Une réplication négative ne prouve pas toujours que l’étude initiale était fausse. Elle peut révéler un effet plus faible, une dépendance au contexte ou une mauvaise reproduction du protocole. Mais une série de réplications rigoureuses doit modifier le niveau de confiance.

L’autocorrection exige que les échecs de réplication soient pris au sérieux, même lorsqu’ils concernent une étude prestigieuse.


Les analyses de robustesse

Une conclusion devient plus crédible lorsqu’elle résiste à :

  • plusieurs modèles ;
  • plusieurs mesures ;
  • plusieurs définitions ;
  • plusieurs échantillons.

Si l’effet disparaît dès qu’un choix raisonnable est modifié, il doit être présenté comme fragile.

La robustesse ne signifie pas qu’une conclusion doit rester identique sous toutes les analyses imaginables.

Certaines analyses sont moins pertinentes que d’autres.

Il faut justifier les alternatives et montrer honnêtement la dépendance du résultat.


Les données ouvertes

Le partage des données facilite :

  • reproduction ;
  • détection d’erreurs ;
  • nouvelles analyses ;
  • enseignement ;
  • méta-analyse.

Mais les données peuvent contenir des informations sensibles.

L’ouverture doit respecter :

  • vie privée ;
  • consentement ;
  • secrets légitimes ;
  • sécurité.

Des solutions intermédiaires existent :

  • anonymisation ;
  • accès contrôlé ;
  • environnements sécurisés ;
  • données synthétiques pour documenter le code.

Le principe essentiel est que les affirmations importantes puissent être soumises à un contrôle indépendant adapté.


Le code ouvert

Le code ouvert permet d’examiner la chaîne reliant les données au résultat.

Pour être réellement utile, il doit inclure :

  • instructions ;
  • versions ;
  • dépendances ;
  • ordre d’exécution ;
  • documentation.

Déposer des fichiers incompréhensibles ne produit qu’une transparence formelle.

Le code devrait idéalement permettre de reconstruire :

  • tableaux ;
  • graphiques ;
  • estimations ;

à partir des données disponibles.


Les matériaux ouverts

Une réplication expérimentale demande parfois :

  • consignes ;
  • questionnaires ;
  • images ;
  • vidéos ;
  • matériel de formation ;
  • critères de codage.

Sans ces éléments, une équipe indépendante doit deviner une partie du protocole.

Le partage des matériaux améliore :

  • fidélité ;
  • critique ;
  • réutilisation.

Il peut être limité par :

  • droits d’auteur ;
  • confidentialité ;
  • risques de familiarisation des participants.

Ces limites doivent être expliquées plutôt qu’utilisées comme justification générale de l’opacité.


Le préenregistrement

Le préenregistrement rend publiques ou horodatées certaines décisions avant l’observation des résultats :

  • hypothèses ;
  • échantillon ;
  • exclusions ;
  • critères ;
  • analyses.

Il réduit la possibilité de présenter après coup une analyse favorable comme si elle avait été prévue. Le préenregistrement ne garantit pas une bonne étude. Un protocole peut être :

  • mal conçu ;
  • sous-puissant ;
  • fondé sur une mesure invalide.

Il améliore surtout la distinction entre :

  • confirmation ;
  • exploration.

Les rapports enregistrés

Dans un rapport enregistré, une revue évalue le protocole avant la collecte ou l’analyse finale.

L’article peut être accepté en principe indépendamment du résultat. Cette procédure réduit :

  • biais de publication ;
  • *p*-hacking ;
  • sélection selon le caractère spectaculaire.

Elle valorise la qualité de la question et de la méthode plutôt que la réussite statistique. Mais elle demande :

  • davantage de planification ;
  • du temps ;
  • une discipline institutionnelle.

Elle n’est pas adaptée de la même manière à toutes les recherches, notamment aux événements imprévus ou aux analyses exploratoires.


Les études exploratoires

L’exploration est indispensable. Elle permet de :

  • découvrir des régularités ;
  • formuler des hypothèses ;
  • identifier des sous-groupes ;
  • améliorer les mesures.

Une science obsédée par la confirmation pourrait devenir trop rigide. Le problème n’est pas d’explorer. Il est de ne pas distinguer l’exploration de la démonstration. Une analyse exploratoire doit conduire à :

  • une hypothèse explicite ;
  • un nouveau test ;
  • des données indépendantes.

La transparence sur le statut de l’analyse protège à la fois la créativité et la rigueur.


Les résultats nuls

Un résultat nul peut être scientifiquement important. Il peut montrer :

  • qu’un effet important est improbable ;
  • qu’une théorie possède une limite ;
  • qu’une intervention ne mérite pas d’être poursuivie.

Mais un résultat non significatif peut aussi être simplement imprécis.

La publication des résultats nuls doit donc inclure :

  • estimation ;
  • intervalle ;
  • puissance ;
  • seuil d’importance.

Valoriser les résultats nuls ne signifie pas considérer toute absence de significativité comme une réfutation.


Les tests d’équivalence

Un test d’équivalence demande si les données permettent d’exclure les effets considérés comme substantiellement importants. Il ne cherche pas seulement à échouer à détecter une différence.

Il produit une preuve plus directe qu’un effet est suffisamment faible. Cette méthode aide à transformer certains résultats nuls en conclusions informatives. Elle demande toutefois de définir à l’avance :

Quelle différence serait réellement importante ?

Cette définition contient une dimension scientifique et pratique.


Les contrôles négatifs

Un contrôle négatif examine une exposition ou un résultat ne devant pas être affecté par le mécanisme supposé.

Si l’étude trouve malgré tout une association, cela peut signaler :

  • confusion ;
  • sélection ;
  • biais de mesure ;
  • modèle inadéquat.

Les contrôles négatifs ne détectent pas toutes les erreurs. Ils permettent de tester certaines conséquences attendues d’un dispositif biaisé. Ils sont particulièrement utiles dans les études observationnelles complexes.


Les contrôles positifs

Un contrôle positif vérifie que le protocole est capable de détecter un effet connu. Si l’étude ne retrouve pas ce contrôle, l’absence du nouvel effet devient plus difficile à interpréter. Le problème peut venir de la mesure, de la manipulation, de la population ou de l’exécution. Les contrôles positifs ne prouvent pas le résultat principal. Ils montrent que certains composants du dispositif fonctionnent.


L’audit

Un audit examine les procédures, les données ou les analyses selon des règles définies. Il peut être :

  • interne ;
  • externe ;
  • aléatoire ;
  • ciblé.

Les audits augmentent la probabilité de détecter :

  • erreurs ;
  • documentation insuffisante ;
  • non-respect du protocole ;
  • fraude.

Ils possèdent un coût.

Une stratégie réaliste peut concentrer les audits sur :

  • études à fort enjeu ;
  • résultats improbables ;
  • décisions réglementaires ;
  • environnements à risque.

Les cahiers et journaux de laboratoire

La traçabilité repose sur une documentation continue :

  • date ;
  • protocole ;
  • modification ;
  • résultat ;
  • incident.

Une bonne documentation permet de reconstruire ce qui s’est réellement passé. Elle protège :

  • la qualité ;
  • la mémoire ;
  • la responsabilité ;
  • le partage.

Un cahier ne sert pas seulement à enquêter après un scandale. Il permet aux équipes de comprendre leurs propres expériences et d’éviter la répétition des mêmes erreurs.


Les standards de données

Des formats et dictionnaires clairs facilitent :

  • vérification ;
  • fusion ;
  • réutilisation ;
  • archivage.

Une base sans documentation peut devenir inutilisable, même pour son propre auteur quelques années plus tard.

Les standards doivent préciser :

  • définition des variables ;
  • unités ;
  • codes manquants ;
  • transformations ;
  • provenance.

La maintenance de ces infrastructures est peu spectaculaire, mais essentielle au cumul des connaissances.


La correction

Lorsqu’une erreur est découverte, plusieurs réponses sont possibles.

Correction mineure

Une faute ne modifie pas la conclusion principale.

Correction substantielle

L’analyse ou certains résultats doivent être modifiés, mais une partie du travail reste valide.

Expression de préoccupation

La revue signale un doute sérieux pendant qu’une enquête est en cours.

Rétractation

L’article ne peut plus être considéré comme une base fiable dans sa forme publiée.

La réponse doit être proportionnée à la nature et à la portée du problème.


La rétractation

Une rétractation ne signifie pas toujours fraude. Elle peut venir d’une erreur majeure, d’un problème de données, d’une impossibilité de vérifier, d’une violation éthique ou d’une manipulation.

La notice devrait préciser clairement la raison.

Une rétractation opaque alimente :

  • soupçon ;
  • confusion ;
  • rumeurs.

Une procédure transparente protège à la fois :

  • la littérature ;
  • les personnes injustement soupçonnées ;
  • la distinction entre faute et erreur.

Rétracter n’efface pas

Un article rétracté peut continuer à être :

  • téléchargé ;
  • cité ;
  • repris dans des revues ;
  • utilisé dans des débats publics.

Les corrections se diffusent généralement moins vite que le résultat initial. Les bases, moteurs et revues doivent signaler clairement le statut de l’article. Les auteurs de synthèses doivent également vérifier si les études incluses ont été :

  • corrigées ;
  • rétractées ;
  • contestées.

L’autocorrection demande une mise à jour de l’ensemble du réseau de connaissances, pas seulement une note sur une page.


La correction silencieuse

Modifier un article ou un jeu de données sans documenter les changements peut créer une confusion.

Une bonne correction doit indiquer :

  • ce qui a changé ;
  • pourquoi ;
  • à quelle date ;
  • quel effet sur la conclusion.

Le versionnage permet de conserver l’historique.

La transparence des corrections évite que plusieurs versions incompatibles circulent sans que les lecteurs comprennent leur statut.


L’enquête institutionnelle

Une accusation de fraude doit être examinée selon une procédure :

  • indépendante ;
  • contradictoire ;
  • documentée ;
  • proportionnée.

L’institution d’origine peut posséder un conflit d’intérêts, car elle souhaite protéger :

  • sa réputation ;
  • ses financements ;
  • ses chercheurs.

Une enquête externe ou un contrôle indépendant peut être nécessaire. Mais une accusation publique sans procédure peut également détruire injustement une carrière.

Il faut protéger simultanément :

  • l’intégrité scientifique ;
  • les droits de la personne accusée ;
  • les personnes ayant signalé le problème.

La présomption et le niveau de preuve

Une anomalie statistique ou une réplication négative ne prouve pas une fraude.

Les causes possibles comprennent :

  • erreur ;
  • hasard ;
  • différence de contexte ;
  • mauvaise documentation ;
  • analyse discutable.

Accuser une personne d’avoir volontairement trompé demande davantage que montrer que son résultat est faux.

Il faut établir :

  • le caractère délibéré ;
  • la connaissance ;
  • l’altération ;
  • la tromperie.

La critique scientifique d’un article et l’accusation morale contre un auteur doivent être séparées.


Les lanceurs d’alerte

Les personnes signalant une erreur ou une fraude peuvent jouer un rôle essentiel. Elles s’exposent parfois à :

  • représailles ;
  • isolement ;
  • perte d’emploi ;
  • accusations de déloyauté.

Une institution sérieuse doit prévoir :

  • canal confidentiel ;
  • enquête indépendante ;
  • protection contre les représailles ;
  • sanctions contre les accusations manifestement malveillantes.

La protection ne doit pas dépendre du fait que l’alerte soit finalement confirmée dans tous ses détails. Elle doit dépendre aussi de sa bonne foi et de sa base raisonnable.


L’usage des réseaux sociaux

Les réseaux sociaux permettent de signaler rapidement :

  • incohérences ;
  • images dupliquées ;
  • problèmes statistiques ;
  • articles rétractés.

Ils peuvent accélérer la correction. Mais ils favorisent aussi :

  • accusation virale ;
  • harcèlement ;
  • simplification ;
  • jugement avant enquête ;
  • conflits de camp.

Une critique publique utile doit se concentrer sur :

  • données ;
  • méthodes ;
  • documents ;
  • questions précises.

La recherche de vérité ne doit pas devenir un spectacle de condamnation personnelle.


Les détectives de l’intégrité

Certains chercheurs et analystes examinent systématiquement la littérature pour détecter :

  • anomalies ;
  • duplications ;
  • incohérences ;
  • statistiques impossibles.

Leur travail peut révéler des problèmes importants. Il doit néanmoins respecter :

  • prudence ;
  • traçabilité ;
  • distinction entre signal et preuve ;
  • droit de réponse.

Une culture saine valorise ces contrôles sans encourager une chasse aux personnes.


L’intelligence artificielle et la détection

Des outils automatisés peuvent aider à repérer :

  • images similaires ;
  • texte copié ;
  • incohérences statistiques ;
  • données synthétiques ;
  • références inexistantes.

Mais les outils produisent aussi des faux positifs. Une ressemblance peut avoir une explication légitime. Un texte standardisé peut être commun sans plagiat. Une distribution inhabituelle peut être réelle. L’outil doit signaler une anomalie à examiner, pas produire seul un verdict de fraude.


L’intelligence artificielle et la production scientifique

Les outils génératifs peuvent assister :

  • rédaction ;
  • traduction ;
  • programmation ;
  • synthèse ;
  • exploration.

Ils peuvent également produire :

  • références inventées ;
  • erreurs plausibles ;
  • code incorrect ;
  • texte non original ;
  • analyses opaques.

L’auteur humain reste responsable de :

  • l’exactitude ;
  • la provenance ;
  • la confidentialité ;
  • la conformité aux règles ;
  • la déclaration de l’usage.

Un outil ne peut pas être considéré comme auteur au sens ordinaire, car il ne peut pas assumer une responsabilité ou répondre aux critiques.


La culture de l’erreur

Une institution peut traiter toute erreur comme une honte.

Les chercheurs auront alors tendance à :

  • la cacher ;
  • la minimiser ;
  • retarder la correction.

Une culture plus saine distingue :

  • erreur reconnue rapidement ;
  • négligence ;
  • tromperie.

Elle valorise :

  • signalement ;
  • correction ;
  • apprentissage.

Mais la tolérance envers l’erreur honnête ne doit pas devenir une absence d’exigence.

Les fautes répétées, graves ou dissimulées doivent entraîner des conséquences proportionnées.


La sécurité psychologique

Dans une équipe où les membres peuvent signaler une erreur sans humiliation immédiate, les problèmes sont détectés plus tôt.

La sécurité psychologique permet à un étudiant, un technicien ou un statisticien de dire :

Cette donnée paraît incohérente.

Elle ne signifie pas l’absence de responsabilité. Elle sépare :

  • le signalement d’un problème ;
  • l’évaluation de sa cause ;
  • la sanction éventuelle.

Une culture de peur peut donner une apparence de discipline tout en accumuler les erreurs silencieuses.


La formation à l’intégrité

L’intégrité scientifique ne doit pas être réduite à un formulaire ou à un cours administratif.

La formation doit porter sur des situations concrètes :

  • données manquantes ;
  • exclusion ;
  • attribution des auteurs ;
  • conflit d’intérêts ;
  • image ;
  • partage ;
  • correction.

Les jeunes chercheurs doivent apprendre que les décisions ordinaires de recherche possèdent une dimension éthique. Ils doivent également savoir :

  • à qui demander conseil ;
  • comment documenter ;
  • comment signaler un problème.

La responsabilité des financeurs

Les financeurs influencent :

  • questions ;
  • délais ;
  • indicateurs ;
  • publication.

Ils peuvent améliorer l’intégrité en demandant :

  • plan de données ;
  • préenregistrement ;
  • accès aux résultats ;
  • rapports négatifs ;
  • audit.

Ils peuvent au contraire favoriser la fragilité en récompensant uniquement :

  • rapidité ;
  • nouveauté ;
  • annonces ;
  • impacts immédiats.

Une réforme de la science doit donc inclure les mécanismes de financement, pas seulement la morale individuelle des chercheurs.


La responsabilité des universités

Les universités doivent protéger :

  • réputation ;
  • chercheurs ;
  • étudiants ;
  • qualité scientifique.

Ces objectifs peuvent entrer en conflit lors d’un scandale.

Une institution peut être tentée de :

  • minimiser ;
  • retarder ;
  • traiter le problème comme une affaire de communication.

À long terme, cette stratégie fragilise davantage la confiance.

Une université crédible doit disposer de procédures :

  • indépendantes ;
  • publiques dans leurs principes ;
  • proportionnées ;
  • suffisamment rapides.

La responsabilité des sociétés savantes

Les sociétés savantes peuvent définir :

  • standards ;
  • lignes directrices ;
  • formations ;
  • sanctions professionnelles ;
  • bonnes pratiques.

Elles possèdent une connaissance du domaine. Mais elles peuvent également protéger :

  • leurs membres ;
  • leur réputation ;
  • leurs pratiques historiques.

La participation d’acteurs externes ou de spécialistes de l’intégrité peut améliorer l’indépendance des procédures.


La méta-recherche

La méta-recherche étudie scientifiquement le fonctionnement de la recherche elle-même. Elle examine :

  • biais de publication ;
  • reproductibilité ;
  • qualité des méthodes ;
  • conflits d’intérêts ;
  • pratiques statistiques ;
  • rétractations.

La science devient ainsi l’objet de ses propres outils. Cette démarche ne garantit pas que toutes les réformes fonctionnent. Elle permet de tester les politiques d’intégrité plutôt que de les adopter uniquement par intuition morale.


Les réformes peuvent avoir des effets pervers

Une règle conçue pour améliorer la science peut produire de nouveaux comportements stratégiques. Par exemple :

  • préenregistrements vagues ;
  • partage de données inutilisables ;
  • multiplication de cases administratives ;
  • conformité formelle sans changement réel.

Toute réforme doit donc être évaluée selon :

  • ses effets ;
  • ses coûts ;
  • ses contournements ;
  • les groupes qu’elle favorise.

L’intégrité ne se réduit pas à l’augmentation de la bureaucratie.


La transparence ne suffit pas

Rendre toutes les données publiques peut améliorer le contrôle. Mais la transparence ne garantit pas :

  • bonne méthode ;
  • bonne interprétation ;
  • correction effective.

Une erreur peut être entièrement visible et rester ignorée faute de temps ou d’incitation pour la vérifier.

La transparence est une condition favorable à l’autocorrection. Elle doit être accompagnée de :

  • compétence ;
  • ressources ;
  • responsabilité ;
  • reconnaissance du travail de vérification.

L’autocorrection est-elle réelle ?

La science possède plusieurs mécanismes de correction :

  • critique ;
  • réplication ;
  • nouvelles données ;
  • méta-analyse ;
  • rétractation ;
  • remplacement théorique.

Ces mécanismes ont effectivement permis de corriger de nombreuses erreurs. Mais ils ne fonctionnent pas automatiquement. Ils peuvent être ralentis par :

  • prestige ;
  • intérêts ;
  • faible valeur des réplications ;
  • opacité ;
  • inertie des manuels ;
  • médiatisation.

L’autocorrection doit donc être comprise comme une capacité institutionnelle plus ou moins développée.


La temporalité de la correction

Un résultat faux peut influencer pendant des années :

  • recherches ;
  • pratiques ;
  • politiques ;
  • opinions.

La correction tardive ne supprime pas les conséquences antérieures. La vitesse compte donc. Une institution doit pouvoir :

  • signaler rapidement un doute ;
  • suspendre provisoirement une recommandation ;
  • enquêter ;
  • publier la conclusion.

Mais la rapidité ne doit pas supprimer le contradictoire.

Une correction précipitée peut devenir une injustice ou produire elle-même une erreur.


L’asymétrie entre erreur et correction

Un résultat spectaculaire est simple à communiquer :

Cette intervention change tout.

La correction est souvent plus complexe :

L’effet initial était surestimé, dépendait d’un sous-groupe et ne se retrouve pas avec certaines mesures.

La première affirmation se diffuse davantage. Cette asymétrie crée une mémoire publique déséquilibrée.

Les institutions et médias devraient accorder une visibilité particulière aux corrections concernant des résultats très diffusés.


La persistance des zombies scientifiques

Certaines affirmations continuent à circuler malgré :

  • réfutation ;
  • rétractation ;
  • absence de réplication.

Elles deviennent des zombies scientifiques. Cette persistance peut venir de leur simplicité, de leur utilité idéologique, de leur présence dans les manuels, de citations copiées sans lecture ou de leur succès médiatique. La correction demande alors davantage qu’un nouvel article. Il faut mettre à jour :

  • synthèses ;
  • recommandations ;
  • formations ;
  • bases ;
  • discours publics.

La mémoire institutionnelle

Une organisation peut répéter les mêmes erreurs si elle ne conserve pas :

  • historiques ;
  • incidents ;
  • raisons des modifications ;
  • leçons apprises.

La rotation des équipes et la perte des données effacent les apprentissages.

Une bonne mémoire institutionnelle distingue :

  • conservation ;
  • rigidité.

Les règles doivent être transmises tout en rester révisables.


La confiance après une erreur

Une erreur reconnue peut réduire la confiance. Mais la manière de répondre influence fortement cette évolution.

Une institution crédible :

  • reconnaît rapidement ;
  • explique ;
  • corrige ;
  • indemnise si nécessaire ;
  • modifie les procédures.

Une institution qui nie, minimise ou accuse systématiquement les critiques transforme une erreur limitée en crise de confiance plus générale.

L’objectif ne doit pas être de préserver une image d’infaillibilité impossible. Il doit être de montrer une capacité réelle de responsabilité.


L’erreur comme argument antiscientifique

Les critiques de la science utilisent parfois une erreur particulière pour conclure :

Les scientifiques mentent tous.

Ce raisonnement généralise abusivement.

Une erreur ou une fraude démontre :

  • la faillibilité d’une étude ;
  • parfois la faiblesse d’une institution.

Elle ne démontre pas que toutes les méthodes, disciplines et connaissances possèdent la même fragilité.

Il faut examiner :

  • l’importance du résultat ;
  • son indépendance ;
  • les réplications ;
  • le réseau de preuves.

Une conclusion soutenue par de nombreuses méthodes ne s’effondre pas nécessairement avec un article.


L’erreur comme argument d’autosatisfaction

L’erreur inverse consiste à répondre à toute critique :

La science se corrige, donc le système fonctionne.

Cette réponse peut masquer :

  • lenteur ;
  • dommages ;
  • absence de sanction ;
  • répétition des mêmes incitations.

Une correction montre que certains mécanismes fonctionnent. Elle peut également révéler qu’ils ont fonctionné trop tard ou grâce à des individus ayant supporté des coûts injustes.

L’autocorrection doit elle-même être évaluée.


La proportion entre confiance et vulnérabilité

Une conclusion mérite davantage de confiance lorsqu’elle repose sur :

  • plusieurs équipes ;
  • plusieurs méthodes ;
  • données ouvertes ;
  • réplications ;
  • mécanisme ;
  • applications réussies.

Elle est plus vulnérable lorsqu’elle dépend :

  • d’une seule étude ;
  • d’un seul laboratoire ;
  • d’une base inaccessible ;
  • d’une analyse flexible ;
  • d’un résultat spectaculaire et inattendu.

La confiance doit être proportionnée à la structure des preuves, pas au prestige ou à la certitude du langage.


Une méthode pratique pour examiner une erreur scientifique

Identifier le problème

S’agit-il d’une erreur de données, de calcul, de mesure, de raisonnement ou d’interprétation ?

Mesurer sa portée

Affecte-t-elle un détail, une estimation ou toute la conclusion ?

Rechercher l’intention

Existe-t-il des indices de négligence, de dissimulation ou de manipulation volontaire ?

Examiner la documentation

Les données, le code et le protocole permettent-ils de reconstruire ce qui s’est passé ?

Demander une vérification indépendante

Une autre équipe peut-elle reproduire l’analyse ou réexaminer les matériaux ?

Distinguer article et théorie

La conclusion générale dépend-elle uniquement de cette étude ?

Corriger publiquement

La réponse est-elle visible, claire et proportionnée ?

Réviser les pratiques

Quelles modifications réduiront le risque de répétition ?


Questions pour évaluer une anomalie

  • Le résultat peut-il être reproduit à partir des mêmes données ?
  • Les données brutes sont-elles disponibles ?
  • Les unités et ordres de grandeur sont-ils cohérents ?
  • Existe-t-il des doublons ou valeurs impossibles ?
  • Le protocole correspond-il à l’article ?
  • Les exclusions sont-elles justifiées ?
  • Les critères principaux ont-ils changé ?
  • Les statistiques peuvent-elles être reconstruites ?
  • Les images contiennent-elles des duplications ?
  • Le résultat dépend-il d’une seule analyse ?
  • D’autres modèles raisonnables produisent-ils une conclusion différente ?
  • La même base a-t-elle été utilisée dans plusieurs articles ?
  • Les auteurs ont-ils répondu aux questions précises ?
  • Une erreur reconnue a-t-elle été corrigée rapidement ?
  • Une réplication indépendante existe-t-elle ?
  • L’anomalie peut-elle avoir une explication innocente ?
  • Quels éléments seraient nécessaires pour conclure à une faute volontaire ?

Questions pour évaluer l’intégrité d’une institution

  • Les protocoles et données sont-ils conservés ?
  • Les responsabilités sont-elles clairement définies ?
  • Les jeunes chercheurs peuvent-ils signaler un problème ?
  • Existe-t-il une procédure indépendante ?
  • Les lanceurs d’alerte sont-ils protégés ?
  • Les conflits d’intérêts sont-ils publics ?
  • Les enquêtes possèdent-elles un contradictoire ?
  • Les délais sont-ils raisonnables ?
  • Les corrections et rétractations sont-elles clairement signalées ?
  • Les résultats négatifs sont-ils valorisés ?
  • Les réplications peuvent-elles être financées ?
  • Les évaluations de carrière privilégient-elles seulement le nombre d’articles ?
  • Les formations portent-elles sur des cas concrets ?
  • Les sanctions distinguent-elles erreur, négligence et fraude ?
  • Les personnes responsables d’une erreur peuvent-elles la reconnaître sans perdre automatiquement toute carrière ?
  • Les fraudes délibérées entraînent-elles des conséquences réelles ?
  • Les leçons institutionnelles sont-elles publiées ?
  • Les recommandations sont-elles modifiées après correction des preuves ?

Erreurs fréquentes

Confondre incertitude et faute

Une estimation imprécise peut être scientifiquement honnête.

Confondre erreur et fraude

Un résultat faux ne prouve pas une tromperie volontaire.

Confondre fraude et simple désaccord méthodologique

Une analyse discutable n’est pas nécessairement falsifiée.

Croire qu’une étude publiée a été vérifiée comme une vérité

L’évaluation par les pairs est un filtre, pas une réplication.

Croire qu’un article prestigieux est protégé contre l’erreur

Le prestige peut réduire la vigilance.

Croire qu’un grand échantillon corrige tous les problèmes

Il réduit surtout l’erreur aléatoire, pas les biais systématiques.

Croire qu’un code reproductible garantit une conclusion valide

Il peut reproduire parfaitement une mauvaise analyse.

Considérer toute flexibilité analytique comme frauduleuse

L’exploration est légitime si elle est présentée comme telle.

Présenter une hypothèse postérieure comme une prédiction

Elle doit être testée sur de nouvelles données.

Interpréter un résultat non significatif comme une preuve automatique d’absence

La précision et l’équivalence doivent être examinées.

Supposer que les résultats nuls ne valent rien

Ils peuvent limiter fortement une théorie ou une intervention.

Réduire les problèmes scientifiques à quelques individus malhonnêtes

Les incitations et procédures peuvent produire des biais collectifs sans fraude généralisée.

Utiliser les incitations institutionnelles pour supprimer toute responsabilité individuelle

La pression n’excuse pas une falsification volontaire.

Accuser publiquement avant une vérification contradictoire

Une anomalie n’est pas un verdict.

Exiger un silence total jusqu’à la fin d’une enquête

Certains risques demandent un signalement provisoire clair et prudent.

Croire qu’une rétractation efface automatiquement l’influence de l’article

Les citations et croyances peuvent persister.

Croire que l’ouverture des données résout tout

Elle rend la vérification possible, sans garantir qu’elle sera réalisée.

Croire que davantage de règles administratives produit automatiquement davantage d’intégrité

La conformité formelle peut remplacer la vigilance réelle.

Considérer la reconnaissance d’une erreur comme une preuve d’incompétence

La correction rapide peut être un signe de responsabilité.

Utiliser l’autocorrection comme excuse pour ignorer les dommages déjà produits

Le délai et les conséquences doivent être évalués.


À retenir

La science est faillible parce qu’elle travaille avec des données, des instruments, des modèles et des personnes imparfaits.

Une erreur n’est pas toujours le signe d’une faute.

L’incertitude correctement présentée fait partie de la connaissance scientifique.

L’erreur aléatoire produit des fluctuations que la précision, l’augmentation des données et la réplication peuvent réduire.

Le biais systématique déplace les résultats et n’est pas corrigé simplement par un plus grand échantillon.

Les erreurs peuvent concerner :

  • mesure ;
  • données ;
  • code ;
  • statistiques ;
  • causalité ;
  • théorie ;
  • interprétation.

Les biais de confirmation et le raisonnement motivé peuvent influencer les chercheurs sans fraude consciente.

La flexibilité analytique augmente le risque de résultats favorables sélectionnés après observation.

L’exploration reste indispensable, mais elle doit être distinguée de la confirmation.

Le *p*-hacking, le HARKing et le rapport sélectif donnent une impression excessive de preuve.

Le biais de publication déforme la littérature même lorsque chaque article publié ne contient pas de fraude.

Les petites études visibles tendent à surestimer les effets lorsqu’elles sont publiées surtout après un résultat positif.

Les incitations à publier, au prestige et à la nouveauté peuvent fragiliser collectivement la recherche.

La négligence doit être distinguée de l’erreur honnête et de la fraude volontaire.

La fabrication invente des données. La falsification modifie ou sélectionne volontairement les observations de manière trompeuse.

Le plagiat viole la reconnaissance, la traçabilité et la responsabilité, même lorsqu’il ne change pas directement le résultat empirique.

La fraude est un problème individuel et institutionnel.

Les procédures, hiérarchies et incitations peuvent faciliter ou empêcher les fautes.

L’évaluation par les pairs améliore les articles, mais ne certifie pas leur vérité.

La reproduction vérifie le calcul à partir des mêmes données.

La réplication vérifie le phénomène avec de nouvelles données.

Les analyses de robustesse examinent la dépendance aux choix méthodologiques.

Le partage des données, du code et des matériaux facilite le contrôle, sous réserve de la confidentialité et de la documentation.

Le préenregistrement et les rapports enregistrés réduisent certains biais sans garantir à eux seuls une bonne science.

Les résultats nuls et les corrections doivent être publiables et visibles.

Une correction mineure, une expression de préoccupation et une rétractation ne possèdent pas le même statut.

Une rétractation peut venir d’une erreur grave ou d’une fraude ; sa raison doit être clairement indiquée.

Les articles rétractés peuvent continuer à influencer la littérature et le débat public.

Une accusation de fraude doit respecter une procédure indépendante, documentée et contradictoire.

Les lanceurs d’alerte doivent être protégés, mais les accusations doivent rester proportionnées aux preuves.

L’intelligence artificielle peut aider à détecter ou produire des erreurs ; elle ne remplace ni l’examen humain ni la responsabilité des auteurs.

Une culture scientifique saine permet de reconnaître les erreurs honnêtes tout en sanctionner les négligences graves et les tromperies.

L’autocorrection scientifique est réelle, mais elle n’est ni automatique, ni instantanée, ni gratuite.

Elle dépend :

  • de la transparence ;
  • de la réplication ;
  • de la critique ;
  • des incitations ;
  • des protections institutionnelles ;
  • de la visibilité des corrections.

Une erreur particulière ne prouve pas que toute la science serait corrompue.

La découverte d’une erreur ne prouve pas non plus que les institutions fonctionnent parfaitement.

La confiance doit être proportionnée au nombre, à l’indépendance et à la robustesse des lignes de preuve.

La question centrale n’est donc pas :

« Une science digne de confiance devrait-elle ne jamais se tromper ? »

mais :

« Ses méthodes et ses institutions rendent-elles les erreurs détectables, les corrections visibles, les responsabilités attribuables et la répétition des mêmes défauts de moins en moins probable ? »


Repères et prolongements

Cette fiche prépare notamment les questions suivantes :

  • Quelle différence existe entre incertitude, erreur, négligence et fraude ?
  • Quelle différence existe entre erreur aléatoire et biais systématique ?
  • Pourquoi une grande étude peut-elle être précisément fausse ?
  • Quelles erreurs peuvent apparaître dans les données et le code ?
  • Comment une théorie influence-t-elle la manière d’interpréter les résultats ?
  • Qu’est-ce que le biais de confirmation ?
  • Que signifient *p*-hacking et HARKing ?
  • Pourquoi la flexibilité analytique augmente-t-elle les faux positifs ?
  • Qu’est-ce que le biais de publication ?
  • Pourquoi les petites études surestiment-elles souvent les effets ?
  • Comment les incitations professionnelles influencent-elles la recherche ?
  • Quelles différences existent entre pratiques discutables, fabrication, falsification et plagiat ?
  • Quelle responsabilité portent les responsables d’équipe et les coauteurs ?
  • Quelles sont les limites de l’évaluation par les pairs ?
  • Quelle différence existe entre reproduction, réplication et robustesse ?
  • À quoi servent le préenregistrement et les rapports enregistrés ?
  • Pourquoi les résultats nuls sont-ils importants ?
  • Quand un article doit-il être corrigé ou rétracté ?
  • Comment protéger les lanceurs d’alerte sans transformer une anomalie en condamnation immédiate ?
  • La science est-elle réellement autocorrectrice ?
  • Quelles institutions rendent l’autocorrection plus rapide et plus fiable ?

Quelques références

  • Charles Sanders Peirce, textes sur le faillibilisme et la communauté d’enquête.
  • Karl Popper, *La Logique de la découverte scientifique*.
  • Robert K. Merton, travaux sur les normes institutionnelles de la science.
  • Thomas Kuhn, *La Structure des révolutions scientifiques*.
  • Imre Lakatos, travaux sur les programmes de recherche.
  • Robert Rosenthal, travaux sur les biais de l’expérimentateur et l’effet tiroir.
  • Jacob Cohen, travaux sur la puissance statistique.
  • John Ioannidis, « Why Most Published Research Findings Are False » et travaux sur la crédibilité de la recherche.
  • Brian Nosek et ses collaborateurs, travaux sur la science ouverte et la réplication.
  • Open Science Collaboration, travaux coordonnés sur la reproductibilité.
  • Joseph Simmons, Leif Nelson et Uri Simonsohn, travaux sur la flexibilité analytique.
  • Andrew Gelman et Eric Loken, travaux sur le jardin aux sentiers qui bifurquent.
  • Norbert Kerr, travaux sur le HARKing.
  • Chris Chambers, *The Seven Deadly Sins of Psychology* et travaux sur les rapports enregistrés.
  • Daniël Lakens, travaux sur l’équivalence, la puissance et la transparence.
  • Geoff Cumming, travaux sur l’estimation et les intervalles.
  • Deborah Mayo, *Statistical Inference as Severe Testing*.
  • Stephen Senn, travaux sur les essais et les erreurs statistiques.
  • Nicholas Brown, James Heathers et leurs collaborateurs, travaux sur la détection des incohérences statistiques.
  • Elisabeth Bik, travaux sur les duplications et manipulations d’images scientifiques.
  • Ivan Oransky et Adam Marcus, travaux sur les rétractations et l’intégrité scientifique.
  • National Academies of Sciences, *Fostering Integrity in Research*.
  • National Academies of Sciences, *Reproducibility and Replicability in Science*.
  • Committee on Publication Ethics, recommandations sur corrections, rétractations et intégrité éditoriale.
  • Iain Chalmers et ses collaborateurs, travaux sur le biais de publication et l’enregistrement des études.
  • Ben Goldacre, *Bad Pharma*.
  • David Fanelli, travaux sur les pratiques discutables et l’inconduite scientifique.
  • Daniele Fanelli, travaux sur les biais de publication et les comportements de recherche.
  • Nicholas Steneck, travaux sur l’intégrité scientifique.
  • C. K. Gunsalus, travaux sur les conflits, la responsabilité et les lanceurs d’alerte.
  • Lorraine Daston et Peter Galison, *Objectivity*.
  • Theodore Porter, *Trust in Numbers*.
  • Susan Fiske et ses collaborateurs, travaux sur les incitations et la culture scientifique.
49 sur 60Retour à la catégorie