La crise de reproductibilité : que s’est-il réellement passé ?

Au milieu des années 2010, une expression s’est imposée dans les médias scientifiques : « crise de reproductibilité ». Des expériences célèbres ne produisaient plus les mêmes résultats lorsqu’elles étaient répétées, certaines estimations diminuaient fortement lors de nouvelles études et plusieurs projets de réplication à grande échelle révélaient des résultats beaucoup moins nets que ceux de la littérature originale.

La formule était suffisamment frappante pour dépasser rapidement les laboratoires :

« Une grande partie de la science serait impossible à reproduire. »

Puis, parfois :

« La science ne serait plus fiable. »

Ces formulations vont beaucoup trop loin.

Mais l’erreur inverse consisterait à considérer que la crise n’aurait été qu’un phénomène médiatique sans fondement. Dans plusieurs domaines, notamment certaines branches de la psychologie expérimentale, de l’économie comportementale et de la recherche biomédicale préclinique, les investigations ont effectivement mis au jour des difficultés importantes de réplication, des effets initialement surestimés, un manque de puissance, une transparence insuffisante et des incitations favorisant les résultats spectaculaires.

Les National Academies, après avoir examiné l’ensemble du dossier en 2019, ont précisément refusé les deux caricatures. Elles concluent que les difficultés de reproductibilité et de réplication sont réelles, mais qu’elles varient fortement selon les disciplines, les méthodes et les phénomènes étudiés, et qu’il n’existe pas un taux unique permettant d’affirmer que « X % de la science est faux ».

La crise a donc davantage révélé des faiblesses de certains systèmes de production des preuves qu’un effondrement général de la méthode scientifique.

Première difficulté : de quelle « reproductibilité » parle-t-on ?

Nous avons adopté dans cette rubrique la terminologie des National Academies :

reproductibilité : retrouver un résultat à partir des mêmes données et des mêmes procédures computationnelles ;

réplication : recueillir de nouvelles données afin d’examiner si le résultat réapparaît.

Dans le débat public, l’expression reproducibility crisis a souvent englobé les deux.

Ainsi, lorsque cent expériences de psychologie sont répétées avec de nouveaux participants, il s’agit selon notre terminologie principalement d’un problème de réplicabilité, même si l’étude elle-même utilise le mot *reproducibility* dans son titre.

Cette confusion terminologique n’est pas anecdotique. Elle rassemble sous un même mot plusieurs problèmes différents :

un code impossible à réexécuter ;

une méthode insuffisamment décrite ;

un résultat qui ne réapparaît pas avec de nouveaux participants ;

une taille d’effet qui diminue ;

un phénomène qui dépend du contexte.

Les causes et les remèdes ne sont pas identiques.

La « crise de reproductibilité » désignera donc ici le mouvement général de remise en question de la robustesse de certaines littératures scientifiques, tout en conservant les distinctions méthodologiques établies précédemment.

La crise n’a pas commencé en 2015

Les inquiétudes concernant la fiabilité des résultats scientifiques sont beaucoup plus anciennes.

Les statisticiens critiquaient depuis longtemps l’utilisation mécanique des tests de significativité.

Les épidémiologistes connaissaient les problèmes de publication sélective.

Robert Rosenthal décrivait déjà le file drawer problem en 1979.

Paul Meehl critiquait certaines pratiques statistiques de la psychologie depuis les années 1960.

John Ioannidis publia en 2005 son provocateur « Why Most Published Research Findings Are False », dont nous avons vu qu’il s’agissait d’un modèle théorique important mais qu’il ne fallait pas transformer en mesure empirique universelle.

Ce qui change au début des années 2010 est principalement l’accumulation d’investigations directes et organisées sur la fiabilité de résultats publiés.

La métarecherche commence à traiter la recherche scientifique elle-même comme un objet empirique d’étude.

2011 : l’alerte venue de l’industrie pharmaceutique

En 2011, des chercheurs de Bayer rapportèrent leur expérience lors de la validation interne de cibles thérapeutiques issues de la littérature scientifique.

Ils examinèrent 67 projets internes, principalement en oncologie. Selon leur compte rendu, les résultats publiés étaient complètement cohérents avec leurs propres résultats dans environ 20 à 25 % des projets. Dans de nombreux autres cas, les divergences avaient fortement ralenti ou conduit à abandonner les projets de développement.

Le chiffre était inquiétant.

Mais il faut immédiatement préciser ses limites.

Ce n’était pas un échantillon représentatif de toute la recherche biomédicale.

Les projets avaient été sélectionnés parce qu’ils concernaient des cibles intéressantes pour le développement pharmaceutique.

La méthodologie complète des réplications n’était pas disponible pour une évaluation indépendante.

Le résultat ne permet donc pas d’affirmer :

« seulement 25 % de la biomédecine est reproductible ».

Il constitue plutôt un signal d’alarme issu d’un contexte particulier.

2012 : les « 6 études sur 53 » d’Amgen

L’année suivante, Glenn Begley et Lee Ellis décrivirent l’expérience d’Amgen concernant 53 études précliniques considérées comme importantes en oncologie.

Selon leur article, les chercheurs d’Amgen avaient pu confirmer les principaux résultats de seulement 6 des 53 travaux examinés.

Ce chiffre est devenu l’un des symboles de la crise.

Il faut pourtant lui appliquer les mêmes précautions.

La sélection des études, la définition exacte d’une confirmation et une grande partie des données détaillées n’étaient pas rendues publiques. Des commentateurs ont d’ailleurs rapidement averti contre l’interprétation médiatique transformant « certains résultats importants n’ont pas été confirmés selon cette procédure » en « 47 articles sur 53 étaient faux ».

Le résultat était préoccupant.

Il n’était pas encore une mesure fiable du taux général de réplication de la recherche sur le cancer.

Cette différence illustre parfaitement la démarche que nous cherchons à construire : un chiffre spectaculaire peut être important sans devoir recevoir une interprétation plus générale que ce que sa méthode permet.

2015 : le tournant de la psychologie expérimentale

L’événement qui popularisa réellement la crise fut le Reproducibility Project: Psychology, publié dans *Science* en août 2015 par l’Open Science Collaboration.

Le projet tenta de répliquer 100 études expérimentales ou corrélationnelles publiées en 2008 dans trois revues importantes de psychologie.

Les réplications utilisaient autant que possible les matériaux originaux et des dessins possédant une puissance statistique relativement élevée.

Dans les études originales, 97 % des résultats ciblés étaient statistiquement significatifs.

Dans les réplications, cette proportion tomba à 36 %.

Plus important encore, la taille moyenne des effets observés dans les réplications était environ deux fois plus petite que celle des études originales.

Cette fois, il ne s’agissait plus seulement de témoignages industriels difficiles à auditer.

Un grand projet collaboratif avait systématiquement recueilli de nouvelles données.

Le problème devenait beaucoup plus difficile à ignorer.

Mais « 36 % de réplications » ne signifie pas « 64 % des études étaient fausses »

L’étude elle-même insistait sur cette nuance.

Il n’existe pas une définition unique d’une réplication réussie.

Selon le critère utilisé :

36 % des réplications produisaient un résultat statistiquement significatif dans le même sens ;

47 % des tailles d’effet originales se trouvaient dans l’intervalle de confiance de la réplication ;

39 % étaient jugées subjectivement comme ayant répliqué ;

et la combinaison de l’étude originale et de la réplication laissait environ 68 % des effets statistiquement significatifs sous certaines hypothèses.

Le chiffre 36 % répond donc à une question particulière :

« combien de réplications ont franchi à nouveau le seuil de significativité dans la même direction ? »

Il ne répond pas directement :

« combien de phénomènes étaient réels ? »

Certaines études originales pouvaient avoir détecté un véritable effet mais l’avoir fortement surestimé.

Une réplication pouvait obtenir une estimation compatible mais légèrement moins précise et tomber au-dessus de 0,05.

D’autres résultats étaient probablement des faux positifs.

L’image globale était donc plus intéressante que le taux brut :

les preuves de réplication étaient généralement beaucoup plus faibles et les effets nettement plus petits que dans la littérature initiale.

La diminution des tailles d’effet est probablement l’un des résultats les plus importants

Le débat public s’est beaucoup concentré sur :

« réplication réussie ou ratée ? »

Mais le changement de taille des effets est peut-être épistémiquement plus important.

Supposons qu’une première étude estime un effet de 0,50.

Une réplication beaucoup plus grande obtient 0,22.

Le phénomène peut toujours exister.

Mais toute théorie, intervention ou décision pratique fondée sur 0,50 doit être révisée.

Le résultat initial pouvait avoir été sélectionné parce qu’une petite étude avait bénéficié d’une fluctuation favorable.

Nous retrouvons ici :

faible puissance ;

winner's curse ;

publication sélective ;

p-hacking éventuel.

La crise de réplication n’a donc pas simplement révélé des effets imaginaires.

Elle a aussi révélé des effets réels probablement beaucoup plus modestes que les premières publications ne le suggéraient.

L’économie expérimentale : une situation différente

En 2016, Camerer et ses collègues tentèrent de reproduire 18 expériences de laboratoire en économie publiées dans l’*American Economic Review* et le *Quarterly Journal of Economics*.

Les plans d’analyse furent publiés à l’avance et les réplications avaient au moins 90 % de puissance pour détecter l’effet original.

Un résultat significatif dans la même direction fut retrouvé dans 11 expériences sur 18, soit 61 %.

Selon d’autres critères de réplication utilisés par les auteurs, les taux se situaient entre 67 et 78 %.

Les effets des réplications représentaient en moyenne environ 66 % de la taille des effets originaux.

Ces résultats étaient eux aussi loin de la réplication parfaite.

Mais ils étaient meilleurs que le chiffre de 36 % souvent associé au projet de psychologie.

Cela fournit une première leçon importante :

il n’existe pas « le » taux de réplication des sciences sociales.

Même entre sous-domaines proches utilisant des expériences humaines, les résultats varient.

2018 : des expériences sociales de Nature et Science

Un autre projet coordonné par Camerer et ses collègues examina 21 expériences de sciences sociales publiées dans Nature et Science entre 2010 et 2015.

Les protocoles de réplication étaient préenregistrés, revus avec les auteurs originaux et les échantillons étaient en moyenne environ cinq fois plus grands que ceux des études initiales.

Treize études sur vingt et une, soit 62 %, produisirent un effet statistiquement significatif dans la même direction.

Une nouvelle fois, les tailles d’effet diminuèrent fortement : les effets des réplications représentaient en moyenne environ 50 % des effets originaux.

Un motif commence alors à émerger dans plusieurs projets :

la réplication ne fait pas uniquement disparaître certains résultats ; elle réduit souvent l’ampleur des effets qui survivent.

Pourquoi les premiers effets sont-ils souvent plus grands ?

Plusieurs mécanismes peuvent produire ce phénomène sans nécessiter de fraude.

Supposons qu’un véritable effet soit modeste.

Des dizaines de petites études sont réalisées.

Par fluctuation statistique, certaines obtiennent un effet inférieur à la réalité et d’autres un effet supérieur.

Les résultats les plus élevés franchissent plus facilement p < 0,05.

Ils sont plus intéressants.

Ils sont davantage publiés.

Ils peuvent même devenir les premiers résultats connus.

La littérature initiale sélectionne donc les estimations les plus favorables parmi une distribution beaucoup plus large.

Lorsque des réplications plus grandes arrivent, elles reviennent vers une estimation plus modeste.

Ce mécanisme suffit déjà à expliquer pourquoi :

étude originale positive ≠ estimation non biaisée de la taille réelle de l’effet.

Le p-hacking et la sélection analytique peuvent ensuite amplifier le phénomène.

La crise de réplication est donc en partie une crise de sélection

Nous pouvons maintenant relier plusieurs fiches précédentes.

Une petite étude possède une forte variabilité.

Plusieurs analyses sont possibles.

Les résultats significatifs sont davantage publiés.

Les effets spectaculaires attirent davantage l’attention.

Les réplications sont moins valorisées.

L’étude qui devient visible n’est donc plus une observation choisie indépendamment de sa valeur.

Elle est le produit d’un système de sélection.

Il devient alors peu surprenant qu’une réplication indépendante, n’ayant pas bénéficié du même processus de sélection, produise généralement un résultat moins spectaculaire.

Ce raisonnement ne démontre pas que toute crise de réplication provient de la publication sélective.

Il montre pourquoi plusieurs des mécanismes étudiés auparavant se renforcent mutuellement.

2016 : les scientifiques eux-mêmes expriment leur inquiétude

Une enquête publiée par *Nature* en 2016 interrogea 1 576 chercheurs.

Plus de 70 % déclarèrent avoir déjà échoué à reproduire les expériences d’une autre équipe et plus de la moitié avoir déjà échoué à reproduire l’une de leurs propres expériences.

52 % estimaient qu’il existait une crise significative de reproductibilité, tandis que 38 % parlaient d’une crise légère.

Ces chiffres eurent un immense retentissement.

Mais ils ne constituent pas un taux de réplication scientifique.

Une enquête de perception ne mesure pas la proportion d’études reproductibles

Dire :

« 70 % des chercheurs ont déjà connu au moins un échec de reproduction »

est très différent de :

« 70 % des études échouent à se reproduire ».

Un chercheur ayant tenté de reproduire cinquante expériences et échoué une fois répond :

oui.

Un autre ayant échoué trente fois répond également :

oui.

De plus, les participants à une enquête volontaire de *Nature* ne constituent pas nécessairement un échantillon représentatif de tous les chercheurs.

L’enquête renseigne principalement sur l’expérience et la perception d’un problème.

Elle montre que les difficultés n’étaient pas anecdotiques dans la vie des laboratoires.

Elle ne permet pas de calculer un taux global de fiabilité de la science.

Les travaux méthodologiques ultérieurs ont précisément insisté sur le manque de données systématiques permettant de quantifier une crise unique à l’échelle de toutes les disciplines.

La recherche préclinique en cancérologie : enfin un projet plus systématique

Les inquiétudes de Bayer et d’Amgen avaient attiré l’attention sur la biomédecine préclinique, mais leurs données étaient difficiles à analyser indépendamment.

Le Reproducibility Project: Cancer Biology chercha donc à réaliser une investigation beaucoup plus transparente.

Le projet sélectionna initialement 193 expériences provenant de 53 articles à fort impact publiés entre 2010 et 2012.

Les protocoles de réplication devaient être examinés comme Registered Reports avant les expériences.

Tout semblait donc réuni pour produire une estimation particulièrement informative.

Mais le projet révéla d’abord un problème encore plus élémentaire : refaire les expériences était souvent extraordinairement difficile.

Aucune des 193 expériences n’était décrite de manière suffisante pour être répétée directement

Les chercheurs rapportèrent qu’aucune des 193 expériences sélectionnées n’était décrite dans l’article avec suffisamment de détails pour construire un protocole de réplication sans demander des clarifications aux auteurs originaux.

Les données nécessaires pour recalculer directement les tailles d’effet étaient publiquement accessibles pour seulement 4 expériences sur 193.

Après demandes aux auteurs, aucune donnée supplémentaire ne fut obtenue pour 68 % des expériences.

Des réactifs, détails méthodologiques et adaptations furent fréquemment nécessaires.

La crise apparaissait donc sous une nouvelle forme.

Avant même de demander :

« Le résultat se réplique-t-il ? »

il fallait demander :

« savons-nous exactement ce qui avait été fait ? »

Seulement 50 des 193 expériences prévues purent finalement être terminées

Les obstacles étaient suffisamment importants pour que le projet n’achève que 50 expériences issues de 23 articles, soit environ 26 % de l’objectif initial.

Ce chiffre ne doit évidemment pas être interprété comme :

« 74 % des expériences n’étaient pas reproductibles ».

La plupart n’ont simplement pas pu être menées jusqu’au test de réplication dans les conditions prévues.

Mais cette impossibilité est déjà scientifiquement importante.

Une littérature dont les méthodes, données ou matériaux ne permettent pas facilement de reconstruire l’expérience possède un problème de contrôlabilité, même avant de connaître le résultat d’une réplication.

Les effets reproduits étaient une nouvelle fois beaucoup plus petits

Pour les expériences effectivement réalisées, 158 effets pouvaient être comparés entre étude originale et réplication.

Parmi les effets positifs disposant d’estimations numériques, la médiane des tailles d’effet observées dans les réplications était 85 % plus petite que la médiane des effets originaux.

Selon l’un des critères composites utilisés, 40 % des effets positifs satisfaisaient au moins trois des cinq indicateurs binaires de réplication considérés.

Les auteurs soulignaient cependant qu’aucun critère unique ne permettait de décider simplement « répliqué / non répliqué ».

Le résultat est inquiétant pour ce sous-ensemble de recherche préclinique.

Mais ses auteurs insistent eux-mêmes sur les limites de généralisation : le projet portait sur des articles à fort impact, seulement une partie des expériences put être réalisée et les obstacles rencontrés peuvent avoir influencé l’échantillon final.

Pourquoi la biologie peut être particulièrement difficile à répliquer

Une cellule n’est pas un objet parfaitement standardisé.

Une lignée cellulaire peut dériver génétiquement.

Un anticorps peut varier entre lots.

Un animal de laboratoire possède un microbiote.

La température, l’alimentation, le sexe, le stress, le rythme circadien ou les conditions d’élevage peuvent modifier certaines réponses.

Un protocole apparemment identique peut donc contenir des variables biologiques non reconnues.

Cela ne signifie pas que la biologie serait « moins scientifique ».

Cela signifie qu’une partie de la réplication consiste précisément à découvrir quelles conditions étaient tacitement nécessaires au phénomène.

Les National Academies distinguent à ce titre les causes de non-réplication potentiellement scientifiquement fécondes — variabilité réelle, conditions limites inconnues — des causes moins fécondes comme erreurs, mauvaise conception, biais de publication ou analyses inappropriées.

Une non-réplication peut donc être un résultat scientifique

Supposons qu’un phénomène apparaisse dans un laboratoire mais pas dans un autre.

Une réaction simpliste serait :

« quelqu’un s’est trompé ».

Une enquête plus intéressante peut découvrir que :

l’humidité modifie le système ;

une souche animale est différente ;

une protéine est instable à une certaine température ;

un contexte social modère l’effet psychologique.

La non-réplication révèle alors une variable jusque-là ignorée.

C’est pourquoi les National Academies refusent de considérer toute non-réplication comme une défaillance.

Certaines sont précisément le mécanisme par lequel une théorie trop générale devient plus précise.

Nous retrouvons ici ce que nous avions vu avec les anomalies.

Le problème apparaît lorsque la non-réplication vient d’erreurs évitables

Toutes les explications n’ont cependant pas la même valeur scientifique.

Les National Academies recensent parmi les causes évitables ou problématiques :

mauvais dessin d’étude ;

analyses statistiques inadéquates ;

publication sélective ;

reporting incomplet ;

erreurs ;

incitations mal alignées ;

et, beaucoup plus rarement, fraude.

Ces causes ne nous apprennent pas nécessairement quelque chose de profond sur le phénomène étudié.

Elles indiquent plutôt que les contrôles d’erreur n’ont pas fonctionné aussi bien qu’ils auraient pu.

La crise a précisément cherché à réduire cette partie évitable de la non-réplication.

La faible puissance a joué un rôle central

Beaucoup de littératures concernées utilisaient historiquement de petits échantillons.

Une faible puissance produit plusieurs problèmes simultanés.

Elle augmente le risque de ne pas détecter un véritable effet.

Mais combinée à la publication préférentielle des résultats significatifs, elle crée aussi une sélection des estimations exceptionnellement grandes.

Parmi dix petites études d’un effet modeste, celles qui franchissent le seuil de publication seront souvent celles qui ont surestimé l’effet.

La littérature publiée se remplit donc précisément des résultats les moins représentatifs de la taille réelle de l’effet.

Une réplication plus grande paraît ensuite « échouer » alors qu’elle corrige parfois surtout cette surestimation.

La crise de reproductibilité ne peut donc pas être comprise indépendamment de la puissance statistique.

p < 0,05 a parfois été transformé en objectif de production

La deuxième pièce du mécanisme est l’usage dichotomique de la significativité.

Lorsqu’un article devient beaucoup plus publiable à :

p = 0,049

qu’à :

p = 0,051,

une frontière statistique conventionnelle produit une énorme différence institutionnelle.

Les chercheurs possèdent alors de nombreux degrés de liberté permettant de faire légèrement varier l’analyse.

Le problème n’est pas que p = 0,049 serait intrinsèquement faux.

Il est que la littérature sélectionne beaucoup plus fortement le côté inférieur de la frontière.

La valeur *p* cesse alors d’être uniquement une statistique.

Elle devient aussi un mécanisme de sélection éditoriale et professionnelle.

Le p-hacking amplifie la sélection

Nous avons vu comment :

changer une exclusion ;

tester un sous-groupe ;

essayer plusieurs modèles ;

ajouter une covariable ;

continuer légèrement le recrutement

peut augmenter le nombre d’occasions d’obtenir p < 0,05.

Toutes ces pratiques n’étaient pas nécessairement considérées comme problématiques par les chercheurs qui les utilisaient.

Certaines faisaient partie d’une culture analytique normale.

La crise a justement rendu visible que des pratiques individuellement plausibles pouvaient collectivement produire une littérature excessivement positive.

Une fois encore, la découverte importante n’était pas :

« beaucoup de chercheurs fraudent ».

Elle était :

« un système peut produire des distorsions importantes sans fraude massive ».

Le HARKing a rendu les théories artificiellement prédictives

Une association inattendue apparaît.

Les chercheurs trouvent ensuite une excellente explication théorique.

L’article final présente parfois le résultat sous la forme :

« conformément à notre hypothèse… »

Le phénomène paraît alors beaucoup plus prédictif qu’il ne l’était réellement.

Cette reconstruction narrative réduit artificiellement l’impression de flexibilité théorique.

Lorsqu’une réplication teste ensuite la « prédiction », elle réalise en réalité le premier test indépendant de l’hypothèse.

La crise de réplication a donc également été une crise de distinction entre découverte et confirmation.

Le biais de publication complète le mécanisme

Une étude non significative a historiquement moins de chances :

d’être rédigée ;

d’être soumise ;

d’être acceptée ;

d’attirer l’attention.

Les études positives deviennent surreprésentées.

Ainsi, même si chaque article individuel applique correctement son test statistique, la littérature entière peut être biaisée.

Le cas des antidépresseurs étudié dans la fiche 29 montre empiriquement à quel point cette sélection peut modifier l’apparence d’un corpus.

La crise de reproductibilité est donc moins une série de problèmes indépendants qu’une interaction entre faible puissance, flexibilité analytique et sélection éditoriale.

Les incitations académiques ferment la boucle

Pourquoi produire beaucoup de petites études plutôt qu’une seule grande étude ?

Pourquoi chercher une nouveauté plutôt que répéter un résultat ?

Pourquoi investir davantage dans une analyse spectaculaire ?

Parce que le système a historiquement récompensé :

publications ;

nouveauté ;

citations ;

prestige éditorial.

La crise n’a donc pas seulement mis en cause des techniques statistiques.

Elle a interrogé l’économie académique de la production des connaissances.

Ce point est essentiel : corriger le problème uniquement en enseignant de meilleurs tests statistiques risque d’être insuffisant si les récompenses professionnelles continuent à favoriser les mêmes résultats qu’auparavant.

Et la fraude dans tout cela ?

Les cas de fabrication ou falsification de données sont évidemment graves.

Mais ils ne constituent probablement pas l’explication principale de la crise de réplication.

Les mécanismes les plus importants peuvent fonctionner avec des données parfaitement authentiques :

échantillon trop petit ;

multiples analyses ;

publication sélective ;

modèle choisi après observation ;

mesure fragile ;

méthode insuffisamment décrite ;

effet contextuel mal compris.

Réduire la crise à :

« quelques chercheurs trichent »

empêcherait précisément de corriger les causes structurelles plus banales et probablement beaucoup plus fréquentes.

Tous les domaines scientifiques sont-ils touchés de la même manière ?

Non.

C’est probablement la précaution la plus importante de toute cette fiche.

Le Reproducibility Project: Psychology concernait cent études sélectionnées dans trois revues de psychologie.

Le projet d’économie portait sur dix-huit expériences de laboratoire.

Le projet de sciences sociales portait sur vingt et une expériences de Nature et Science.

Le projet Cancer Biology concernait un ensemble particulier d’articles précliniques à fort impact.

Aucun de ces travaux ne permet de calculer :

« le taux de réplication de la science ».

Les National Academies concluent précisément que la disponibilité et la qualité des données sont trop hétérogènes pour fournir un indicateur global unique de non-réplication à travers toutes les disciplines scientifiques et techniques.

Certaines connaissances sont extrêmement reproductibles

Un spectromètre correctement calibré ne se trouve pas dans la même situation qu’une expérience psychologique subtile effectuée sur quarante étudiants.

Certaines mesures physiques sont reproduites dans des milliers de laboratoires.

Des techniques médicales sont utilisées quotidiennement sur des populations gigantesques.

Des prédictions astronomiques permettent de retrouver des phénomènes à l’endroit et au moment attendus.

Des méthodes de chimie permettent à des laboratoires industriels de produire continuellement les mêmes composés.

La crise de réplication n’a pas effacé l’immense quantité de connaissances scientifiques qui fonctionne effectivement dans la pratique.

Une civilisation technologique reposant sur des résultats entièrement non reproductibles ne pourrait tout simplement pas produire :

semi-conducteurs ;

satellites ;

vaccins ;

GPS ;

imagerie médicale ;

ou génie civil moderne.

La critique doit donc viser les domaines et méthodes présentant effectivement des problèmes, pas se transformer en scepticisme indiscriminé.

Mais le succès technologique ne disculpe pas toutes les recherches

L’argument inverse serait également mauvais.

Dire :

« les avions volent, donc il n’existe aucun problème de reproductibilité scientifique »

serait absurde.

Le fait que certaines branches produisent des résultats extraordinairement robustes ne nous apprend pas automatiquement la qualité :

d’une petite étude nutritionnelle ;

d’un effet psychologique nouveau ;

d’un biomarqueur préclinique ;

d’une intervention sociale particulière.

L’évaluation doit rester locale à la question et au corpus de preuves.

La crise a précisément renforcé cette conception plus granulaire.

Les sciences sociales sont-elles particulièrement concernées ?

Certains projets de réplication ont effectivement identifié d’importantes difficultés dans certaines branches de la psychologie et des sciences comportementales.

Mais il faut résister à une généralisation disciplinaire.

La psychologie contient :

psychophysique ;

neurosciences cognitives ;

psychologie clinique ;

personnalité ;

psychologie sociale ;

étude de la perception ;

développement ;

etc.

Les méthodes et la robustesse peuvent varier énormément entre sous-domaines.

Une étude récente portant sur plus de 14 000 articles de grandes revues de psychologie — utilisant un modèle prédictif plutôt que des réplications directes de chaque article — conclut justement qu’un taux unique de réplication décrit mal les différences entre sous-domaines et méthodes.

Le niveau pertinent n’est donc pas :

« psychologie = peu fiable ».

Il est :

« quelles méthodes, quelles questions et quelles pratiques produisent les résultats les plus fragiles ? »

Les sciences biomédicales ne sont pas immunisées

Le projet Cancer Biology et les alertes antérieures montrent que certains domaines précliniques ont eux aussi rencontré de sérieux problèmes.

Mais les causes peuvent être différentes.

En psychologie, la flexibilité analytique et les petits échantillons peuvent jouer un rôle important.

En biologie préclinique s’ajoutent :

variabilité des modèles animaux ;

réactifs difficiles à standardiser ;

protocoles incomplets ;

lignées cellulaires ;

matériaux non partagés ;

complexité des systèmes biologiques.

La même étiquette « crise de reproductibilité » peut donc recouvrir des pathologies méthodologiques différentes.

Le traitement doit être adapté à la cause.

La réplication peut même être difficile dans une bonne science

Supposons qu’un véritable effet existe mais dépende d’une condition non connue.

L’étude originale l’observe.

La réplication utilise involontairement une autre condition.

Elle échoue.

Ni l’équipe originale ni la seconde n’ont nécessairement commis d’erreur.

La théorie était simplement incomplète.

La non-réplication est alors le moyen par lequel nous découvrons l’existence de cette variable.

Les National Academies qualifient ce type de non-réplication de potentiellement utile à la science.

Une science dans laquelle toutes les expériences se répliqueraient immédiatement à l’identique pourrait même être une science où l’on ne teste que des phénomènes déjà parfaitement compris.

Le problème est la non-réplication persistante ignorée

Une première étude produit un résultat.

Une réplication échoue.

Ce n’est pas une catastrophe.

Mais supposons que :

plusieurs réplications échouent ;

la taille d’effet diminue ;

les analyses originales étaient fragiles ;

les résultats négatifs restent non publiés ;

et la littérature continue néanmoins à citer l’étude initiale comme fait établi.

Là se trouve le véritable problème.

Errington et ses collègues résument très bien cette distinction en cancérologie : ce qui ne devrait pas être normal n’est pas l’existence de non-réplications, mais la persistance de résultats non fiables sans que le système les reconnaisse et les corrige.

La crise concerne donc profondément la vitesse et l’efficacité de l’autocorrection.

La crise a également révélé un problème de reporting

L’expérience du Reproducibility Project: Cancer Biology est particulièrement instructive.

Beaucoup d’attention avait été consacrée aux taux de réplication.

Mais le projet découvrit que la première difficulté consistait simplement à reconstruire ce qui avait été fait.

Si une méthode dépend de détails non publiés et conservés uniquement dans la mémoire d’un doctorant ayant quitté le laboratoire, le système scientifique possède un problème évident.

Le reporting complet n’est donc pas une formalité bureaucratique.

Il constitue une partie de la transmissibilité de la connaissance.

Une affirmation scientifique qui ne peut être reliée à une méthode suffisamment spécifiée devient beaucoup plus difficile à contrôler.

La reproductibilité computationnelle pose un problème analogue

Les sciences utilisant de grands ensembles de données dépendent souvent de :

scripts ;

versions de logiciels ;

nettoyage de données ;

paramètres ;

pipelines automatisés.

Sans ces informations, une équipe extérieure peut être incapable de retrouver le résultat même avec le fichier original.

Les National Academies identifient notamment comme sources de non-reproductibilité computationnelle :

documentation insuffisante ;

données ou codes non accessibles ;

environnements logiciels non conservés ;

obsolescence des ressources numériques.

Ici, augmenter l’échantillon ne résout rien.

Le remède principal est la traçabilité computationnelle.

La crise a-t-elle prouvé que les journaux prestigieux sont mauvais ?

Non.

Mais elle a affaibli l’idée selon laquelle le prestige éditorial pourrait servir de substitut à l’évaluation méthodologique.

Les projets de réplication ont précisément ciblé de nombreuses études publiées dans des revues importantes.

Un article peut être :

nouveau ;

intéressant ;

peer-reviewed ;

publié dans Nature ou Science

et rester ensuite difficile à répliquer.

Ce constat rejoint la critique de la pyramide des preuves et du peer review :

les labels institutionnels fournissent de l’information, mais aucun ne constitue un sceau de vérité.

Les revues prestigieuses peuvent même être particulièrement exposées à une sélection de nouveauté

Ceci reste une hypothèse institutionnelle plutôt qu’une loi universelle.

Mais les revues les plus sélectives recherchent naturellement :

originalité ;

importance ;

résultats susceptibles d’intéresser un large public.

Une estimation exceptionnelle peut donc avoir davantage de chances d’y parvenir qu’une estimation banale.

Cela peut produire un winner's curse éditorial : les premiers résultats visibles sont précisément ceux qui ont bénéficié des fluctuations les plus impressionnantes.

La crise a donc encouragé à séparer davantage :

importance éditoriale

et

robustesse empirique.

Le peer review n’était pas suffisant pour empêcher ces problèmes

C’est également devenu très clair.

Toutes les études concernées par les grands projets de réplication avaient déjà été évaluées par les pairs.

Le peer review n’avait pas détecté :

tous les problèmes de puissance ;

toute la flexibilité analytique ;

toute la publication sélective ;

toutes les fragilités de mesure.

Cela ne démontre pas que le peer review est inutile.

Cela montre exactement ce que nous avons étudié dans la fiche 28 :

un filtre prépublication ne peut pas remplacer la confrontation à de nouvelles données.

La crise a donc renforcé l’importance d’une critique post-publication et cumulative.

La réaction scientifique a été remarquablement rapide

C’est peut-être la partie la plus intéressante de cette histoire.

À partir du début des années 2010, de nombreuses disciplines ont développé ou diffusé beaucoup plus largement :

préenregistrement ;

Registered Reports ;

partage de données ;

partage de code ;

protocoles détaillés ;

analyses de puissance ;

réplications multisites ;

réformes statistiques ;

revues dédiées aux méthodes ;

enseignement de la reproductibilité ;

métarecherche.

Les National Academies consacrent un chapitre entier aux réformes visant précisément la reproductibilité computationnelle, la réplication, le reporting, la formation et les pratiques statistiques.

Une crise scientifique a donc déclenché une expérience institutionnelle sur la manière d’améliorer la science.

Les Registered Reports offrent un test particulièrement intéressant

Dans un Registered Report, l’étude est évaluée en grande partie avant que les résultats soient connus.

La publication devient donc moins dépendante de l’obtention d’un résultat positif.

Si la littérature traditionnelle ne souffrait pratiquement d’aucune sélection des résultats, on pourrait s’attendre à ce que les Registered Reports produisent une proportion similaire de résultats confirmant les hypothèses.

Une étude de Scheel, Schijen et Lakens a comparé 71 Registered Reports en psychologie à 152 articles standards.

Pour la première hypothèse testée, environ 44 % des Registered Reports produisaient un résultat positif contre 96 % des articles standards.

Cette différence est spectaculaire.

Mais 44 % contre 96 % ne prouve pas à lui seul que 52 % des articles standards sont faux

Les deux corpus peuvent différer pour plusieurs raisons.

Les Registered Reports contiennent davantage de réplications.

Les chercheurs choisissant ce format peuvent étudier des questions différentes.

Leur puissance peut être différente.

L’étude est observationnelle relativement au format de publication.

Les auteurs eux-mêmes présentent la réduction du biais de publication ou de l’inflation des faux positifs comme une explication plausible, pas comme la seule cause mathématiquement démontrée.

La comparaison reste néanmoins très informative.

Une littérature dans laquelle 96 % des hypothèses sont confirmées devrait déjà éveiller notre attention.

La science est normalement supposée produire régulièrement des hypothèses qui échouent.

Et le préenregistrement simple ? Les résultats sont plus nuancés

Il serait tentant de conclure :

« il suffit de préenregistrer et tout est réglé ».

Une étude plus récente comparant 193 travaux de psychologie préenregistrés à 193 travaux comparables non préenregistrés n’a pas trouvé de diminution nette du taux de résultats positifs, de la taille des effets ou des erreurs statistiques.

Les études préenregistrées avaient cependant plus souvent des calculs de puissance et des échantillons plus grands.

Ce résultat illustre un principe important :

une réforme ne doit pas être déclarée efficace uniquement parce qu’elle paraît méthodologiquement raisonnable.

Elle doit elle aussi être évaluée empiriquement.

La science ouverte doit accepter la même critique scientifique qu’elle applique aux pratiques antérieures.

La crise n’est donc pas « résolue »

Des progrès considérables ont été réalisés.

Mais plusieurs problèmes persistent :

incitations à la nouveauté ;

publication sélective ;

qualité variable des préenregistrements ;

données difficiles à partager ;

coûts des réplications ;

difficultés de standardisation ;

formation méthodologique inégale.

De plus, les réformes ne se diffusent pas au même rythme dans tous les domaines.

Il serait donc prématuré de raconter l’histoire sous la forme :

« avant 2015, mauvaise science ; après 2015, science corrigée ».

Nous sommes plutôt dans un processus continu d’amélioration institutionnelle.

« Crise » ou « révolution de la crédibilité » ?

Certains chercheurs préfèrent aujourd’hui parler de credibility revolution.

La formulation possède un avantage.

Elle déplace l’attention depuis :

« la science s’effondre »

vers :

« la science développe de meilleurs mécanismes pour mesurer et améliorer sa propre fiabilité ».

La découverte des problèmes de réplication provient en effet :

de scientifiques ;

de collaborations internationales ;

de nouvelles revues ;

de métarecherches ;

de réplications organisées.

La crise n’a pas été découverte contre la science.

Elle a été découverte par la science appliquée à elle-même.

Ce qui s’est réellement effondré est surtout une certaine image naïve de la publication scientifique

Avant la crise, un lecteur pouvait facilement imaginer :

article peer-reviewed ;

p < 0,05 ;

revue prestigieuse ;

donc phénomène établi.

Cette vision est désormais beaucoup plus difficile à défendre.

Nous savons qu’il faut également demander :

la taille de l’étude ;

la taille de l’effet ;

l’incertitude ;

les analyses alternatives ;

le préenregistrement ;

les résultats non publiés ;

la réplication ;

la robustesse ;

la place dans le corps de preuves.

Ce n’est pas une diminution de l’esprit scientifique.

C’est un approfondissement de l’épistémologie pratique de la science.

La crise a transformé la notion de résultat « positif »

Un résultat statistiquement significatif isolé était parfois traité comme une découverte presque complète.

Aujourd’hui, dans les domaines ayant particulièrement intégré les leçons de la crise, il constitue davantage :

une observation méritant d’être située dans un processus cumulatif.

Estimation.

Intervalle.

Réplication.

Robustesse.

Synthèse.

Cette transformation rejoint directement la thèse centrale de notre rubrique :

une étude n’est pas la science.

La crise de réplication a peut-être surtout forcé certaines disciplines à prendre cette phrase beaucoup plus au sérieux.

La vraie question n’est pas « quelle proportion de la science est fausse ? »

Cette formulation est extrêmement séduisante.

Elle est également méthodologiquement mauvaise.

D’abord parce que « faux » est trop binaire.

Un résultat peut être :

vrai mais surestimé ;

vrai uniquement dans certaines conditions ;

statistiquement fragile ;

mal généralisé ;

ou correctement observé mais mal expliqué.

Ensuite parce que « la science » regroupe des millions de travaux aux méthodes complètement différentes.

Enfin parce que nous ne disposons pas d’un échantillonnage représentatif permettant une telle estimation globale.

La question plus sérieuse est :

« Dans quelles conditions les résultats scientifiques deviennent-ils particulièrement fragiles, et quelles procédures permettent d’améliorer leur fiabilité ? »

Cette question est beaucoup plus productive.

Les facteurs de fragilité sont désormais relativement bien identifiés

Sans prétendre à une formule universelle, plusieurs caractéristiques augmentent raisonnablement notre vigilance :

petits échantillons ;

faible puissance ;

effets proches du seuil de détection ;

nombreuses analyses possibles ;

hypothèses formulées après les résultats ;

absence de préenregistrement lorsque la recherche se prétend confirmatoire ;

mesures peu fiables ;

protocoles insuffisamment décrits ;

résultat isolé ;

publication fortement sélective ;

absence de réplication indépendante.

Aucune de ces propriétés ne signifie :

« résultat faux ».

Leur accumulation indique simplement davantage de voies par lesquelles le résultat pourrait être trompeur.

Nous retrouvons exactement l’idée d’architecture de contrôle des erreurs.

Les facteurs qui augmentent notre confiance sont l’image inverse

Notre confiance augmente lorsque :

la question est clairement définie ;

les mesures sont solides ;

le dessin contrôle les explications concurrentes ;

l’échantillon fournit suffisamment d’information ;

les analyses principales sont suffisamment contraintes ;

les données et méthodes sont transparentes ;

des réplications indépendantes produisent des estimations compatibles ;

plusieurs méthodes différentes convergent ;

et des synthèses systématiques confirment la structure générale du phénomène.

Il n’existe pas de seuil où la connaissance deviendrait soudainement certaine.

Nous accumulons des contrôles partiellement indépendants.

Ce que la crise nous apprend finalement sur la méthode scientifique

La crise de reproductibilité pourrait sembler être une réfutation du principe d’autocorrection scientifique.

Elle montre en réalité quelque chose de plus subtil.

L’autocorrection n’est :

ni automatique ;

ni instantanée ;

ni gratuite.

Elle nécessite :

des chercheurs capables de contester les résultats précédents ;

des financements pour les réplications ;

des revues prêtes à les publier ;

des données accessibles ;

des institutions acceptant que des résultats prestigieux puissent être révisés.

Lorsque ces conditions manquent, un résultat fragile peut survivre longtemps.

Lorsque ces conditions sont améliorées, les erreurs deviennent progressivement plus visibles.

L’autocorrection est donc moins une propriété magique de la science qu’une capacité institutionnelle qu’il faut activement entretenir.

Une crise qui confirme paradoxalement le principe du contrôle critique

Il existe une ironie profonde.

La crise a montré que :

le peer review peut échouer ;

des chercheurs compétents peuvent se tromper ;

les statistiques peuvent être mal utilisées ;

les revues peuvent sélectionner ;

des incitations peuvent biaiser la littérature.

Mais comment savons-nous tout cela ?

Parce que d’autres chercheurs ont :

mesuré les taux de réplication ;

réanalysé la littérature ;

répété les expériences ;

étudié les pratiques éditoriales ;

comparé les nouveaux formats de publication.

La critique de la science a été produite par l’application des méthodes scientifiques au fonctionnement de la science elle-même.

C’est précisément l’attitude que cette rubrique défend depuis le début :

aucune institution, aucune méthode et aucune publication ne doit être soustraite à la critique — y compris les mécanismes scientifiques eux-mêmes.

De la crise de reproductibilité à une science plus contrôlable

L’objectif raisonnable n’est pas d’obtenir :

100 % de réplication.

Dans une science qui explore réellement des phénomènes nouveaux et complexes, certaines hypothèses seront fausses.

Certaines mesures seront imparfaites.

Certains résultats dépendront du contexte.

Certaines expériences échoueront.

Chercher une reproductibilité parfaite pourrait même conduire à ne rechercher que des phénomènes déjà presque certains.

L’objectif est différent :

lorsqu’un résultat ne tient pas, pouvons-nous le découvrir suffisamment vite ?

Lorsqu’un effet est plus petit qu’annoncé, pouvons-nous corriger son estimation ?

Lorsque le contexte compte, pouvons-nous identifier lequel ?

Lorsque des erreurs sont commises, disposons-nous des données et méthodes nécessaires pour les trouver ?

Une science fiable n’est donc pas une science sans erreur.

C’est une science dans laquelle l’erreur rencontre suffisamment d’obstacles pour ne pas devenir trop facilement connaissance établie.


À retenir

La crise de reproductibilité désigne un ensemble réel de problèmes révélés particulièrement à partir du début des années 2010 : difficultés à reproduire les calculs ou protocoles, taux de réplication inférieurs aux attentes dans certains domaines, forte diminution de certaines tailles d’effet et identification de mécanismes susceptibles de biaiser la littérature. Mais il n’existe pas de taux unique de « reproductibilité de la science », et les National Academies insistent sur la grande diversité des situations entre disciplines, méthodes et objets étudiés.

Le Reproducibility Project: Psychology de 2015 fut un tournant : 97 % des études originales ciblées avaient obtenu un résultat significatif, contre 36 % des réplications, et la taille moyenne des effets des réplications était environ deux fois plus petite. Mais plusieurs critères différents de réplication donnaient des taux différents ; « 36 % » ne signifie donc pas que « 64 % de la psychologie était fausse ».

Des projets ultérieurs ont obtenu d’autres résultats. En économie expérimentale, 11 expériences sur 18, soit 61 %, retrouvèrent un effet significatif dans la même direction et les effets répliqués représentaient en moyenne 66 % des effets originaux. Dans un ensemble de 21 expériences de sciences sociales publiées dans *Nature* et *Science*, 13, soit 62 %, satisfaisaient ce critère et les tailles d’effet étaient approximativement divisées par deux.

La recherche préclinique en cancérologie a révélé des problèmes différents et parfois plus élémentaires. Dans le Reproducibility Project: Cancer Biology, seulement 50 des 193 expériences initialement prévues purent être menées jusqu’au bout, notamment en raison d’un reporting insuffisant, de données ou matériaux indisponibles et de difficultés de reconstruction des protocoles. Parmi les effets positifs quantifiables finalement répétés, les tailles d’effet médianes des réplications étaient fortement inférieures aux estimations originales.

Les causes plausibles ne se réduisent pas à la fraude. Faible puissance, sélection des résultats, p-hacking, HARKing, biais de publication, mesures fragiles, protocoles incomplets, incitations à la nouveauté et véritable variabilité des phénomènes peuvent tous contribuer à la non-réplication. Certaines non-réplications sont même scientifiquement fécondes lorsqu’elles révèlent des conditions limites ou des sources de variation jusque-là inconnues.

La crise a enfin entraîné une transformation méthodologique importante : développement du préenregistrement, des Registered Reports, des réplications coordonnées, du partage des données et du code et de la métarecherche. Une comparaison publiée en 2021 trouvait par exemple environ 44 % de résultats confirmant les hypothèses dans les Registered Reports de psychologie contre 96 % dans un échantillon d’articles standards — différence compatible avec une forte réduction de certaines formes de sélection, sans permettre à elle seule d’en identifier toute la causalité.

La conclusion correcte n’est donc ni :

« la science n’est plus fiable »

ni :

« il ne s’est rien passé ».

Elle est plus intéressante :

certains systèmes de recherche produisaient davantage de résultats fragiles et surestimés qu’on ne le pensait ; la découverte de ces faiblesses a obligé la communauté scientifique à construire de meilleurs mécanismes de contrôle.

Sources et références

  • Open Science Collaboration, « Estimating the reproducibility of psychological science », *Science*, 2015, 349:aac4716, DOI 10.1126/science.aac4716 : réplication coordonnée de cent études de psychologie, diminution importante des taux de résultats significatifs et des tailles d’effet.
  • Camerer, Colin F. et al., « Evaluating replicability of laboratory experiments in economics », *Science*, 2016, 351:1433–1436, DOI 10.1126/science.aaf0918 : réplication de dix-huit expériences économiques.
  • Camerer, Colin F. et al., « Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 », *Nature Human Behaviour*, 2018, 2:637–644, DOI 10.1038/s41562-018-0399-z.
  • Errington, Timothy M. et al., « Investigating the replicability of preclinical cancer biology », *eLife*, 2021, 10:e71601 : résultats finaux du Reproducibility Project: Cancer Biology.
  • Errington, Timothy M. et al., « Challenges for assessing replicability in preclinical cancer biology », *eLife*, 2021, 10:e67995 : difficultés de documentation, de partage des données et matériaux et de reconstruction des protocoles.
  • National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303 : analyse générale des définitions, causes, limites des estimations disponibles et réformes possibles.
  • Baker, Monya, « 1,500 scientists lift the lid on reproducibility », *Nature*, 2016, 533:452–454 : enquête auprès de 1 576 chercheurs sur leur expérience et leur perception des difficultés de reproductibilité.
  • Prinz, Florian, Schlange, Thomas & Asadullah, Khusru, « Believe it or not: how much can we rely on published data on potential drug targets? », *Nature Reviews Drug Discovery*, 2011, 10:712, DOI 10.1038/nrd3439-c1.
  • Begley, C. Glenn & Ellis, Lee M., « Raise standards for preclinical cancer research », *Nature*, 2012, 483:531–533, DOI 10.1038/483531a.
  • Scheel, Anne M., Schijen, Mitchell R. M. J. & Lakens, Daniël, « An Excess of Positive Results: Comparing the Standard Psychology Literature With Registered Reports », *Advances in Methods and Practices in Psychological Science*, 2021, DOI 10.1177/25152459211007467.
32 sur 39Retour à la catégorie