Que signifie réellement un échec de réplication ?

Une étude rapporte un effet. Une seconde équipe tente de le reproduire et n’obtient pas de résultat statistiquement significatif.

Le verdict paraît évident :

« L’étude originale était fausse. »

Mais cette conclusion peut être prématurée.

L’erreur inverse serait tout aussi problématique :

« La réplication n’était pas exactement identique, donc son résultat ne compte pas. »

Entre ces deux réactions existe tout le travail scientifique intéressant.

Un échec de réplication crée une tension entre plusieurs observations. Il faut alors déterminer ce qui peut l’expliquer : fluctuation d’échantillonnage, surestimation initiale, manque de précision de la réplication, différence de population, mauvaise fidélité au protocole, modification d’une condition réellement nécessaire à l’effet, erreur de mesure, biais de publication, analyse incorrecte ou absence réelle du phénomène initial.

Les National Academies insistent précisément sur cette complexité : une non-réplication peut résulter de mauvaises pratiques ou d’erreurs, mais elle peut également être scientifiquement informative lorsqu’elle révèle que les conditions d’un phénomène sont plus limitées ou différentes de ce que l’on croyait. Une tentative de réplication doit donc être interprétée à l’intérieur du corps de preuves, et non comme un verdict automatique porté sur l’étude originale.

La bonne question n’est donc pas :

« Qui a raison, l’étude originale ou la réplication ? »

mais :

« Quelle explication rend le mieux compte de l’ensemble des résultats désormais disponibles ? »

Une réplication ne rejoue jamais exactement le même monde

Même lorsqu’une équipe reproduit minutieusement un protocole, certaines choses changent nécessairement.

Les participants sont différents.

Les mesures sont prises à un autre moment.

Les expérimentateurs peuvent être différents.

Le contexte culturel peut avoir évolué.

Le matériel informatique ou biologique peut varier.

Une population recrutée dix ans plus tard peut avoir été exposée à des informations différentes.

Il est donc impossible de refaire littéralement la même observation historique.

Une réplication réalise une nouvelle instanciation du protocole afin de déterminer si la relation scientifique supposée survit à ces variations ordinaires.

Cette propriété constitue précisément son intérêt.

Si un effet n’apparaît que dans l’échantillon original et disparaît dès que de nouvelles données sont recueillies, nous voulons le savoir.

Mais si une différence pertinente entre les deux contextes explique la divergence, nous voulons également le savoir.

« Échec » suppose d’abord que l’on ait défini ce qu’aurait été une réussite

Imaginons :

étude originale : effet = 0,50 ;

réplication : effet = 0,30.

La réplication a-t-elle réussi ?

Tout dépend du critère.

Si l’on exige exactement 0,50, elle a échoué.

Si l’on exige simplement un effet dans la même direction, elle a réussi.

Si l’on exige *p* < 0,05, cela dépendra de la précision de la réplication.

Si l’on compare les intervalles d’incertitude, les deux estimations peuvent être parfaitement compatibles.

Si l’on utilise un test d’équivalence, une méta-analyse ou un autre critère, le verdict peut encore changer.

Les National Academies soulignent justement qu’il n’existe pas une définition universelle et binaire de la réplication réussie ; le degré de cohérence pertinent dépend de la question, du phénomène et de l’incertitude attendue.

Avant de déclarer un « échec », il faut donc préciser :

qu’est-ce qui devait être suffisamment semblable entre les deux résultats pour considérer le phénomène comme répliqué ?

« Significatif puis non significatif » ne signifie pas nécessairement contradiction

Reprenons un exemple simple.

Étude originale : effet = 10 ; IC 95 % : 1 à 19 ; p = 0,03.

Réplication : effet = 9 ; IC 95 % : −2 à 20 ; p = 0,10.

Une lecture superficielle produit :

première étude : effet présent ;

réplication : effet absent.

Pourtant, les estimations centrales sont presque identiques.

La principale différence est que la réplication est moins précise.

La comparaison correcte n’est donc pas :

p < 0,05 contre p > 0,05,

mais :

les estimations des deux études sont-elles réellement incompatibles ?

Cette erreur est la même que celle étudiée dans la fiche consacrée à la significativité : une différence entre « significatif » et « non significatif » n’est pas automatiquement une différence significative entre les deux études.

Une réplication peut être négative simplement parce qu’elle est imprécise

Supposons qu’un effet réel soit modéré.

L’étude originale compte 500 participants.

La réplication en compte 40.

La seconde étude obtient un effet dans la même direction, mais avec un intervalle gigantesque et *p* = 0,30.

Dire :

« la réplication réfute l’étude originale »

serait peu défendable.

Elle n’a peut-être tout simplement pas fourni assez d’information pour distinguer l’effet réel des fluctuations.

Une réplication convaincante doit donc être conçue avec une précision suffisante relativement aux effets qu’elle souhaite tester.

Les grands projets de réplication ont précisément cherché à éviter cette difficulté. Dans le Social Sciences Replication Project de Camerer et ses collègues, les réplications de 21 expériences publiées dans *Nature* et *Science* ont utilisé des échantillons en moyenne environ cinq fois plus grands que ceux des études originales et des plans d’analyse préenregistrés examinés avec les auteurs initiaux.

Une réplication faiblement informative ne devient pas décisive simplement parce qu’elle porte l’étiquette « réplication ».

Mais la réplication peut aussi être plus précise que l’originale

Le scénario inverse est fréquent.

Une première étude comportant 40 participants estime un effet très grand.

Une réplication préenregistrée utilisant 500 participants obtient un effet très proche de zéro avec un intervalle étroit.

Ici, il serait tout aussi abusif de mettre les deux études sur un pied d’égalité sous prétexte qu’il existe « une étude pour et une étude contre ».

La réplication apporte beaucoup plus d’information statistique.

Elle peut donc modifier fortement notre jugement.

L’accumulation scientifique n’est pas un vote.

La question est toujours :

quelle quantité de preuve chaque étude apporte-t-elle ?

Les premières estimations sont particulièrement exposées à la surestimation

Pourquoi les effets des réplications sont-ils parfois plus petits ?

Une explication très générale est la sélection.

Supposons qu’un véritable effet soit modeste.

De nombreuses petites études l’estiment avec beaucoup de variabilité.

Certaines obtiennent presque zéro.

D’autres obtiennent un effet énorme.

Si les résultats les plus spectaculaires ont davantage de chances de franchir *p* < 0,05, d’être publiés et d’attirer l’attention, la première étude visible sera souvent l’une de celles ayant surestimé l’effet.

La réplication peut alors trouver un effet plus faible sans montrer que le phénomène est totalement inexistant.

Camerer et ses collègues ont observé précisément ce type de structure dans leur projet de réplication en sciences sociales : parmi les 21 études examinées, 13 obtinrent dans la réplication un effet statistiquement significatif dans la même direction et les tailles d’effet des réplications étaient en moyenne environ la moitié de celles des études originales. Les auteurs concluaient que la non-réplicabilité observée semblait associer à la fois faux positifs et surestimation d’effets réellement non nuls.

La question n’est donc pas toujours :

« l’effet existe-t-il ? »

Elle peut être :

« de combien l’effet initial avait-il été exagéré ? »

Une réplication plus faible peut donc corriger plutôt qu’annuler

Supposons :

étude originale : d = 0,80 ;

réplication : d = 0,25.

Deux interprétations extrêmes seraient :

« l’effet est confirmé puisque le signe reste positif »

ou

« l’étude originale est réfutée puisque l’effet est beaucoup plus petit ».

Une troisième possibilité est souvent plus raisonnable :

l’effet existe peut-être, mais sa taille initiale était fortement surestimée.

Le véritable progrès consiste alors à améliorer l’estimation de l’ampleur du phénomène, pas simplement à classer les articles en « vrais » et « faux ».

Une réplication est donc particulièrement utile lorsqu’elle réduit notre incertitude sur la taille de l’effet, même si elle complique une histoire initialement plus simple.

La régression vers la moyenne

Ce mécanisme possède une relation avec la régression vers la moyenne.

Lorsqu’une première étude est remarquée précisément parce qu’elle a obtenu un résultat exceptionnellement élevé, une nouvelle mesure indépendante tend statistiquement à être moins extrême, même si un véritable phénomène existe.

Ce n’est pas une loi imposant que toutes les réplications soient plus petites.

C’est une conséquence de la sélection d’observations extrêmes contenant à la fois signal et fluctuation favorable.

La réplication indépendante ne bénéficie pas nécessairement de la même fluctuation.

Elle peut donc fournir une estimation moins spectaculaire mais plus proche de la réalité.

Les grands projets de réplication ne doivent pas être résumés par un seul pourcentage

Le Reproducibility Project: Psychology de 2015 est devenu célèbre pour avoir répliqué cent expériences issues de trois revues de psychologie.

Parmi les études originales, 97 % des effets ciblés étaient statistiquement significatifs ; dans les réplications, cette proportion était d’environ 36 %, et les effets moyens des réplications étaient nettement plus faibles.

Il serait cependant trop simple de conclure :

« 64 % des études de psychologie étaient fausses. »

Le projet lui-même utilisait plusieurs indicateurs de réplication.

Et d’autres analyses ont montré que l’interprétation dépendait fortement du critère choisi. Par exemple, Patil, Peng et Leek ont estimé que 77 % des tailles d’effet des réplications se situaient dans des intervalles de prédiction à 95 % dérivés des résultats originaux, soulignant qu’une étude initiale très imprécise peut permettre une large gamme de résultats de réplication statistiquement compatibles.

Ce débat illustre parfaitement le problème :

un taux de réplication est lui-même une construction méthodologique dépendant de ce que l’on appelle « répliquer ».

Cela ne rend pas les difficultés de réplication imaginaires

Reconnaître cette complexité ne doit surtout pas servir à neutraliser tout échec.

Les projets de réplication ont révélé des phénomènes importants.

Les effets des réplications ont souvent été plus faibles.

Certaines études originales très affirmatives n’ont reçu que peu ou pas de soutien dans des tests plus puissants.

Le Social Sciences Replication Project, par exemple, ne retrouva un effet statistiquement significatif dans la même direction que pour 13 des 21 expériences sélectionnées, malgré des réplications préenregistrées et beaucoup plus grandes que les originales.

La leçon correcte n’est donc ni :

« la crise de réplication prouve que toute la discipline est fausse »

ni :

« les critères sont compliqués, donc les échecs ne signifient rien ».

Elle est :

les réplications fournissent de nouvelles données qui doivent réellement modifier notre évaluation du corps de preuves.

La fidélité au protocole : a-t-on réellement testé la même chose ?

Une objection naturelle à une réplication négative est :

« vous n’avez pas reproduit correctement l’expérience ».

Cette objection peut être légitime.

Supposons que l’effet dépende de la température et que la réplication soit réalisée à une température complètement différente.

Elle ne teste peut-être plus la même hypothèse.

Supposons qu’un questionnaire soit mal traduit.

Supposons que l’intervention soit administrée pendant cinq minutes au lieu de trente.

La différence méthodologique peut raisonnablement expliquer le désaccord.

Il faut donc évaluer la fidélité de la réplication au protocole original.

Les grands projets de réplication ont souvent fait examiner leurs protocoles par les auteurs des études initiales précisément pour réduire ce type de désaccord. Le projet de Camerer et ses collègues utilisait notamment des plans préenregistrés et soumis aux auteurs originaux avant la collecte des données.

Mais l’exigence d’identité parfaite peut immuniser une théorie

Le danger inverse est majeur.

Après chaque échec, il est toujours possible de découvrir une petite différence :

les murs n’étaient pas de la même couleur ;

les participants étaient légèrement plus âgés ;

l’expérience avait lieu le matin plutôt que l’après-midi ;

la population connaissait déjà davantage le type de tâche.

Si toute différence est utilisée après coup pour déclarer la réplication invalide, le phénomène devient pratiquement impossible à falsifier.

Nous retrouvons ici la logique des ajustements *ad hoc*.

La bonne question est donc :

la différence invoquée était-elle théoriquement pertinente et pouvait-elle raisonnablement modifier l’effet ?

Mieux encore :

cette explication produit-elle une nouvelle prédiction testable ?

Si l’on prétend que l’effet n’apparaît que chez des participants naïfs à une certaine tâche, il devient possible de comparer explicitement participants naïfs et expérimentés dans une nouvelle étude.

L’explication passe alors du statut de défense rétrospective à celui d’hypothèse testable.

Un modérateur peut transformer un échec en découverte

Supposons :

Étude A : effet présent chez des adolescents.

Réplication B : effet absent chez des adultes âgés.

Il est possible que A soit un faux positif.

Mais une autre hypothèse apparaît :

l’âge modère l’effet.

Cette hypothèse est scientifique seulement si elle peut être testée.

On pourrait réaliser une étude suffisamment grande comportant plusieurs classes d’âge et tester directement l’interaction entre âge et intervention.

Si l’interaction est retrouvée, la non-réplication initiale aura permis de découvrir une condition limite du phénomène.

Les National Academies incluent précisément parmi les non-réplications potentiellement fécondes celles qui contribuent à identifier des circonstances ou mécanismes jusqu’alors inconnus.

Une non-réplication peut donc être un échec de la généralisation initiale plutôt qu’un échec total du phénomène.

L’explication contextuelle doit être testée, pas simplement racontée

Il existe cependant une différence capitale entre :

« peut-être que le contexte explique le résultat »

et

« nous avons montré que le contexte explique le résultat ».

Après une non-réplication, une multitude de différences peuvent être évoquées.

Le pays.

L’époque.

La culture.

L’âge.

Le niveau d’éducation.

L’expérience préalable.

La formulation des instructions.

Si l’on cherche suffisamment longtemps, il sera presque toujours possible de raconter une histoire plausible.

La bonne démarche consiste à identifier une différence ayant une justification théorique, puis à la manipuler ou la comparer explicitement.

C’est exactement ce qu’illustre le débat autour de certaines réplications du Social Sciences Replication Project : plusieurs auteurs originaux ont proposé des facteurs contextuels ou méthodologiques susceptibles d’expliquer des divergences particulières, créant de nouvelles hypothèses à tester plutôt qu’un verdict simple sur la réplication.

La réplication elle-même peut comporter une erreur

Une seconde étude n’est pas supérieure par nature à la première.

Elle peut contenir :

un bug informatique ;

un problème de randomisation ;

un mauvais recrutement ;

une faible fidélité au protocole ;

une mesure inadéquate ;

un taux d’abandon important ;

une analyse incorrecte.

La simple chronologie :

étude originale → réplication

ne signifie donc pas :

preuve faible → preuve supérieure.

La réplication doit être examinée avec exactement les mêmes exigences méthodologiques que n’importe quelle autre étude.

Il serait incohérent d’exiger une rigueur extrême de l’originale puis d’accepter sans examen toute étude qui la contredit.

Mais l’originale ne possède pas non plus un privilège chronologique

L’erreur inverse consiste à considérer l’étude originale comme propriétaire du phénomène.

La réplication doit alors prouver qu’elle est parfaite, tandis que toute faiblesse de l’originale est oubliée.

C’est une asymétrie injustifiée.

L’étude originale et la réplication sont deux ensembles de données.

La première possède simplement une particularité historique : elle est arrivée avant.

Si la réplication est plus grande, mieux contrôlée et préenregistrée, elle peut apporter davantage d’information que l’originale.

L’ordre de publication ne détermine pas le poids épistémique.

Il faut donc comparer symétriquement les deux études

Une bonne analyse pose les mêmes questions aux deux.

Les populations étaient-elles adéquates ?

Les mesures étaient-elles valides et fiables ?

Les analyses étaient-elles préspécifiées ?

Les exclusions étaient-elles justifiées ?

La puissance était-elle suffisante ?

Les données manquantes sont-elles problématiques ?

L’intervention a-t-elle réellement fonctionné comme prévu ?

Les chercheurs étaient-ils aveuglés lorsque cela était nécessaire ?

Les estimations sont-elles précises ?

Quels biais peuvent expliquer le résultat ?

Cette symétrie est fondamentale.

Une non-réplication n’est pas un procès dans lequel l’étude originale serait l’accusée et la réplication le juge.

Les deux sont des preuves à évaluer.

Les « manipulation checks » peuvent aider — et parfois compliquer les choses

Dans certaines expériences, on vérifie qu’une manipulation a effectivement produit l’état intermédiaire recherché.

Supposons qu’une intervention soit censée augmenter le stress.

Si le niveau de stress ne change pas du tout dans la réplication, l’absence d’effet sur le résultat final devient difficile à interpréter.

La manipulation elle-même n’a peut-être pas fonctionné.

Mais il faut là encore éviter les raisonnements trop simples.

Un *manipulation check* peut modifier l’expérience, être lui-même imparfait ou ne mesurer qu’une partie du mécanisme théorique.

La question reste donc :

avons-nous de bonnes raisons indépendantes de penser que la variable expérimentale pertinente a effectivement été modifiée ?

La qualité de l’opérationnalisation peut expliquer certaines divergences

Un phénomène psychologique ou social n’est souvent pas directement observable.

Il doit être opérationnalisé.

Deux études peuvent prétendre tester « la confiance », « le stress », « la polarisation » ou « l’apprentissage » tout en utilisant des mesures assez différentes.

Une réplication conceptuelle peut donc échouer parce qu’elle mesure un autre aspect du concept.

Cela ne rend pas automatiquement l’une des études incorrecte.

Cela peut signaler que la théorie utilisait un concept trop vague.

La réplication joue alors un rôle conceptuel important :

elle oblige à préciser ce que l’affirmation voulait réellement dire.

Les effets biologiques eux-mêmes peuvent dépendre du contexte

La sensibilité au contexte n’est pas réservée aux sciences sociales.

Un effet biologique peut varier selon :

la souche animale ;

le sexe ;

l’alimentation ;

la température ;

le microbiote ;

le stade de développement ;

les conditions d’élevage.

Une expérience réalisée dans deux laboratoires différents peut donc légitimement produire des résultats différents.

Cela ne signifie pas que toute divergence biologique est excusable.

Cela signifie que la stabilité d’un effet à travers différents environnements est elle-même une propriété empirique à étudier.

Ce qui paraît d’abord être une nuisance peut devenir une information sur la structure du phénomène.

Un phénomène extrêmement contextuel est toujours un phénomène plus limité

Cette conclusion mérite d’être soulignée.

Supposons qu’après plusieurs échecs de réplication, on découvre que l’effet existe uniquement :

dans une population très spécifique ;

avec une formulation exacte ;

à un moment précis ;

lorsqu’un ensemble étroit de conditions est satisfait.

L’étude originale n’est peut-être pas « fausse ».

Mais l’affirmation générale initiale doit être réduite.

On est passé de :

« X produit Y »

à :

« X semble produire Y dans cet ensemble restreint de conditions ».

C’est un progrès scientifique.

Déterminer les limites d’un phénomène est aussi important que montrer son existence.

L’hétérogénéité véritable n’est pas une excuse universelle

Il faut cependant résister à une tentation.

Dès qu’un résultat varie entre études, on peut toujours invoquer :

« l’effet est hétérogène ».

Mais si aucune variable ne permet de prédire cette hétérogénéité, le concept peut devenir une manière sophistiquée de dire :

« parfois ça marche, parfois non ».

Une théorie utile devrait progressivement identifier quelles conditions modifient l’effet et dans quelle direction.

Autrement, sa flexibilité augmente sans augmenter son pouvoir prédictif.

Le passage de « résultat non répliqué » à « effet contextuel » doit donc lui aussi produire de nouveaux risques empiriques.

Les réplications multisites sont particulièrement intéressantes

Une manière de distinguer instabilité et contexte consiste à réaliser le même protocole simultanément dans plusieurs sites.

Si un effet apparaît de manière similaire dans vingt laboratoires, sa robustesse contextuelle est renforcée.

Si les résultats varient fortement, cette variation peut être étudiée.

Les projets de type Many Labs ont précisément développé cette logique en réalisant des protocoles coordonnés dans de nombreux échantillons.

Leur intérêt ne réside pas uniquement dans l’augmentation de l’effectif total.

Ils permettent également d’observer la variation du phénomène entre sites.

Une réplication multisite transforme ainsi le « contexte » d’une excuse rétrospective en une variable que l’on commence à mesurer.

L’étude originale et la réplication devraient souvent être combinées

Après une réplication, une question étrange apparaît parfois :

« laquelle des deux faut-il croire ? »

Mais si les deux études sont suffisamment comparables et de qualité acceptable, il est souvent plus rationnel de les combiner.

La première étude contenait de l’information.

La réplication en contient davantage.

Une méta-analyse ou une synthèse appropriée peut fournir une estimation commune, éventuellement tout en examinant leur hétérogénéité.

Supposons :

originale : effet = 0,60 ;

réplication très grande : effet = 0,15.

La conclusion ne doit pas forcément devenir 0,60 ou 0,15.

L’ensemble des données peut suggérer un effet positif mais beaucoup plus faible que la première publication ne le laissait penser.

C’est précisément pourquoi la réplication appartient à un processus cumulatif.

L’originale peut perdre beaucoup de poids sans devenir inutile

La découverte originale a parfois utilisé un petit échantillon.

Une réplication beaucoup plus grande arrive ensuite.

Dans la synthèse quantitative, l’étude originale peut recevoir peu de poids relativement à la nouvelle.

Cela est parfaitement normal.

Elle a joué son rôle historique :

identifier le phénomène potentiel.

La réplication joue un rôle différent :

améliorer l’estimation et contrôler la stabilité.

La science ne demande pas à toutes les études d’avoir la même fonction.

Un échec répété est plus informatif qu’un échec isolé

Une première réplication échoue.

Plusieurs explications restent ouvertes.

Une deuxième réplication indépendante échoue également.

Puis une troisième, plus puissante, ne retrouve toujours pas l’effet.

À mesure que les résultats négatifs s’accumulent, certaines explications deviennent de moins en moins plausibles.

L’hypothèse :

« chaque réplication a simplement été malchanceuse »

devient de plus en plus difficile à maintenir.

L’hypothèse :

« toutes ont commis exactement la même erreur particulière »

doit également être justifiée.

La valeur de la réplication augmente donc elle aussi cumulativement.

Un échec isolé appelle une enquête.

Une succession de tests indépendants solides sans effet peut transformer fortement l’état des connaissances.

L’indépendance des réplications est cruciale

Cinq réplications peuvent néanmoins partager :

le même protocole défectueux ;

le même recrutement ;

le même instrument ;

le même laboratoire central ;

le même code.

Leur multiplication ne garantit donc pas cinq contrôles totalement indépendants.

Comme toujours, la confiance augmente davantage lorsque les possibilités d’erreur sont diversifiées.

Plusieurs laboratoires.

Plusieurs populations.

Des mesures alternatives.

Des analyses préspécifiées.

La convergence de ces contrôles devient beaucoup plus difficile à expliquer par un biais unique.

Les réplications elles-mêmes peuvent être soumises au biais de publication

Imaginons maintenant qu’une réplication réussie soit plus facile à publier qu’un échec, ou au contraire qu’une réplication négative spectaculaire d’un article célèbre attire davantage l’attention.

Dans les deux cas, la littérature visible peut ne pas représenter correctement l’ensemble des tentatives effectuées.

La réplication n’échappe donc pas aux mécanismes de sélection de la publication.

C’est pourquoi les protocoles enregistrés et les Registered Reports, dans lesquels une étude peut être acceptée sur la qualité de sa question et de sa méthode avant que les résultats soient connus, constituent des outils particulièrement intéressants pour les réplications.

Nous y reviendrons dans la partie consacrée à la science ouverte.

La prédiction de la réplication peut elle-même apporter une information

Le Social Sciences Replication Project a également demandé à des chercheurs d’estimer quels résultats seraient susceptibles de se répliquer.

Les croyances de la communauté étaient fortement associées aux résultats effectifs des réplications.

Ce résultat est intéressant pour une raison particulière.

Il suggère que certains signaux de fragilité étaient déjà partiellement perceptibles :

taille d’échantillon ;

plausibilité de l’effet ;

force statistique ;

qualité méthodologique ;

ou autres caractéristiques du travail.

Cela ne signifie pas que la communauté saurait identifier parfaitement les faux résultats.

Mais cela rappelle que toutes les études publiées ne possèdent pas a priori la même crédibilité, même avant leur réplication.

Les taux de réplication ne doivent pas être généralisés à « la science »

Le chiffre de 36 % du projet de psychologie ou celui de 62 % obtenu par Camerer et ses collègues ont parfois été transformés en jugement sur la science dans son ensemble.

Ce serait injustifié.

Ces projets portaient sur :

des domaines particuliers ;

des périodes particulières ;

des revues particulières ;

des types particuliers d’expériences ;

et des critères de réplication particuliers.

Le rapport des National Academies insiste précisément sur le fait que la non-réplicabilité varie considérablement selon les disciplines, objets, méthodes et conditions de recherche, et qu’il n’existe pas de taux simple permettant de décrire l’ensemble de la science.

Une difficulté observée en psychologie sociale ne peut pas être mécaniquement transposée à la mesure de constantes physiques, et inversement.

La complexité du phénomène peut naturellement réduire la stabilité

Certains effets sont presque invariants.

D’autres dépendent de nombreux paramètres.

Une réaction physique extrêmement stable sous des conditions bien spécifiées peut être reproduite avec une grande régularité.

Un comportement humain influencé simultanément par l’environnement, l’apprentissage, le contexte social et l’histoire individuelle peut naturellement présenter davantage de variabilité.

Cela ne rend pas le second phénomène non scientifique.

Cela impose simplement une théorie et des méthodes capables de représenter cette hétérogénéité réelle.

Une faible réplicabilité peut donc signaler plusieurs choses :

de mauvaises pratiques ;

des effets surestimés ;

ou un objet réellement plus variable qu’on ne le supposait.

Le travail scientifique consiste à distinguer ces possibilités.

Une théorie forte doit expliquer aussi les échecs, mais sans devenir infiniment flexible

Supposons qu’une théorie prévoie un effet.

Première réplication : échec.

La théorie explique que les participants étaient trop âgés.

Deuxième réplication auprès de jeunes : échec.

Elle explique que la salle était trop impersonnelle.

Troisième réplication dans le bon environnement : échec.

Une nouvelle variable est invoquée.

À un moment, la théorie accumule tellement de conditions rétrospectives qu’elle devient difficile à tester.

Le contraste avec une révision réellement progressive est important.

Une bonne explication de la non-réplication doit conduire à des prédictions nouvelles capables d’échouer.

Par exemple :

« l’effet devrait être présent chez les participants naïfs et absent chez les participants expérimentés ».

Cette formulation peut être testée directement.

Nous retrouvons ici les idées de Popper, Duhem et Lakatos développées plus tôt : une anomalie n’impose pas immédiatement l’abandon d’une théorie, mais la manière dont elle est absorbée doit produire plus de testabilité, pas moins.

La réplication teste également la précision de nos théories

Supposons qu’une théorie affirme simplement :

« le contexte peut modifier l’effet ».

Cette proposition est presque toujours défendable.

Une théorie plus informative pourrait prédire :

« l’effet augmente lorsque X augmente et disparaît au-dessus de telle condition Y ».

Les réplications réalisées sous différents contextes permettent alors de tester la structure prédite.

La crise de réplication peut ainsi être comprise non seulement comme un problème statistique, mais comme une pression en faveur de théories plus précises.

Lorsque les phénomènes supposés universels se révèlent instables, il faut apprendre à prédire leur variation.

Une non-réplication peut révéler une mauvaise mesure plutôt qu’une mauvaise théorie

Supposons qu’une théorie porte sur une capacité cognitive réelle.

L’expérience originale utilise un test censé la mesurer.

La réplication ne retrouve pas l’effet.

On découvre ensuite que le test possède une faible fiabilité et varie énormément d’une session à l’autre.

Le désaccord peut provenir de l’instrument, pas nécessairement du mécanisme théorique.

Une réplication bien conçue peut alors utiliser une mesure plus fiable.

Cela rappelle l’importance de la chaîne entière :

concept → opérationnalisation → mesure → données → analyse → interprétation.

La réplication teste la chaîne, pas uniquement le dernier maillon.

Une réplication peut également révéler que l’originale répondait à une autre question

Supposons qu’une intervention soit présentée comme réduisant « le stress ».

L’étude originale mesure le cortisol.

La réplication mesure une auto-évaluation subjective.

Les deux résultats diffèrent.

Il n’est pas évident qu’elles aient testé exactement le même construit.

La divergence peut montrer que le mot « stress » regroupait des phénomènes distincts.

La répétition scientifique possède donc aussi une fonction de clarification conceptuelle.

L’échec peut venir d’une intervention mal délivrée

Une réplication d’un traitement psychologique trouve peu d’effet.

Mais les thérapeutes n’ont suivi que partiellement le protocole.

Dans ce cas, l’étude peut avoir mesuré :

l’effet du programme tel qu’il a effectivement été appliqué

plutôt que :

l’effet du programme correctement administré.

Cela peut constituer une faiblesse méthodologique si l’objectif était la réplication stricte.

Mais cela peut aussi révéler une faiblesse pratique de l’intervention : un traitement qui fonctionne uniquement lorsque quelques experts extrêmement entraînés le délivrent sous des conditions idéales peut avoir une efficacité réelle mais une transférabilité limitée.

La distinction entre fidélité et généralisation doit donc être explicitée.

Un échec de réplication peut changer le type de question

Au début :

« Cet effet existe-t-il ? »

Après plusieurs résultats contradictoires :

« Dans quelles conditions existe-t-il ? »

Puis éventuellement :

« Quelle taille d’effet moyenne peut-on attendre, et quelle est sa variabilité entre contextes ? »

La recherche progresse ainsi d’une question binaire vers une cartographie du phénomène.

Cette transition est souvent plus scientifique que la recherche obstinée d’un verdict « vrai/faux ».

Il faut regarder les tailles d’effet, pas seulement le nombre de succès

Supposons cinq réplications :

+0,18 ;

+0,22 ;

+0,14 ;

+0,19 ;

+0,16.

Certaines peuvent être non significatives individuellement si elles sont petites.

Mais la remarquable cohérence de leurs estimations suggère un effet modeste.

Comparons :

+0,80 ;

−0,40 ;

+1,10 ;

−0,70 ;

+0,50.

Le nombre de résultats positifs pourrait sembler similaire, mais le phénomène apparaît beaucoup plus instable.

La synthèse doit donc examiner :

direction, taille, précision et hétérogénéité des effets.

Le simple taux de « réplications réussies » perd une partie essentielle de l’information.

La méta-analyse devient naturellement utile

Une étude originale et plusieurs réplications forment déjà un petit corpus.

Plutôt que de compter les valeurs *p*, on peut combiner quantitativement les tailles d’effet, tout en examinant leur hétérogénéité.

Cela permet de répondre à des questions plus intéressantes :

quelle est l’estimation moyenne ?

Quelle est sa précision ?

Les études varient-elles davantage que ce que les fluctuations d’échantillonnage laisseraient attendre ?

Certaines différences de contexte expliquent-elles cette variation ?

C’est précisément le type de raisonnement que nous développerons avec les revues systématiques et méta-analyses.

Une réplication négative peut être plus intéressante qu’une réplication positive

Une réplication qui retrouve exactement ce qui était attendu augmente notre confiance.

Une réplication négative peut parfois nous apprendre davantage.

Elle force à demander :

l’effet était-il surestimé ?

Le phénomène dépend-il d’une condition inconnue ?

La mesure était-elle fragile ?

Le protocole était-il ambigu ?

La théorie était-elle trop générale ?

La réplication était-elle inadéquate ?

Les National Academies consacrent précisément une section aux non-réplications potentiellement utiles à la science : celles-ci peuvent conduire à identifier de nouveaux phénomènes, des conditions jusque-là inconnues ou des erreurs qui améliorent ensuite les méthodes.

L’échec n’est donc pas seulement une sanction.

Il peut être un instrument de découverte.

Mais l’autocorrection exige que l’échec soit pris au sérieux

Cette vision constructive ne doit pas conduire à banaliser les non-réplications.

Si chaque échec est immédiatement transformé en :

« intéressant, l’effet dépend probablement d’une condition inconnue »

sans jamais réduire la confiance dans l’hypothèse initiale, la réplication perd toute fonction critique.

Une non-réplication bien conduite doit réellement modifier notre degré de confiance.

Peut-être très peu si elle est faible.

Peut-être beaucoup si elle est grande, précise et fidèle.

Peut-être en modifiant la taille estimée de l’effet plutôt qu’en l’annulant.

Peut-être en réduisant la généralité de la théorie.

Mais elle ne doit pas être épistémiquement gratuite.

La réplication idéale est conçue pour départager plusieurs explications

Après un premier désaccord, la prochaine étude peut être construite plus intelligemment.

Plutôt que de refaire simplement une troisième fois l’expérience, elle peut incorporer les hypothèses apparues lors du conflit.

Si l’étude originale prétend que le contexte n’a aucune importance et que ses défenseurs invoquent ensuite l’expérience préalable des participants, la nouvelle réplication peut manipuler ou stratifier directement ce facteur.

Elle teste alors simultanément :

l’effet initial

et

l’explication de son absence dans la seconde étude.

C’est un test beaucoup plus discriminant.

Une controverse productive transforme donc le désaccord en nouvelle expérience capable de séparer les interprétations concurrentes.

À quel moment peut-on considérer qu’un effet ne tient plus ?

Il n’existe pas un nombre universel de réplications négatives.

Mais la confiance devrait diminuer fortement lorsque plusieurs conditions sont réunies :

les réplications sont correctement conçues ;

elles possèdent suffisamment de précision ;

elles utilisent des critères définis avant les résultats ;

elles testent fidèlement le phénomène annoncé ;

elles proviennent de plusieurs équipes ou contextes ;

leurs estimations convergent vers des effets bien plus faibles que l’original ;

et les explications proposées pour les échecs ne produisent pas de prédictions confirmées.

À ce stade, conserver l’affirmation originale intacte devient de plus en plus difficile.

La conclusion rationnelle peut être :

l’effet initial était probablement largement surestimé, limité à des conditions très particulières ou inexistant dans la forme générale sous laquelle il avait été présenté.

À l’inverse, quand un échec isolé doit-il peu nous inquiéter ?

Une réplication négative mérite moins de poids lorsqu’elle :

est beaucoup plus petite que l’originale ;

possède un intervalle d’incertitude compatible avec l’effet initial ;

utilise une opérationnalisation substantiellement différente sans justification ;

présente un problème évident de manipulation ou de mesure ;

modifie simultanément plusieurs conditions importantes ;

ou contient elle-même un risque de biais élevé.

Cela ne permet pas de l’ignorer.

Mais le désaccord doit rester proportionné à la qualité de la nouvelle information.

Une grille pratique devant une non-réplication

Face à deux études discordantes, la première étape consiste à abandonner les étiquettes « positive » et « négative » et à comparer directement leurs estimations.

Quelle était la taille d’effet originale ?

Avec quelle incertitude ?

Quelle taille d’effet obtient la réplication ?

Les intervalles sont-ils réellement incompatibles ?

La réplication était-elle suffisamment précise pour détecter ou exclure l’effet annoncé ?

Le protocole a-t-il été suffisamment fidèlement reproduit ?

Les différences entre populations ou contextes avaient-elles été prévues comme importantes avant les résultats ?

Les mesures possèdent-elles une validité comparable ?

L’étude originale comportait-elle des analyses multiples ou une faible puissance susceptibles d’avoir gonflé l’effet ?

La réplication était-elle préenregistrée ?

Existe-t-il d’autres études indépendantes ?

Enfin, la meilleure synthèse de toutes les données favorise-t-elle absence d’effet, effet plus faible ou véritable hétérogénéité contextuelle ?

Cette grille transforme un conflit entre articles en véritable raisonnement scientifique.

La bonne conclusion est souvent plus précise que « répliqué / non répliqué »

Après analyse, plusieurs conclusions sont possibles.

Le résultat se réplique bien.

L’effet semble réel mais sensiblement plus faible que dans l’étude originale.

Les données restent trop imprécises pour conclure.

L’effet semble dépendre d’un modérateur désormais identifié.

La réplication est trop différente pour constituer un test clair de l’effet initial.

Plusieurs réplications solides suggèrent que l’effet général annoncé initialement est probablement absent.

Ces formulations sont moins spectaculaires que :

« étude débunkée »

ou

« résultat confirmé ».

Elles sont beaucoup plus informatives.

La réplication n’est pas un tribunal, c’est une expérience supplémentaire

Cette idée résume peut-être le mieux la méthode.

L’étude originale n’est pas un accusé.

La réplication n’est pas un juge.

Les deux sont des observations faillibles produites par des procédures qu’il faut évaluer.

La nouvelle étude possède toutefois un avantage épistémique important : elle est une occasion de confronter le phénomène à des données qui n’ont pas participé à sa découverte initiale.

Si l’effet survit, notre confiance augmente.

S’il diminue, notre estimation change.

S’il disparaît, la théorie rencontre une difficulté.

Si une condition limite apparaît, la théorie doit devenir plus précise.

Dans chaque cas, la réplication accomplit sa fonction : elle oblige une affirmation scientifique à rencontrer de nouveau le monde.


À retenir

Un échec de réplication n’établit pas automatiquement que l’étude originale était fausse. Les divergences peuvent provenir de fluctuations d’échantillonnage, d’un manque de précision, de différences méthodologiques ou contextuelles, d’une mauvaise opérationnalisation, d’une surestimation initiale ou de l’absence réelle du phénomène. Les National Academies insistent donc sur une évaluation de la réplication dans l’ensemble du corps de preuves, plutôt que sur un verdict binaire.

Il faut notamment éviter de définir la réplication par « p < 0,05 dans l’original et p > 0,05 dans la réplication ». Deux études peuvent obtenir des tailles d’effet presque identiques et tomber simplement de part et d’autre du seuil. Il faut comparer directement les estimations et leur incertitude.

Les grands projets de réplication ont néanmoins révélé de réels problèmes. Le Social Sciences Replication Project a retrouvé un effet significatif dans la même direction pour 13 des 21 expériences examinées, tandis que les tailles d’effet des réplications étaient en moyenne environ 50 % de celles des originales, malgré des réplications préenregistrées et beaucoup plus grandes. Le Reproducibility Project: Psychology avait également observé une forte diminution des effets et seulement environ 36 % de résultats significatifs parmi ses cent réplications, contre 97 % dans les études originales ciblées.

Ces chiffres ne doivent cependant pas devenir des taux universels de « vérité scientifique ». Le résultat dépend du domaine étudié, de l’échantillonnage des articles et surtout du critère employé pour définir la réplication. Des réanalyses du projet de psychologie ont par exemple montré qu’un pourcentage beaucoup plus élevé des résultats de réplication pouvait être considéré comme compatible avec les études originales sous d’autres critères statistiques.

Enfin, une bonne explication contextuelle d’une non-réplication doit produire de nouvelles prédictions testables. Affirmer après chaque échec que « les conditions étaient différentes » ne suffit pas. Si une différence est réellement causale, il devrait être possible de concevoir une nouvelle étude qui la fasse varier et détermine si elle explique effectivement le désaccord.

La question décisive n’est donc pas :

« La réplication a-t-elle réussi ou échoué ? »

mais :

« Que nous apprend cette nouvelle étude sur l’existence, la taille, la stabilité et les conditions limites du phénomène initialement annoncé ? »

Sources et références

  • National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303, notamment le chapitre consacré à la réplicabilité, à ses critères d’évaluation et aux causes scientifiques ou problématiques de non-réplication.
  • Camerer, Colin F. et al., « Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 », *Nature Human Behaviour*, 2018, 2:637–644, DOI 10.1038/s41562-018-0399-z.
  • Open Science Collaboration, « Estimating the reproducibility of psychological science », *Science*, 2015, 349:aac4716. Le projet a réalisé cent réplications coordonnées d’expériences issues de trois revues de psychologie.
  • Patil, Prasad, Peng, Roger D. & Leek, Jeffrey T., « What Should Researchers Expect When They Replicate Studies? A Statistical View of Replicability in Psychological Science », *Perspectives on Psychological Science*, 2016, sur les différentes manières de juger la compatibilité entre études originales et réplications.
  • Macleod, Malcolm R., « The reproducibility opportunity », *Nature Human Behaviour*, 2018, sur les enseignements méthodologiques tirés des grands projets de réplication.
24 sur 39Retour à la catégorie