Réplication, reproduction et robustesse : quand un résultat peut-il être considéré comme fiable ?

Un résultat isolé n’est pas encore une connaissance solide

Une étude annonce qu’un traitement améliore un symptôme, qu’une méthode pédagogique augmente les performances ou qu’une variable sociale influence un comportement. Le résultat peut être exact. Mais il peut aussi provenir du hasard, d’une erreur, d’un échantillon particulier, d’un choix statistique ou d’une condition locale non identifiée.

Une étude unique constitue généralement le début d’une enquête, non son aboutissement. La connaissance devient plus solide lorsqu’un résultat résiste à plusieurs formes de vérification. Il doit pouvoir être retrouvé, recalculé, observé selon d’autres méthodes et conservé lorsque certaines hypothèses raisonnables sont modifiées. Trois notions jouent ici un rôle central :

  • la réplication ;
  • la reproduction ;
  • la robustesse.

Leur vocabulaire varie parfois selon les disciplines. Certains auteurs utilisent *reproductibilité* pour désigner la répétition d’une expérience, tandis que d’autres réservent ce terme au fait de retrouver un résultat à partir des mêmes données et du même code. Il faut donc toujours préciser le sens adopté.

Dans cette fiche, nous utiliserons la distinction suivante :

Reproduire un résultat consiste à retrouver le même résultat en utilisant les mêmes données et une procédure d’analyse suffisamment identique.

Répliquer un résultat consiste à recueillir de nouvelles données afin de vérifier si l’effet réapparaît.

Tester la robustesse consiste à examiner si la conclusion résiste à des variations raisonnables de méthode, de population, de mesure ou de modèle.

Ces trois démarches répondent à des questions différentes. Une analyse peut être parfaitement reproductible tout en reposer sur une étude non réplicable. Un effet peut se répliquer dans un protocole précis tout en disparaître dès que la population ou la mesure change. Un résultat fiable demande donc une architecture de vérifications, pas un label unique.


Qu’est-ce qu’un résultat ?

Avant de demander si un résultat est fiable, il faut préciser ce qui est censé être retrouvé.

Le mot *résultat* peut désigner :

  • une valeur numérique ;
  • une association statistique ;
  • une différence entre groupes ;
  • une relation causale ;
  • un mécanisme ;
  • une conclusion théorique ;
  • une application pratique.

Ces niveaux ne se reproduisent pas de la même manière.

Une autre équipe peut retrouver exactement le même calcul sans confirmer l’interprétation causale. Elle peut observer une différence comparable tout en estimer une taille d’effet différente. Elle peut également confirmer un mécanisme général sans retrouver chaque détail de l’étude initiale. Il est donc utile de distinguer :

le résultat numérique ;

le phénomène observé ;

l’interprétation ;

la théorie générale.

Une réplication peut réussir à un niveau et échouer à un autre.


La reproduction computationnelle

La reproduction computationnelle consiste à reprendre les mêmes données et les mêmes procédures d’analyse afin de vérifier que le résultat publié peut effectivement être recalculé. Elle répond à une question élémentaire :

À partir des données et des méthodes annoncées, obtient-on réellement le résultat présenté ?

Cette vérification peut révéler :

  • une erreur de calcul ;
  • une mauvaise formule ;
  • une variable mal codée ;
  • un graphique erroné ;
  • une exclusion non documentée ;
  • une différence entre le protocole annoncé et l’analyse réalisée.

Une étude peut reposer sur une question pertinente et des données de qualité tout en contenir une erreur de traitement.

La reproduction ne vérifie pas encore que le phénomène existe au-delà de l’échantillon initial. Elle vérifie que la conclusion correspond bien à l’analyse de cet échantillon.


Les données et le code

Une reproduction complète demande généralement l’accès à plusieurs éléments :

  • les données ;
  • le code ou les instructions d’analyse ;
  • la définition des variables ;
  • les critères d’exclusion ;
  • les versions des logiciels ;
  • les transformations appliquées.

Publier seulement un résultat final ne suffit pas.

Une phrase comme :

« Nous avons contrôlé les variables pertinentes »

reste difficile à évaluer si les variables et les opérations ne sont pas précisément indiquées.

Le partage des données et du code facilite la détection des erreurs. Mais il n’est pas toujours possible de publier librement des informations sensibles, médicales ou personnelles.

Dans ce cas, d’autres solutions peuvent être utilisées :

  • données anonymisées ;
  • accès sécurisé ;
  • données synthétiques ;
  • description détaillée ;
  • vérification par une équipe indépendante autorisée.

La transparence doit être conciliée avec la confidentialité.


Reproduire n’est pas répliquer

Une analyse peut être parfaitement reproductible et néanmoins reposer sur un résultat accidentel. Si une première étude a sélectionné par hasard un échantillon atypique, recalculer exactement les mêmes données produira le même résultat atypique. La reproduction montre que le calcul est fidèle aux données. Elle ne montre pas que les données représentent correctement le phénomène général. Pour cela, il faut recueillir de nouvelles observations. C’est le rôle de la réplication.


La réplication directe

Une réplication directe cherche à reprendre aussi fidèlement que possible la méthode initiale avec de nouvelles données. Elle utilise généralement :

  • des critères comparables ;
  • une procédure proche ;
  • les mêmes mesures ;
  • une population similaire ;
  • une analyse prédéfinie.

Son objectif est de vérifier si le résultat réapparaît dans les conditions annoncées. Une réplication directe réussie augmente la confiance dans la stabilité locale de l’effet. Une réplication directe échouée soulève plusieurs possibilités :

  • le premier résultat était accidentel ;
  • le second protocole diffère sur un élément important ;
  • l’effet est plus faible qu’estimé ;
  • le phénomène dépend d’une condition non identifiée ;
  • l’une des études comporte une erreur.

L’échec ne produit pas toujours un verdict immédiat. Il ouvre une comparaison entre les études.


Aucune réplication n’est parfaitement identique

Deux études ne peuvent jamais reproduire exactement toutes les conditions. Les participants ne sont pas les mêmes. Le contexte change. Le matériel, les chercheurs, la période et l’environnement peuvent différer. Une réplication directe est donc toujours une approximation de l’étude initiale. La question devient :

Les différences sont-elles assez faibles pour que la théorie prévoie encore le même résultat ?

Si un effet disparaît au moindre changement, sa portée est probablement limitée. Mais une différence apparemment mineure peut parfois être essentielle. Une procédure sociale peut fonctionner différemment selon la langue, les normes ou les attentes des participants.

La réplication exige donc un jugement sur les caractéristiques réellement pertinentes du phénomène.


La réplication conceptuelle

Une réplication conceptuelle teste la même hypothèse générale à l’aide d’une méthode différente. Supposons qu’une première étude mesure une attitude par questionnaire. Une seconde l’examine à travers un comportement réel. Une troisième utilise une expérience.

Si les résultats convergent, la conclusion dépend moins d’une mesure particulière.

La réplication conceptuelle permet de vérifier si le phénomène dépasse le protocole initial. Mais elle possède une difficulté : lorsqu’elle échoue, il peut être difficile de savoir si l’hypothèse est fausse ou si la nouvelle méthode ne mesure pas exactement la même chose.

Plus les protocoles diffèrent, plus la généralisation testée est intéressante, mais plus l’interprétation des divergences devient complexe.


Réplication directe et conceptuelle sont complémentaires

Opposer les deux formes de réplication serait une erreur. La réplication directe vérifie la stabilité d’un résultat précis. La réplication conceptuelle vérifie la portée d’une idée au-delà de sa première opérationnalisation. Une conclusion solide bénéficie généralement des deux. Si seule la réplication directe réussit, l’effet peut être étroitement lié au protocole. Si seules les réplications conceptuelles paraissent favorables, il devient difficile de savoir si elles examinent réellement le même phénomène.

L’accumulation méthodique doit donc aller du contrôle précis vers la généralisation progressive.


La réplication interne

Une même étude peut contenir plusieurs formes de réplication interne.

Les chercheurs peuvent :

  • diviser l’échantillon ;
  • répéter l’expérience dans plusieurs groupes ;
  • utiliser plusieurs mesures ;
  • reproduire le résultat sur une autre période.

Cette organisation fournit une première indication de stabilité. Mais elle ne remplace pas une réplication indépendante. Les mêmes chercheurs peuvent reproduire les mêmes biais, erreurs ou choix implicites. Les participants peuvent provenir du même contexte. Les analyses peuvent dépendre du même logiciel ou du même instrument. L’indépendance institutionnelle ajoute une forme de contrôle différente.


Pourquoi l’indépendance compte

Une confirmation est plus forte lorsque plusieurs équipes obtiennent des résultats convergents sans dépendre entièrement des mêmes sources.

L’indépendance réduit le risque d’une erreur commune. Elle peut concerner :

  • les chercheurs ;
  • les institutions ;
  • les financements ;
  • les instruments ;
  • les échantillons ;
  • les méthodes ;
  • les logiciels.

Deux laboratoires différents ne sont pas totalement indépendants s’ils utilisent les mêmes données ou le même dispositif défectueux. Inversement, une collaboration peut produire des analyses réellement indépendantes si les équipes travaillent séparément selon un protocole commun. L’indépendance est graduelle. La question pertinente est :

Une seule erreur suffirait-elle à expliquer tous les résultats ?


La réplication par plusieurs laboratoires

Les projets menés dans plusieurs laboratoires permettent d’estimer la stabilité d’un effet dans des environnements différents. Ils peuvent révéler :

  • une forte constance ;
  • une variation entre sites ;
  • un effet plus faible qu’annoncé ;
  • une dépendance au contexte ;
  • l’absence générale de l’effet.

Ces projets offrent souvent des échantillons plus importants et des protocoles harmonisés. Ils ne suppriment pas tous les problèmes. Une standardisation excessive peut reproduire la même limite dans chaque laboratoire. Les sites peuvent suivre un protocole qui ne correspond pas parfaitement aux conditions initiales. Mais la convergence multisite constitue une preuve importante de généralisation.


La robustesse

La robustesse désigne la capacité d’un résultat à résister à des variations raisonnables.

Un résultat peut être testé selon plusieurs dimensions :

  • autres définitions ;
  • autres instruments ;
  • autres modèles ;
  • autres populations ;
  • autres périodes ;
  • autres critères d’exclusion ;
  • autres traitements statistiques.

Si la conclusion reste comparable, elle paraît moins dépendre d’un choix arbitraire. Mais robustesse ne signifie pas identité parfaite. Un effet peut varier d’amplitude tout en rester réel. La question est de savoir si la conclusion centrale persiste ou si elle disparaît entièrement lorsque l’on modifie un détail méthodologique.


Robustesse des mesures

Un concept peut être mesuré de plusieurs manières. La confiance peut être évaluée par une question déclarative, un comportement ou une décision réelle. Si toutes les mesures convergent, l’interprétation gagne en crédibilité. Si elles divergent, plusieurs possibilités existent :

  • le concept est mal défini ;
  • les instruments mesurent des dimensions différentes ;
  • l’effet est limité à une forme particulière ;
  • certaines mesures sont peu valides.

La robustesse des mesures ne consiste donc pas à exiger que toutes donnent exactement la même valeur. Elle cherche à savoir si une structure commune apparaît malgré leurs différences.


Robustesse des modèles statistiques

Une même base de données peut être analysée de plusieurs manières.

Les chercheurs doivent choisir :

  • les variables de contrôle ;
  • la forme du modèle ;
  • les transformations ;
  • les exclusions ;
  • le traitement des valeurs manquantes ;
  • les interactions.

Des choix différents peuvent produire des conclusions différentes. Une analyse de robustesse examine si l’effet persiste sous plusieurs spécifications raisonnables. Si une conclusion n’apparaît que dans une combinaison très particulière, elle doit être présentée comme fragile. Si elle reste stable à travers de nombreux modèles justifiés, la confiance augmente.


Le multivers analytique

Le terme multivers analytique désigne l’examen de plusieurs décisions d’analyse possibles.

Au lieu de sélectionner une seule voie, les chercheurs calculent les résultats sous différentes options raisonnables. Ils peuvent faire varier :

  • les critères d’inclusion ;
  • les indicateurs ;
  • les transformations ;
  • les modèles ;
  • les covariables.

Le but n’est pas de traiter toutes les analyses comme également bonnes. Certaines peuvent être théoriquement inadéquates. Il s’agit de vérifier si la conclusion dépend entièrement d’un choix discutable. Le multivers rend visible une incertitude méthodologique souvent cachée par la publication d’un seul résultat final.


L’analyse en équipe multiple

Plusieurs équipes peuvent recevoir les mêmes données et la même question, puis conduire leurs analyses indépendamment. Les résultats montrent parfois une variation importante. Cette variation ne signifie pas nécessairement que tout soit arbitraire. Elle révèle l’effet des choix analytiques lorsque plusieurs procédures sont défendables. Une analyse collective permet ensuite d’identifier :

  • les décisions produisant les divergences ;
  • les conclusions les plus stables ;
  • les hypothèses nécessitant une clarification.

Cette démarche transforme le désaccord méthodologique en information sur la robustesse.


Robustesse et validité

Un résultat peut être robuste sans être valide. Supposons que plusieurs équipes utilisent une mesure systématiquement inadéquate. Elles reproduisent toutes le même biais. La conclusion est stable, mais elle ne porte pas sur le phénomène annoncé. Il faut distinguer :

  • fiabilité : la mesure produit des résultats cohérents ;
  • validité : elle mesure réellement ce qu’elle prétend mesurer.

Une balance décalée de deux kilogrammes peut être parfaitement fiable et toujours fausse.

La robustesse doit donc être combinée à une analyse conceptuelle et empirique de la validité.


La robustesse peut révéler une erreur stable

Une procédure standardisée peut produire la même erreur partout. Plusieurs laboratoires utilisent un instrument identique, un logiciel comportant le même défaut ou une définition biaisée. Le résultat se reproduit. La répétition augmente la confiance dans la stabilité du signal, mais pas nécessairement dans son interprétation. La diversité méthodologique est donc aussi importante que la répétition. Une convergence obtenue par plusieurs voies indépendantes possède davantage de valeur qu’une répétition uniforme d’une même procédure.


La triangulation

La triangulation consiste à utiliser plusieurs méthodes possédant des vulnérabilités différentes.

Une hypothèse peut être étudiée par :

  • expérience ;
  • observation ;
  • enquête ;
  • analyse historique ;
  • mesure biologique ;
  • comparaison institutionnelle.

Lorsque ces approches convergent, il devient plus difficile d’expliquer l’ensemble par une erreur unique. La triangulation ne demande pas que toutes les méthodes répondent exactement à la même question. Elle cherche une cohérence entre plusieurs aspects du phénomène. Une bonne triangulation doit préciser ce que chaque méthode apporte et ce qu’elle ne permet pas d’établir.


Fiabilité et vérité

Un résultat fiable est un résultat qui résiste suffisamment aux vérifications. Mais fiabilité ne signifie pas vérité absolue. Une communauté peut reproduire longtemps une erreur commune. Un modèle peut être très fiable dans un domaine tout en être faux comme description fondamentale. Il faut comprendre la fiabilité comme une relation pratique et épistémique :

Dans quelles conditions et avec quelle marge pouvons-nous raisonnablement utiliser ce résultat ?

La vérité demeure l’objectif. La fiabilité indique la qualité des procédures et la stabilité des performances qui justifient notre confiance.


La taille de l’effet

Une réplication ne doit pas être jugée uniquement selon la présence ou l’absence d’un seuil statistique. Il faut comparer la taille de l’effet. Supposons qu’une étude initiale annonce un effet important. Une réplication observe un effet plus faible mais orienté dans le même sens. Parler simplement d’échec peut être trompeur.

La première étude a peut-être surestimé l’effet, tandis que la réplication fournit une estimation plus réaliste. À l’inverse, retrouver un résultat statistiquement significatif avec un effet minuscule ne confirme pas nécessairement l’importance pratique annoncée. Il faut distinguer :

  • existence ;
  • direction ;
  • amplitude ;
  • précision ;
  • importance concrète.

L’incertitude de l’estimation

Toute taille d’effet est estimée avec une incertitude. Deux études peuvent produire des valeurs différentes tout en être compatibles avec un même effet réel. Il faut examiner les intervalles, la taille des échantillons et la variabilité. Une petite étude produit souvent une estimation instable. Les résultats extrêmes ont davantage de chances d’être publiés, ce qui peut donner une première impression exagérée. Les réplications plus grandes réduisent généralement l’incertitude.

La comparaison ne doit donc pas porter seulement sur les valeurs centrales, mais sur les distributions plausibles.


La malédiction du gagnant

La première étude publiée sur un effet est souvent celle qui obtient un résultat particulièrement frappant. Ce phénomène est parfois appelé malédiction du gagnant. Parmi de nombreuses études, celles qui observent par hasard les effets les plus élevés franchissent plus facilement les seuils de publication. Les études suivantes trouvent alors des effets plus modestes. Cette diminution n’indique pas toujours que le phénomène est inexistant. Elle peut refléter une correction de l’estimation initiale.

La fiabilité exige donc d’attendre plusieurs études avant de retenir une taille d’effet stable.


La régression vers la moyenne

Un résultat extrême tend souvent à être suivi d’un résultat moins extrême. Cela peut se produire sans mécanisme causal particulier. Une première mesure sélectionnée parce qu’elle était exceptionnellement élevée inclut probablement une part de fluctuation aléatoire. La mesure suivante se rapproche de la moyenne. La réplication protège contre l’interprétation excessive des résultats extrêmes. Mais elle doit être suffisamment indépendante et précise pour distinguer la régression statistique d’une véritable évolution du phénomène.


La puissance statistique

Une réplication doit posséder une taille suffisante pour détecter l’effet attendu. Une étude trop petite peut échouer simplement parce que ses données sont trop bruyantes. Elle ne met alors pas réellement l’hypothèse à l’épreuve. La puissance dépend :

  • de la taille de l’échantillon ;
  • de la taille de l’effet ;
  • de la précision des mesures ;
  • du seuil d’analyse ;
  • de la variabilité.

Les réplications devraient généralement être conçues à partir d’estimations prudentes, car les premières études tendent parfois à surestimer les effets.


Un résultat non significatif n’est pas nécessairement une réfutation

L’absence de significativité peut indiquer :

  • absence d’effet ;
  • effet trop faible ;
  • échantillon insuffisant ;
  • forte variabilité ;
  • mauvaise mesure ;
  • protocole inadéquat.

Pour interpréter une réplication, il faut examiner l’ensemble des estimations.

Une conclusion comme :

« Nous n’avons pas trouvé de preuve claire de l’effet »

est différente de :

« Nous avons montré que l’effet est absent. »

La seconde demande généralement une étude capable d’exclure une amplitude d’effet significative pour la question.


Les tests d’équivalence

Les tests d’équivalence cherchent à déterminer si un effet est assez faible pour être considéré comme négligeable dans un cadre défini.

Ils demandent de préciser avant l’analyse :

Quelle taille minimale aurait une importance théorique ou pratique ?

Si les données permettent d’exclure un effet au moins aussi important, l’absence devient plus informative. Cette démarche évite de traiter toute non-significativité comme un simple manque de preuve. Mais la définition du seuil minimal doit être justifiée par la théorie, la pratique ou les conséquences.


Une réplication peut-elle réussir partiellement ?

Oui.

Une étude peut retrouver :

  • la direction mais pas l’amplitude ;
  • l’effet principal mais pas une interaction ;
  • le mécanisme mais pas le résultat global ;
  • le phénomène dans une population et pas dans une autre.

Ces résultats partiels sont souvent plus informatifs qu’une classification binaire. Ils peuvent conduire à reformuler la théorie :

L’effet existe, mais il est plus faible.

Il dépend de certaines conditions.

Le mécanisme initialement proposé n’est pas nécessaire.

La réplication sert aussi à préciser la portée, non seulement à accepter ou rejeter.


Pourquoi les réplications échouent-elles ?

Un échec peut venir de nombreuses sources.

Le premier résultat était accidentel

L’effet observé résultait du hasard ou d’une erreur.

L’effet initial était surestimé

La réplication manque de puissance pour retrouver une version plus faible.

Le protocole diffère

Une variation importante a été introduite.

L’effet dépend du contexte

Une variable non identifiée modifie le phénomène.

La mesure change

Les deux études n’opérationnalisent pas exactement le même concept.

La réplication est défectueuse

Une reproduction de mauvaise qualité ne constitue pas un test équitable.

La théorie est trop générale

L’effet existe seulement dans un domaine plus limité.

L’interprétation demande donc une comparaison détaillée plutôt qu’un simple comptage des réussites et des échecs.


La fidélité au protocole

Pour juger une réplication directe, il faut évaluer sa fidélité à l’étude initiale. Mais la fidélité ne signifie pas imitation mécanique. Une procédure peut avoir été décrite de manière incomplète. Certains éléments informels peuvent être importants. Des changements techniques peuvent être nécessaires pour obtenir une équivalence réelle. Les auteurs initiaux peuvent aider à vérifier le protocole, sans disposer d’un droit de veto sur le résultat.

Une collaboration avant la collecte peut réduire les conflits après coup. Les critères de réussite doivent idéalement être définis avant que les données soient connues.


Le paradoxe de la fidélité

Une réplication extrêmement fidèle peut reproduire une particularité locale sans tester la théorie générale. À l’inverse, une réplication trop différente peut ne plus tester le même effet. Il faut donc choisir le niveau de fidélité selon la question. Pour vérifier qu’un phénomène précis existe dans le protocole initial, la proximité est prioritaire. Pour vérifier que la théorie s’applique au-delà de ce protocole, la variation devient nécessaire. Les recherches doivent progresser par étapes :

  1. reproduire le résultat local ;
  2. identifier les conditions essentielles ;
  3. varier progressivement les contextes ;
  4. construire une théorie de la généralisation.

La réplication en sciences sociales

Les phénomènes sociaux sont sensibles au contexte.

Une intervention peut produire des effets différents selon :

  • le pays ;
  • l’institution ;
  • la culture ;
  • la période ;
  • la population ;
  • la manière dont les participants interprètent la situation.

Un échec de réplication ne montre donc pas toujours qu’un premier effet était illusoire. Il peut révéler une dépendance contextuelle réelle. Mais invoquer le contexte après chaque échec ne suffit pas. La théorie doit préciser quelles différences devraient modifier l’effet et produire de nouvelles prédictions. La contextualisation devient scientifique lorsqu’elle est mesurable et anticipable.


La réplication en psychologie

La psychologie expérimentale a été particulièrement marquée par des difficultés de réplication.

Plusieurs facteurs ont été identifiés :

  • petits échantillons ;
  • nombreuses décisions analytiques ;
  • publication préférentielle des résultats positifs ;
  • mesures fragiles ;
  • effets contextuels ;
  • surestimation initiale.

Ces difficultés ne montrent pas que toute psychologie serait peu fiable. Elles ont conduit à améliorer :

  • le préenregistrement ;
  • les réplications multisites ;
  • le partage des données ;
  • les rapports enregistrés ;
  • la puissance statistique.

La découverte d’un problème méthodologique peut être interprétée comme un échec local et comme un progrès institutionnel.


La réplication en médecine

Les essais cliniques cherchent généralement à confirmer l’efficacité et la sécurité d’une intervention sur plusieurs études et populations.

Un résultat initial prometteur doit être comparé à :

  • des essais plus vastes ;
  • des groupes de contrôle ;
  • des données à long terme ;
  • des effets secondaires ;
  • des pratiques réelles.

Une intervention peut fonctionner dans un environnement très contrôlé et produire un bénéfice plus faible dans les soins ordinaires.

Il faut distinguer :

  • efficacité expérimentale : effet dans les conditions de l’étude ;
  • effectivité pratique : effet dans les conditions réelles.

La fiabilité clinique demande les deux formes de connaissance.


La réplication en biologie

Les systèmes biologiques sont variables.

Les résultats peuvent dépendre :

  • de la souche ;
  • de l’âge ;
  • du sexe ;
  • de l’environnement ;
  • du protocole ;
  • du moment de la mesure.

Une réplication exacte dans un système différent peut échouer pour des raisons biologiques réelles. La robustesse exige alors de cartographier les conditions de variation. L’objectif n’est pas nécessairement d’obtenir un effet identique partout, mais de comprendre les mécanismes expliquant les différences.


La réplication dans les sciences historiques

Certaines sciences étudient des événements qui ne peuvent pas être répétés : évolution passée, histoire, géologie ou cosmologie.

La fiabilité ne dépend pas alors d’une répétition littérale de l’événement. Elle repose sur :

  • la reproduction des analyses ;
  • la convergence de traces indépendantes ;
  • la prédiction de découvertes ;
  • la comparaison de méthodes ;
  • la cohérence chronologique ;
  • la robustesse des inférences.

Une hypothèse historique peut être fortement confirmée lorsque plusieurs archives, objets ou mécanismes convergent.

La réplication doit donc être adaptée à la nature de la discipline.


La réplication en mathématiques et en informatique

En mathématiques, reproduire une preuve consiste à vérifier chaque étape du raisonnement.

Une preuve correcte ne demande pas de recueillir de nouveaux échantillons. Mais les démonstrations complexes peuvent dépendre :

  • de calculs informatiques ;
  • de bibliothèques ;
  • d’assistants de preuve ;
  • d’hypothèses implicites.

La reproduction computationnelle devient alors importante. En informatique, un résultat peut dépendre du matériel, du logiciel, des données et des paramètres. La description complète de l’environnement est nécessaire pour permettre une vérification indépendante.


La réplication dans l’intelligence artificielle

Les performances d’un modèle peuvent être difficiles à reproduire lorsque plusieurs éléments manquent :

  • données d’entraînement ;
  • code ;
  • paramètres ;
  • puissance de calcul ;
  • procédure de sélection ;
  • évaluations internes.

Un résultat peut également être surestimé par des tests trop proches des données utilisées pour le développement.

La fiabilité demande :

  • des jeux de test indépendants ;
  • des évaluations hors distribution ;
  • des comparaisons équitables ;
  • des rapports d’erreur ;
  • des réplications externes.

Une démonstration impressionnante ne suffit pas à établir une performance générale.


La généralisation

Un résultat peut être fiable dans une population précise sans se généraliser.

Une étude peut montrer qu’une intervention fonctionne :

  • chez des adultes ;
  • dans un pays ;
  • dans une institution ;
  • sur une durée courte.

Étendre la conclusion à d’autres groupes constitue une nouvelle hypothèse. La généralisation doit être testée. Une théorie gagne en robustesse externe lorsque l’effet persiste dans des contextes variés ou lorsque les variations sont expliquées par des mécanismes prédictifs.


Validité interne et validité externe

La validité interne concerne la solidité de la conclusion dans les conditions de l’étude.

La validité externe concerne sa capacité à s’appliquer ailleurs. Un protocole très contrôlé peut posséder une forte validité interne mais une généralisation limitée. Une étude naturelle peut représenter mieux le contexte réel tout en contrôler moins les facteurs. Aucune méthode ne maximise toujours les deux. La fiabilité globale vient souvent de la combinaison de plusieurs types d’études.


La robustesse temporelle

Un effet peut varier avec le temps. Une politique, une technologie ou un comportement peut produire un résultat à une période et perdre son efficacité lorsque les acteurs s’adaptent. Une répétition plusieurs années plus tard teste donc une dimension nouvelle. Il faut distinguer :

  • non-réplication ;
  • évolution réelle du phénomène ;
  • changement des institutions ;
  • apprentissage des participants.

Les théories sociales et technologiques doivent souvent intégrer cette dynamique historique.


La robustesse aux populations

Un résultat moyen peut cacher des effets différents selon les groupes. Une intervention peut être utile à certains et neutre pour d’autres. La réplication dans plusieurs populations permet de déterminer :

  • la portée ;
  • les modérateurs ;
  • les risques ;
  • les conditions de réussite.

Mais les analyses de sous-groupes comportent un risque de découverte fortuite. Elles doivent être préenregistrées ou confirmées sur de nouvelles données.


La robustesse causale

Une association peut se reproduire sans être causale. Un facteur confondant stable peut produire la même corrélation dans plusieurs études. La répétition ne suffit pas à établir le mécanisme. La robustesse causale demande davantage :

  • temporalité ;
  • intervention ;
  • expérience naturelle ;
  • mécanisme ;
  • contrôle des facteurs concurrents ;
  • prédictions contrefactuelles.

Une corrélation répétée est plus crédible comme régularité, mais son interprétation causale reste une question supplémentaire.


La robustesse des mécanismes

Un mécanisme gagne en crédibilité lorsque ses étapes sont observées par plusieurs méthodes. Supposons qu’une théorie affirme :

A produit B en passant par M.

La confirmation augmente si l’on observe :

  • A précédant M ;
  • M influençant B ;
  • une intervention sur M modifiant B ;
  • l’absence de l’effet lorsque M est bloqué.

Cette architecture réduit les explications concurrentes. Mais plusieurs mécanismes peuvent coexister.

La robustesse demande alors de déterminer leur contribution relative.


Les méta-analyses

Une méta-analyse combine plusieurs études afin d’estimer un effet général. Elle peut :

  • augmenter la précision ;
  • comparer les contextes ;
  • détecter l’hétérogénéité ;
  • examiner le biais de publication.

Mais elle ne transforme pas automatiquement une littérature fragile en connaissance solide. Une synthèse de mauvaises études peut produire une estimation précise d’une erreur. Il faut évaluer :

  • la qualité des études ;
  • les critères d’inclusion ;
  • les dépendances ;
  • les modèles ;
  • l’hétérogénéité ;
  • les données manquantes.

La méta-analyse constitue un outil de synthèse, non une garantie.


L’hétérogénéité

Lorsque les études produisent des résultats différents, cette variation peut venir :

  • du hasard ;
  • des populations ;
  • des méthodes ;
  • des doses ;
  • des durées ;
  • des biais.

L’hétérogénéité n’est pas nécessairement un problème à éliminer. Elle peut révéler une structure réelle. Une bonne synthèse cherche à expliquer pourquoi les effets varient. Mais une analyse introduisant de nombreux sous-groupes après coup peut fabriquer des explications fragiles. Les hypothèses sur les modérateurs doivent être confirmées indépendamment.


Le biais de publication

Les études obtenant des résultats positifs ou spectaculaires sont plus souvent publiées. Les résultats négatifs peuvent rester invisibles. Une littérature composée uniquement de publications visibles donne alors une image exagérée de la fiabilité. La réplication est insuffisante si seuls les succès sont connus. Pour limiter ce biais, plusieurs dispositifs sont utiles :

  • enregistrement des études ;
  • publication des protocoles ;
  • rapports enregistrés ;
  • résultats négatifs accessibles ;
  • obligations de déclaration.

La fiabilité dépend aussi de la visibilité des échecs.


Le biais de citation

Les résultats positifs et célèbres sont davantage cités. Ils deviennent plus visibles dans les revues de littérature et les médias. Une étude fragile peut ainsi acquérir une réputation de résultat établi simplement parce qu’elle est continuellement reprise. À l’inverse, une réfutation ou une réplication négative peut recevoir peu d’attention. Il faut donc distinguer :

  • nombre de citations ;
  • qualité de la preuve ;
  • état actuel de la littérature.

La popularité académique ne constitue pas à elle seule une validation.


Le biais de sélection des réplications

Les chercheurs ne répliquent pas tous les résultats.

Ils choisissent souvent :

  • des études célèbres ;
  • des effets surprenants ;
  • des protocoles accessibles ;
  • des sujets controversés.

La proportion d’échecs observée parmi les études répliquées ne représente donc pas nécessairement l’ensemble de la science. Les projets de réplication apportent une information importante, mais leur échantillon d’études doit être examiné. Une discipline ne peut pas être évaluée uniquement à partir de ses résultats les plus médiatisés.


Les rapports enregistrés

Dans un rapport enregistré, la question et la méthode sont évaluées avant la connaissance des résultats. La revue peut accepter le principe de la publication sur la base de la qualité du protocole. Le résultat final est ensuite publié qu’il soit positif ou négatif, à condition que la méthode ait été respectée. Cette procédure réduit :

  • le biais de publication ;
  • les analyses opportunistes ;
  • la modification des hypothèses après coup.

Elle ne convient pas à toutes les recherches, mais renforce particulièrement les tests confirmatoires et les réplications.


Le préenregistrement

Le préenregistrement consigne à l’avance :

  • les hypothèses ;
  • les mesures ;
  • les exclusions ;
  • les analyses ;
  • les critères de réussite.

Il ne garantit pas la qualité du protocole. Une mauvaise méthode peut être préenregistrée. Mais il permet de distinguer les décisions prévues des adaptations après l’observation des données. Les écarts au plan initial peuvent être légitimes. Ils doivent simplement être signalés et justifiés. Le préenregistrement améliore la transparence sans supprimer la créativité exploratoire.


Exploration et confirmation

Une analyse exploratoire cherche des régularités inattendues. Elle est nécessaire à la découverte. Le problème apparaît lorsqu’un résultat exploratoire est présenté comme s’il avait été prévu. Une relation découverte parmi de nombreuses possibilités possède une probabilité accrue d’être accidentelle. Elle doit être testée sur de nouvelles données. Une bonne pratique distingue clairement :

« Nous avons découvert cette hypothèse. »

« Nous avons confirmé cette hypothèse sur un échantillon indépendant. »

La réplication transforme une piste exploratoire en résultat plus crédible.


Les réplications adversariales

Des chercheurs défendant des positions différentes peuvent concevoir ensemble une réplication.

Ils définissent :

  • le protocole ;
  • les mesures ;
  • les critères de réussite ;
  • les analyses ;
  • l’interprétation possible.

Cette collaboration réduit le risque que le test favorise implicitement un camp. Elle augmente également l’acceptabilité du résultat. Mais elle ne garantit pas la fin du désaccord. Les participants peuvent diverger sur la portée de l’étude ou sur les hypothèses auxiliaires.

La collaboration adversariale améliore la qualité du conflit sans supprimer toute interprétation.


Les réplications exactes sont-elles toujours utiles ?

Une réplication très fidèle peut sembler peu innovante. Elle apporte pourtant une information essentielle sur la stabilité du résultat. Mais répéter indéfiniment le même protocole produit un rendement décroissant.

Une fois l’effet local suffisamment établi, il devient plus utile de tester :

  • sa portée ;
  • son mécanisme ;
  • ses limites ;
  • sa généralisation.

La réplication doit donc s’intégrer à un programme de recherche progressif. Elle n’est pas une fin en soi.


Quand arrêter de répliquer ?

Il n’existe pas de nombre universel de réplications nécessaires.

La décision dépend :

  • de la taille de l’effet ;
  • de la qualité des études ;
  • de l’indépendance ;
  • des enjeux ;
  • de la stabilité ;
  • des alternatives.

Un effet important, précis et retrouvé par plusieurs voies peut devenir rapidement fiable. Un effet faible, variable et sensible aux analyses demande davantage de vérifications. Les décisions à fort enjeu exigent généralement une architecture de preuves plus robuste. La réplication doit être proportionnée aux conséquences d’une erreur.


Un seul échec peut-il suffire ?

Parfois, oui.

Si une théorie affirme qu’un résultat doit toujours se produire dans des conditions très précises et qu’une réplication parfaitement contrôlée montre clairement le contraire, sa formulation universelle est réfutée. Mais dans la plupart des recherches empiriques, les hypothèses sont probabilistes et les mesures faillibles.

Un seul échec réduit la confiance sans toujours trancher.

La force de l’échec dépend :

  • de la qualité du protocole ;
  • de la précision de la prédiction ;
  • de la capacité à détecter l’effet ;
  • de l’indépendance ;
  • des hypothèses auxiliaires.

Combien de réplications réussies suffisent-elles ?

Aucun nombre brut ne produit automatiquement une conclusion. Trois études fragiles utilisant la même mesure peuvent être moins informatives qu’une grande étude multisite bien contrôlée. La qualité compte davantage que le comptage. Il faut examiner :

  • la taille totale des données ;
  • les méthodes ;
  • les dépendances ;
  • la précision ;
  • les risques de sélection ;
  • la cohérence des effets.

La confiance vient d’une structure, non d’un seuil magique.


La réussite technique

Un résultat scientifique peut être confirmé par une application technique stable. Si une théorie permet de construire un dispositif fonctionnant régulièrement, elle saisit probablement certaines relations réelles. Mais l’application peut dépendre seulement d’une partie de la théorie. Une technique efficace ne prouve pas nécessairement toute son interprétation. Il faut distinguer :

  • reproductibilité de la performance ;
  • validité du mécanisme annoncé ;
  • portée générale de la théorie.

Le succès pratique constitue une preuve importante, mais localisée.


La robustesse des prévisions

Une théorie prédictive doit être évaluée sur des données nouvelles.

Il faut conserver :

  • les prédictions ;
  • les dates ;
  • les intervalles ;
  • les niveaux de confiance ;
  • les conditions.

Une prévision vague ou réinterprétée après coup n’est pas réplicable de manière sérieuse.

La robustesse prédictive demande que la performance persiste dans le temps et dans plusieurs contextes. Elle peut être évaluée par :

  • précision ;
  • calibration ;
  • comparaison avec des modèles simples ;
  • stabilité hors échantillon.

Comparer à une référence simple

Un modèle complexe peut sembler performant jusqu’à ce qu’on le compare à une référence élémentaire. Une prévision économique peut être moins précise qu’une extrapolation simple. Un modèle médical peut ne pas faire mieux qu’un indicateur basique. La robustesse doit donc inclure une comparaison avec des alternatives pertinentes. Un modèle mérite sa complexité s’il apporte un gain réel :

  • meilleure précision ;
  • meilleure calibration ;
  • meilleure compréhension ;
  • meilleure décision.

La nouveauté technique ne constitue pas une preuve de supériorité.


Le test hors échantillon

Un modèle est souvent construit sur un ensemble de données. L’évaluer sur ces mêmes données surestime sa performance. Le test hors échantillon utilise des observations qui n’ont pas servi à l’ajustement. Il vérifie la capacité de généralisation. Une performance qui s’effondre hors échantillon indique souvent un surajustement. La réplication sur de nouvelles données représente ainsi une protection centrale contre l’apprentissage du bruit.


Le test hors distribution

Un modèle peut fonctionner sur des données nouvelles mais similaires à son environnement d’apprentissage.

Le test hors distribution examine sa performance lorsque le contexte change davantage. Cette démarche est importante pour évaluer :

  • la robustesse ;
  • les limites ;
  • les dépendances cachées ;
  • les risques d’utilisation.

Un modèle peut être fiable dans son domaine sans l’être partout.

La bonne communication doit annoncer clairement la portée validée.


La robustesse aux erreurs

Un système fiable ne doit pas seulement fonctionner dans des conditions idéales. Il doit résister raisonnablement :

  • au bruit ;
  • aux données manquantes ;
  • aux petites variations ;
  • aux erreurs ordinaires d’utilisation.

Cette exigence est particulièrement importante pour les applications pratiques. Une méthode très performante mais extrêmement fragile peut être moins utile qu’une méthode légèrement moins précise mais plus stable. La robustesse pratique complète la validité expérimentale.


Le rôle des institutions

La réplication n’est pas seulement une question de méthode individuelle. Elle dépend des incitations institutionnelles.

Les chercheurs sont souvent récompensés pour :

  • la nouveauté ;
  • les résultats positifs ;
  • les publications prestigieuses.

Les réplications peuvent être considérées comme moins originales. Cette structure produit une sous-offre de vérification.

Améliorer la fiabilité demande donc de valoriser :

  • les réplications ;
  • les données ouvertes ;
  • les résultats négatifs ;
  • la correction ;
  • les synthèses.

Une communauté ne peut pas reposer uniquement sur la vertu personnelle si ses récompenses favorisent la fragilité.


Le coût de la réplication

Certaines expériences sont longues, coûteuses ou difficiles à répéter. Elles peuvent dépendre :

  • d’un événement rare ;
  • d’une infrastructure ;
  • d’un grand nombre de participants ;
  • d’un environnement inaccessible.

La fiabilité doit alors s’appuyer davantage sur :

  • la transparence ;
  • les contrôles internes ;
  • les analyses indépendantes ;
  • la triangulation ;
  • les prédictions nouvelles.

L’impossibilité d’une réplication exacte ne rend pas automatiquement le résultat non scientifique. Elle augmente l’importance des autres formes de vérification.


Les données uniques

Certaines observations sont uniques : catastrophe, archive détruite, événement cosmique ou cas médical exceptionnel. La répétition littérale est impossible. Mais l’analyse peut rester contrôlable. Plusieurs experts peuvent :

  • examiner les mêmes traces ;
  • reproduire les calculs ;
  • comparer les interprétations ;
  • rechercher des conséquences indépendantes ;
  • tester les mécanismes sur d’autres cas.

La fiabilité ne repose pas toujours sur la répétition de l’événement, mais sur la reproductibilité du raisonnement et la convergence des indices.


La valeur des anomalies

Un résultat non répliqué n’est pas toujours inutile. Il peut révéler une erreur méthodologique, une condition cachée, une limite de généralisation ou un nouveau phénomène rare. La bonne réponse n’est ni de le considérer immédiatement comme une découverte ni de l’effacer. Il faut conserver les données, décrire les conditions et rechercher des tests discriminants. Une anomalie devient scientifiquement féconde lorsqu’elle produit une enquête plus précise.


Réplication et innovation

La science oppose parfois artificiellement innovation et réplication. Pourtant, une réplication peut produire une découverte. Elle peut montrer que :

  • l’effet dépend du contexte ;
  • la taille initiale était exagérée ;
  • un mécanisme alternatif existe ;
  • une mesure était inadéquate ;
  • une théorie doit être limitée.

La vérification n’est pas un travail purement répétitif. Elle peut transformer la compréhension du phénomène.


Une réplication négative n’est pas une attaque personnelle

Les chercheurs peuvent percevoir l’échec d’une réplication comme une remise en cause de leur compétence ou de leur intégrité. Cette réaction personnalise un processus qui devrait rester méthodologique. Un résultat initial fragile peut être produit honnêtement. La réplication vise une affirmation, non la valeur morale des auteurs. Une culture scientifique saine distingue :

  • erreur ;
  • négligence ;
  • fraude ;
  • incertitude normale.

La possibilité d’être corrigé ne doit pas être confondue avec une accusation.


La responsabilité des réplicateurs

Les équipes de réplication possèdent elles aussi des responsabilités. Elles doivent :

  • comprendre correctement la théorie ;
  • utiliser un protocole compétent ;
  • garantir une puissance suffisante ;
  • fixer les critères à l’avance ;
  • présenter honnêtement les limites ;
  • éviter la recherche d’un échec médiatique.

Une réplication de mauvaise qualité ne corrige pas une mauvaise étude. Elle ajoute une nouvelle source de confusion.

La critique doit être soumise aux mêmes exigences que l’affirmation initiale.


La responsabilité des auteurs initiaux

Les auteurs initiaux devraient faciliter la vérification en fournissant :

  • matériel ;
  • protocole ;
  • données compatibles avec l’éthique ;
  • détails d’analyse ;
  • clarification des conditions.

Ils peuvent signaler les différences importantes du protocole. Mais ils ne doivent pas pouvoir redéfinir indéfiniment les conditions nécessaires après chaque échec.

Une théorie doit progressivement devenir publique et indépendante de ses créateurs.


La mise à jour collective

Lorsqu’une réplication est publiée, la communauté doit réviser son degré de confiance. Cette révision ne doit pas être binaire.

Un échec peut :

  • réduire l’amplitude estimée ;
  • limiter la portée ;
  • augmenter l’incertitude ;
  • fragiliser un mécanisme ;
  • conduire à suspendre le jugement.

Une réussite peut :

  • confirmer la stabilité ;
  • améliorer la précision ;
  • élargir le domaine ;
  • renforcer la théorie.

La connaissance progresse par ces ajustements cumulatifs.


La fiabilité d’une littérature

Une littérature est plus fiable lorsqu’elle contient :

  • études initiales ;
  • réplications ;
  • résultats négatifs ;
  • débats méthodologiques ;
  • synthèses ;
  • corrections ;
  • données accessibles.

Une littérature ne présentant que des réussites spectaculaires doit susciter une certaine prudence. La perfection apparente peut signaler une sélection. Une science vivante contient des désaccords et des corrections visibles. La fiabilité collective ne se mesure pas à l’absence d’erreur, mais à la manière dont l’erreur est détectée et intégrée.


La confiance dans un résultat

Un résultat mérite davantage de confiance lorsqu’il possède plusieurs caractéristiques :

  • protocole clair ;
  • analyse reproductible ;
  • taille d’échantillon adaptée ;
  • effet suffisamment précis ;
  • réplications indépendantes ;
  • méthodes variées ;
  • robustesse analytique ;
  • absence de forte dépendance à une seule décision ;
  • cohérence avec d’autres connaissances ;
  • limites explicitement reconnues.

Aucune caractéristique ne garantit seule la vérité.

Leur convergence construit une confiance rationnelle.


Fiable ne signifie pas important

Un effet peut être parfaitement reproductible mais minuscule. Une différence stable n’est pas nécessairement pertinente pour l’action. Il faut distinguer :

  • fiabilité ;
  • amplitude ;
  • utilité ;
  • coût ;
  • conséquences.

Un phénomène faible peut être théoriquement intéressant mais pratiquement négligeable. Inversement, un effet modéré mais important pour une population nombreuse peut justifier une attention particulière. La réplication répond d’abord à la question :

L’effet existe-t-il de manière stable ?

Elle ne décide pas seule de son importance.


Fiable ne signifie pas universel

Un résultat peut être fiable dans des conditions précises. Il ne doit pas être étendu automatiquement à tous les contextes.

Une conclusion rigoureuse précise :

  • où ;
  • quand ;
  • chez qui ;
  • selon quelle méthode ;
  • avec quelle ampleur.

La limitation du domaine ne diminue pas nécessairement la valeur du résultat. Une connaissance locale peut être solide. Le problème apparaît lorsque la communication transforme une régularité locale en loi générale.


Fiable ne signifie pas causal

Une corrélation peut être retrouvée dans plusieurs études sans établir une causalité. Un facteur commun peut produire les deux variables de manière stable. La réplication confirme alors la relation statistique. Pour confirmer une cause, il faut des tests supplémentaires :

  • intervention ;
  • temporalité ;
  • mécanisme ;
  • expérience naturelle ;
  • analyse contrefactuelle.

La question causale constitue un niveau distinct.


Fiable ne signifie pas définitif

Une théorie ou un résultat très robuste peut encore être révisé.

De nouvelles méthodes peuvent révéler :

  • une limite ;
  • un biais ;
  • un mécanisme différent ;
  • une approximation.

Mais toutes les conclusions ne sont pas également fragiles. Un résultat soutenu par plusieurs décennies de méthodes indépendantes est beaucoup moins susceptible d’être entièrement renversé qu’une étude récente isolée. La révisabilité scientifique doit être comprise comme une ouverture à la correction, non comme une instabilité permanente de toutes les connaissances.


Une échelle pratique de fiabilité

Il est utile de distinguer plusieurs niveaux.

Résultat exploratoire

Le résultat a été découvert dans une analyse initiale. Il constitue une hypothèse à confirmer.

Résultat préliminaire

L’effet est observé dans une étude planifiée, mais les données restent limitées.

Résultat reproduit

Les calculs peuvent être retrouvés à partir des mêmes données.

Résultat répliqué localement

Une nouvelle étude retrouve un effet comparable dans des conditions proches.

Résultat robuste

L’effet persiste sous plusieurs analyses, mesures ou protocoles.

Résultat généralisé

Le phénomène apparaît dans plusieurs populations et contextes, ou ses variations sont expliquées.

Résultat solidement établi

Une architecture indépendante de méthodes, de réplications, de mécanismes et d’applications converge.

Cette échelle ne possède pas de frontières strictes. Elle aide à éviter le passage immédiat de « observé une fois » à « scientifiquement prouvé ».


Une méthode pratique d’évaluation

Pour juger la fiabilité d’un résultat, plusieurs étapes peuvent être suivies.

Identifier la proposition

Quel résultat précis doit être reproduit ou répliqué ?

Vérifier la transparence

Les données, le code, les mesures et les exclusions sont-ils suffisamment documentés ?

Reproduire l’analyse

Obtient-on le même résultat avec les mêmes données ?

Examiner la puissance

L’étude initiale et la réplication possèdent-elles une taille suffisante ?

Comparer les effets

Les directions, amplitudes et incertitudes sont-elles compatibles ?

Évaluer la fidélité

La réplication teste-t-elle réellement le même phénomène ?

Tester la robustesse

La conclusion résiste-t-elle à plusieurs analyses raisonnables ?

Rechercher l’indépendance

Les résultats viennent-ils de plusieurs équipes, populations ou méthodes ?

Examiner la généralisation

Dans quels contextes l’effet apparaît-il ou disparaît-il ?

Calibrer la conclusion

Le résultat est-il exploratoire, localement fiable ou solidement établi ?


Questions pour examiner la fiabilité d’un résultat

  • Quelle proposition précise a été observée ?
  • Le résultat numérique, le phénomène et l’interprétation sont-ils distingués ?
  • Les données et le code sont-ils accessibles ou vérifiables ?
  • L’analyse annoncée peut-elle être reproduite ?
  • Les exclusions et transformations sont-elles documentées ?
  • Le résultat a-t-il été observé sur de nouvelles données ?
  • La réplication était-elle directe ou conceptuelle ?
  • Le protocole était-il suffisamment fidèle ?
  • Les différences entre études sont-elles théoriquement importantes ?
  • La réplication possédait-elle une puissance suffisante ?
  • Les tailles d’effet sont-elles comparables ?
  • Les intervalles d’incertitude se chevauchent-ils raisonnablement ?
  • Un résultat non significatif exclut-il réellement un effet important ?
  • La conclusion dépend-elle d’un seul choix statistique ?
  • Plusieurs analyses raisonnables convergent-elles ?
  • Les mesures représentent-elles correctement le concept ?
  • Les équipes sont-elles indépendantes ?
  • Les études utilisent-elles les mêmes données, instruments ou logiciels ?
  • Plusieurs méthodes aux biais différents convergent-elles ?
  • L’effet apparaît-il dans plusieurs populations ?
  • Les variations contextuelles étaient-elles prévues ?
  • Une méta-analyse de qualité existe-t-elle ?
  • Le biais de publication a-t-il été examiné ?
  • Les résultats négatifs sont-ils visibles ?
  • Le phénomène est-il stable, important, causal ou seulement corrélé ?
  • Quel niveau de confiance l’ensemble de la littérature justifie-t-il ?

Erreurs fréquentes

Confondre reproduction et réplication

Recalculer les mêmes données ne vérifie pas la généralisation à de nouvelles observations.

Croire qu’une réplication doit être absolument identique

Toute nouvelle étude introduit des différences. Il faut identifier celles qui comptent.

Confondre non-significativité et absence d’effet

Une étude peut manquer de puissance.

Confondre significativité et réussite complète

La taille et la précision de l’effet doivent aussi être comparées.

Juger une réplication de manière binaire

Un résultat peut réussir partiellement et conduire à une théorie plus précise.

Compter toutes les études de la même manière

La qualité, l’indépendance et la taille comptent davantage que le nombre brut.

Confondre robustesse et validité

Une erreur peut être reproduite de manière très stable.

Croire que plusieurs laboratoires sont nécessairement indépendants

Ils peuvent partager les mêmes données, outils ou présupposés.

Considérer toute variation contextuelle comme une excuse

Les conditions doivent être formulées et testées.

Considérer toute variation contextuelle comme une réfutation

Certains phénomènes sont réellement locaux ou modérés par l’environnement.

Ignorer le biais de publication

Une littérature visible peut cacher de nombreux échecs.

Traiter une méta-analyse comme une garantie

Une synthèse dépend de la qualité des études incluses.

Confondre effet fiable et effet important

Une petite différence peut être stable mais pratiquement négligeable.

Confondre association répliquée et causalité

Une corrélation stable peut venir d’un facteur commun.

Généraliser au-delà du domaine étudié

La fiabilité locale ne garantit pas l’universalité.


À retenir

Un résultat isolé ne constitue généralement pas une connaissance scientifique suffisamment solide.

La reproduction consiste à retrouver un résultat à partir des mêmes données et des mêmes procédures d’analyse.

La réplication consiste à recueillir de nouvelles données pour vérifier si le phénomène réapparaît.

La robustesse consiste à examiner si la conclusion résiste à des variations raisonnables de méthode, de mesure, de modèle ou de contexte.

Une analyse reproductible peut reposer sur un effet non réplicable. Une réplication peut retrouver un résultat produit par une mesure invalide. Les différentes vérifications sont donc complémentaires.

La réplication directe teste la stabilité locale d’un protocole. La réplication conceptuelle teste la portée d’une hypothèse à travers d’autres méthodes.

Aucune réplication n’est parfaitement identique. Il faut déterminer quelles différences sont pertinentes pour la théorie.

L’indépendance des équipes, des données et des instruments augmente la valeur de la convergence.

La robustesse analytique montre si une conclusion dépend d’un choix méthodologique particulier.

Une conclusion stable sous plusieurs analyses peut néanmoins être fausse si toutes partagent la même erreur ou une mesure invalide.

Les tailles d’effet et leurs incertitudes comptent davantage qu’une simple opposition entre significatif et non significatif.

Les premières études tendent parfois à surestimer les effets. Les réplications permettent d’obtenir une estimation plus réaliste.

Un échec de réplication peut venir d’un résultat initial accidentel, d’un effet plus faible, d’un protocole différent ou d’une dépendance réelle au contexte.

La réplication doit donc conduire à une mise à jour graduée plutôt qu’à un verdict automatique.

Le préenregistrement, les rapports enregistrés, le partage des données et la publication des résultats négatifs réduisent plusieurs biais.

La méta-analyse peut synthétiser une littérature, mais elle ne corrige pas automatiquement les faiblesses des études initiales.

Un résultat fiable n’est pas nécessairement important, causal, universel ou définitif.

Une connaissance devient particulièrement solide lorsque reproduction, réplications indépendantes, triangulation, robustesse et compréhension des mécanismes convergent.

La question centrale n’est donc pas seulement :

« Ce résultat a-t-il déjà été observé ? »

mais :

« Peut-il être recalculé, retrouvé sur de nouvelles données, obtenu par plusieurs méthodes et conservé lorsque les choix raisonnables ou les contextes varient ? »


Repères et prolongements

Cette fiche prépare notamment les questions suivantes :

  • Quelle différence existe entre reproduction et réplication ?
  • Qu’est-ce qu’une réplication directe ?
  • Qu’est-ce qu’une réplication conceptuelle ?
  • Pourquoi aucune réplication n’est-elle parfaitement identique ?
  • Comment interpréter un échec de réplication ?
  • Qu’est-ce que la robustesse analytique ?
  • Comment distinguer fiabilité et validité ?
  • Pourquoi un résultat significatif peut-il ne pas se reproduire ?
  • Qu’est-ce que la puissance statistique ?
  • Comment interpréter une absence d’effet ?
  • Qu’est-ce qu’un test d’équivalence ?
  • Quel rôle jouent le préenregistrement et les rapports enregistrés ?
  • Comment le biais de publication fragilise-t-il une littérature ?
  • Que peut réellement établir une méta-analyse ?
  • Quand un résultat peut-il être considéré comme solidement établi ?

Quelques références

  • Karl Popper, *La Logique de la découverte scientifique*.
  • Robert K. Merton, textes sur les normes de la science.
  • Thomas Kuhn, *La Structure des révolutions scientifiques*.
  • Imre Lakatos, textes sur les programmes de recherche scientifique.
  • Paul Meehl, travaux sur la méthodologie et la psychologie scientifique.
  • Jacob Cohen, travaux sur la puissance statistique.
  • John Ioannidis, « Why Most Published Research Findings Are False ».
  • Brian Nosek et ses collaborateurs, travaux sur la science ouverte et la réplication.
  • Open Science Collaboration, travaux sur la reproductibilité en psychologie.
  • Marcus Munafò et ses collaborateurs, « A Manifesto for Reproducible Science ».
  • Stephen Goodman, Daniele Fanelli et John Ioannidis, travaux sur la terminologie de la reproductibilité.
  • Deborah Mayo, *Statistical Inference as Severe Testing*.
  • Simine Vazire, travaux sur la crédibilité scientifique.
  • Dorothy Bishop, travaux sur la reproductibilité et les pratiques de recherche.
  • Richard McElreath, *Statistical Rethinking*.
  • Andrew Gelman et ses collaborateurs, travaux sur la multiversité analytique et la variation des modèles.
  • Eric Uhlmann et ses collaborateurs, travaux sur les analyses en équipes multiples.
  • Christopher Bryan, Elizabeth Tipton et David Yeager, travaux sur la généralisation et les réplications multisites.
40 sur 60Retour à la catégorie