Réplication, reproductibilité et robustesse
Lorsqu’un résultat scientifique paraît convaincant, trois questions différentes peuvent être posées.
Peut-on retrouver exactement le résultat publié à partir des mêmes données et des mêmes calculs ?
Obtient-on un résultat compatible lorsqu’on recueille de nouvelles données ?
La conclusion reste-t-elle similaire lorsque l’on modifie raisonnablement certaines hypothèses, mesures ou méthodes d’analyse ?
Ces questions correspondent approximativement à trois notions souvent confondues : reproductibilité, réplication et robustesse.
La distinction est importante parce qu’elles ne contrôlent pas les mêmes erreurs. Refaire un calcul peut révéler une erreur de code mais ne montre pas que le phénomène existe dans une nouvelle population. Refaire l’étude avec de nouveaux participants teste davantage la stabilité empirique du résultat, mais peut reproduire le même biais méthodologique. Modifier les analyses ou certaines conditions permet enfin de savoir si la conclusion dépend d’un choix particulier, mais une conclusion robuste à plusieurs modèles peut encore être fausse si tous partagent la même hypothèse erronée.
La terminologie n’est malheureusement pas uniforme entre les disciplines. Les National Academies ont précisément consacré une partie de leur rapport de 2019 à cette confusion et ont choisi une convention explicite : reproductibilité pour retrouver le résultat avec les mêmes données et les mêmes procédures computationnelles ; réplicabilité pour obtenir des résultats compatibles dans une nouvelle étude utilisant de nouvelles données.
Nous adopterons cette convention dans cette rubrique, tout en gardant à l’esprit que certains domaines utilisent encore les mots dans le sens inverse.
La reproductibilité : peut-on refaire le calcul ?
Supposons qu’un article rapporte qu’une intervention réduit un risque relatif de 18 %.
Les auteurs mettent à disposition :
les données originales ;
le code informatique ;
les étapes de nettoyage ;
les modèles statistiques ;
et les paramètres nécessaires à l’analyse.
Une autre équipe récupère ces éléments, exécute le programme et retrouve la même estimation.
Le résultat est reproductible au sens computationnel adopté ici.
Les National Academies définissent précisément la reproductibilité comme l’obtention de résultats cohérents à partir des mêmes données d’entrée, étapes computationnelles, méthodes, code et conditions d’analyse.
Cette opération peut sembler beaucoup moins ambitieuse qu’une réplication.
Elle l’est.
Mais elle remplit une fonction indispensable.
Un calcul publié peut ne pas être reconstructible
Un article scientifique ne contient généralement pas toutes les opérations réalisées entre les données brutes et le tableau final.
Il peut exister :
des corrections manuelles ;
des exclusions ;
des transformations ;
des regroupements de catégories ;
des scripts intermédiaires ;
des paramètres logiciels ;
des décisions de traitement des données manquantes.
Si ces étapes ne sont pas documentées, une équipe extérieure peut être incapable de comprendre comment les chiffres publiés ont réellement été obtenus.
Cette impossibilité ne prouve pas que le résultat est faux.
Elle signifie que le chemin reliant les données à la conclusion n’est pas suffisamment contrôlable de l’extérieur.
La reproductibilité computationnelle constitue donc d’abord une exigence de traçabilité.
Retrouver le même nombre est un contrôle élémentaire mais puissant
Imaginons qu’en relançant le code une deuxième équipe obtienne un risque relatif de 0,97 alors que l’article publiait 0,82.
Il existe alors un problème concret à résoudre.
La différence peut provenir d’une erreur dans le code mis à disposition, d’un mauvais fichier de données, d’une étape de prétraitement absente, d’une version différente du logiciel ou d’une erreur dans l’article.
La reproductibilité permet ainsi de détecter une catégorie d’erreurs qui resterait invisible si l’on se contentait de lire le texte.
Le rapport des National Academies souligne que la reproductibilité computationnelle devrait généralement être attendue lorsque les données, méthodes et artefacts numériques nécessaires sont correctement disponibles.
Mais reproduire un calcul ne confirme pas le phénomène
Supposons maintenant que le programme soit exécuté et que le résultat publié soit retrouvé au millième près.
Nous avons démontré :
« Ce calcul produit effectivement ce chiffre avec ces données. »
Nous n’avons pas encore démontré :
« Ce chiffre décrit correctement le monde. »
Les données peuvent être biaisées.
La mesure peut être mauvaise.
Le groupe témoin peut être inadéquat.
Un confondeur peut manquer.
Le modèle peut être mal choisi.
Une erreur dans la conception expérimentale peut être parfaitement reproduite par le code.
C’est pourquoi la reproductibilité constitue un contrôle nécessaire dans de nombreux travaux computationnels, mais jamais une validation suffisante du résultat scientifique.
Les National Academies insistent d’ailleurs sur le fait que reproductibilité et réplication facilitent l’autocorrection scientifique sans constituer à elles seules les objectifs ultimes ni les seules sources de confiance scientifique.
Reproduire une erreur reste possible
Imaginons qu’un programme contienne une formule incorrecte.
L’équipe originale publie le code.
Une deuxième équipe exécute exactement ce même code.
Elle obtient exactement le même résultat.
La reproductibilité est parfaite.
Le calcul est pourtant faux.
Cela montre pourquoi il faut distinguer :
reproduire une analyse
et
vérifier indépendamment sa validité.
Une véritable réanalyse peut aller plus loin : inspecter les transformations, refaire certains calculs avec un autre logiciel, modifier raisonnablement certaines hypothèses et chercher d’éventuelles erreurs.
Nous commençons alors à passer de la simple reproductibilité vers la robustesse.
L’environnement informatique fait partie de la méthode
Les sciences contemporaines utilisent des chaînes computationnelles parfois très complexes.
Une analyse peut dépendre d’une version particulière d’un langage, d’une bibliothèque, d’un algorithme, d’un système d’exploitation ou d’une graine aléatoire.
Un modèle d’apprentissage automatique peut donner des résultats légèrement différents selon certains paramètres ou matériels.
Un logiciel peut modifier son comportement entre deux versions.
Une analyse vraiment reproductible ne consiste donc pas seulement à écrire :
« Nous avons utilisé R »
ou
« nous avons utilisé Python ».
Elle doit fournir suffisamment d’informations pour reconstruire l’environnement pertinent du calcul.
Cette exigence devient particulièrement importante lorsque les résultats reposent sur des milliers d’étapes automatisées impossibles à vérifier manuellement.
Données et code indisponibles ne signifient pas nécessairement « non reproductible »
Une distinction terminologique est utile.
Supposons qu’un article ne fournisse ni données ni code.
Nous ne pouvons pas refaire son analyse.
Mais nous ne savons pas encore si elle échouerait à être reproduite.
Il est donc plus précis de dire :
« la reproductibilité n’a pas pu être évaluée »
plutôt que :
« l’étude n’est pas reproductible ».
Cette différence paraît subtile mais elle évite de confondre absence de transparence permettant le contrôle et échec effectivement démontré du contrôle.
Les deux sont problématiques, mais ils ne constituent pas exactement la même situation.
La réplication : recueillir de nouvelles données
La réplication pose une question beaucoup plus ambitieuse.
Nous ne reprenons plus simplement le fichier original.
Nous réalisons une nouvelle étude portant sur la même question scientifique et recueillons de nouvelles données.
Les National Academies définissent ainsi la réplicabilité comme l’obtention de résultats cohérents dans plusieurs études visant une même question scientifique et disposant chacune de leurs propres données.
Cette distinction change profondément la nature du contrôle.
De nouvelles personnes sont recrutées.
De nouvelles mesures sont effectuées.
De nouvelles fluctuations d’échantillonnage apparaissent.
Le phénomène doit donc être capable de réapparaître au-delà du premier jeu de données.
Une réplication ne doit pas nécessairement retrouver exactement le même chiffre
Supposons qu’une première étude estime un effet de 10.
Une réplication obtient 8.
Est-ce un échec ?
Pas nécessairement.
Des études fondées sur de nouvelles données ne sont pas censées produire des résultats numériquement identiques.
Elles comportent une incertitude d’échantillonnage et peuvent différer légèrement par leurs conditions.
Les National Academies soulignent précisément que la réplication doit être évaluée en termes de cohérence compte tenu du niveau d’incertitude propre au phénomène étudié, plutôt qu’avec une règle exigeant l’identité parfaite des résultats.
Le terme « réplication réussie » ne signifie donc pas :
« le même nombre est réapparu ».
Il signifie plutôt que les résultats sont suffisamment compatibles pour soutenir une conclusion commune relativement à la question étudiée.
p < 0,05 deux fois n’est pas une bonne définition de la réplication
Supposons :
étude originale : effet = 10 ; p = 0,03 ;
réplication : effet = 9 ; p = 0,07.
Dire que la réplication « a échoué » uniquement parce qu’elle n’a pas franchi 0,05 serait très discutable.
Les estimations sont presque identiques.
La seconde étude est simplement moins précise.
À l’inverse :
étude originale : effet = 10 ; p = 0,03 ;
réplication : effet = 1 ; p = 0,04
pourrait techniquement donner deux résultats « significatifs » tout en suggérant un phénomène très différent en ampleur.
La réplicabilité doit donc être évaluée avec les estimations, leur incertitude et la question scientifique, pas uniquement avec deux décisions dichotomiques fondées sur les valeurs *p*.
Le rapport des National Academies insiste justement sur l’idée que la réplication peut être une question de degré plutôt qu’un verdict binaire de réussite ou d’échec.
Réplication proche et réplication conceptuelle
Toutes les réplications ne poursuivent pas exactement le même objectif.
Une réplication proche cherche à reproduire aussi fidèlement que possible les principales conditions de l’étude originale : même opérationnalisation, population similaire, protocole semblable.
Elle répond essentiellement :
« le phénomène réapparaît-il lorsque nous recommençons l’étude ? »
Une réplication plus conceptuelle modifie certains éléments : autre mesure, autre contexte, autre opérationnalisation, éventuellement autre population.
Elle pose une question supplémentaire :
« l’idée générale résiste-t-elle lorsque nous ne reproduisons pas exactement la même procédure ? »
Les frontières terminologiques varient ici aussi selon les disciplines, et les National Academies utilisent une définition suffisamment large pour que des études avec de nouvelles données et certaines variations méthodologiques puissent relever de la réplication, tout en distinguant par ailleurs la généralisabilité à d’autres contextes ou populations.
Il est donc souvent plus utile de décrire précisément ce qui a été maintenu et ce qui a été modifié que de débattre uniquement de l’étiquette.
Pourquoi commencer parfois par une réplication proche
Lorsqu’un résultat initial est surprenant, une réplication très proche possède un avantage.
Si l’on modifie simultanément la population, la mesure et la procédure et que le résultat disparaît, plusieurs explications restent ouvertes :
le phénomène initial était faux ;
la nouvelle étude est défectueuse ;
le phénomène dépend de la population ;
l’opérationnalisation modifiée ne mesure plus exactement la même chose.
Une réplication proche réduit certaines de ces ambiguïtés.
Elle cherche d’abord à savoir :
« pouvons-nous retrouver le phénomène dans des conditions suffisamment semblables ? »
Ce n’est qu’ensuite que des variations plus importantes peuvent aider à déterminer où se situent ses limites.
Mais reproduire exactement une méthode peut reproduire exactement son biais
La réplication proche possède également une limite.
Si l’étude originale utilise une mesure systématiquement biaisée et que la réplication utilise exactement la même mesure, les deux études peuvent converger vers la même erreur.
Si les deux recrutent le même type de population, elles peuvent partager le même biais de sélection.
Si elles utilisent le même logiciel comportant une erreur, la faute peut être reproduite.
La réplication n’est donc pas une garantie absolue.
Elle devient particulièrement puissante lorsqu’elle est complétée par des variations intelligentes de méthode.
C’est précisément là qu’intervient la notion de robustesse.
La robustesse : la conclusion dépend-elle d’un choix particulier ?
Supposons qu’une étude trouve une association seulement si :
une certaine définition du résultat est utilisée ;
deux valeurs aberrantes sont exclues ;
une covariable précise est ajoutée ;
et une fenêtre temporelle particulière est retenue.
Avec plusieurs autres analyses raisonnables, l’effet disparaît ou s’inverse.
Le résultat est alors analytiquement fragile.
À l’inverse, si la conclusion reste globalement similaire lorsque différentes analyses défendables sont utilisées, nous pouvons parler de davantage de robustesse analytique.
Une définition pratique courante de la robustesse consiste précisément à examiner si une conclusion reste substantiellement stable lorsque l’on modifie raisonnablement les hypothèses, méthodes ou choix analytiques.
Cette notion rejoint directement les analyses multivers et les courbes de spécifications étudiées dans la fiche 21.
Robustesse ne possède pas une définition aussi standardisée
Contrairement à la convention adoptée pour reproductibilité et réplication, le mot robustesse peut couvrir plusieurs choses.
Il peut désigner la stabilité d’un résultat :
à différentes analyses ;
à différents choix de paramètres ;
à différentes définitions d’une variable ;
à l’exclusion ou non de certaines observations ;
à plusieurs modèles théoriques ;
ou même à certaines modifications des conditions expérimentales.
La bonne pratique est donc d’éviter la phrase vague :
« le résultat est robuste ».
Il vaut mieux préciser :
« la conclusion est robuste à telles modifications précises ».
Une robustesse n’existe jamais dans l’absolu.
Elle est toujours robustesse relativement à un ensemble de perturbations examinées.
L’analyse de sensibilité est un outil de robustesse
Supposons qu’une analyse principale repose sur l’hypothèse que les données manquantes suivent un certain mécanisme.
Cette hypothèse est plausible mais impossible à vérifier complètement.
Les chercheurs peuvent réaliser plusieurs analyses de sensibilité utilisant d’autres hypothèses raisonnables.
Si toutes conduisent à une estimation proche, la conclusion paraît moins dépendante du choix initial.
Si l’effet disparaît ou change de signe sous une alternative également plausible, la conclusion devient plus fragile.
Les travaux méthodologiques sur les essais cliniques décrivent précisément l’analyse de sensibilité comme un moyen d’évaluer si les conclusions de l’analyse principale résistent à des hypothèses alternatives plausibles.
La robustesse consiste donc à poser délibérément :
« que devient notre conclusion si nous avons légèrement tort sur ce point ? »
Une analyse de sensibilité ne consiste pas à choisir le résultat préféré
Supposons qu’une analyse principale estime un effet de 5.
Trois analyses de sensibilité donnent 4,8 ; 5,4 et 0,2.
Le but n’est pas de dire :
« nous préférons celle donnant 5,4 ».
La divergence est précisément l’information importante.
Elle indique que la conclusion dépend fortement d’une certaine hypothèse.
Les recommandations méthodologiques insistent sur ce point : l’analyse de sensibilité n’est pas une nouvelle compétition destinée à sélectionner le résultat qui plaît le plus ; elle doit servir à mesurer la dépendance de la conclusion aux hypothèses discutables.
Cette logique est l’inverse du *p-hacking*.
Robustesse analytique et réplication contrôlent des erreurs différentes
Il est utile de les comparer directement.
| Contrôle | Ce qui est conservé ou modifié | Question principale |
|---|---|---|
| Reproductibilité | mêmes données et essentiellement même analyse | « Peut-on reconstruire le résultat publié ? » |
| Réplication | nouvelles données, question scientifique similaire | « Le phénomène réapparaît-il dans une nouvelle étude ? » |
| Robustesse | variations raisonnables d’analyses, hypothèses ou parfois méthodes | « La conclusion dépend-elle fortement d’un choix particulier ? » |
Ces opérations sont donc complémentaires.
Un résultat peut être reproductible mais non robuste.
Il peut être robuste sur les mêmes données mais ne pas se répliquer.
Il peut se répliquer avec la même méthode tout en restant vulnérable à un biais partagé.
La confiance scientifique augmente particulièrement lorsque plusieurs de ces contrôles sont satisfaits simultanément.
Exemple : reproductible mais non robuste
Supposons qu’une étude utilise une base de données publique.
Les auteurs fournissent parfaitement leur code.
Une autre équipe retrouve exactement :
effet = 7,4 ; p = 0,02.
Reproductibilité impeccable.
Mais en examinant d’autres choix tout aussi plausibles, l’équipe découvre :
avec une autre définition de l’issue : effet = 2,1 ;
avec une autre gestion des données manquantes : effet = −0,3 ;
avec une covariable justifiée : effet = 1,2.
Le résultat original est reproductible.
La conclusion est pourtant très sensible aux décisions analytiques.
La reproductibilité nous a permis de savoir ce qui a été calculé ; l’analyse de robustesse nous apprend ensuite que ce calcul n’était peut-être qu’un chemin parmi plusieurs conduisant à des conclusions différentes.
Exemple : robuste mais non reproductible au sens strict
Imaginons maintenant un ancien article.
Les données originales ont été perdues.
Son analyse exacte ne peut plus être recalculée.
Une série de nouvelles études menées indépendamment avec des populations et méthodes variées retrouve néanmoins régulièrement un effet d’ampleur similaire.
La reproductibilité computationnelle de la publication ancienne est impossible à établir.
La conclusion scientifique générale peut pourtant devenir fortement soutenue par les nouvelles preuves.
Cette situation montre pourquoi la reproductibilité computationnelle ne doit jamais être transformée en condition métaphysique de vérité.
Elle est un contrôle très important, surtout dans la science numérique moderne, mais le monde peut confirmer un phénomène même lorsqu’un ancien fichier informatique a disparu.
Exemple : réplicable mais peut-être biaisé
Supposons que cinq laboratoires utilisent exactement le même questionnaire pour mesurer un trait psychologique.
Ils retrouvent tous la même relation.
La réplicabilité paraît excellente.
Mais une étude méthodologique découvre ensuite que le questionnaire mesure en partie un autre facteur, systématiquement confondu avec celui qui intéressait les chercheurs.
Les cinq réplications ont alors peut-être confirmé la stabilité du signal produit par l’instrument, pas l’interprétation théorique qu’on lui donnait.
Nous retrouvons ici la distinction entre fiabilité et validité de mesure étudiée au début de la rubrique.
Répéter une mesure stable n’établit pas automatiquement que nous mesurons la bonne chose.
Réplication et robustesse peuvent se compléter
Supposons qu’un effet soit retrouvé :
dans une nouvelle population ;
avec un autre laboratoire ;
avec une autre mesure ;
et avec plusieurs analyses raisonnables.
La conclusion doit alors survivre simultanément à plusieurs possibilités d’erreur.
La première étude pouvait être une fluctuation.
La réplication réduit cette possibilité.
La première mesure pouvait être spécifique.
Une autre opérationnalisation réduit cette possibilité.
Le premier modèle statistique pouvait produire artificiellement l’effet.
Les analyses alternatives réduisent cette possibilité.
La confiance devient donc particulièrement forte lorsque les preuves construisent un réseau de contrôles dont les faiblesses ne sont pas toutes communes.
Diversifier les méthodes peut être plus informatif que répéter indéfiniment la même expérience
Supposons que dix réplications identiques aient déjà retrouvé un effet.
Une onzième copie exacte apporte encore un peu d’information.
Mais il peut devenir plus utile de modifier une dimension critique :
autre laboratoire ;
autre population ;
autre instrument ;
autre opérationnalisation ;
autre méthode analytique.
Le nouveau test pose alors une question plus exigeante :
« Le phénomène dépendait-il d’une particularité invisible du protocole précédent ? »
Cela rejoint l’idée de triangulation : la convergence devient plus probante lorsque les possibilités d’erreur sont différentes.
Mais varier trop de choses à la fois rend l’échec difficile à interpréter
Le problème inverse existe.
Une nouvelle étude change la population, l’intervention, la mesure, le contexte culturel et l’analyse.
Elle ne retrouve pas le résultat.
Pourquoi ?
Peut-être l’original était faux.
Mais peut-être une seule des cinq modifications explique la différence.
Une réplication extrêmement différente peut donc être intéressante pour tester la généralité d’une théorie tout en étant moins informative pour déterminer si l’effet original pouvait être reproduit dans son contexte initial.
C’est pourquoi une stratégie cumulative intelligente alterne souvent :
réplications proches, permettant de vérifier le phénomène de base ;
puis
variations systématiques, permettant d’en tester les limites et la robustesse.
Une réplication réussie ne prouve pas que l’original était correct
Cette nuance est fondamentale.
Supposons qu’une deuxième étude retrouve l’effet.
Cela renforce la confiance.
Mais les deux études peuvent partager :
le même biais ;
la même théorie incorrecte ;
la même contamination ;
la même erreur de codage ;
ou le même instrument inadéquat.
Les National Academies soulignent explicitement qu’une réplication réussie ne garantit pas que le résultat original était scientifiquement correct, tout comme un échec unique ne le réfute pas automatiquement.
La réplication est donc une pièce de preuve supplémentaire, pas une certification.
Un échec de réplication ne signifie pas davantage « résultat original faux »
Supposons qu’une nouvelle étude ne retrouve pas l’effet.
Plusieurs interprétations sont possibles.
La première étude était une fluctuation.
La réplication manque de puissance.
Le protocole diffère sur une variable importante.
La population possède une caractéristique modératrice.
La mesure fonctionne différemment.
L’effet initial était surestimé mais non inexistant.
La seconde étude contient elle-même un problème.
Les National Academies insistent précisément sur cette complexité : même une étude originale correctement conduite peut ne pas être répliquée, et l’évaluation doit porter sur l’ensemble du corps de preuves plutôt que sur un duel entre deux études.
La fiche suivante sera entièrement consacrée à cette question.
« Réplication réussie » doit donc être définie avant de regarder les résultats autant que possible
Imaginons qu’une réplication estime un effet légèrement plus faible.
Un défenseur de l’étude originale peut décider après coup que c’est suffisamment proche.
Un critique peut décider que ce n’est pas assez proche.
La conclusion devient alors dépendante d’un jugement opportuniste.
Une réplication bien conçue gagne à préciser ce qui constituerait une compatibilité suffisamment forte : même direction ? Taille d’effet dans une certaine plage ? Intervalle compatible ? Test d’équivalence ? Méta-analyse commune ?
Il n’existe pas un critère universel applicable à tous les phénomènes.
Mais la règle générale est familière :
plus les critères de succès sont définis après les résultats, plus la flexibilité interprétative augmente.
Reproduire n’est pas forcément répliquer, répliquer n’est pas généraliser
Une distinction supplémentaire mérite d’être conservée.
Nous reproduisons une analyse lorsque nous utilisons les mêmes données.
Nous répliquons lorsque nous recueillons de nouvelles données pour examiner la même question.
Nous testons la généralisabilité lorsque nous demandons si la conclusion s’applique à d’autres populations ou contextes.
Les National Academies distinguent explicitement ces trois notions.
Une étude peut donc être parfaitement répliquée dans plusieurs laboratoires universitaires auprès d’étudiants et rester incertaine chez des enfants, des personnes âgées ou dans d’autres contextes culturels.
La réplication renforce la fiabilité d’un résultat.
Elle ne supprime pas la question :
« où s’applique-t-il ? »
La robustesse possède elle aussi plusieurs niveaux
Nous pouvons distinguer utilement plusieurs formes de robustesse sans en faire une taxonomie rigide.
Une conclusion peut être robuste aux analyses, lorsqu’elle survit à plusieurs choix statistiques raisonnables.
Elle peut être robuste aux mesures, lorsque différentes opérationnalisations convergent.
Elle peut être robuste aux modèles, lorsque plusieurs représentations théoriques ou computationnelles conduisent à la même conséquence.
Elle peut être robuste aux contextes, lorsque le phénomène apparaît dans plusieurs populations ou situations — ce qui rejoint alors progressivement la question de la généralisation.
La notion commune est toujours :
« que reste-t-il de la conclusion lorsque nous perturbons une partie du système qui l’a produite ? »
Une conclusion robuste à de mauvaises hypothèses peut encore être fausse
La robustesse possède une limite importante.
Supposons que cinq modèles différents donnent tous le même résultat.
Cela semble rassurant.
Mais s’ils partagent tous la même hypothèse de fond incorrecte, leur convergence n’élimine pas cette erreur.
Une littérature philosophique sur l’analyse de robustesse insiste précisément sur ce problème : le fait que plusieurs modèles conduisent à la même conclusion n’est probant que dans la mesure où leurs hypothèses pertinentes diffèrent suffisamment et où les erreurs potentielles ne sont pas simplement communes.
C’est exactement la même logique que pour la triangulation empirique.
L’indépendance des voies importe autant que leur nombre.
Une étude peut être robuste statistiquement et fragile scientifiquement
Supposons qu’une association survive :
à trois modèles de régression ;
à plusieurs exclusions ;
à différentes transformations.
Très bien.
Mais tous les modèles utilisent la même variable d’exposition, mesurée de manière très biaisée.
La conclusion est robuste à l’analyse statistique.
Elle reste fragile au niveau de la mesure.
Dire simplement :
« de nombreux tests de robustesse ont été effectués »
peut donc créer une fausse impression de sécurité si ces tests ne touchent jamais la principale vulnérabilité de l’étude.
Une bonne analyse de robustesse doit cibler les hypothèses qui possèdent réellement une chance de modifier l’interprétation.
Tester une variante absurde ne renforce rien
Une autre équipe pourrait annoncer :
« Nous avons réalisé dix analyses de sensibilité, toutes confirment le résultat. »
Mais si les dix méthodes sont presque identiques, ou si aucune n’aurait raisonnablement pu changer la conclusion, cette répétition apporte peu d’information.
Les travaux méthodologiques sur les analyses de sensibilité proposent justement trois questions importantes : l’analyse alternative répond-elle à la même question ? Peut-elle réellement aboutir à une conclusion différente ? Et, si elle le fait, existe-t-il une incertitude légitime concernant laquelle des analyses est la plus crédible ?
Une vérification n’est informative que si elle soumet une hypothèse réellement discutable à une variation réellement pertinente.
Nous retrouvons encore la notion de test sévère.
La robustesse analytique elle-même peut être étudiée empiriquement
Les projets multi-analystes illustrent une méthode intéressante.
On donne les mêmes données et la même question à plusieurs équipes et on les laisse choisir indépendamment des analyses qu’elles jugent raisonnables.
Si toutes arrivent à une conclusion proche malgré des chemins analytiques différents, la robustesse est renforcée.
Si les conclusions varient fortement, une source d’incertitude auparavant invisible apparaît.
Les recommandations consacrées aux études multi-analystes soulignent précisément que des chercheurs compétents peuvent effectuer des choix analytiques différents mais défendables et aboutir parfois à des résultats distincts.
Une vaste étude publiée dans *Nature* en 2026 a d’ailleurs réexaminé cent résultats issus des sciences sociales et comportementales avec plusieurs analystes indépendants. Elle a retrouvé la même conclusion qualitative que l’étude originale dans 74 % des réanalyses, mais seulement 34 % des réanalyses reproduisaient l’estimation originale dans une marge étroite prédéfinie ; les auteurs concluent qu’il ne faut pas présumer automatiquement la robustesse aux choix analytiques alternatifs.
Cet exemple ne doit pas être généralisé à toutes les sciences. Il montre surtout que l’incertitude analytique peut être mesurée au lieu d’être ignorée.
Reproductibilité, réplication et robustesse forment une progression de contrôles, pas une hiérarchie absolue
Il serait tentant de penser :
reproductibilité < réplication < robustesse.
La réalité est plus subtile.
Une reproduction computationnelle contrôle très précisément certaines erreurs que plusieurs réplications pourraient ne jamais découvrir.
Une réplication avec de nouvelles données contrôle une fluctuation particulière que cent réanalyses des mêmes données ne pourront jamais éliminer.
Une analyse de robustesse examine la dépendance aux choix qui peuvent rester identiques dans plusieurs réplications.
Chaque opération inspecte une autre partie de la chaîne scientifique.
La meilleure science ne choisit donc pas entre elles.
Elle les combine lorsque cela est pertinent.
La transparence est ce qui rend plusieurs de ces contrôles possibles
Pour reproduire une analyse, il faut généralement accéder aux données, au code et aux étapes nécessaires.
Pour comprendre pourquoi une réplication diffère, il faut connaître suffisamment précisément le protocole original.
Pour tester la robustesse, il faut identifier les choix et hypothèses susceptibles d’être modifiés.
La transparence méthodologique constitue donc l’infrastructure commune de ces contrôles.
Elle ne garantit pas que le résultat soit correct.
Elle permet à d’autres chercheurs de chercher où il pourrait être incorrect.
C’est une distinction centrale dans toute cette rubrique.
Les contrôles doivent être proportionnés à ce qui est en jeu
Toutes les études ne nécessitent pas cinquante réplications et vingt équipes de réanalyse.
Une mesure très simple et très précise peut être contrôlée facilement.
Une affirmation ayant de faibles conséquences peut justifier moins d’investissements.
À l’inverse, un résultat surprenant, très influent ou susceptible de modifier une pratique médicale mérite souvent davantage de vérifications indépendantes.
L’allocation des efforts de réplication est elle-même une question scientifique et institutionnelle.
La règle générale peut être formulée ainsi :
plus une affirmation est importante et plus ses erreurs potentielles sont plausibles, plus il est utile de multiplier les contrôles indépendants.
Une science fiable ne cherche pas seulement à refaire ; elle cherche à faire varier
Refaire exactement un calcul nous apprend si le résultat est reconstructible.
Refaire une étude nous apprend si un phénomène réapparaît.
Modifier les analyses ou les conditions nous apprend s’il dépend d’un élément particulier.
Ces opérations répondent à des questions différentes mais convergent vers une même ambition :
déterminer quelles parties d’un résultat survivent lorsque nous changeons les circonstances capables de produire une erreur.
Cette logique est beaucoup plus riche que le slogan :
« une étude a été reproduite ».
Il faut toujours demander :
qu’est-ce qui a réellement été reproduit, avec quelles données, quelles méthodes et quelles variations ?
À retenir
La terminologie varie entre disciplines, mais nous suivons ici la convention explicite des National Academies. La reproductibilité désigne l’obtention de résultats cohérents en utilisant les mêmes données, étapes computationnelles, méthodes et code ; la réplication désigne l’obtention de résultats cohérents dans une nouvelle étude visant la même question et recueillant ses propres données.
Ces deux contrôles ne sont pas interchangeables. Une analyse peut être parfaitement reproductible tout en reposant sur des données biaisées. Une réplication peut retrouver le même effet tout en partageant la même erreur de mesure. À l’inverse, l’impossibilité de recalculer un ancien résultat ne signifie pas automatiquement que le phénomène scientifique correspondant est faux.
La robustesse examine une autre question : la conclusion reste-t-elle suffisamment stable lorsque certaines hypothèses ou décisions raisonnables sont modifiées ? Les analyses de sensibilité, multivers et études multi-analystes permettent notamment d’évaluer cette dépendance.
Aucun de ces contrôles ne doit être transformé en verdict binaire. Les National Academies soulignent que la réplication peut être une question de degré, que même une étude rigoureuse peut ne pas se répliquer et qu’une réplication unique — réussie ou échouée — doit être interprétée dans le contexte de l’ensemble des preuves.
La meilleure question n’est donc pas :
« Cette étude a-t-elle été reproduite ? »
mais :
« Le calcul est-il reconstructible, le phénomène réapparaît-il avec de nouvelles données, et la conclusion résiste-t-elle aux principales manières raisonnables de modifier la méthode ? »
Sources et références
- National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303. Le rapport distingue explicitement reproductibilité computationnelle, réplication avec nouvelles données et généralisabilité.
- National Academies of Sciences, Engineering, and Medicine, Enhancing Scientific Reproducibility in Biomedical Research Through Transparent Reporting, 2020, reprenant les mêmes définitions et soulignant que différents organismes utilisent parfois ces termes autrement.
- White, Ian R. et al., « Choosing sensitivity analyses for randomised trials: principles », *BMC Medical Research Methodology*, 2014, sur l’utilisation des analyses de sensibilité pour évaluer la robustesse à des hypothèses alternatives plausibles.
- Thabane, Lehana et al., « A tutorial on sensitivity analyses in clinical trials: the what, why, when and how », *BMC Medical Research Methodology*, 2013, sur le rôle des analyses de sensibilité dans l’évaluation de la stabilité des conclusions.
- Aczel, Balazs et al., « Consensus-based guidance for conducting and reporting multi-analyst studies », *eLife*, 2021, sur l’étude de la variabilité et de la robustesse analytiques à travers plusieurs équipes indépendantes.
- Kovacs, Marton Balazs et al., « Investigating the analytical robustness of the social and behavioural sciences », *Nature*, 2026, étude multi-analystes de cent résultats publiés montrant que la stabilité à différentes analyses raisonnables ne doit pas être présumée.