Science ouverte : préenregistrement, Registered Reports, données et code
La crise de reproductibilité a suscité une réponse intuitive : ouvrons davantage la recherche.
Rendons visibles les hypothèses avant les résultats. Publions les protocoles. Partageons les données et le code. Permettons à d’autres chercheurs de vérifier les analyses. Faisons évaluer certaines études avant même de connaître leur résultat.
Ces propositions ont progressivement été regroupées sous l’expression science ouverte — open science.
L’idée générale est puissante. Une erreur est beaucoup plus difficile à détecter lorsque personne ne peut savoir quelles analyses étaient initialement prévues, accéder aux données ou reconstruire les calculs. Rendre davantage de parties du processus scientifique contrôlables par d’autres chercheurs peut donc renforcer la fiabilité collective.
Mais il existe un risque de remplacer d’anciens labels par de nouveaux :
préenregistré = fiable ;
données ouvertes = vrai ;
Registered Report = étude parfaite.
Aucun de ces raccourcis n’est justifié.
Chaque pratique répond à un ensemble particulier de problèmes. Le préenregistrement aide surtout à distinguer ce qui avait été prévu de ce qui a été découvert après observation des données. Les Registered Reports réduisent en plus la dépendance entre publication et résultat. Le partage des données et du code facilite certaines vérifications et reproductions computationnelles.
Aucun de ces dispositifs ne corrige automatiquement une mauvaise mesure, une théorie faible, un échantillon inadéquat ou un biais que personne n’a pensé à examiner.
La science ouverte doit donc être comprise comme une extension de l’architecture de contrôle des erreurs, pas comme une nouvelle certification de vérité.
Le principe général : rendre le chemin de la preuve visible
Un article scientifique traditionnel présente généralement :
une question ;
une méthode ;
des résultats ;
une interprétation.
Mais le lecteur ne voit pas nécessairement l’histoire complète ayant conduit de la question au résultat.
Combien d’hypothèses existaient initialement ?
Quelles variables avaient été désignées comme principales ?
Quand les critères d’exclusion ont-ils été choisis ?
Quelles analyses ont été essayées ?
Le modèle final était-il prévu avant les résultats ou construit après les avoir vus ?
Certaines décisions ont-elles changé ?
Sans trace préalable, il devient parfois impossible de distinguer :
prédiction confirmée
et
explication reconstruite après la découverte.
Le Center for Open Science présente précisément le préenregistrement comme un moyen de créer un plan daté permettant de distinguer les analyses prévues des analyses exploratoires, de rendre les déviations plus visibles et de limiter le rapport sélectif.
La première fonction de la science ouverte n’est donc pas nécessairement de tout rendre public.
Elle est de rendre la production de la preuve davantage traçable.
Le préenregistrement : laisser une trace avant de connaître la réponse
Un préenregistrement consiste à consigner certaines décisions importantes avant que les résultats pertinents ne soient connus.
Selon les études, il peut notamment préciser :
la question ;
les hypothèses ;
les variables principales ;
les critères d’inclusion et d’exclusion ;
la taille d’échantillon ou sa règle de détermination ;
les analyses principales ;
les éventuelles analyses conditionnelles.
Le document est ensuite enregistré de manière datée afin que l’on puisse ultérieurement comparer le plan initial et l’étude effectivement rapportée.
Le principe peut être résumé très simplement :
créer un témoin du raisonnement avant que les données puissent influencer ce raisonnement.
Pourquoi la chronologie compte-t-elle autant ?
Supposons qu’un chercheur annonce avant son étude :
« Le traitement devrait réduire précisément la variable Y chez les patients du groupe A, mais pas du groupe B. »
Puis les données montrent exactement cette interaction.
La prédiction est relativement exigeante.
De nombreux autres résultats auraient pu la contredire.
Supposons maintenant que les chercheurs aient mesuré vingt variables et dix sous-groupes, découvert après coup cette interaction particulière puis écrit :
« nous avions prédit que… »
Les données finales sont identiques.
La force de la preuve ne l’est pas.
Le préenregistrement ne rend pas la première prédiction vraie.
Il permet au lecteur de savoir quelle situation s’est réellement produite.
C’est pourquoi le Center for Open Science décrit son principal intérêt comme la distinction entre confirmation et exploration.
Préenregistrer ne signifie pas prédire le résultat
Cette confusion mérite d’être éliminée.
Un chercheur peut préenregistrer :
« nous comparerons A et B selon telle procédure »
sans savoir lequel sera supérieur.
Il peut également préenregistrer une hypothèse directionnelle.
Le préenregistrement concerne principalement le plan de recherche, pas l’obligation d’annoncer avec certitude ce que les données montreront.
Son intérêt existe précisément parce que :
l’hypothèse peut échouer.
Un système scientifique où tous les préenregistrements seraient confirmés serait d’ailleurs extrêmement suspect.
Un préenregistrement n’a pas besoin d’être correct pour être utile
Supposons que les chercheurs enregistrent avant l’étude un mauvais modèle statistique.
Le préenregistrement ne transforme évidemment pas ce modèle en bonne analyse.
Mais il apporte toujours une information importante :
voici ce que l’équipe pensait approprié avant de voir les résultats.
Lorsqu’elle découvre ensuite que le modèle était inadéquat, elle peut le modifier et expliquer :
« l’analyse initiale était A ; nous avons utilisé B pour cette raison ».
Le lecteur sait alors que B possède un statut différent de celui qu’il aurait eu s’il avait été défini indépendamment des données.
La transparence reste utile même lorsque le plan initial était imparfait.
Dévier d’un préenregistrement n’est pas une faute
C’est probablement la caricature la plus dommageable de cette pratique.
La recherche produit régulièrement des situations imprévues.
Une hypothèse statistique importante est violée.
Un instrument tombe en panne.
Une variable comporte beaucoup plus de données manquantes qu’attendu.
Une erreur est découverte dans le plan initial.
Refuser toute adaptation simplement pour respecter le préenregistrement serait parfois méthodologiquement inférieur à modifier l’analyse.
Le Center for Open Science indique explicitement qu’un plan préenregistré peut contenir des analyses conditionnelles et que le préenregistrement n’interdit pas de vérifier les hypothèses d’un modèle puis d’ajuster l’analyse lorsque cela est nécessaire.
Le principe n’est donc pas :
« ne jamais changer ».
Il est :
« rendre le changement identifiable ».
L’exploration reste entièrement légitime
Une étude préenregistrée peut produire une surprise fascinante.
Il serait absurde de l’ignorer sous prétexte qu’elle ne figurait pas dans le protocole.
Les chercheurs peuvent réaliser de nouvelles analyses, explorer des sous-groupes, construire un nouveau modèle et proposer une nouvelle théorie.
Il suffit de dire :
« cette partie est exploratoire ».
L’étude peut donc contenir simultanément :
des tests confirmatoires préenregistrés
et
des découvertes exploratoires postérieures.
La valeur scientifique de l’exploration n’est pas diminuée.
Son statut probatoire est simplement décrit plus fidèlement.
Les Registered Reports sont d’ailleurs explicitement conçus pour permettre le rapport de découvertes fortuites en plus des analyses enregistrées.
Un préenregistrement vague peut néanmoins être presque inutile
Comparons deux plans.
Le premier :
« Nous analyserons les données avec des méthodes statistiques appropriées et examinerons les relations intéressantes. »
Le second précise :
la variable principale ;
la population ;
les exclusions ;
la transformation ;
le modèle ;
la comparaison ;
la règle de décision ;
et les principales analyses de sensibilité.
Les deux documents peuvent être appelés « préenregistrements ».
Ils ne contraignent évidemment pas la même quantité de flexibilité.
Le préenregistrement est donc un outil gradué.
Sa valeur dépend notamment de la question :
« quelles décisions importantes deviennent réellement vérifiables grâce à ce document ? »
Le mot lui-même ne suffit pas.
Préenregistré ne signifie pas nécessairement enregistré avant toute donnée
Certaines situations sont encore plus délicates.
Un chercheur peut vouloir analyser une grande base de données déjà existante.
Les observations ont été collectées plusieurs années auparavant.
Peut-il encore préenregistrer son analyse ?
Oui, si l’objectif est de créer une trace avant d’accéder aux résultats ou d’effectuer les analyses concernées.
Mais le lecteur doit savoir quel contact l’équipe avait déjà eu avec les données.
Avait-elle consulté certaines statistiques descriptives ?
Les auteurs connaissaient-ils déjà des résultats ?
Une autre équipe avait-elle publié des analyses proches ?
L’indépendance entre plan et information disponible peut être partielle.
Dans ce type de recherche, la transparence sur ce que les chercheurs savaient au moment de l’enregistrement devient particulièrement importante.
Préenregistrement et registre d’essai ne sont pas exactement la même chose
L’enregistrement prospectif des essais cliniques, étudié avec le biais de publication, cherche notamment à rendre visible l’existence de l’étude, ses principaux critères et certaines informations essentielles avant les résultats.
Un préenregistrement analytique peut aller beaucoup plus loin dans les hypothèses et procédures statistiques.
Les deux pratiques partagent toutefois le même principe :
laisser une trace suffisamment précoce pour empêcher que tout le passé méthodologique soit réécrit à partir du résultat final.
Le préenregistrement ne règle pas le biais de publication à lui seul
Supposons qu’une étude soit parfaitement préenregistrée.
Elle produit un résultat nul.
Les chercheurs ne la rédigent jamais.
Le préenregistrement permet éventuellement de constater qu’elle existait.
Mais les résultats n’entrent toujours pas dans la littérature.
Le problème du fichier tiroir demeure donc partiellement.
Nous avons amélioré la visibilité de l’étude et la distinction entre analyses prévues et exploratoires.
Nous n’avons pas garanti sa publication.
C’est précisément le problème auquel répond plus directement le format Registered Reports.
Le Registered Report déplace le peer review avant le résultat
Dans le système traditionnel, une étude est généralement :
conçue ;
réalisée ;
analysée ;
rédigée ;
puis soumise à une revue.
Les éditeurs et reviewers connaissent alors les résultats.
Dans un Registered Report, l’ordre change.
À l’étape 1, les chercheurs soumettent notamment :
la question ;
la justification théorique ;
la méthode ;
le plan d’analyse ;
les critères permettant d’évaluer correctement l’étude.
Les résultats principaux ne sont pas encore connus.
Les reviewers peuvent alors critiquer le dessin lui-même avant qu’il ne soit trop tard pour le modifier.
Le Center for Open Science définit aujourd’hui les Registered Reports comme un format où la revue par les pairs intervient avant l’observation des résultats de la recherche et où les protocoles jugés suffisamment solides peuvent obtenir une acceptation de principe — in-principle acceptance, IPA.
Une occasion rare : corriger la méthode avant l’expérience
Nous avons vu la limite principale du peer review traditionnel.
Un reviewer peut constater après l’étude :
« il aurait fallu utiliser un groupe témoin différent ».
Mais les participants sont déjà partis.
Dans un Registered Report, cette objection peut être formulée avant la collecte pertinente.
La revue peut donc demander :
une meilleure mesure ;
une puissance supérieure ;
un groupe de contrôle supplémentaire ;
un test plus discriminant ;
une analyse statistique plus appropriée ;
une procédure de randomisation mieux spécifiée.
Le peer review cesse alors d’être uniquement un contrôle du récit final.
Il devient en partie un contrôle de la fabrication future de la preuve.
C’est probablement l’un des avantages les plus profonds du format.
L’acceptation de principe change l’incitation éditoriale
Une fois le protocole accepté, la revue s’engage en principe à publier l’étude si elle est correctement réalisée et rapportée.
Le résultat peut être :
positif ;
nul ;
opposé à l’hypothèse ;
inattendu.
La décision finale ne doit plus dépendre simplement de :
« l’effet est-il spectaculaire ? »
Le Center for Open Science précise que l’acceptation de principe ne peut normalement être retirée en fonction du résultat, mais peut l’être en cas de problème de qualité, de non-respect substantiel du protocole ou de difficultés importantes de reporting.
Le format tente donc de découpler :
qualité de la question et de la méthode
de
désirabilité du résultat.
C’est une attaque directe contre plusieurs problèmes à la fois
Les Registered Reports peuvent limiter simultanément plusieurs mécanismes rencontrés auparavant.
Le biais de publication diminue parce que l’engagement éditorial intervient avant le résultat.
Le HARKing devient plus difficile parce que les principales hypothèses existent dans le document de première étape.
Le p-hacking confirmatoire devient plus visible parce que les analyses centrales sont examinées avant les données.
La faible puissance peut être corrigée lorsque les reviewers disposent encore de la possibilité de demander un meilleur dimensionnement.
Le Center for Open Science présente explicitement ces objectifs parmi les motivations du format.
Cette combinaison explique pourquoi les Registered Reports sont souvent considérés comme une réforme particulièrement ambitieuse.
Mais ils ne garantissent toujours pas que l’hypothèse soit bonne
Une théorie erronée peut être magnifiquement testée.
Une hypothèse peu intéressante peut être préenregistrée.
Un phénomène réel peut être opérationnalisé de manière inadéquate.
Les reviewers peuvent manquer une faiblesse.
Un biais peut être inconnu au moment de la conception.
L’acceptation de principe signifie donc essentiellement :
« le test avait été jugé suffisamment intéressant et correctement conçu avant que son résultat ne soit connu ».
Elle ne signifie pas :
« le résultat obtenu sera nécessairement vrai ».
Un Registered Report peut même produire une excellente preuve négative
C’est l’un de ses principaux intérêts.
Supposons qu’une théorie importante prédise un effet.
L’étude est :
bien dimensionnée ;
méthodologiquement solide ;
évaluée avant collecte ;
et suffisamment précise pour exclure l’effet important annoncé.
Elle ne retrouve rien.
Dans la publication traditionnelle, ce résultat pouvait historiquement être considéré comme moins attractif.
Dans un Registered Report, l’échec de la prédiction est précisément une information scientifique pour laquelle l’étude avait été conçue.
Le système éditorial est alors davantage aligné avec la logique scientifique :
une hypothèse doit réellement pouvoir perdre.
Les premiers résultats empiriques sur les Registered Reports sont frappants
Nous avons déjà rencontré l’étude de Scheel, Schijen et Lakens.
Les auteurs ont comparé 71 Registered Reports de psychologie à 152 articles standards testant des hypothèses.
Pour la première hypothèse examinée dans chaque article, environ 44 % des Registered Reports produisaient un résultat positif, contre 96 % des articles standards. La différence restait importante lorsque les réplications proches étaient exclues.
Cette observation est compatible avec l’idée que la littérature traditionnelle comporte davantage de sélection des résultats positifs et/ou d’inflation des faux positifs.
Elle ne démontre cependant pas que la totalité de l’écart est causée par le format éditorial.
Les Registered Reports peuvent sélectionner d’autres types de recherches
Les chercheurs choisissant ce format peuvent travailler sur des questions différentes.
Les réplications y sont historiquement surreprésentées.
Les exigences de puissance peuvent différer.
Les revues participantes ne constituent pas un échantillon aléatoire de toutes les revues.
L’étude de Scheel et ses collègues discute précisément plusieurs de ces explications concurrentes.
La conclusion raisonnable est donc :
les Registered Reports semblent modifier fortement la composition des résultats publiés d’une manière cohérente avec leur objectif ; l’ampleur exacte des mécanismes responsables reste un objet de métarecherche.
Encore une fois, la réforme elle-même doit être évaluée scientifiquement.
Le format continue d’ailleurs à se diffuser
Le Center for Open Science indiquait en 2026 que plus de 300 revues proposent désormais les Registered Reports soit comme format régulier, soit dans certains numéros ou dispositifs particuliers.
Cela montre que la pratique a quitté le statut d’expérience marginale.
Mais l’adoption reste très variable entre disciplines.
Certaines recherches se prêtent naturellement à un protocole défini avant collecte.
D’autres, beaucoup plus exploratoires, descriptives ou opportunistes, s’y prêtent moins directement.
Une réforme utile n’a aucune raison de devenir une obligation universelle pour toute activité scientifique.
Les Registered Reports ne sont pas adaptés à toutes les recherches
Imaginons un astronome observant pour la première fois un phénomène complètement inattendu.
Ou un biologiste confronté à une nouvelle épidémie.
Ou un historien découvrant une archive inconnue.
Il serait absurde de répondre :
« vous ne pouvez pas étudier ce phénomène parce que vous ne l’aviez pas préenregistré ».
La science comprend aussi :
observation ;
exploration ;
construction d’instruments ;
génération de théories ;
description de phénomènes nouveaux.
Les Registered Reports sont particulièrement adaptés aux recherches où une hypothèse ou une inférence déterminée peut être spécifiée avant le test pertinent.
Ils ne constituent pas une définition de la science.
Une étude exploratoire peut être pleinement ouverte sans être préenregistrée
Cette distinction est importante.
Ouverture et préspécification ne sont pas synonymes.
Une étude exploratoire peut rendre accessibles :
toutes ses données ;
tout son code ;
ses décisions ;
ses analyses alternatives ;
ses limitations.
Elle peut être extrêmement transparente tout en ne prétendant jamais avoir testé des hypothèses définies avant les observations.
À l’inverse, une étude peut être préenregistrée mais ne partager aucune donnée ni aucun code.
La science ouverte est donc un ensemble de dimensions différentes, pas une pratique unique.
Les données ouvertes : permettre aux autres de regarder derrière le tableau
Un article contient généralement des résumés :
moyennes ;
coefficients ;
figures ;
intervalles.
Les données permettent d’examiner les observations dont ces résumés proviennent.
Lorsqu’elles sont accessibles, d’autres chercheurs peuvent notamment :
vérifier certains calculs ;
rechercher des erreurs ;
appliquer une analyse alternative ;
combiner les données à d’autres études ;
étudier une nouvelle question ;
ou tenter de reproduire le résultat computationnel.
Les National Academies recommandent précisément que, lorsque les résultats reposent sur des analyses computationnelles, les chercheurs fournissent suffisamment d’informations sur les données, méthodes et produits numériques pour permettre à d’autres de répéter l’analyse, sous réserve des limites légales ou éthiques.
La donnée ouverte transforme ainsi une partie de l’article :
« faites-nous confiance »
en :
« voici de quoi contrôler une partie de notre travail ».
Données ouvertes ne signifie pas données brutes sans explication
Un fichier contenant dix millions de nombres avec des colonnes intitulées :
V1 ;
V2 ;
V3 ;
ne constitue pas une documentation scientifique satisfaisante.
Pour être réutilisables, les données doivent être accompagnées d’informations permettant de comprendre :
les variables ;
les unités ;
les codes manquants ;
les transformations ;
les exclusions ;
l’origine des observations ;
les éventuelles restrictions.
L’ouverture sans documentation peut produire une disponibilité théorique mais une inutilisabilité pratique.
Les National Academies recommandent justement la conservation et la documentation des objets numériques scientifiques dans des dépôts durables afin qu’ils puissent être retrouvés et réutilisés.
Le code peut être aussi important que les données
Dans certaines recherches modernes, l’essentiel du raisonnement entre données brutes et résultat publié est contenu dans des milliers de lignes de code.
Un article peut écrire :
« les données ont été nettoyées et analysées avec un modèle approprié ».
Cette phrase ne permet pas de reconstruire :
les règles de nettoyage ;
les exclusions ;
l’ordre des transformations ;
les paramètres ;
les bibliothèques ;
les fonctions réellement utilisées.
Le code constitue alors une partie de la méthode.
Les National Academies soulignent explicitement qu’avec des processus computationnels complexes, la section « Méthodes » d’un article traditionnel ne suffit plus nécessairement pour assurer la reproductibilité. Données, code, modèles et environnement informatique peuvent devenir nécessaires.
Le code permet de découvrir des erreurs qui resteraient invisibles dans le texte
Supposons que l’article annonce :
« nous avons exclu les participants de moins de 18 ans ».
Le script contient accidentellement :
âge ≤ 18
au lieu de :
âge < 18.
Ou une variable est exprimée en grammes dans un fichier et interprétée comme kilogrammes.
Ou une ligne de code inverse deux catégories.
Ces erreurs peuvent produire un résultat entièrement reproductible par le même script, tout en étant scientifiquement incorrectes.
Rendre le code disponible permet à une autre personne :
de le relancer ;
mais aussi
de le lire et de le contester.
Reproductibilité et audit du code restent donc deux contrôles distincts.
Même le code ouvert peut être impossible à réexécuter
Un programme dépend de son environnement.
Bibliothèque version 2.1.
Système d’exploitation particulier.
Fichier externe.
Package retiré du réseau.
Algorithme utilisant un générateur pseudo-aléatoire.
Plusieurs années plus tard, le code peut ne plus fonctionner.
Les National Academies recommandent donc de documenter non seulement le programme mais également l’environnement computationnel, les dépendances, les paramètres et les éléments nécessaires à la reconstruction des calculs.
Cette exigence montre que la reproductibilité numérique est également un problème d’archivage à long terme.
« Disponible sur demande » n’est pas équivalent à un dépôt accessible
Un article peut indiquer :
« les données sont disponibles auprès de l’auteur sur demande raisonnable ».
Cette formule peut être nécessaire dans certains contextes.
Mais elle crée une dépendance :
l’auteur doit toujours être joignable ;
le fichier doit encore exister ;
la demande doit être acceptée ;
les conditions d’accès peuvent être ambiguës.
Un dépôt persistant fournit une solution généralement plus robuste lorsque le partage public est possible.
Les National Academies recommandent précisément des dépôts fiables et durables, accompagnés d’identifiants persistants permettant de relier clairement articles, données et code.
Le problème n’est donc pas seulement :
ouvrir aujourd’hui.
Il est aussi :
pouvoir retrouver demain.
Mais toutes les données ne doivent pas être publiques
La science ouverte rencontre ici une limite fondamentale.
Une base médicale peut contenir des informations permettant d’identifier des patients.
Une étude qualitative peut comporter des témoignages intimes.
Certaines données concernent :
sécurité nationale ;
espèces menacées ;
populations vulnérables ;
secrets industriels ;
obligations légales ou contractuelles.
Publier intégralement ces informations sous prétexte d’ouverture pourrait être scientifiquement irresponsable et moralement inadmissible.
Les National Academies reconnaissent explicitement que certaines données ou certains codes doivent rester non publics et recommandent alors de développer des mécanismes alternatifs permettant le contrôle.
L’objectif n’est donc pas :
tout ouvrir sans condition.
Il est plutôt :
rendre aussi contrôlable que possible ce qui peut raisonnablement l’être.
Anonymiser n’est pas toujours suffisant
Retirer le nom et l’adresse ne garantit pas qu’un individu ne puisse pas être réidentifié.
Une combinaison :
âge ;
lieu ;
profession ;
maladie rare ;
date
peut parfois suffire à retrouver une personne.
Plus les bases sont riches et plus elles peuvent être croisées avec d’autres sources, plus ce risque augmente.
Certaines données doivent donc être placées dans :
des environnements sécurisés ;
des accès contrôlés ;
des procédures d’autorisation.
Une recherche peut ainsi respecter l’esprit de la science ouverte sans mettre toutes les données sur Internet.
Le refus de partager doit être distingué de l’impossibilité de partager publiquement
Deux situations ne sont pas identiques.
« Nous ne pouvons pas publier publiquement les dossiers médicaux individuels, mais une procédure sécurisée permet à des chercheurs autorisés d’effectuer certaines vérifications. »
et
« Nous ne partagerons rien et ne fournirons aucune possibilité de contrôle. »
Le premier cas maintient une partie importante de la contrôlabilité.
Le second repose beaucoup davantage sur la confiance.
L’ouverture doit donc être évaluée relativement aux contraintes réelles du domaine, pas selon une règle binaire public / secret.
Le partage des données crée lui-même de nouvelles responsabilités
Une base peut être réutilisée pour tester des dizaines d’hypothèses auxquelles les chercheurs initiaux n’avaient jamais pensé.
C’est scientifiquement extraordinaire.
Mais cela recrée également :
comparaisons multiples ;
p-hacking ;
sélection de résultats.
L’ouverture n’abolit donc pas les problèmes statistiques.
Elle permet simplement à davantage de personnes de travailler sur les mêmes données.
Une analyse secondaire doit encore distinguer :
exploration ;
confirmation ;
hypothèses préspécifiées ;
et résultats découverts dans cette base.
Des données ouvertes peuvent améliorer la critique tout en augmentant le nombre d’opportunités de produire des analyses fragiles.
Le remède reste la transparence sur le statut de chaque analyse.
Une nouvelle analyse n’est pas une réplication indépendante
Supposons qu’une deuxième équipe télécharge les données d’une étude et obtienne la même conclusion avec une autre méthode statistique.
C’est très utile.
La conclusion semble robuste à certaines décisions analytiques.
Mais les mêmes participants, mesures et erreurs de collecte restent présents.
Nous n’avons pas obtenu une réplication au sens de nouvelles données.
Cette distinction est essentielle.
Les données ouvertes renforcent principalement :
reproductibilité computationnelle ;
réanalyse ;
robustesse analytique.
La réplication demande toujours une nouvelle confrontation au monde.
La transparence peut révéler que plusieurs équipes dépendaient en réalité des mêmes données
Elle possède également un avantage moins évident.
Une littérature peut sembler contenir :
dix articles ;
dix confirmations.
Grâce aux données et métadonnées, on découvre que six travaux reposent presque entièrement sur la même cohorte.
La connaissance de la provenance des données permet alors d’évaluer correctement l’indépendance des preuves.
L’ouverture améliore donc aussi la structure des futures revues systématiques.
Ouvrir le code ne remplace pas sa qualité
Un script peut être :
illisible ;
non documenté ;
extrêmement fragile ;
rempli de chemins locaux ;
impossible à utiliser sans fichiers absents.
Le simple dépôt du code respecte formellement une politique d’ouverture.
Il n’offre que peu de valeur pratique.
Comme pour le préenregistrement, il faut éviter la conformité de façade.
La question reste :
un autre chercheur peut-il réellement comprendre ce qui a été fait ?
Les licences et le crédit comptent également
Le partage demande du travail.
Préparer un jeu de données réutilisable peut prendre des semaines.
Documenter un logiciel également.
Si le système traite ces contributions comme des ressources anonymes gratuites, les chercheurs possèdent peu d’incitation à fournir ce travail.
Les National Academies recommandent donc que les données, logiciels et autres objets scientifiques numériques puissent recevoir des identifiants durables et des citations permettant d’attribuer du crédit à leurs créateurs.
Nous retrouvons la question institutionnelle précédente :
pour obtenir davantage d’ouverture, il faut aussi valoriser professionnellement le travail qui la rend possible.
Les standards TOP : passer des valeurs aux politiques
Dire :
« nous sommes favorables à la transparence »
est facile.
La difficulté consiste à convertir cette valeur en pratiques institutionnelles.
Les Transparency and Openness Promotion — TOP Guidelines, développées autour du Center for Open Science, proposent précisément un cadre modulaire permettant aux revues, financeurs et institutions de définir plusieurs niveaux d’exigence concernant différentes pratiques de transparence.
Le cadre actuel comporte huit standards modulaires, chacun pouvant être appliqué selon plusieurs niveaux de contrainte.
L’intérêt de cette architecture est de reconnaître que :
toutes les disciplines ne peuvent pas appliquer exactement les mêmes règles, tout en permettant aux institutions d’indiquer clairement ce qu’elles demandent réellement.
La science ouverte peut elle aussi devenir une collection de badges
« Open data ».
« Open materials ».
« Preregistered ».
« Registered Report ».
Ces labels transmettent de l’information.
Mais un danger culturel apparaît si le raisonnement devient :
badge présent → étude fiable.
Un jeu de données ouvert peut provenir d’une mauvaise mesure.
Un préenregistrement peut être vague.
Un Registered Report peut tester une théorie médiocre.
Un code parfaitement accessible peut implémenter une mauvaise analyse.
La bonne question reste toujours :
« quel problème particulier cette pratique contrôle-t-elle, et à quel point l’a-t-elle effectivement contrôlé dans cette étude ? »
La science ouverte devrait justement nous apprendre à regarder derrière les labels, pas à en fabriquer de nouveaux.
Préenregistrement, Registered Report, données et code ne contrôlent pas les mêmes erreurs
On peut résumer leur complémentarité ainsi :
| Pratique | Principal contrôle apporté | Ce qu’elle ne garantit pas |
|---|---|---|
| Préenregistrement | rend visibles hypothèses et analyses prévues avant le résultat ; limite HARKing et certaines flexibilités cachées | qualité de l’hypothèse, de la mesure ou de l’étude |
| Registered Report | ajoute un peer review pré-résultat et réduit la dépendance publication-résultat | vérité du résultat, absence de tout biais ou qualité parfaite des reviewers |
| Données accessibles | permettent vérification, réanalyse, réutilisation et certaines synthèses | bonne collecte, absence de biais ou réplication indépendante |
| Code accessible | permet de reconstruire et examiner les étapes computationnelles | validité scientifique du modèle ou correction conceptuelle de l’analyse |
| Protocoles et matériaux accessibles | facilitent la réplication et la compréhension exacte de la méthode | stabilité du phénomène dans de nouvelles données |
La force apparaît lorsque ces contrôles sont combinés.
Une étude entièrement ouverte peut encore échouer à se répliquer
Supposons :
protocole public ;
préenregistrement excellent ;
données accessibles ;
code reproduit avec succès ;
analyse confirmatoire exactement suivie.
Une autre équipe répète pourtant l’expérience et ne retrouve pas l’effet.
C’est possible.
La première étude pouvait avoir rencontré :
une fluctuation inhabituelle ;
un contexte particulier ;
un effet très hétérogène ;
une condition inconnue.
La science ouverte ne supprime pas la contingence empirique du monde.
Elle améliore énormément notre capacité à comprendre pourquoi le désaccord est apparu.
Nous savons ce qui avait été prévu.
Nous pouvons vérifier les calculs.
Nous pouvons comparer les protocoles.
L’échec devient donc plus facile à diagnostiquer.
C’est déjà un progrès considérable.
Une étude fermée peut pourtant être excellente
Le raisonnement inverse doit être conservé.
Une ancienne expérience réalisée en 1980 peut être extraordinairement robuste sans avoir :
OSF ;
GitHub ;
préenregistrement numérique ;
dépôt de données moderne.
Ses résultats peuvent avoir été répétés pendant quarante ans par des centaines d’équipes.
La science ouverte améliore certains contrôles.
Elle ne redéfinit pas rétroactivement la validité de toutes les connaissances antérieures.
Dans certaines situations, la convergence indépendante des résultats fournit une validation beaucoup plus forte que la disponibilité du fichier informatique original.
Transparence et reproductibilité ne sont pas synonymes non plus
Une étude peut partager toutes ses données et son code.
Personne ne parvient pourtant à reproduire le résultat à cause d’un bug.
La transparence a alors permis de découvrir la non-reproductibilité.
C’est précisément son utilité.
Évaluer une pratique uniquement selon :
« le résultat a-t-il finalement été reproduit ? »
manque une partie du point.
Une bonne infrastructure scientifique doit rendre les succès et les échecs de contrôle visibles.
La science ouverte peut rendre la science visuellement plus désordonnée
Davantage de données ouvertes signifie davantage de réanalyses contradictoires.
Davantage de Registered Reports signifie davantage d’hypothèses réfutées publiquement.
Davantage de réplications signifie davantage d’échecs visibles.
Davantage de corrections signifie davantage de problèmes officiellement documentés.
Le public peut alors avoir l’impression :
« auparavant tout marchait ; maintenant tout est contesté ».
La conclusion peut être exactement inverse.
L’ancien système pouvait simplement cacher davantage d’échecs.
Une science transparente peut paraître moins propre précisément parce qu’elle expose la recherche telle qu’elle est réellement.
Cette idée rejoint directement le biais de publication.
La transparence ne doit pas devenir une arme rhétorique
Supposons qu’un chercheur ne puisse rendre publiques ses données parce qu’elles contiennent des informations médicales sensibles.
Il serait injustifié de conclure :
« il cache quelque chose ».
Supposons à l’inverse que les données puissent raisonnablement être partagées mais que les auteurs refusent toute vérification sans explication.
Cette situation mérite davantage de prudence.
La bonne évaluation doit donc demander :
quelles contraintes existent réellement et quelles solutions alternatives ont été proposées ?
La science ouverte repose sur une norme de contrôlabilité proportionnée, pas sur une suspicion automatique envers toute restriction.
Une culture de la correction est aussi importante qu’une culture de l’ouverture
Mettre un code en ligne n’empêche pas qu’une erreur soit découverte six mois plus tard.
Que se passe-t-il alors ?
Une institution saine doit permettre :
de corriger le script ;
de documenter la modification ;
de mettre à jour l’article ;
de prévenir les utilisateurs des données ;
et, si nécessaire, de réviser les conclusions.
La science ouverte atteint sa véritable utilité lorsque l’ouverture facilite l’autocorrection.
Si découvrir une erreur entraîne uniquement une sanction sociale suffisamment forte pour pousser les chercheurs à la cacher, la transparence risque de devenir contre-productive.
Nous développerons précisément cette question dans la prochaine fiche sur corrections et rétractations.
Les réformes elles-mêmes doivent être soumises à l’expérience
C’est une leçon particulièrement importante de la crise de reproductibilité.
Le préenregistrement semble rationnel.
Les Registered Reports aussi.
Les données ouvertes aussi.
Mais aucune réforme ne devrait être protégée par le raisonnement :
« son principe est manifestement bon, donc elle fonctionne nécessairement ».
Nous devons étudier :
si les préenregistrements sont suffisamment précis ;
si les déviations sont correctement signalées ;
si les Registered Reports réduisent réellement certains biais ;
si les données ouvertes sont réutilisées ;
si les codes déposés fonctionnent ;
si les nouvelles règles créent de nouvelles contraintes ou effets pervers.
La métarecherche doit donc examiner la science ouverte elle-même.
C’est une condition de cohérence : une réforme née de l’autocritique scientifique doit accepter d’être à son tour critiquée scientifiquement.
L’ouverture doit être adaptée au type de recherche
Une expérience contrôlée, une enquête ethnographique, une étude de génomique et une simulation astrophysique ne produisent pas les mêmes objets.
Dans certaines disciplines, le code constitue le cœur de la reproductibilité.
Dans d’autres, ce sont :
les matériaux ;
les protocoles ;
les images ;
les échantillons biologiques ;
les archives.
Le Center for Open Science reconnaît explicitement que les formes de planification, partage et reporting doivent varier selon les méthodes et les disciplines, même si l’objectif général de traçabilité reste commun.
Une bonne science ouverte est donc pluraliste dans ses outils et commune dans ses principes.
Le véritable principe commun : rendre les affirmations contrôlables
Préenregistrement.
Données.
Code.
Protocoles.
Registered Reports.
Ces pratiques semblent très différentes.
Mais elles poursuivent finalement une même ambition.
Devant une affirmation, un chercheur extérieur devrait pouvoir déterminer autant que raisonnablement possible :
comment cette conclusion a été produite ;
quelles décisions l’ont précédée ;
quelles analyses étaient prévues ;
quels écarts sont apparus ;
quelles données soutiennent le résultat ;
comment les calculs conduisent aux chiffres publiés ;
et
quelles parties de l’inférence peuvent être contrôlées indépendamment.
C’est cette possibilité de contrôle qui constitue le cœur épistémologique de la science ouverte.
De « faites-nous confiance » à « voici comment vérifier »
La science a toujours reposé sur une certaine confiance.
Personne ne peut personnellement refaire toutes les expériences qu’il cite.
Mais une institution scientifique robuste essaie de réduire la quantité de confiance aveugle nécessaire.
Le préenregistrement permet de vérifier certaines affirmations sur la chronologie des hypothèses.
Les Registered Reports permettent de savoir qu’une partie du peer review a précédé les résultats.
Les données permettent d’examiner les observations.
Le code permet de reconstruire certaines analyses.
Les protocoles facilitent les réplications.
Aucun outil n’élimine la confiance.
Ensemble, ils déplacent progressivement le système depuis :
« croyez notre récit »
vers :
« voici davantage d’éléments permettant d’évaluer notre récit ».
La science ouverte est donc un moyen, pas une fin
Le but de la recherche n’est pas :
produire des préenregistrements ;
déposer des fichiers ;
obtenir des badges.
Le but reste :
construire des connaissances suffisamment fiables sur le monde.
L’ouverture est utile lorsqu’elle rend :
les erreurs plus difficiles à cacher ;
les analyses plus faciles à contrôler ;
les hypothèses plus faciles à distinguer rétrospectivement ;
les réplications plus faciles à réaliser ;
les résultats manquants plus faciles à identifier ;
les corrections plus faciles à propager.
Une procédure qui ne remplit aucune de ces fonctions n’acquiert pas une valeur scientifique simplement parce qu’elle est appelée open science.
La science ouverte renforce finalement le principe central de cette rubrique
Nous sommes partis d’une question :
« Comment construire des connaissances suffisamment fiables lorsque nous pouvons nous tromper ? »
La science ouverte apporte une réponse institutionnelle supplémentaire :
en laissant davantage de traces de ce que nous avons fait et en permettant davantage à d’autres personnes de le contrôler.
Elle ne supprime :
ni l’erreur ;
ni le biais ;
ni les conflits ;
ni l’incertitude.
Elle cherche plutôt à faire en sorte que ces problèmes aient moins d’endroits où rester invisibles.
C’est exactement l’objectif général de la méthode scientifique comprise comme système organisé de contrôle des erreurs.
À retenir
Le préenregistrement crée une trace datée des principales décisions prises avant la connaissance des résultats pertinents. Sa fonction essentielle est de permettre de distinguer plus clairement analyses confirmatoires et exploratoires, de rendre visibles les déviations et de limiter certaines formes de HARKing, de p-hacking et de rapport sélectif. Il n’interdit ni l’exploration ni les modifications justifiées ; celles-ci doivent simplement être identifiables.
Les Registered Reports vont plus loin en déplaçant une partie de la revue par les pairs avant la connaissance des résultats. Après évaluation de la question et de la méthode, une revue peut accorder une acceptation de principe, la publication ne dépendant alors plus de l’obtention d’un résultat positif ou spectaculaire si l’étude est correctement exécutée et rapportée. Le Center for Open Science indique aujourd’hui que plus de 300 revues ont adopté ce format sous une forme régulière ou ponctuelle.
Les premiers travaux de métarecherche suggèrent que cette modification du système éditorial change profondément ce qui devient visible. Dans l’étude de Scheel, Schijen et Lakens, environ 44 % des Registered Reports de psychologie soutenaient leur première hypothèse testée contre 96 % des articles standards comparés. Cette différence est cohérente avec une réduction de la publication sélective et/ou de l’inflation des résultats positifs, sans permettre d’attribuer automatiquement tout l’écart à une cause unique.
Le partage des données et du code répond à d’autres problèmes. Il permet notamment de reconstruire certaines analyses, rechercher des erreurs, réaliser des analyses de robustesse et réutiliser les résultats. Les National Academies soulignent qu’une section méthodologique traditionnelle devient souvent insuffisante lorsque les conclusions reposent sur des pipelines computationnels complexes ; données, code, paramètres et environnement informatique peuvent alors faire partie intégrante de la méthode nécessaire à la reproductibilité.
Mais science ouverte ne signifie pas ouverture absolue. Confidentialité, risques de réidentification, contraintes juridiques, sécurité ou droits légitimes peuvent interdire la diffusion publique de certaines données. Il faut alors chercher d’autres mécanismes de contrôle : accès sécurisé, données dérivées, vérification indépendante ou procédures d’autorisation. Les National Academies recommandent explicitement cette adaptation lorsque données ou code ne peuvent être rendus publics.
Enfin, aucune de ces pratiques n’est un label de vérité. Une mauvaise étude peut être préenregistrée ; un mauvais modèle peut être open source ; une hypothèse fausse peut produire un excellent Registered Report. Leur force vient de ce qu’elles rendent certaines erreurs plus difficiles à produire discrètement et certaines vérifications plus faciles à effectuer.
La question essentielle n’est donc pas :
« Cette étude fait-elle de l’open science ? »
mais :
« Quelles parties de son processus sont devenues réellement traçables et contrôlables grâce à ces pratiques, et quelles possibilités d’erreur restent encore ouvertes ? »
Sources et références
- Center for Open Science, Preregistration, ressources actuelles sur la distinction entre analyses confirmatoires et exploratoires, les analyses conditionnelles et les relations entre préenregistrement et Registered Reports.
- Center for Open Science, Registered Reports, description du processus Stage 1, de l’acceptation de principe et des conditions du peer review avant connaissance des résultats ; plus de 300 revues participent actuellement au dispositif sous différentes formes.
- Scheel, Anne M., Schijen, Mitchell R. M. J. & Lakens, Daniël, « An Excess of Positive Results: Comparing the Standard Psychology Literature With Registered Reports », *Advances in Methods and Practices in Psychological Science*, 2021, 4(2), DOI 10.1177/25152459211007467.
- National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303 : recommandations concernant données, code, environnement computationnel, dépôts durables et solutions alternatives lorsque les objets scientifiques ne peuvent être publiquement accessibles.
- National Academies of Sciences, Engineering, and Medicine, Open Science by Design: Realizing a Vision for 21st Century Research, National Academies Press, 2018, DOI 10.17226/25116 : partage documenté des données, logiciels et workflows, archivage persistant et citation des objets scientifiques numériques.
- Center for Open Science, Transparency and Openness Promotion — TOP Guidelines, cadre modulaire actuel destiné aux revues, financeurs et institutions pour traduire les principes de transparence en politiques explicites.