Préenregistrement et rapports enregistrés : comment distinguer exploration, prédiction et confirmation ?
Une même donnée n’a pas toujours la même valeur
Une étude découvre une relation entre deux variables. Le résultat peut paraître impressionnant, mais sa force dépend en partie d’une question rarement visible dans l’article final :
Cette relation avait-elle été prédite avant l’examen des données, ou a-t-elle été découverte parmi de nombreuses analyses possibles ?
Dans les deux cas, le résultat peut être réel. Pourtant, sa valeur confirmatoire n’est pas la même.
Une hypothèse formulée avant l’observation prend un risque. Elle indique à l’avance ce qui devrait se produire. Si le résultat apparaît, la théorie reçoit un soutien relativement fort.
Une hypothèse construite après l’observation bénéficie au contraire d’une information qu’elle est censée expliquer. Elle peut être intéressante et féconde, mais les mêmes données ne peuvent pas constituer à la fois sa source principale et une confirmation indépendante. Cette distinction oppose deux fonctions essentielles de la recherche :
- l’exploration, qui cherche des régularités et produit des hypothèses ;
- la confirmation, qui met à l’épreuve des hypothèses déjà formulées.
Le préenregistrement et les rapports enregistrés cherchent à rendre cette distinction plus visible. Ils ne suppriment ni la créativité, ni l’interprétation, ni les changements de méthode. Ils conservent une trace de ce qui avait été décidé avant la connaissance des résultats.
L’exploration est indispensable
Une image trop simple de la méthode scientifique présente le chercheur comme une personne qui formule d’abord une hypothèse précise, construit ensuite une expérience parfaitement déterminée et obtient enfin une réponse claire. La recherche réelle est souvent moins linéaire. Un scientifique peut :
- examiner des données ;
- remarquer une anomalie ;
- modifier une catégorie ;
- comparer plusieurs graphiques ;
- découvrir une régularité inattendue ;
- reformuler sa question.
Cette exploration est l’une des principales sources de découverte. Charles Sanders Peirce accordait une place centrale à l’abduction, c’est-à-dire à la production d’une hypothèse susceptible d’expliquer un fait surprenant. Une telle hypothèse ne pouvait pas toujours être anticipée avant l’observation. Il serait donc absurde d’interdire aux chercheurs de regarder librement leurs données ou d’examiner des pistes inattendues. Le problème ne vient pas de l’exploration. Il apparaît lorsqu’un résultat exploratoire est présenté comme la confirmation d’une prédiction formulée à l’avance.
Découvrir une hypothèse n’est pas la confirmer
Supposons qu’un chercheur mesure vingt variables et découvre une corrélation forte entre deux d’entre elles. Cette corrélation peut correspondre à un phénomène réel. Mais elle peut aussi apparaître par hasard parmi les nombreuses relations examinées. Si le chercheur formule ensuite une théorie expliquant précisément cette association, il a accompli un travail légitime de découverte. Pour confirmer l’hypothèse, il doit idéalement la tester sur de nouvelles données. Le premier ensemble a servi à :
- repérer la régularité ;
- construire l’explication ;
- choisir les variables ;
- parfois définir le sens attendu de l’effet.
Il ne constitue donc pas une vérification entièrement indépendante.
La distinction peut être résumée ainsi :
Les données exploratoires suggèrent ce qu’il faut croire.
Les données confirmatoires testent si nous avions raison de le croire.
La double utilisation des données
Utiliser les mêmes données pour construire et évaluer un modèle produit un risque de surestimation. Un modèle peut s’adapter aux particularités de l’échantillon, y compris à son bruit. Il semble alors excellent sur les données qui ont servi à le créer, mais fonctionne moins bien sur de nouvelles observations. Ce problème existe :
- en statistique ;
- en psychologie ;
- en économie ;
- en apprentissage automatique ;
- dans les enquêtes historiques ;
- dans l’analyse politique.
La solution n’est pas toujours de séparer parfaitement deux ensembles de données. Certaines données sont rares ou coûteuses. Mais il faut au minimum reconnaître la dépendance entre la découverte et l’évaluation.
Une conclusion comme :
« Nous avons identifié une régularité prometteuse qui demande une confirmation indépendante »
est plus fidèle qu’une affirmation présentant immédiatement le résultat comme une loi établie.
Qu’est-ce que le préenregistrement ?
Le préenregistrement consiste à déposer, avant l’analyse principale des résultats, une description datée du projet de recherche.
Selon le domaine, ce document peut préciser :
- la question ;
- les hypothèses ;
- les variables ;
- la population ;
- la taille de l’échantillon ;
- les critères d’inclusion et d’exclusion ;
- le plan d’analyse ;
- les critères de réussite ;
- les sous-groupes prévus ;
- les modalités d’arrêt de la collecte.
Le document est conservé dans un registre ou une archive disposant d’une date vérifiable.
Le préenregistrement crée ainsi un point de comparaison entre :
- ce qui était prévu ;
- ce qui a réellement été réalisé ;
- ce qui a été rapporté dans l’article.
Son intérêt principal n’est pas d’empêcher toute modification. Il consiste à rendre visible l’histoire méthodologique de l’étude.
Enregistrement et préenregistrement
Les termes sont parfois utilisés de manière interchangeable, mais une distinction est utile.
L’enregistrement
L’enregistrement indique principalement qu’une étude existe.
Il peut contenir :
- le titre ;
- les responsables ;
- les dates ;
- les grandes lignes du protocole ;
- les critères principaux.
Son objectif est notamment d’éviter qu’une étude disparaisse entièrement si ses résultats sont défavorables.
Le préenregistrement
Le préenregistrement décrit plus précisément les décisions prises avant la connaissance des résultats.
Il cherche à distinguer les analyses prévues des analyses ajoutées ensuite.
Un enregistrement minimal répond surtout à la question :
Combien d’études ont été entreprises ?
Un préenregistrement détaillé permet aussi de demander :
Les hypothèses et les analyses publiées correspondent-elles à ce qui avait été prévu ?
Pourquoi la date compte
Un préenregistrement réalisé après l’examen des données perd une grande partie de sa fonction. Le chercheur connaît alors déjà les régularités, les anomalies ou les résultats favorables. Il peut inconsciemment construire un plan correspondant à ce qu’il a vu. Le document doit donc être enregistré avant l’étape qu’il prétend encadrer. Cela peut signifier :
- avant toute collecte ;
- avant l’accès aux résultats ;
- avant la levée d’un aveugle ;
- avant l’analyse d’une base déjà existante.
Dans une étude utilisant des données anciennes, le préenregistrement reste possible si le chercheur n’a pas encore examiné les relations concernées. Mais cette ignorance est plus difficile à vérifier.
La transparence doit alors préciser ce qui était déjà connu.
Un préenregistrement n’est pas nécessairement public immédiatement
Dans certains domaines, les chercheurs craignent qu’une idée soit copiée avant la publication. Un préenregistrement peut être placé sous embargo pendant une durée définie. La date et le contenu restent enregistrés, mais le document n’est rendu public que plus tard. Cette possibilité protège une partie de la priorité intellectuelle tout en conservant une trace des décisions antérieures. L’embargo ne doit toutefois pas permettre de cacher indéfiniment les études défavorables. La fonction épistémique du registre demande qu’il devienne finalement accessible ou qu’une autorité compétente puisse vérifier son existence.
Ce que le préenregistrement cherche à limiter
Le préenregistrement vise plusieurs formes de flexibilité méthodologique.
Le HARKing
L’hypothèse est formulée après les résultats, puis présentée comme une prédiction préalable.
Le changement de critère principal
La mesure centrale est remplacée par une variable donnant un résultat plus favorable.
La sélection des analyses
Plusieurs méthodes sont essayées, mais seule celle qui produit le résultat attendu est présentée.
L’arrêt opportuniste
La collecte s’arrête lorsque le seuil statistique souhaité est atteint.
La sélection des sous-groupes
Un effet absent dans l’ensemble apparaît dans un groupe choisi après coup.
La suppression des résultats négatifs
Certaines variables ou conditions disparaissent de l’article final.
Le préenregistrement ne rend pas ces pratiques impossibles. Il permet de les repérer plus facilement si le document est suffisamment précis.
La flexibilité analytique
Une étude contient de nombreuses décisions légitimes.
Le chercheur doit parfois choisir :
- une définition ;
- une transformation ;
- un modèle ;
- une manière de traiter les données manquantes ;
- un seuil ;
- une variable de contrôle.
Lorsque plusieurs choix sont raisonnables, le résultat peut dépendre du chemin sélectionné. Si les décisions sont influencées par la direction des résultats, le taux d’erreur réel devient supérieur à celui annoncé par les tests statistiques ordinaires. Le préenregistrement réduit cette difficulté en fixant une partie des choix avant l’analyse. Il ne supprime pas toutes les décisions et ne garantit pas que les choix prévus soient les meilleurs. Il rend la flexibilité plus visible.
Un mauvais plan préenregistré reste un mauvais plan
Le préenregistrement ne transforme pas une méthode fragile en méthode solide.
Une étude peut être préenregistrée tout en souffrir :
- d’un échantillon trop petit ;
- d’une mauvaise mesure ;
- d’une hypothèse vague ;
- d’un modèle statistique inadéquat ;
- d’une procédure biaisée ;
- d’une faible validité externe.
Le document prouve seulement que certains choix étaient antérieurs aux résultats. Cela peut rendre l’étude plus interprétable, mais pas nécessairement plus juste.
La qualité méthodologique doit être évaluée indépendamment.
Le risque d’un préenregistrement vague
Un plan trop général peut laisser presque toutes les décisions ouvertes. Par exemple :
« Nous étudierons la relation entre les variables principales avec des méthodes statistiques appropriées. »
Cette formulation n’indique pas :
- quelles variables sont principales ;
- quelle relation est attendue ;
- quel modèle sera utilisé ;
- quels cas seront exclus ;
- quel résultat soutiendra l’hypothèse.
Le document peut alors être invoqué comme preuve de rigueur sans réellement contraindre l’analyse.
Un préenregistrement utile doit être suffisamment précis pour permettre à un lecteur de distinguer une analyse prévue d’une analyse ajoutée.
Le préenregistrement excessivement détaillé
L’erreur inverse consiste à vouloir déterminer chaque décision avant toute observation. Cette rigidité peut être contre-productive.
Une recherche peut rencontrer :
- une mesure qui fonctionne mal ;
- un recrutement différent de ce qui était prévu ;
- une distribution inattendue ;
- un événement extérieur ;
- une erreur dans le code ;
- une question nouvelle importante.
Refuser toute adaptation conduirait parfois à appliquer mécaniquement une mauvaise méthode. Le bon préenregistrement ne supprime pas le jugement scientifique. Il organise la traçabilité des décisions :
Nous avions prévu A.
Un problème indépendant des résultats nous a conduits à B.
Nous rapportons les deux analyses et justifions le changement.
Déviation et transparence
S’écarter d’un préenregistrement n’est pas en soi une faute.
La signification dépend de trois questions :
- Pourquoi le changement a-t-il été effectué ?
- Quand la décision a-t-elle été prise ?
- Comment est-elle rapportée ?
Une modification peut être indispensable si une hypothèse du protocole se révèle manifestement fausse. Elle devient préoccupante lorsqu’elle est cachée et qu’elle favorise systématiquement une conclusion plus attractive. La transparence permet au lecteur d’attribuer le bon statut au résultat. Une analyse non prévue peut rester scientifiquement intéressante. Elle doit simplement être présentée comme exploratoire.
Confirmatoire et exploratoire ne signifient pas vrai et faux
Une analyse confirmatoire n’est pas automatiquement vraie. Une mauvaise hypothèse peut être proprement testée et réfutée. Une analyse exploratoire n’est pas automatiquement fausse. Elle peut découvrir un phénomène réel. La distinction porte sur le degré de risque de sélection et sur la nature du soutien fourni. Une analyse confirmatoire répond à une hypothèse définie avant les résultats.
Une analyse exploratoire recherche ou précise une structure à partir des résultats observés. La première fournit généralement une preuve plus forte. La seconde fournit souvent une hypothèse plus riche. La science a besoin des deux.
Une continuité plutôt qu’une séparation absolue
Toutes les analyses ne se répartissent pas parfaitement entre exploration pure et confirmation pure. Plusieurs situations intermédiaires existent. Une hypothèse générale peut être ancienne, mais la mesure précise est choisie après l’examen des données. Un chercheur peut prévoir la direction d’un effet sans prévoir son amplitude. Une analyse peut être partiellement préenregistrée, tandis que certains choix restent ouverts. Il est donc préférable de parler d’un degré d’indépendance entre l’hypothèse et les données.
Plus les décisions importantes ont été influencées par les résultats, plus une confirmation indépendante devient nécessaire.
Le préenregistrement en recherche qualitative
Le préenregistrement a été développé surtout dans les recherches quantitatives et expérimentales. Son application aux méthodes qualitatives demande une adaptation. Une enquête ethnographique, un entretien ou une analyse historique peuvent évoluer au contact du terrain. Le chercheur ne connaît pas toujours à l’avance :
- les thèmes importants ;
- les catégories ;
- les participants accessibles ;
- les événements pertinents.
Un plan excessivement rigide serait contraire à la méthode. Mais certaines décisions peuvent tout de même être documentées :
- la question initiale ;
- le terrain ;
- les critères de sélection ;
- la position du chercheur ;
- les méthodes de collecte ;
- les transformations du projet ;
- la distinction entre thèmes anticipés et émergents.
L’objectif devient moins de verrouiller l’analyse que de conserver une mémoire réflexive de son évolution.
Le préenregistrement des données existantes
Une grande partie de la recherche utilise des bases déjà constituées.
Le chercheur peut préenregistrer une analyse avant d’avoir examiné les relations pertinentes. Mais plusieurs difficultés apparaissent :
- il connaît peut-être déjà certaines statistiques ;
- d’autres publications ont utilisé la base ;
- la frontière entre connaissance générale et connaissance des résultats est floue ;
- les données peuvent être facilement consultées.
Il faut préciser :
- ce qui était déjà connu ;
- quelles analyses avaient déjà été effectuées ;
- si les données étaient accessibles ;
- quelles parties étaient maintenues cachées.
Dans certains projets, une personne indépendante peut préparer les données ou conserver certaines variables masquées jusqu’à la finalisation du plan.
Les analyses en aveugle
L’analyse en aveugle constitue une autre méthode pour séparer les décisions des résultats.
Les chercheurs peuvent :
- masquer l’identité des groupes ;
- modifier temporairement certaines valeurs ;
- préparer le code sur des données simulées ;
- fixer les exclusions avant de révéler la condition expérimentale.
Ils peuvent ainsi résoudre les problèmes de traitement sans savoir quelle décision favorise leur hypothèse. Cette méthode est particulièrement utile lorsque le plan ne peut pas prévoir chaque détail.
Le préenregistrement et l’aveugle sont complémentaires : l’un conserve les intentions, l’autre limite l’accès aux informations susceptibles d’orienter les choix.
Le préenregistrement des hypothèses
Une hypothèse préenregistrée doit idéalement préciser :
- les variables concernées ;
- la direction attendue ;
- la population ;
- les conditions ;
- le critère de confirmation ;
- les principales alternatives.
Une formulation comme :
« Les variables seront liées »
est peu contraignante.
Une formulation plus informative serait :
« Dans la population étudiée, une augmentation de A sera associée à une diminution de B, selon la mesure définie et après les contrôles annoncés. »
Plus l’hypothèse est précise, plus le test est risqué et informatif. Mais une précision artificielle sans base théorique peut conduire à des prédictions arbitraires.
Le préenregistrement de la taille de l’échantillon
Déterminer à l’avance la taille de l’échantillon limite l’arrêt opportuniste de la collecte. Sans règle préalable, un chercheur peut examiner régulièrement les résultats et arrêter lorsque le seuil souhaité apparaît. Cette pratique augmente la probabilité de faux positifs. Plusieurs stratégies sont possibles :
- taille fixe ;
- analyse séquentielle correctement planifiée ;
- arrêt fondé sur des ressources indépendantes des résultats ;
- règle bayésienne définie à l’avance.
L’important est que la procédure d’arrêt soit compatible avec la méthode statistique utilisée et suffisamment documentée.
Le préenregistrement des exclusions
Les critères d’exclusion peuvent fortement influencer le résultat.
Un participant peut être exclu parce qu’il :
- n’a pas suivi les consignes ;
- présente une valeur extrême ;
- a interrompu l’expérience ;
- appartient à une catégorie particulière.
Certaines exclusions sont nécessaires. Mais décider après avoir vu leur influence crée un risque de sélection.
Le plan doit préciser autant que possible :
- les critères ;
- leur justification ;
- le traitement des cas ambigus.
Lorsque des exclusions imprévues sont ajoutées, il est utile de présenter aussi les résultats avec et sans ces décisions.
Le préenregistrement des analyses
Un plan d’analyse peut inclure :
- le modèle principal ;
- les variables de contrôle ;
- les transformations ;
- les interactions ;
- le traitement des données manquantes ;
- les seuils ;
- les tests secondaires.
Il n’est pas toujours possible d’anticiper chaque problème. Mais les éléments centraux doivent être suffisamment définis pour éviter qu’une méthode soit choisie uniquement parce qu’elle produit la conclusion désirée.
Les analyses supplémentaires restent possibles. Elles doivent être étiquetées et, si elles conduisent à une nouvelle hypothèse, être confirmées dans une étude ultérieure.
L’analyse exploratoire reste visible
Un article rigoureux peut présenter deux sections distinctes :
Analyses confirmatoires
Elles correspondent au plan préenregistré.
Analyses exploratoires
Elles ont été ajoutées après l’examen des résultats ou en réponse à une difficulté imprévue.
Cette séparation améliore l’information sans appauvrir la recherche.
Le lecteur peut attribuer un degré de confiance différent à chaque conclusion.
L’exploration n’est plus cachée. Elle devient une étape explicite du cycle scientifique.
Les rapports enregistrés
Les rapports enregistrés vont plus loin que le simple préenregistrement. Ils modifient l’ordre de l’évaluation éditoriale. Le processus comporte généralement deux étapes.
Première étape : avant les résultats
Les auteurs soumettent :
- la question ;
- la théorie ;
- les hypothèses ;
- la méthode ;
- le plan d’analyse ;
- parfois des données pilotes.
La revue évalue la pertinence du projet et la qualité du test.
Si le protocole est accepté, l’article reçoit une acceptation de principe.
Deuxième étape : après les résultats
Les auteurs réalisent l’étude et soumettent le manuscrit complet.
La publication finale dépend principalement du respect du protocole, de la qualité de l’exécution et de l’honnêteté du rapport, non de la direction du résultat.
Déplacer le moment de la critique
Dans le système traditionnel, une étude est souvent évaluée lorsque :
- les données ont déjà été collectées ;
- le budget est dépensé ;
- les erreurs de conception sont irréversibles ;
- les résultats sont connus.
Les évaluateurs peuvent repérer un problème impossible à corriger. Dans un rapport enregistré, la critique intervient avant la collecte principale. Les évaluateurs peuvent demander :
- une meilleure mesure ;
- une taille d’échantillon plus grande ;
- un contrôle supplémentaire ;
- une hypothèse plus précise ;
- une analyse adaptée.
Cette intervention précoce peut améliorer directement la qualité du test.
Séparer publication et résultat
L’un des principaux objectifs des rapports enregistrés est de réduire le biais de publication. Si une étude bien conçue est acceptée avant la connaissance de sa conclusion, un résultat nul ne rend plus l’article inutile aux yeux de la revue. La publication récompense alors :
- la qualité de la question ;
- la pertinence de l’hypothèse ;
- la rigueur de la méthode ;
- la capacité du test à produire une information.
Le chercheur a moins besoin de transformer chaque étude en succès théorique.
Une hypothèse non confirmée devient un résultat publiable.
L’acceptation de principe
L’acceptation de principe n’est pas une promesse inconditionnelle.
La revue peut refuser la publication finale si :
- le protocole n’a pas été suivi sans justification ;
- l’étude est mal exécutée ;
- les données sont insuffisantes ;
- les auteurs ne rapportent pas honnêtement les écarts ;
- des problèmes éthiques apparaissent.
Mais elle ne devrait pas rejeter l’article uniquement parce que le résultat est négatif, ambigu ou peu spectaculaire. Cette sécurité modifie les incitations.
Le chercheur peut se concentrer davantage sur la qualité du test que sur la production d’une conclusion favorable.
Les rapports enregistrés et la réplication
Le format convient particulièrement aux réplications.
Une équipe peut soumettre à l’avance :
- le protocole ;
- les critères de fidélité ;
- la puissance ;
- la définition d’une réussite ;
- l’interprétation des résultats possibles.
Les auteurs initiaux peuvent parfois participer à la vérification du protocole sans contrôler le verdict final.
La revue peut ainsi éviter deux accusations opposées :
- une réplication conçue pour échouer ;
- une interprétation modifiée après la connaissance du résultat.
La définition préalable des critères rend le désaccord plus précis.
Les rapports enregistrés et les résultats nuls
Un résultat nul peut être difficile à interpréter. Il peut indiquer :
- absence d’effet ;
- test insuffisant ;
- mesure inadéquate ;
- théorie trop imprécise.
Un rapport enregistré n’élimine pas cette difficulté. Mais il garantit davantage que :
- l’hypothèse était réelle ;
- la méthode était jugée capable de la tester ;
- la taille de l’échantillon avait été examinée ;
- le résultat n’a pas été sélectionné parmi de nombreuses analyses cachées.
Le résultat négatif devient donc plus informatif.
Les limites des rapports enregistrés
Le format ne convient pas à toutes les recherches. Il peut être difficile à utiliser pour :
- des découvertes imprévues ;
- des événements rares ;
- des archives nouvellement accessibles ;
- des enquêtes de terrain adaptatives ;
- des analyses urgentes ;
- des recherches exploratoires ;
- des projets très longs dont la méthode évolue.
Il demande également :
- du temps ;
- des évaluateurs disponibles ;
- une coordination éditoriale ;
- une prévision réaliste des ressources.
La science ne doit pas transformer un outil utile en obligation universelle indépendante des questions.
Le risque de bureaucratisation
Une réforme méthodologique peut produire une conformité formelle sans amélioration réelle.
Les chercheurs peuvent :
- remplir mécaniquement des formulaires ;
- copier des modèles ;
- produire des plans excessivement longs ;
- traiter l’enregistrement comme une tâche administrative ;
- multiplier les détails sans clarifier les décisions essentielles.
Le document devient alors difficile à lire et à comparer avec l’article final.
Une bonne pratique doit rechercher :
- la précision ;
- la pertinence ;
- la lisibilité ;
- la traçabilité.
La transparence n’est pas proportionnelle au nombre de pages.
Le risque de rigidité théorique
Un rapport enregistré favorise les hypothèses déjà suffisamment précises pour produire un test planifié. Il peut donc avantager :
- les paradigmes dominants ;
- les mesures établies ;
- les théories mûres ;
- les recherches à court terme.
Les idées nouvelles, les méthodes émergentes ou les enquêtes ouvertes peuvent être moins adaptées.
Une communauté scientifique équilibrée doit soutenir simultanément :
- des tests confirmatoires rigoureux ;
- des recherches exploratoires créatives.
La confirmation ne peut exister sans une phase de découverte.
Le risque de fausse sécurité
La présence d’un préenregistrement ou d’une acceptation de principe peut donner l’impression que l’étude est irréprochable. Mais les évaluateurs peuvent se tromper.
Le protocole peut reposer sur :
- une mauvaise théorie ;
- une mesure peu valide ;
- des hypothèses statistiques discutables ;
- une généralisation excessive.
Le format réduit certains biais. Il n’abolit pas la nécessité de lire et de critiquer l’étude.
Un badge méthodologique ne remplace pas le jugement.
Le préenregistrement et la théorie
Fixer une analyse avant les résultats ne suffit pas si l’hypothèse n’est pas correctement reliée à la théorie. Une étude peut tester une prédiction arbitraire et obtenir un résultat positif. La question reste :
Pourquoi cette prédiction était-elle attendue ?
Quelle alternative exclut-elle ?
Que nous apprend son succès ?
Un test confirmatoire doit idéalement être discriminant. Il ne suffit pas d’annoncer à l’avance qu’une corrélation quelconque apparaîtra.
La qualité de la confirmation dépend de la précision et du contenu de l’hypothèse.
Le risque des prédictions faciles
Une hypothèse peut être préenregistrée tout en prendre très peu de risques :
« Il existera une relation entre A et B. »
Si de nombreuses formes de relation sont acceptées, le résultat est peu informatif.
Une prédiction forte précise :
- la direction ;
- les conditions ;
- la mesure ;
- parfois l’ampleur ;
- les résultats comptant comme échec.
Le préenregistrement rend les engagements visibles. Il ne garantit pas qu’ils soient exigeants.
Les prédictions secondaires
Une étude peut comporter une hypothèse principale et plusieurs prédictions secondaires. La multiplicité augmente le risque que certaines réussissent par hasard. Le plan doit préciser :
- leur statut ;
- les corrections éventuelles ;
- leur relation à la théorie ;
- les priorités d’interprétation.
Une conclusion ne doit pas déplacer après coup toute son importance vers une prédiction secondaire favorable lorsque la prédiction principale échoue.
Les résultats secondaires peuvent générer de nouvelles hypothèses, mais leur statut doit rester clair.
Les tests auxiliaires
Une théorie ne produit pas seule une prédiction. Elle dépend aussi :
- d’une mesure ;
- d’un instrument ;
- d’un modèle statistique ;
- de conditions initiales.
Un échec peut venir de ces éléments.
Le préenregistrement doit donc éviter une image trop simple de la falsification. Il peut préciser :
- les contrôles de qualité ;
- les tests de manipulation ;
- les critères indiquant une mesure défectueuse ;
- les analyses alternatives prévues.
Mais ces tests auxiliaires ne doivent pas devenir une collection d’échappatoires permettant de protéger la théorie quel que soit le résultat.
Que faire lorsqu’un test de manipulation échoue ?
Dans certaines expériences, un test vérifie que l’intervention a bien modifié la variable supposée. Si ce test échoue, l’absence d’effet principal devient difficile à interpréter. Le protocole devrait idéalement préciser à l’avance :
- ce qui compte comme une manipulation suffisante ;
- si l’étude sera considérée comme non concluante ;
- quelles analyses resteront interprétables ;
- si les participants seront exclus.
Sans règle préalable, le chercheur peut décider après coup d’ignorer ou d’utiliser le test selon ce qui favorise sa conclusion.
La puissance et les effets minimaux
Un test confirmatoire doit être capable de détecter un effet suffisamment important pour la question.
Il faut donc définir :
- la taille minimale d’intérêt ;
- la précision nécessaire ;
- la taille d’échantillon correspondante.
Une étude trop petite peut produire un résultat ambigu, même avec un plan parfaitement préenregistré. À l’inverse, une étude très grande peut détecter une différence minuscule sans importance pratique.
La qualité confirmatoire demande une articulation entre :
- théorie ;
- taille de l’effet ;
- décision ;
- incertitude.
Préenregistrement et statistiques bayésiennes
Le préenregistrement n’est pas limité aux tests fréquentistes.
Une analyse bayésienne comporte aussi des choix :
- probabilités antérieures ;
- modèles ;
- critères de comparaison ;
- règles d’arrêt ;
- variables incluses.
Ces décisions peuvent être fixées ou justifiées avant les résultats. Une approche bayésienne permet parfois une collecte séquentielle plus naturelle, mais la règle d’arrêt et les interprétations doivent rester transparentes. La flexibilité ne disparaît pas avec un autre langage statistique.
Préenregistrement et apprentissage automatique
En apprentissage automatique, la séparation entre données d’entraînement, de validation et de test remplit une fonction proche. Le modèle est construit sur certaines données, puis évalué sur un ensemble indépendant. Mais l’ensemble de test peut perdre son indépendance s’il est consulté à de nombreuses reprises pour guider le développement. Les chercheurs finissent par adapter indirectement leurs modèles aux résultats du test. Une évaluation véritablement indépendante peut demander :
- un jeu caché ;
- une compétition avec accès limité ;
- une validation externe ;
- une réplication par une autre équipe.
La distinction entre découverte et confirmation réapparaît sous une forme technique.
Le préenregistrement des modèles prédictifs
Un projet prédictif peut préciser à l’avance :
- les variables accessibles ;
- la métrique ;
- le jeu de test ;
- les modèles comparés ;
- la référence minimale ;
- la procédure de sélection.
Cette planification évite de retenir uniquement la métrique ou le sous-groupe favorisant le modèle développé. Elle permet aussi de distinguer :
- optimisation ;
- évaluation finale ;
- généralisation.
Un modèle impressionnant sur les données utilisées pendant sa conception n’est pas encore confirmé.
Les recherches à faible nombre de cas
Certaines recherches portent sur :
- une maladie rare ;
- un événement unique ;
- une petite population ;
- une archive singulière.
Le préenregistrement peut rester utile pour documenter les intentions. Mais une analyse confirmatoire indépendante peut être impossible.
La force de la conclusion doit alors reposer davantage sur :
- la précision de la prédiction ;
- la convergence des traces ;
- la comparaison des alternatives ;
- la reproduction du raisonnement ;
- la transparence des données.
Le préenregistrement ne résout pas le problème fondamental de la rareté des informations.
Les études pilotes
Une étude pilote sert à tester :
- la faisabilité ;
- la compréhension des consignes ;
- la variabilité ;
- le fonctionnement des mesures ;
- les difficultés de recrutement.
Elle peut également suggérer une taille d’effet. Mais elle n’est généralement pas conçue pour fournir une confirmation définitive. Utiliser les résultats d’un pilote pour construire le protocole principal est légitime. Présenter ensuite le pilote comme une confirmation indépendante du même effet serait trompeur. Le statut de chaque phase doit être explicite.
Les données pilotes dans un rapport enregistré
Une revue peut accepter l’usage de données pilotes pour justifier :
- la faisabilité ;
- une estimation de variance ;
- le choix d’un instrument.
Mais si le protocole principal est fortement adapté au résultat précis du pilote, les deux études ne sont pas entièrement indépendantes. La confirmation principale doit venir des nouvelles données. Les informations pilotes participent à la construction de l’hypothèse et de la méthode.
Les résultats inattendus
Une étude confirmatoire peut produire une observation inattendue. Il serait absurde de l’ignorer. Le chercheur peut :
- rapporter le résultat ;
- préciser qu’il n’était pas prévu ;
- proposer une hypothèse ;
- organiser un nouveau test.
Cette séquence transforme la surprise en programme de recherche.
Le préenregistrement ne vise pas à rendre les scientifiques aveugles à l’inattendu. Il empêche seulement de transformer rétrospectivement la surprise en prédiction réussie.
Les analyses de suivi
Après un résultat inattendu, des analyses supplémentaires peuvent aider à comprendre :
- un sous-groupe ;
- une anomalie ;
- un mécanisme ;
- une erreur de mesure.
Ces analyses sont utiles pour générer des explications. Mais leur degré de liberté est souvent élevé. Elles ne doivent pas recevoir immédiatement le même poids que le test principal.
Une réplication dédiée peut ensuite confirmer ou abandonner l’hypothèse de suivi.
Le cycle complet de l’enquête
Un cycle scientifique sain peut suivre plusieurs étapes.
Observation
Un phénomène ou une anomalie est repéré.
Exploration
Plusieurs analyses et explications sont examinées.
Abduction
Une hypothèse explicative est formulée.
Précision
La théorie produit une prédiction testable.
Préenregistrement
Le protocole et les analyses principales sont consignés.
Test
De nouvelles données sont recueillies ou révélées.
Évaluation
Les résultats sont comparés aux prédictions.
Réplication
D’autres équipes ou méthodes examinent la stabilité.
Révision
La théorie est renforcée, limitée, modifiée ou abandonnée.
Ce cycle n’est pas toujours linéaire, mais il montre comment exploration et confirmation peuvent se succéder sans être confondues.
La séparation des équipes
Dans certains projets, une équipe explore les données tandis qu’une autre conduit le test confirmatoire. Cette séparation réduit la contamination entre découverte et évaluation.
Une première équipe peut :
- identifier une régularité ;
- construire une théorie ;
- définir une prédiction.
Une seconde équipe reçoit ensuite un protocole et de nouvelles données sans avoir participé à la sélection initiale. Cette organisation n’est pas toujours nécessaire ni possible. Mais elle renforce l’indépendance du test lorsque les enjeux sont élevés.
Les échantillons de découverte et de confirmation
Une base suffisamment grande peut être divisée.
Une partie sert à découvrir ou ajuster le modèle.
L’autre reste cachée jusqu’à ce que le plan soit fixé. Cette stratégie protège contre le surajustement. Mais si la seconde partie est consultée à plusieurs reprises, elle devient progressivement une nouvelle base de développement. Il peut alors être nécessaire de conserver un troisième ensemble final ou de rechercher une validation externe.
L’indépendance est une ressource qui peut être consommée.
La valeur des résultats négatifs préenregistrés
Un résultat négatif obtenu dans une étude préenregistrée et suffisamment puissante possède une valeur particulière.
Il indique que :
- l’hypothèse était réellement formulée ;
- le test n’a pas été sélectionné après coup ;
- l’étude avait une capacité suffisante ;
- le résultat ne dépend pas d’une disparition éditoriale.
Il peut conduire à :
- réduire la probabilité de l’hypothèse ;
- exclure un effet important ;
- limiter un domaine ;
- réviser un mécanisme.
Un bon résultat négatif est souvent plus informatif qu’un résultat positif issu d’une analyse très flexible.
La publication des écarts
Un article fondé sur un préenregistrement devrait permettre une comparaison simple. Il peut indiquer :
- analyses prévues et réalisées ;
- critères ajoutés ;
- exclusions modifiées ;
- raisons des changements ;
- résultats confirmatoires ;
- résultats exploratoires.
Cette présentation ne doit pas transformer l’article en rapport administratif illisible. L’objectif est de fournir une carte claire de l’évolution du projet. Le lecteur doit pouvoir répondre :
Quels résultats étaient réellement prédits ?
Lesquels ont été découverts ensuite ?
Les badges et labels
Certaines revues attribuent des badges indiquant :
- données ouvertes ;
- matériels ouverts ;
- préenregistrement.
Ces signes peuvent encourager les pratiques transparentes. Mais un badge simplifie une réalité complexe. Un préenregistrement peut être précis ou vague. Des données peuvent être ouvertes mais inutilisables. Un matériel partagé peut être incomplet. Le badge constitue un indice d’ouverture, non une évaluation complète de la qualité.
Le lecteur doit encore examiner ce qui a réellement été partagé.
Le contrôle des préenregistrements
Un préenregistrement déposé dans une archive n’est pas nécessairement lu par la revue ou les évaluateurs. Les articles peuvent mentionner un plan sans comparer précisément leurs analyses au document. La valeur du dispositif dépend donc de son usage effectif. Une bonne évaluation peut demander :
- un lien stable ;
- une date ;
- une liste des écarts ;
- un tableau de correspondance ;
- une justification.
Sans ce contrôle, le préenregistrement risque de devenir symbolique.
Le problème des plans multiples
Un chercheur peut déposer plusieurs préenregistrements et ne mettre en avant que celui correspondant le mieux aux résultats. Il peut également créer des versions successives sans expliquer clairement leur relation. Cette pratique recrée une sélection au niveau des plans.
Les archives doivent donc conserver :
- les versions ;
- les dates ;
- les modifications ;
- le statut de chaque document.
La transparence demande une histoire complète, pas seulement le dernier plan présenté.
Le préenregistrement ne supprime pas le biais de publication
Une étude peut être préenregistrée puis ne jamais être publiée. Le registre permet parfois de voir qu’elle existe, mais ses résultats peuvent rester inconnus. Le préenregistrement réduit donc certains biais de compte rendu et rend la disparition plus détectable. Il ne garantit pas la diffusion complète. Pour réduire le biais de publication, il faut aussi :
- publier les résultats ;
- rendre les rapports accessibles ;
- imposer une déclaration finale ;
- utiliser des rapports enregistrés ;
- valoriser les conclusions négatives.
La distinction entre protocole et article
Le protocole présente ce qui devait être fait. L’article présente ce qui a été fait et observé. Comparer les deux permet de repérer :
- les changements ;
- les omissions ;
- les analyses nouvelles ;
- les variations de critères.
Cette comparaison est particulièrement importante dans les domaines où une décision médicale, économique ou politique dépend de la conclusion.
Un article isolé peut paraître parfaitement cohérent tout en être très différent du projet initial.
L’effet du préenregistrement sur la taille des résultats
Les études préenregistrées et les rapports enregistrés produisent parfois une proportion plus élevée de résultats nuls ou des effets plus modestes que la littérature traditionnelle. Cette différence peut avoir plusieurs explications :
- réduction du biais de publication ;
- limitation des analyses flexibles ;
- protocoles plus exigeants ;
- sélection différente des questions ;
- meilleure visibilité des échecs.
Il faut éviter de conclure que le préenregistrement rend les phénomènes moins réels. Il peut simplement donner une estimation moins sélectionnée de la fréquence et de l’ampleur des effets.
Une science moins spectaculaire mais plus informative
Une littérature fondée sur des rapports enregistrés peut contenir davantage de conclusions comme :
- l’effet est faible ;
- l’incertitude reste importante ;
- l’hypothèse n’est pas confirmée ;
- le mécanisme proposé ne suffit pas ;
- une réplication est nécessaire.
Cette science paraît moins spectaculaire. Elle peut être plus utile.
La recherche ne devrait pas être évaluée selon sa capacité à produire continuellement des découvertes positives, mais selon sa capacité à réduire l’incertitude.
Préenregistrement et autonomie scientifique
Certains chercheurs craignent que le préenregistrement limite leur liberté.
La crainte est légitime si le dispositif devient rigide ou bureaucratique. Mais une distinction est possible entre :
- liberté d’explorer ;
- droit de présenter toute découverte comme une prédiction.
Le préenregistrement n’interdit pas d’analyser autrement les données. Il demande de distinguer les analyses prévues des analyses improvisées. La liberté scientifique est compatible avec la responsabilité descriptive.
La créativité ne se planifie pas entièrement
Les découvertes importantes surgissent parfois d’erreurs, d’accidents ou d’observations marginales. Aucun plan ne peut prévoir toute la fécondité d’une enquête. La science ne doit donc pas devenir une simple exécution de protocoles figés. Le préenregistrement appartient surtout à la phase où une hypothèse suffisamment précise existe déjà. Il n’est pas toujours adapté au moment où le chercheur cherche encore :
- les bonnes catégories ;
- les variables pertinentes ;
- le mécanisme plausible ;
- la forme de la théorie.
La découverte demande de l’ouverture. La confirmation demande davantage de contraintes.
La discipline de la prédiction
Formuler une prédiction avant les résultats oblige le chercheur à préciser sa théorie. Il doit décider :
- ce qu’elle implique réellement ;
- les conditions nécessaires ;
- le sens de l’effet ;
- les observations incompatibles ;
- la taille pertinente.
Cette discipline peut révéler que la théorie était trop vague pour produire un test. Le préenregistrement joue alors un rôle conceptuel, pas seulement administratif. Il oblige à distinguer :
une histoire capable d’expliquer après coup ;
une théorie capable d’anticiper une observation.
Prédiction et explication
Une théorie peut expliquer sans prévoir précisément, notamment dans les systèmes complexes. L’absence de prédiction exacte ne rend pas toute explication inutile. Une analyse historique peut montrer pourquoi un événement est devenu possible sans permettre de prévoir son occurrence exacte. Le préenregistrement doit donc être adapté au type de proposition. Il peut porter sur :
- une relation attendue ;
- une trace documentaire ;
- une différence qualitative ;
- un mécanisme ;
- un ensemble de critères.
La confirmation ne se limite pas aux prédictions numériques.
La confirmation progressive
Une hypothèse peut traverser plusieurs étapes :
- découverte exploratoire ;
- première formulation ;
- test préenregistré ;
- réplication directe ;
- réplication conceptuelle ;
- généralisation ;
- intégration à une théorie plus large.
Chaque étape augmente ou diminue le degré de confiance. Le préenregistrement n’est qu’un élément de cette architecture. Un seul test confirmatoire ne transforme pas nécessairement une hypothèse en connaissance établie. La robustesse vient de la convergence.
L’échec d’une hypothèse préenregistrée
Lorsqu’une prédiction préenregistrée échoue, plusieurs réactions sont possibles.
Le chercheur peut :
- abandonner l’hypothèse ;
- limiter son domaine ;
- réviser le mécanisme ;
- examiner une erreur du protocole ;
- proposer une variable modératrice.
Ces réponses ne sont pas automatiquement ad hoc. Elles deviennent scientifiques si elles produisent de nouvelles conséquences testables.
L’échec ne doit pas être transformé en réussite, mais il peut conduire à une théorie meilleure.
L’hypothèse auxiliaire après un échec
Supposons qu’un effet attendu n’apparaisse pas.
Les chercheurs découvrent qu’une variable du contexte pourrait l’avoir bloqué. Cette explication gagne en valeur si elle :
- était mesurable ;
- correspond à des connaissances indépendantes ;
- prédit les conditions où l’effet réapparaîtra ;
- réussit un nouveau test.
Elle reste fragile si elle est seulement invoquée pour sauver la théorie et change après chaque échec.
Le préenregistrement permet de voir que cette hypothèse auxiliaire est postérieure au résultat. Il ne permet pas encore de savoir si elle est vraie.
Les résultats confirmatoires inattendus
Une étude peut confirmer l’hypothèse principale tout en produire une amplitude ou un mécanisme inattendu. Le résultat principal mérite alors son statut confirmatoire. L’interprétation nouvelle reste exploratoire. Il faut éviter d’étendre automatiquement la confirmation à tous les éléments du récit final. Une même étude peut contenir des conclusions de statuts différents.
La publication de toutes les analyses
Publier toutes les analyses possibles serait irréaliste et parfois illisible.
La transparence ne demande pas une accumulation sans hiérarchie. Elle demande surtout :
- de rapporter les analyses principales prévues ;
- de signaler les écarts ;
- d’identifier les analyses exploratoires ;
- de rendre le code accessible lorsque cela est possible ;
- d’expliquer les choix.
Le lecteur doit comprendre la structure du raisonnement sans être noyé dans un inventaire sans organisation.
Le multivers analytique après préenregistrement
Un préenregistrement peut prévoir plusieurs analyses raisonnables.
Les chercheurs peuvent alors examiner si la conclusion est stable dans un multivers analytique. Cette combinaison est utile :
- le plan fixe l’espace des choix ;
- l’analyse de robustesse montre leur influence.
Elle évite de prétendre qu’une seule méthode était nécessairement correcte lorsqu’un véritable désaccord méthodologique existe.
La confirmation devient plus forte si la conclusion persiste à travers les options justifiées.
Les analyses de sensibilité
Une analyse de sensibilité examine ce qui change lorsque certaines hypothèses sont modifiées. Elle peut porter sur :
- les exclusions ;
- les données manquantes ;
- les probabilités antérieures ;
- les covariables ;
- les définitions ;
- les valeurs extrêmes.
Ces analyses peuvent être prévues à l’avance. Elles aident à distinguer :
- la conclusion principale ;
- les résultats dépendant d’un choix précis ;
- les limites du test.
Une étude confirmatoire ne doit pas masquer la fragilité éventuelle de son résultat principal.
La communication au public
Le public voit rarement le préenregistrement ou les écarts au protocole.
Il reçoit une conclusion simplifiée :
« Une étude démontre que… »
Une communication plus honnête pourrait distinguer :
- résultat exploratoire ;
- test préenregistré ;
- réplication ;
- analyse secondaire ;
- niveau d’incertitude.
Cette distinction ne doit pas être transformée en jargon inaccessible. Elle peut être formulée simplement :
« Cette relation a été découverte dans les données et doit être confirmée. »
« L’étude avait annoncé ce résultat avant la collecte et l’a effectivement retrouvé. »
Les médias et la nouveauté
Les résultats exploratoires sont souvent plus nouveaux et plus spectaculaires que les confirmations. Ils attirent donc davantage l’attention. La couverture médiatique peut inverser la hiérarchie épistémique :
- première étude exploratoire très visible ;
- réplication confirmatoire peu relayée ;
- résultat négatif ignoré.
Une culture de l’information scientifique devrait accorder davantage de valeur aux étapes de consolidation.
La première annonce ne représente pas toujours l’état final des connaissances.
Lire un article préenregistré
Le lecteur peut suivre plusieurs étapes.
Vérifier la date
Le plan est-il réellement antérieur à l’analyse ?
Lire les hypothèses
Sont-elles précises et risquées ?
Comparer avec l’article
Les variables, critères et analyses correspondent-ils ?
Examiner les écarts
Sont-ils signalés et justifiés ?
Distinguer les résultats
Qu’est-ce qui est confirmatoire et qu’est-ce qui est exploratoire ?
Évaluer la méthode
L’échantillon, les mesures et le modèle sont-ils adaptés ?
Rechercher la réplication
Le résultat a-t-il été retrouvé ailleurs ?
Le préenregistrement améliore la lecture, mais ne la remplace pas.
Lire un rapport enregistré
Il faut examiner :
- la qualité de la première évaluation ;
- le respect du protocole ;
- les modifications approuvées ;
- l’exécution ;
- la précision des résultats ;
- les analyses exploratoires ;
- la portée de la conclusion.
L’acceptation de principe est une garantie contre certaines sélections éditoriales. Elle ne garantit pas que la théorie soit vraie ni que l’étude se généralise.
Une grille pratique pour les chercheurs
Avant de préenregistrer une étude, il est utile de demander :
- quelle est l’hypothèse principale ?
- quelles données la soutiendraient ?
- quelles données la fragiliseraient ?
- quelles variables sont principales ?
- quelle taille d’effet compte réellement ?
- quelle population est concernée ?
- quelles exclusions sont justifiées ?
- quelle analyse répond directement à la question ?
- quels choix resteront ouverts ?
- comment les écarts seront-ils rapportés ?
- quelles analyses seront exploratoires ?
- quel test indépendant sera nécessaire ensuite ?
Cette préparation améliore souvent la théorie elle-même.
Une grille pratique pour les lecteurs
- Le préenregistrement est-il antérieur aux résultats ?
- Le document est-il accessible et daté ?
- Les hypothèses sont-elles suffisamment précises ?
- La taille d’échantillon avait-elle été justifiée ?
- Les critères principaux sont-ils les mêmes dans l’article ?
- Des variables ont-elles été ajoutées ou supprimées ?
- Les analyses confirmatoires sont-elles clairement distinguées ?
- Les écarts sont-ils signalés ?
- Les résultats nuls sont-ils rapportés ?
- Les analyses exploratoires sont-elles présentées avec prudence ?
- Le test était-il réellement capable de départager les hypothèses ?
- Le résultat a-t-il été répliqué ?
- La conclusion médiatique dépasse-t-elle la proposition testée ?
Erreurs fréquentes
Confondre exploration et mauvaise science
L’exploration est nécessaire à la découverte. Elle doit seulement être identifiée comme telle.
Présenter une hypothèse formulée après les données comme une prédiction
Les mêmes données ne fournissent pas une confirmation indépendante de l’idée qu’elles ont inspirée.
Croire qu’un préenregistrement prouve la vérité
Il documente l’antériorité de certaines décisions, pas la qualité absolue de l’étude.
Croire qu’un changement par rapport au plan constitue toujours une fraude
Une adaptation peut être légitime lorsqu’elle est transparente et justifiée.
Cacher les écarts pour préserver l’apparence de rigueur
La transparence est plus importante que la conformité artificielle.
Utiliser un préenregistrement vague
Un plan trop flexible ne permet pas de distinguer les analyses prévues.
Produire un plan inutilement rigide
Une recherche doit pouvoir répondre à des problèmes imprévus.
Croire qu’un résultat exploratoire est sans valeur
Il peut constituer le point de départ d’une découverte importante.
Considérer un résultat préenregistré comme définitivement confirmé
Une étude reste soumise aux erreurs, aux limites et à la nécessité de réplication.
Confondre acceptation de principe et validation de la théorie
La revue valide principalement la pertinence et la méthode prévues.
Négliger la validité des mesures
Une analyse parfaitement planifiée peut mesurer le mauvais phénomène.
Refuser toute analyse non prévue
Les observations inattendues doivent être examinées, mais leur statut doit être signalé.
Croire que le préenregistrement supprime le biais de publication
Une étude enregistrée peut encore ne jamais rendre ses résultats publics.
Imposer le même format à toutes les disciplines
La transparence doit être adaptée aux méthodes quantitatives, qualitatives, historiques ou exploratoires.
Confondre documentation et bureaucratie
Le but est de rendre le raisonnement contrôlable, non d’accumuler des formulaires.
À retenir
L’exploration et la confirmation remplissent deux fonctions différentes et complémentaires.
L’exploration cherche des régularités, produit des concepts et formule des hypothèses.
La confirmation met à l’épreuve une hypothèse déjà définie sur des données suffisamment indépendantes.
Une relation découverte dans un ensemble de données peut être réelle, mais les mêmes données ne constituent pas une confirmation indépendante complète.
Le préenregistrement conserve une trace datée des hypothèses, méthodes et analyses prévues avant la connaissance des résultats.
L’enregistrement rend surtout visible l’existence d’une étude ; le préenregistrement documente plus précisément ses décisions antérieures.
Le préenregistrement limite certaines formes de sélection, comme le HARKing, le changement silencieux de critère principal et la sélection des analyses favorables.
Il ne garantit ni une bonne théorie, ni une mesure valide, ni une taille d’échantillon suffisante.
Un plan vague peut laisser presque toute la flexibilité intacte. Un plan trop rigide peut empêcher une adaptation méthodologique nécessaire.
S’écarter d’un préenregistrement n’est pas automatiquement fautif. L’écart doit être signalé, daté et justifié.
Les analyses ajoutées après l’examen des données peuvent être importantes, mais elles doivent être présentées comme exploratoires.
Les rapports enregistrés font évaluer une étude avant la connaissance des résultats et peuvent lui accorder une acceptation de principe.
Ils réduisent la dépendance de la publication au caractère positif ou spectaculaire de la conclusion.
Ils permettent également d’améliorer le protocole avant que les erreurs deviennent irréversibles.
Les rapports enregistrés sont particulièrement adaptés aux tests confirmatoires et aux réplications, mais moins à certaines enquêtes exploratoires, qualitatives ou imprévisibles.
La créativité scientifique ne doit pas être opposée à la rigueur. La découverte demande de la liberté ; la confirmation demande des contraintes et une certaine indépendance.
Un résultat négatif obtenu dans un test préenregistré, suffisamment puissant et correctement exécuté peut fournir une information très importante.
Une étude peut contenir simultanément des résultats confirmatoires et exploratoires. Leur statut doit être clairement distingué.
Le préenregistrement ne remplace pas la reproduction, la réplication, la robustesse ni l’examen critique.
La question centrale n’est donc pas seulement :
« L’étude a-t-elle trouvé un résultat intéressant ? »
mais :
« Ce résultat avait-il été prédit avant l’examen des données, quelles décisions ont été prises après coup, et une vérification indépendante a-t-elle confirmé l’hypothèse ainsi formulée ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Quelle différence existe entre exploration et confirmation ?
- Pourquoi les mêmes données ne peuvent-elles pas toujours produire et confirmer une hypothèse ?
- Qu’est-ce que le HARKing ?
- Comment le préenregistrement limite-t-il la flexibilité analytique ?
- Quelle différence existe entre enregistrement et préenregistrement ?
- Un chercheur peut-il modifier un protocole préenregistré ?
- Comment rapporter les écarts au plan initial ?
- Qu’est-ce qu’un rapport enregistré ?
- Comment fonctionne l’acceptation de principe ?
- Les rapports enregistrés réduisent-ils le biais de publication ?
- Le préenregistrement limite-t-il la créativité ?
- Comment l’adapter aux méthodes qualitatives ou historiques ?
- Un résultat négatif préenregistré constitue-t-il une preuve d’absence ?
- Comment distinguer analyses principales et exploratoires ?
- Pourquoi la réplication reste-t-elle nécessaire après un test préenregistré ?
Quelques références
- Charles Sanders Peirce, textes sur l’abduction et l’enquête.
- Karl Popper, *La Logique de la découverte scientifique*.
- Imre Lakatos, textes sur les programmes de recherche scientifique.
- Norwood Russell Hanson, *Patterns of Discovery*.
- Norbert Kerr, travaux sur le HARKing.
- Joseph Simmons, Leif Nelson et Uri Simonsohn, travaux sur la flexibilité analytique et les faux positifs.
- Andrew Gelman et Eric Loken, travaux sur le « jardin des chemins qui bifurquent ».
- Brian Nosek et ses collaborateurs, travaux sur la transparence et la science ouverte.
- Christopher Chambers, travaux sur les rapports enregistrés.
- Chris Wagenmakers et ses collaborateurs, travaux sur le préenregistrement et l’inférence confirmatoire.
- Anne Scheel et ses collaborateurs, travaux sur les rapports enregistrés et les résultats nuls.
- Dorothy Bishop, travaux sur les pratiques de recherche et la reproductibilité.
- Marcus Munafò et ses collaborateurs, travaux sur la crédibilité scientifique.
- Deborah Mayo, *Statistical Inference as Severe Testing*.
- Stephen Senn, travaux sur la planification et l’interprétation des essais.
- Center for Open Science, ressources sur le préenregistrement et les rapports enregistrés.