Biais de publication et science ouverte : pourquoi la littérature visible peut-elle donner une image trompeuse des preuves ?
La littérature publiée n’est pas nécessairement un reflet fidèle de la recherche réalisée
Pour connaître l’état des preuves sur une question, nous consultons généralement les articles publiés. Nous supposons alors que cette littérature représente suffisamment l’ensemble des études conduites. Cette supposition peut être fausse.
Les résultats positifs, nouveaux, spectaculaires ou statistiquement significatifs ont souvent davantage de chances d’être rédigés, soumis, acceptés, publiés, cités et relayés. Les résultats négatifs, ambigus ou ordinaires peuvent rester dans les dossiers des chercheurs, apparaître tardivement ou être présentés de manière moins visible.
La littérature accessible devient alors un échantillon sélectionné de la recherche réellement produite. Imaginons que vingt équipes testent une hypothèse qui est en réalité fausse. Par hasard ou en raison de choix méthodologiques flexibles, une ou deux études obtiennent un résultat favorable. Si seules ces études sont publiées, le lecteur découvre une littérature apparemment positive. Il ne voit pas les nombreuses tentatives ayant échoué.
Cette sélection est appelée biais de publication. Elle peut exagérer l’existence, l’ampleur ou la stabilité d’un effet.
Le problème ne vient donc pas nécessairement de chaque article pris séparément. Une étude publiée peut avoir été correctement réalisée. La distorsion apparaît au niveau de l’ensemble visible :
Une littérature peut être composée d’articles relativement honnêtes et néanmoins donner une image collectivement trompeuse.
Qu’est-ce que le biais de publication ?
Le biais de publication apparaît lorsque la probabilité qu’une étude devienne publiquement accessible dépend de la nature de ses résultats.
Une étude peut être davantage publiée lorsqu’elle obtient :
- un résultat positif ;
- une différence statistiquement significative ;
- un effet important ;
- une conclusion conforme aux attentes ;
- une découverte nouvelle ;
- une histoire facilement racontable.
À l’inverse, une étude peut rester invisible lorsqu’elle produit :
- une absence d’effet ;
- un résultat ambigu ;
- une réplication ordinaire ;
- un effet plus faible qu’attendu ;
- une conclusion contradictoire avec une théorie populaire ;
- un protocole correct mais sans découverte spectaculaire.
Le biais ne suppose pas nécessairement une censure organisée. Il peut résulter d’une succession de décisions ordinaires :
- le chercheur estime que le résultat négatif n’est pas intéressant ;
- il reporte la rédaction ;
- il privilégie un autre projet ;
- la revue considère l’article comme peu novateur ;
- les évaluateurs demandent une histoire théorique plus forte ;
- le résultat disparaît progressivement de la littérature.
Une étude de Franco, Malhotra et Simonovits portant sur des expériences de sciences sociales déjà sélectionnées pour leur qualité a montré que les résultats forts avaient nettement plus de chances d’être rédigés et publiés que les résultats nuls. Une partie importante de la sélection se produisait avant même la soumission, au stade où les chercheurs décidaient de rédiger ou non leurs travaux.
Le tiroir rempli de résultats invisibles
Le biais de publication est parfois désigné par l’expression effet tiroir. L’image est celle d’un tiroir contenant les études dont les résultats n’ont jamais été publiés. Le tiroir moderne n’est pas nécessairement physique. Il peut contenir :
- un fichier abandonné ;
- une thèse jamais transformée en article ;
- une analyse secondaire non rapportée ;
- un essai enregistré mais sans résultats publics ;
- un rapport interne ;
- une réplication considérée comme inintéressante.
L’absence de publication ne signifie pas que l’étude était mauvaise. Elle peut simplement ne pas avoir produit le résultat recherché.
Le problème devient particulièrement grave lorsque les études invisibles diffèrent systématiquement des études visibles. La littérature publiée ne constitue alors plus un échantillon approximativement représentatif.
Un exemple : l’efficacité apparente des antidépresseurs
Une illustration importante du biais de publication vient de la comparaison entre les études publiées sur des antidépresseurs et les résultats enregistrés auprès de l’autorité américaine du médicament.
Les chercheurs ont retrouvé les essais cliniques concernant douze antidépresseurs approuvés par la Food and Drug Administration. La littérature publiée donnait une impression beaucoup plus favorable que l’ensemble des résultats examinés par l’agence. Les études jugées positives étaient très majoritairement publiées comme telles, tandis qu’une grande partie des études négatives ou discutables n’était pas publiée ou était présentée d’une manière paraissant positive. L’efficacité estimée à partir des seuls articles publiés était ainsi supérieure à celle obtenue à partir du dossier plus complet.
Cet exemple ne montre pas que les antidépresseurs seraient généralement inefficaces. Il montre une autre chose :
Le degré apparent d’efficacité peut être exagéré lorsque les études défavorables sont moins visibles.
La question scientifique ne doit donc pas seulement être :
« Que disent les études publiées ? »
Elle doit aussi être :
« Quelles études ont été réalisées, et lesquelles manquent à la littérature ? »
Le biais de publication n’est pas seulement industriel
Les intérêts commerciaux peuvent favoriser la non-publication de résultats défavorables. Mais le problème ne se limite pas aux entreprises.
Les chercheurs universitaires peuvent également préférer les résultats positifs parce que ceux-ci :
- facilitent la publication ;
- attirent davantage l’attention ;
- soutiennent une carrière ;
- rendent une communication plus convaincante ;
- semblent justifier le financement reçu ;
- correspondent mieux à leur théorie.
Une équipe peut investir plusieurs années dans une hypothèse et éprouver peu de motivation à rédiger un résultat négatif. La sélection peut donc apparaître sans fraude et sans ordre explicite. Elle résulte en partie des récompenses du système scientifique. Lorsque la carrière dépend de la nouveauté et du nombre de publications, chaque individu peut se comporter de manière compréhensible tout en produisant collectivement une littérature biaisée.
Les résultats négatifs ne sont pas des échecs scientifiques
L’expression résultat négatif peut être trompeuse. Elle donne l’impression que l’étude n’a rien produit. Mais ne pas observer l’effet attendu peut être informatif.
Un résultat négatif peut :
- réfuter une hypothèse ;
- limiter la taille plausible d’un effet ;
- montrer qu’une intervention ne fonctionne pas ;
- identifier une condition absente ;
- éviter la répétition d’une voie stérile ;
- corriger une estimation exagérée ;
- protéger contre une pratique inefficace ou dangereuse.
L’expérience a échoué au sens où elle n’a pas confirmé l’attente. Elle peut avoir réussi en tant que test.
Une science qui ne rend visibles que les réussites apparentes apprend moins efficacement de ses erreurs.
Un résultat nul n’établit pas toujours l’absence d’effet
Il faut néanmoins rester prudent.
Une absence de résultat statistiquement significatif ne signifie pas automatiquement qu’aucun effet n’existe.
L’étude peut manquer :
- de participants ;
- de précision ;
- d’une mesure adaptée ;
- d’une durée suffisante ;
- de conditions permettant à l’effet d’apparaître.
Un résultat nul peut donc être très informatif ou presque inutile selon la qualité du test.
La solution au biais de publication n’est pas de considérer tous les résultats nuls comme également importants. Elle consiste à rendre accessibles les études correctement conduites afin que leur valeur puisse être évaluée.
Le biais de publication et les faux positifs
Supposons qu’une hypothèse soit testée à de nombreuses reprises. Même si elle est fausse, certaines études peuvent obtenir par hasard un résultat considéré comme positif. Si toutes les études sont visibles, la majorité des résultats négatifs permet de replacer ces quelques succès dans leur contexte. Si seuls les succès sont publiés, les faux positifs deviennent l’ensemble apparent de la littérature. Le problème est amplifié lorsque :
- les échantillons sont petits ;
- les effets recherchés sont faibles ;
- de nombreuses hypothèses sont testées ;
- les analyses sont flexibles ;
- les résultats négatifs restent invisibles.
John Ioannidis a proposé un modèle influent montrant comment la combinaison d’hypothèses initialement peu plausibles, de faibles puissances statistiques, de biais et de sélection pouvait réduire fortement la proportion de résultats publiés correspondant à des effets réels. Son titre célèbre ne doit pas être interprété comme une mesure universelle démontrant littéralement que la majorité de toute la science publiée serait fausse ; il s’agit d’un modèle conditionnel dont les implications dépendent des caractéristiques des domaines étudiés.
Le biais de publication n’est qu’un biais de diffusion parmi d’autres
Une étude peut être publiée, mais rester partiellement invisible ou déformée.
Il faut distinguer plusieurs formes de sélection.
La non-publication complète
L’étude ne devient jamais publiquement accessible.
La publication retardée
Les résultats favorables sont publiés plus rapidement que les autres.
La publication multiple
Une même étude positive donne lieu à plusieurs articles, donnant l’impression de plusieurs confirmations indépendantes.
La publication linguistique
Certains résultats sont publiés dans des revues internationales très visibles, tandis que d’autres restent dans des revues locales.
Le biais de citation
Les articles positifs sont davantage cités et deviennent plus présents dans les synthèses.
Le biais médiatique
Les résultats spectaculaires sont davantage relayés par la presse et les réseaux sociaux.
La visibilité scientifique est donc produite par plusieurs filtres successifs.
Le biais de compte rendu sélectif
Le problème peut apparaître à l’intérieur d’un article.
Une étude mesure plusieurs variables mais ne publie que celles qui produisent un résultat favorable. Elle peut également modifier :
- le critère principal ;
- le moment de mesure ;
- les sous-groupes ;
- les analyses ;
- la manière de formuler la conclusion.
Cette pratique est appelée biais de compte rendu sélectif ou selective reporting.
Une étude peut donc être publiée sans rendre compte fidèlement de tout ce qui avait été prévu.
Des analyses de certains essais pharmaceutiques ont montré que des critères annoncés dans les protocoles pouvaient être modifiés, omis ou remplacés dans les publications. Une modification peut parfois être justifiée, mais elle doit être documentée afin que le lecteur distingue une décision préalable d’une adaptation réalisée après la découverte des résultats.
Changer le critère principal
Le critère principal d’une étude est normalement la mesure utilisée pour évaluer sa question centrale. Supposons qu’un traitement soit évalué selon cinq indicateurs. Le protocole annonce que l’indicateur A sera principal. Le traitement ne produit aucun effet clair sur A, mais un résultat favorable apparaît sur D. Si l’article présente ensuite D comme la mesure centrale sans signaler le changement, l’étude donne une impression trompeuse.
Le résultat sur D peut être réel. Mais sa découverte parmi plusieurs comparaisons augmente le risque qu’il soit accidentel. Il devrait être présenté comme exploratoire et confirmé dans une nouvelle étude.
HARKing : formuler l’hypothèse après le résultat
Le terme HARKing désigne le fait de présenter une hypothèse construite après l’observation des résultats comme si elle avait été formulée avant l’étude.
Une régularité inattendue est découverte. Les chercheurs écrivent ensuite une introduction laissant croire qu’elle avait été prédite par la théorie.
L’histoire scientifique devient artificiellement linéaire :
- une théorie précise est formulée ;
- une expérience décisive est construite ;
- le résultat prévu apparaît.
Dans la réalité, la découverte peut avoir été exploratoire. L’exploration n’est pas une faute. Elle constitue une source essentielle d’hypothèses. Le problème vient de la dissimulation de son statut. Une hypothèse découverte sur les données qui l’ont inspirée doit généralement être vérifiée sur de nouvelles données.
Le jardin des chemins qui bifurquent
Même sans essayer consciemment plusieurs analyses, le chercheur doit prendre de nombreuses décisions :
- quels cas exclure ;
- quelles variables utiliser ;
- comment traiter une valeur aberrante ;
- quelles covariables ajouter ;
- où arrêter la collecte ;
- quels sous-groupes examiner.
Chaque décision peut dépendre de ce que les données semblent indiquer. L’analyse finale apparaît ensuite comme une seule procédure, mais elle a été sélectionnée parmi de nombreux chemins possibles. Cette flexibilité augmente le risque de produire un résultat favorable par hasard. La transparence doit donc porter non seulement sur l’analyse finale, mais aussi, autant que possible, sur l’espace des décisions disponibles.
Le p-hacking
Le p-hacking désigne l’utilisation flexible des données et des analyses afin d’obtenir un résultat franchissant un seuil de significativité. Il peut prendre des formes explicites ou presque inconscientes :
- tester plusieurs variables ;
- retirer certains participants ;
- ajouter ou retirer des contrôles ;
- arrêter la collecte lorsqu’un résultat devient significatif ;
- choisir la meilleure période ;
- examiner de nombreux sous-groupes.
Chaque choix peut paraître défendable isolément. Le problème vient de la sélection du chemin donnant le résultat souhaité sans tenir compte de tous les chemins essayés ou possibles. Le biais de publication amplifie ensuite cette flexibilité : les analyses positives deviennent visibles, tandis que les autres disparaissent.
La double sélection
La littérature peut être déformée à deux niveaux. Premièrement, au sein d’une étude, seules certaines analyses sont retenues. Deuxièmement, parmi les études, seules certaines sont publiées. La combinaison produit une double sélection :
Les résultats favorables sont sélectionnés dans chaque projet, puis les projets favorables sont sélectionnés dans la littérature.
Même si chaque sélection est modérée, leur accumulation peut donner l’impression d’un effet beaucoup plus robuste qu’il ne l’est réellement.
Le biais de citation
Une fois publiés, tous les articles ne reçoivent pas la même attention. Les résultats positifs, nouveaux ou conformes à une théorie populaire sont souvent davantage cités. Ils apparaissent plus fréquemment dans :
- les introductions ;
- les revues narratives ;
- les manuels ;
- les conférences ;
- les médias.
Un résultat très cité peut devenir synonyme de fait établi, même si des études ultérieures l’ont fragilisé. La citation mesure l’influence d’un article, non directement sa validité. Il faut donc examiner l’état actuel de la littérature plutôt que la célébrité historique d’une étude.
Le biais de couverture médiatique
Les médias préfèrent les histoires simples :
« Le café protège contre telle maladie. »
« Cette habitude augmente l’intelligence. »
« Les scientifiques prouvent que… »
Une absence d’effet, une réplication ou une correction possède moins de valeur narrative.
La première étude reçoit une large couverture. La réplication plus prudente passe inaperçue.
Le public conserve alors une image correspondant à l’état préliminaire des preuves. Cette asymétrie ne vient pas seulement des journalistes. Les universités, les revues et les chercheurs peuvent eux-mêmes produire des communiqués exagérant la nouveauté ou la portée de leurs résultats.
Le biais de nouveauté
Le système de publication valorise généralement une découverte nouvelle davantage qu’une vérification. Une étude annonçant un phénomène attire plus facilement l’attention qu’une étude montrant que l’effet est plus faible, contextuel ou absent. Cette préférence est compréhensible : la science cherche à produire de nouvelles connaissances. Mais elle crée une asymétrie. La création d’une affirmation est récompensée davantage que son contrôle. Une littérature fiable a pourtant besoin des deux :
- innovation ;
- vérification.
Sans réplication et sans publication des résultats ordinaires, la nouveauté s’accumule plus rapidement que la solidité.
La littérature publiée comme échantillon sélectionné
Une méta-analyse combine plusieurs études publiées. Elle peut donner une estimation très précise. Mais si la sélection initiale des études dépend du résultat, cette précision peut être trompeuse. La méta-analyse calcule fidèlement une moyenne dans un ensemble biaisé. Elle ne voit pas automatiquement les études manquantes. La qualité d’une synthèse dépend donc de la possibilité de retrouver :
- les essais enregistrés ;
- les thèses ;
- les rapports ;
- les résultats non publiés ;
- les données réglementaires ;
- les études interrompues.
Une synthèse n’est complète que si sa recherche dépasse raisonnablement les articles facilement visibles.
Détecter le biais de publication
Plusieurs méthodes cherchent à détecter une sélection des résultats.
Les chercheurs peuvent examiner :
- l’asymétrie des tailles d’effet ;
- la relation entre taille d’échantillon et résultat ;
- la proportion inhabituelle de résultats positifs ;
- les protocoles enregistrés ;
- les écarts entre critères prévus et publiés ;
- les études connues mais manquantes.
Certaines représentations, comme les graphiques en entonnoir, peuvent suggérer que les petites études négatives manquent. Mais ces méthodes ne fournissent pas un diagnostic certain.
Une asymétrie peut venir d’autres causes :
- hétérogénéité réelle ;
- mauvaise qualité des petites études ;
- différences de populations ;
- choix méthodologiques.
Les méthodes statistiques de correction dépendent également d’hypothèses difficiles à vérifier. Il est généralement préférable de prévenir la disparition des études plutôt que d’essayer de reconstruire après coup les résultats manquants.
On ne peut pas connaître parfaitement ce qui reste caché
Le biais de publication possède une difficulté particulière :
Nous cherchons à mesurer ce qui n’est pas visible.
Les méthodes statistiques tentent d’inférer l’existence d’études manquantes à partir de la forme de la littérature observée. Mais plusieurs ensembles invisibles peuvent produire la même distribution publiée. Les registres prospectifs apportent une solution plus directe. Si les études sont déclarées avant leurs résultats, il devient possible de vérifier ensuite :
- lesquelles ont été terminées ;
- lesquelles ont été publiées ;
- quels critères avaient été prévus ;
- quels résultats restent absents.
L’enregistrement prospectif des études
Enregistrer une étude consiste à publier, avant la connaissance de ses résultats, certaines informations essentielles :
- la question ;
- la méthode ;
- les participants ;
- les critères principaux ;
- les dates ;
- parfois le plan d’analyse.
L’enregistrement crée une trace de l’existence du projet.
Une étude négative ne peut plus disparaître entièrement sans laisser au moins l’indication qu’elle avait été commencée.
Dans les essais cliniques, les registres permettent notamment de rechercher les études non publiées et de comparer les publications aux protocoles initiaux. L’Organisation mondiale de la santé considère l’enregistrement des essais comme une composante de la transparence et organise un réseau international de registres reconnus.
Enregistrement et préenregistrement
Les termes sont proches mais peuvent désigner des niveaux différents.
Enregistrement
Il indique généralement qu’une étude existe et fournit ses principales caractéristiques.
Préenregistrement
Il consigne plus précisément, avant l’examen des résultats, les hypothèses, méthodes et analyses prévues.
Un enregistrement minimal réduit le risque de disparition complète.
Un préenregistrement détaillé aide aussi à distinguer :
- analyses confirmatoires ;
- analyses exploratoires ;
- modifications réalisées après la collecte.
Les deux pratiques augmentent la transparence, mais ne garantissent pas que le protocole soit de qualité.
Le préenregistrement n’interdit pas de changer de méthode
Une recherche réelle rencontre des difficultés inattendues.
Les chercheurs peuvent devoir :
- modifier un instrument ;
- exclure une mesure défectueuse ;
- adapter une analyse ;
- explorer une nouvelle régularité.
Le préenregistrement ne devrait pas transformer la méthode en contrat rigide interdisant toute adaptation.
Il demande surtout de rendre l’histoire visible :
Voici ce qui était prévu.
Voici ce qui a changé.
Voici pourquoi.
Voici quelles analyses doivent être considérées comme exploratoires.
La transparence historique permet au lecteur de mieux évaluer la force confirmatoire des résultats.
Un préenregistrement peut être vague
Un préenregistrement ne possède pas de valeur magique. Il peut être :
- incomplet ;
- ambigu ;
- rédigé après le début de l’analyse ;
- suffisamment flexible pour permettre presque tous les choix ;
- inaccessible ;
- rarement consulté.
Une étude préenregistrée peut également être mal conçue, insuffisamment puissante ou fondée sur une mauvaise mesure.
Le préenregistrement protège surtout contre certaines formes de sélection et de reconstruction rétrospective. Il ne remplace ni la compétence méthodologique, ni la réplication, ni l’analyse critique.
Les rapports enregistrés
Les rapports enregistrés modifient plus profondément le processus de publication. Dans ce format, la question, la théorie, la méthode et le plan d’analyse sont évalués par la revue avant que les résultats soient connus. Si le protocole est jugé suffisamment solide, la revue accorde une acceptation de principe. L’article final est ensuite publié si les chercheurs respectent suffisamment le protocole approuvé, que le résultat soit positif ou négatif. Le format cherche ainsi à déplacer le critère de publication :
La décision doit dépendre de l’importance de la question et de la qualité de la méthode, non du caractère favorable ou spectaculaire du résultat.
Le Center for Open Science et plusieurs revues décrivent ce format comme une évaluation en deux étapes donnant une acceptation de principe avant la connaissance des résultats.
Ce que les rapports enregistrés corrigent
Le format réduit plusieurs incitations :
- abandonner un résultat nul ;
- modifier silencieusement l’hypothèse ;
- sélectionner le meilleur critère ;
- adapter l’histoire aux données ;
- refuser un article uniquement parce que le résultat n’est pas spectaculaire.
Il favorise également l’amélioration du protocole avant la collecte, lorsque les corrections sont encore possibles. Dans le système traditionnel, la revue intervient souvent après que le temps, l’argent et les données ont déjà été engagés. Les évaluateurs peuvent repérer un défaut méthodologique impossible à réparer. L’évaluation préalable peut donc améliorer la conception autant que la transparence.
Les limites des rapports enregistrés
Ce format ne convient pas à toutes les recherches. Il est moins adapté lorsque :
- les données apparaissent de manière imprévisible ;
- l’enquête est principalement exploratoire ;
- les méthodes doivent évoluer continuellement ;
- une archive unique est découverte ;
- la recherche qualitative exige une adaptation approfondie au terrain.
Il peut également :
- ralentir le démarrage ;
- augmenter la charge d’évaluation ;
- donner une fausse impression de garantie ;
- favoriser des protocoles trop rigides ;
- être difficile à appliquer aux données déjà accessibles.
La science ouverte doit donc adapter ses pratiques aux disciplines et aux questions plutôt que d’imposer un modèle unique.
Qu’est-ce que la science ouverte ?
La science ouverte désigne un ensemble de pratiques visant à rendre la recherche plus accessible, transparente, vérifiable et réutilisable. Elle peut comprendre :
- accès ouvert aux articles ;
- partage des données ;
- partage des codes ;
- partage des matériels ;
- préenregistrement ;
- rapports enregistrés ;
- publication des résultats négatifs ;
- protocoles ouverts ;
- évaluations ouvertes ;
- licences facilitant la réutilisation ;
- identifiants et archives durables.
Les recommandations TOP — *Transparency and Openness Promotion* — ont proposé des standards modulaires concernant notamment la citation des données, la transparence des données, des matériels et du code, la transparence du dessin de recherche, le préenregistrement et la réplication.
La science ouverte n’est donc pas une seule technique. Elle cherche à modifier l’ensemble du cycle de la recherche.
Accès ouvert et science ouverte
L’accès ouvert signifie principalement que les publications sont consultables sans abonnement. Il constitue une composante importante de la science ouverte, mais ne suffit pas.
Un article peut être gratuitement accessible tout en ne fournissant :
- ni données ;
- ni code ;
- ni protocole ;
- ni information sur les études manquantes.
Inversement, certaines données peuvent être partagées dans un environnement contrôlé alors que l’article final reste derrière un abonnement.
Il faut donc distinguer :
- accès au texte ;
- transparence de la méthode ;
- disponibilité des données ;
- possibilité de réanalyse ;
- visibilité de toutes les études.
Ouvrir les données
Le partage des données permet à d’autres chercheurs de :
- vérifier les analyses ;
- détecter des erreurs ;
- tester d’autres modèles ;
- combiner plusieurs études ;
- explorer de nouvelles questions.
Mais ouvrir les données soulève des difficultés. Certaines données contiennent des informations personnelles, médicales ou sensibles. Une anonymisation imparfaite peut permettre une réidentification. Les données peuvent également être mal comprises sans connaissance du contexte. Une ouverture responsable demande :
- documentation ;
- définitions ;
- protection de la confidentialité ;
- règles d’accès ;
- formats utilisables ;
- indication des limites.
Le principe pertinent n’est pas toujours « ouvert à tous sans condition », mais souvent :
Aussi ouvert que possible, aussi protégé que nécessaire.
Ouvrir le code
Le code informatique contient une partie importante de la méthode. Il permet de voir :
- comment les données ont été nettoyées ;
- quelles variables ont été calculées ;
- quels modèles ont été appliqués ;
- comment les graphiques ont été produits.
Une description écrite peut omettre involontairement des détails nécessaires. Le code facilite donc la reproduction. Mais publier un code inutilisable ou non documenté produit une transparence seulement apparente. Une ouverture de qualité demande :
- instructions ;
- dépendances ;
- versions ;
- exemples ;
- structure compréhensible.
Ouvrir les matériels
Les matériels comprennent :
- questionnaires ;
- consignes ;
- stimuli ;
- protocoles ;
- outils de collecte ;
- instruments expérimentaux.
Leur partage permet de vérifier ce que les participants ont réellement vécu et facilite les réplications. Une simple description résumée peut cacher des éléments importants. Deux expériences portant le même titre peuvent différer fortement selon la formulation exacte des consignes. Comme pour les données, des limites juridiques, commerciales ou éthiques peuvent exister. Elles doivent être expliquées plutôt que dissimulées.
Ouvrir les protocoles
Un protocole accessible permet de comparer :
- ce qui était prévu ;
- ce qui a été réalisé ;
- ce qui a été publié.
Cette comparaison rend visibles les changements de critères et les analyses ajoutées. Une modification n’est pas nécessairement suspecte. Mais son absence de signalement empêche le lecteur de juger si la conclusion est confirmatoire ou exploratoire. La transparence ne demande donc pas une recherche sans changements. Elle demande des changements traçables.
Ouvrir l’évaluation par les pairs
Certaines formes de science ouverte proposent de publier :
- les rapports des évaluateurs ;
- les réponses des auteurs ;
- parfois l’identité des évaluateurs.
Cette ouverture peut améliorer :
- la responsabilité ;
- la compréhension des modifications ;
- la reconnaissance du travail d’évaluation ;
- l’apprentissage méthodologique.
Elle peut aussi créer des risques :
- réticence à critiquer des chercheurs puissants ;
- conflits personnels ;
- prudence excessive ;
- exposition des jeunes chercheurs.
L’évaluation ouverte n’est donc pas toujours supérieure dans toutes ses formes.
Il faut distinguer l’ouverture des rapports, l’ouverture des identités et la publication de l’historique complet.
Les prépublications
Une prépublication rend un manuscrit accessible avant ou pendant son évaluation formelle. Elle permet :
- une diffusion rapide ;
- des commentaires plus larges ;
- une trace datée ;
- l’accès gratuit ;
- une correction avant publication.
Mais une prépublication n’a pas nécessairement été évaluée par une revue. Elle peut contenir des erreurs importantes. Le public et les médias doivent donc comprendre son statut. L’ouverture accélère la circulation, y compris celle de résultats fragiles. Une transparence accrue doit être accompagnée d’une meilleure capacité à interpréter les niveaux de validation.
La science ouverte ne garantit pas la vérité
Une étude peut être entièrement ouverte et néanmoins fausse.
Les chercheurs peuvent partager :
- une mauvaise mesure ;
- un échantillon biaisé ;
- un modèle inadéquat ;
- une hypothèse confuse ;
- un code reproduisant fidèlement une erreur.
L’ouverture permet de détecter plus facilement certains problèmes. Elle ne les supprime pas. Elle transforme une partie de la confiance personnelle en possibilité de contrôle. Mais cette possibilité doit être effectivement utilisée.
Des données ouvertes que personne ne vérifie ne produisent pas automatiquement une correction.
Transparence et qualité
La transparence et la qualité sont deux dimensions différentes. Une étude opaque peut être excellente mais difficilement contrôlable. Une étude transparente peut être médiocre mais facilement critiquable. À long terme, la seconde possède au moins l’avantage de rendre ses faiblesses visibles. L’idéal associe :
- méthode de qualité ;
- documentation ;
- accès proportionné ;
- vérification indépendante ;
- correction.
La science ouverte est donc une infrastructure de confiance, non un certificat de vérité.
Transparence et surcharge informationnelle
Publier toutes les données, analyses, versions et commentaires peut produire une quantité immense d’informations. Le lecteur non spécialiste, et parfois même l’expert, ne peut pas tout examiner. L’ouverture peut déplacer le problème :
De l’absence d’information vers l’impossibilité de trier l’information.
Il faut donc ajouter :
- métadonnées ;
- résumés ;
- standards ;
- documentation ;
- outils de recherche ;
- synthèses méthodiques.
Une transparence sans organisation peut devenir une forme d’opacité par abondance.
La transparence peut-elle être instrumentalisée ?
Une personne peut publier une masse de documents pour donner une impression de rigueur, tout en rendant difficile l’identification des éléments importants. Elle peut également sélectionner ce qu’elle rend ouvert. Une organisation peut affirmer que ses données sont accessibles alors qu’elles demandent une procédure presque impossible. Il faut donc distinguer :
- ouverture déclarée ;
- ouverture effective ;
- réutilisabilité ;
- complétude ;
- traçabilité.
La science ouverte demande des standards pratiques, pas seulement un discours favorable à la transparence.
Le risque de réidentification
Certaines données ne peuvent pas être librement publiées sans danger. Une base apparemment anonymisée peut parfois être croisée avec d’autres informations. Les participants ont confié leurs données dans un cadre éthique déterminé. La volonté de transparence ne doit pas supprimer :
- la vie privée ;
- le secret médical ;
- la protection des populations vulnérables ;
- les droits des communautés ;
- les engagements de consentement.
La science ouverte n’est pas l’ouverture indiscriminée. Elle doit intégrer la responsabilité.
Les populations étudiées ont-elles un droit sur les données ?
Certaines recherches concernent des communautés ayant historiquement subi extraction, exploitation ou stigmatisation. Rendre leurs données librement accessibles peut permettre des usages qu’elles n’avaient pas acceptés. La gouvernance des données peut donc exiger :
- participation ;
- consentement adapté ;
- contrôle collectif ;
- restrictions d’usage ;
- retour des résultats.
L’idéal d’ouverture doit être articulé à la justice épistémique et aux droits des personnes concernées.
L’ouverture demande des ressources
Préparer des données propres, documenter un code, maintenir une archive et répondre aux demandes exige du temps. Ces tâches sont souvent peu reconnues dans les carrières scientifiques.
Une obligation d’ouverture sans financement peut pénaliser :
- les petites équipes ;
- les chercheurs précaires ;
- les institutions disposant de peu de moyens ;
- certaines disciplines.
Réformer les pratiques demande donc de financer et de valoriser l’infrastructure de transparence. Il ne suffit pas d’ajouter une nouvelle exigence administrative.
Les incitations scientifiques
Le biais de publication persiste parce que plusieurs acteurs y contribuent :
- les chercheurs veulent publier ;
- les revues veulent attirer l’attention ;
- les universités évaluent la productivité ;
- les financeurs recherchent des résultats visibles ;
- les médias préfèrent les découvertes ;
- le public retient les conclusions simples.
Demander uniquement aux chercheurs d’être plus vertueux ne suffit pas. Les récompenses doivent être alignées avec les objectifs épistémiques. Il faut valoriser :
- la qualité de la méthode ;
- le partage ;
- la réplication ;
- les résultats négatifs ;
- la correction ;
- la production de données réutilisables.
Récompenser les résultats ou les méthodes ?
Le système traditionnel évalue souvent un projet après que ses résultats sont connus. Un résultat spectaculaire peut recevoir une forte récompense même si la méthode était fragile. Un protocole rigoureux produisant un résultat nul peut être ignoré. Les rapports enregistrés cherchent à inverser cette logique :
La qualité de la question et du test doit être évaluée avant que la direction du résultat puisse influencer le jugement.
Cela ne signifie pas que tous les protocoles bien conçus soient également importants.
La pertinence théorique, sociale et méthodologique reste essentielle. Mais la publication ne devrait pas dépendre principalement du fait que l’hypothèse préférée ait « gagné ».
La responsabilité des revues
Les revues peuvent agir à plusieurs niveaux :
- accepter les rapports enregistrés ;
- demander l’enregistrement des essais ;
- exiger une déclaration de disponibilité des données ;
- encourager les réplications ;
- publier les résultats négatifs ;
- demander les protocoles ;
- vérifier les écarts avec le préenregistrement ;
- publier les corrections.
Les standards TOP proposent précisément plusieurs degrés d’engagement, permettant aux revues d’adapter les exigences aux disciplines. Une politique écrite ne suffit toutefois pas. Il faut vérifier son application réelle.
La responsabilité des financeurs
Les financeurs peuvent exiger que les projets :
- soient enregistrés ;
- rendent leurs résultats accessibles ;
- documentent leurs données ;
- publient les conclusions négatives ;
- prévoient un budget de gestion des données.
Ils peuvent également financer :
- les réplications ;
- les infrastructures ;
- les synthèses ;
- la maintenance des bases ;
- les recherches méthodologiques.
Le financement produit une grande partie des incitations en amont. Il peut donc réduire le biais avant que l’étude n’atteigne les revues.
La responsabilité des institutions
Les universités et organismes de recherche évaluent souvent leurs membres à partir :
- du nombre d’articles ;
- du prestige des revues ;
- des citations ;
- des financements obtenus.
Ces indicateurs favorisent parfois la quantité et la nouveauté au détriment de la fiabilité.
Une évaluation plus cohérente avec la science ouverte devrait reconnaître :
- les données partagées ;
- les codes ;
- les réplications ;
- les corrections ;
- les logiciels ;
- les contributions collectives ;
- la qualité méthodologique.
Une culture ne change pas uniquement par des recommandations morales. Elle change lorsque les comportements utiles deviennent réellement valorisés.
La responsabilité des chercheurs
Les chercheurs peuvent réduire le biais en :
- enregistrant leurs études ;
- distinguant exploration et confirmation ;
- partageant leurs méthodes ;
- publiant les résultats négatifs ;
- conservant les données ;
- signalant les changements ;
- évitant les conclusions excessives ;
- corrigeant publiquement les erreurs.
Ils doivent également résister à une tentation compréhensible :
transformer chaque projet en histoire réussie.
Une recherche peut être utile précisément parce que l’hypothèse initiale était fausse.
La responsabilité des lecteurs et des médias
Le public contribue indirectement aux incitations.
Nous préférons les titres annonçant :
- une découverte ;
- une preuve ;
- une solution ;
- un danger nouveau.
Les résultats prudents reçoivent moins d’attention.
Une culture de l’esprit critique devrait valoriser également les nouvelles comme :
- « L’effet est plus faible que prévu » ;
- « Une étude célèbre n’a pas été reproduite » ;
- « Les données restent insuffisantes » ;
- « Le modèle fonctionne seulement dans certaines conditions ».
La correction est un résultat scientifique, pas l’absence d’un résultat.
Les registres rendent visibles les études manquantes
L’un des avantages majeurs des registres est de séparer l’existence de l’étude de sa publication finale.
Un lecteur peut rechercher :
- combien d’essais étaient prévus ;
- lesquels sont terminés ;
- si leurs résultats ont été déclarés ;
- si l’article correspond au protocole.
Dans le domaine clinique, cette traçabilité possède aussi une dimension éthique. Des personnes acceptent des risques ou des contraintes afin de contribuer à la connaissance. Lorsque les résultats restent cachés, leur participation ne produit pas entièrement le bénéfice collectif attendu. Les obligations d’enregistrement et de déclaration des résultats ont précisément été développées pour limiter cette perte et cette distorsion.
L’éthique des résultats non publiés
Ne pas publier une étude correctement menée peut gaspiller :
- du temps ;
- des financements ;
- la participation des sujets ;
- des ressources médicales ;
- des occasions d’apprentissage.
D’autres équipes peuvent répéter une intervention déjà connue comme inefficace. Dans les essais médicaux, l’invisibilité peut fausser l’évaluation des bénéfices et des risques. Le biais de publication n’est donc pas seulement un problème statistique. Il concerne la responsabilité envers les participants, les patients, les financeurs, les chercheurs futurs et le public.
Publication négative et réputation
Un chercheur peut craindre qu’un résultat nul donne l’impression d’un projet raté.
Une culture plus saine devrait distinguer :
- hypothèse non confirmée ;
- mauvais protocole ;
- exécution défectueuse.
Une hypothèse réfutée par un bon test constitue un résultat. À l’inverse, un résultat positif produit par une méthode inadéquate ne mérite pas davantage de prestige.
La qualité de l’enquête doit être séparée de la direction de la conclusion.
Les corrections et les rétractations
La science ouverte facilite également la correction après publication. Des données accessibles permettent à d’autres chercheurs de repérer une erreur. Une correction peut concerner un chiffre, une analyse, un graphique, une interprétation et parfois toute la conclusion.
Une rétractation retire un article lorsque ses résultats ne peuvent plus être considérés comme fiables. La présence de corrections visibles ne prouve pas que la science fonctionne parfaitement. Elle indique au moins que certains mécanismes de contrôle existent. Le problème apparaît lorsque l’article initial continue d’être cité sans tenir compte de la correction.
Une erreur honnête n’est pas une fraude
La distinction est importante.
Erreur
Une faute de calcul, une mauvaise mesure ou une interprétation incorrecte sans volonté de tromper.
Pratique discutable
Une sélection excessive, une transparence insuffisante ou une présentation exagérée.
Fraude
Une fabrication, une falsification ou une dissimulation intentionnelle grave.
Réagir de la même manière à toutes ces situations peut décourager la correction volontaire.
Une culture scientifique fiable doit sanctionner la fraude, réduire les mauvaises incitations et permettre la reconnaissance honnête des erreurs.
L’ouverture peut-elle nuire à la confiance ?
Rendre visibles les erreurs, désaccords et rétractations peut donner l’impression que la science est moins fiable. Une institution opaque paraît parfois plus stable parce que ses problèmes restent cachés. Mais cette stabilité est artificielle. La confiance rationnelle ne doit pas reposer sur une image d’infaillibilité. Elle doit reposer sur la capacité à :
- détecter les erreurs ;
- les rendre publiques ;
- corriger les conclusions ;
- modifier les procédures.
La transparence peut réduire une confiance naïve tout en renforcer une confiance mieux fondée.
La crise de confiance et la communication
Présenter le biais de publication de manière excessive peut produire une autre déformation :
« Puisque la littérature est sélectionnée, on ne peut croire aucune étude. »
Cette conclusion ne suit pas.
Les domaines diffèrent fortement selon :
- leurs méthodes ;
- leurs tailles d’échantillon ;
- leurs registres ;
- leurs réplications ;
- leurs instruments ;
- la maturité de leurs théories.
Une étude isolée et une connaissance soutenue par plusieurs décennies de résultats indépendants ne possèdent pas la même vulnérabilité.
Le biais de publication demande de calibrer la confiance, non de remplacer la crédulité par un scepticisme total.
La science ouverte est-elle toujours souhaitable ?
L’objectif général de transparence est largement défendable. Mais les modalités doivent rester proportionnées.
Une exigence peut devenir contre-productive si elle :
- expose des données sensibles ;
- crée une bureaucratie excessive ;
- empêche l’exploration ;
- favorise seulement les grandes institutions ;
- impose un standard inadapté ;
- transforme la conformité formelle en substitut de la qualité.
La bonne question n’est pas :
« Faut-il tout ouvrir sans exception ? »
mais :
« Quelles informations doivent être accessibles, à qui, dans quelles conditions, afin d’améliorer la vérification sans produire des dommages disproportionnés ? »
Exploration ouverte et confirmation rigoureuse
La science ouverte ne doit pas opposer liberté exploratoire et rigueur confirmatoire. Une recherche peut commencer par une exploration souple. Les chercheurs peuvent tester de nombreuses idées et découvrir des régularités inattendues. Ils doivent ensuite indiquer clairement ce statut et organiser une nouvelle mise à l’épreuve. Le cycle idéal est :
- exploration ;
- formulation d’une hypothèse ;
- préenregistrement d’un test ;
- collecte indépendante ;
- publication quel que soit le résultat ;
- réplication ;
- synthèse.
La créativité et le contrôle occupent des étapes différentes mais complémentaires.
L’ouverture des désaccords
Les données et méthodes ouvertes permettent parfois à plusieurs équipes de produire des analyses différentes. Cette divergence peut sembler affaiblir la science. Elle révèle souvent une incertitude réelle qui serait restée cachée sous une seule publication.
La pluralité des analyses permet d’identifier :
- les résultats robustes ;
- les décisions sensibles ;
- les interprétations concurrentes ;
- les limites des données.
L’objectif de la science ouverte n’est pas de produire artificiellement un accord immédiat. Il est de rendre le désaccord mieux informé et plus contrôlable.
L’ouverture comme condition de mémoire
Une science cumulative doit pouvoir retrouver :
- les données ;
- les versions ;
- les protocoles ;
- les erreurs ;
- les résultats négatifs ;
- les décisions analytiques.
Sans cette mémoire, les générations suivantes risquent de répéter les mêmes études ou de reconstruire une image simplifiée du passé.
Les archives ouvertes et les identifiants persistants permettent de conserver une histoire plus fidèle de la recherche. Cette mémoire est une protection contre le biais rétrospectif collectif.
Comment lire une littérature susceptible d’être biaisée ?
Le lecteur ne peut pas toujours retrouver toutes les études absentes. Il peut néanmoins adopter plusieurs précautions.
Rechercher les synthèses systématiques
Elles décrivent généralement leurs méthodes de recherche et leurs critères d’inclusion.
Vérifier l’existence de registres
Les essais enregistrés mais non publiés peuvent être identifiés.
Examiner la proportion de petites études positives
Une concentration inhabituelle peut signaler une sélection, sans la prouver.
Chercher les réplications
Un effet fondé sur une étude célèbre unique reste fragile.
Examiner les protocoles
Les critères publiés correspondent-ils à ceux qui avaient été annoncés ?
Vérifier les mises à jour
Une conclusion ancienne peut avoir été corrigée.
Distinguer absence de preuve et preuve d’absence
Les résultats négatifs doivent être interprétés selon la puissance du test.
Évaluer un article ouvert
Lorsqu’une étude revendique des pratiques ouvertes, il faut demander :
- le préenregistrement est-il antérieur aux données ?
- est-il suffisamment précis ?
- les écarts sont-ils indiqués ?
- les données sont-elles documentées ?
- le code permet-il réellement de retrouver les résultats ?
- les matériels sont-ils complets ?
- les analyses exploratoires sont-elles signalées ?
- les résultats négatifs sont-ils présentés ?
- les limites d’accès sont-elles justifiées ?
Le badge ou l’étiquette *open science* constitue un indice, non une validation.
Une hiérarchie des correctifs
Tous les outils ne corrigent pas le même problème.
Registre
Rend visible l’existence du projet.
Préenregistrement
Conserve les intentions méthodologiques antérieures aux résultats.
Rapport enregistré
Réduit la dépendance de la publication à la direction du résultat.
Données ouvertes
Permettent la vérification et la réanalyse.
Code ouvert
Facilite la reproduction des calculs.
Matériels ouverts
Facilitent la réplication.
Résultats négatifs accessibles
Réduisent la sélection de la littérature.
Réplications
Vérifient la stabilité sur de nouvelles données.
Méta-analyses et synthèses
Organisent l’ensemble des résultats visibles et recherchés.
Une science fiable demande plusieurs couches, car aucun outil ne corrige toutes les sources de biais.
Les limites des correctifs statistiques
Lorsqu’un biais de publication est suspecté, les chercheurs peuvent utiliser des méthodes statistiques pour estimer son influence. Ces méthodes peuvent :
- tester la sensibilité de la conclusion ;
- simuler des études manquantes ;
- corriger certaines asymétries ;
- comparer plusieurs scénarios de sélection.
Elles restent dépendantes d’hypothèses. Nous ne connaissons pas réellement le contenu des études inexistantes ou cachées. Une correction statistique ne remplace donc pas :
- l’enregistrement ;
- la publication complète ;
- l’accès aux résultats ;
- la réplication.
Prévenir la perte d’information est généralement plus fiable que reconstruire cette information après coup.
Quand la littérature est-elle relativement rassurante ?
Une littérature inspire davantage confiance lorsque :
- les études sont enregistrées ;
- les résultats sont publiés indépendamment de leur direction ;
- les protocoles sont accessibles ;
- les critères correspondent aux plans initiaux ;
- les données et codes peuvent être vérifiés ;
- plusieurs équipes indépendantes convergent ;
- les réplications sont visibles ;
- les effets sont suffisamment précis ;
- les résultats négatifs sont présents ;
- les synthèses évaluent les biais.
La confiance augmente également lorsque les prédictions réussissent dans des domaines différents et que des applications fonctionnent de manière stable.
Quand faut-il être particulièrement prudent ?
La prudence est renforcée lorsque :
- le résultat vient d’une seule étude ;
- l’échantillon est petit ;
- l’effet est spectaculaire ;
- de nombreuses analyses étaient possibles ;
- le protocole n’est pas accessible ;
- aucun résultat négatif n’apparaît ;
- les réplications manquent ;
- les études positives sont toutes petites ;
- les auteurs changent de critères ;
- les conclusions médiatiques dépassent largement les données ;
- la littérature dépend d’une même équipe ou d’un même financement ;
- les méta-analyses incluent seulement les articles publiés.
Aucun de ces indices ne prouve que le résultat soit faux.
Leur accumulation doit réduire le niveau de confiance.
Une méthode pratique d’évaluation
Définir la question
Quelle proposition précise la littérature est-elle censée soutenir ?
Rechercher les études invisibles
Existe-t-il des registres, thèses, rapports ou données réglementaires ?
Comparer les protocoles et les publications
Les critères et analyses ont-ils été modifiés ?
Examiner la sélection
Les résultats positifs semblent-ils surreprésentés ?
Vérifier la transparence
Les données, codes et matériels permettent-ils une évaluation indépendante ?
Rechercher les réplications
L’effet existe-t-il au-delà de l’étude initiale ?
Examiner la robustesse
La conclusion persiste-t-elle sous plusieurs méthodes ?
Évaluer les incitations
Qui avait intérêt à publier, retarder ou sélectionner certains résultats ?
Calibrer la conclusion
La littérature soutient-elle une hypothèse prometteuse, probable ou solidement établie ?
Questions pour examiner une littérature scientifique
- Toutes les études réalisées sont-elles identifiables ?
- Les projets ont-ils été enregistrés avant leurs résultats ?
- Les résultats des essais terminés sont-ils accessibles ?
- Les études positives sont-elles publiées plus rapidement ?
- Les résultats nuls ont-ils été rédigés et soumis ?
- Les critères principaux correspondent-ils aux protocoles ?
- Des mesures ont-elles été omises ?
- Des analyses ont-elles été ajoutées après coup ?
- Les hypothèses exploratoires sont-elles présentées comme confirmatoires ?
- Plusieurs articles proviennent-ils de la même étude ?
- Les études utilisent-elles les mêmes données ?
- Les résultats positifs reçoivent-ils davantage de citations ?
- Les réplications négatives sont-elles visibles ?
- Les données et les codes peuvent-ils être vérifiés ?
- Les limites d’accès sont-elles justifiées ?
- Les pratiques ouvertes sont-elles réelles ou seulement déclarées ?
- Les études sont-elles suffisamment puissantes ?
- Les tailles d’effet diminuent-elles dans les réplications ?
- Une méta-analyse a-t-elle recherché la littérature non publiée ?
- Les méthodes de détection du biais reposent-elles sur des hypothèses fragiles ?
- Les corrections et rétractations sont-elles prises en compte ?
- Le consensus repose-t-il sur des preuves indépendantes ?
- Quel résultat invisible pourrait modifier la conclusion ?
- Le degré de confiance annoncé tient-il compte de cette incertitude ?
Erreurs fréquentes
Croire que la littérature publiée représente toutes les recherches
La publication est un processus de sélection.
Supposer que seuls les industriels cachent des résultats
Les incitations académiques peuvent également produire une sélection.
Confondre résultat nul et étude inutile
Un bon test négatif apporte une information.
Confondre absence de significativité et absence d’effet
Une étude peut manquer de précision.
Croire qu’une méta-analyse corrige automatiquement le biais
Elle peut synthétiser un échantillon déjà sélectionné.
Traiter plusieurs publications comme des études indépendantes
Elles peuvent provenir des mêmes données.
Confondre nombre de citations et solidité
Une étude célèbre peut être fragile ou dépassée.
Croire qu’un préenregistrement garantit la qualité
Il peut être vague ou méthodologiquement mauvais.
Croire qu’un changement par rapport au protocole constitue toujours une faute
Une adaptation peut être légitime si elle est signalée.
Confondre science ouverte et accès gratuit aux articles
La science ouverte concerne aussi les méthodes, données, codes et résultats.
Croire que des données ouvertes sont nécessairement utilisables
Elles doivent être documentées et protégées.
Exiger l’ouverture de toutes les données sans considération éthique
La confidentialité et les droits des participants imposent des limites.
Traiter une étude ouverte comme automatiquement vraie
La transparence facilite la vérification sans garantir le résultat.
Utiliser le biais de publication pour rejeter toute science
La vulnérabilité varie fortement selon les domaines et l’architecture des preuves.
Confondre correction visible et absence de fiabilité
Une capacité de correction peut renforcer la confiance institutionnelle.
À retenir
La littérature publiée ne représente pas nécessairement l’ensemble des recherches réalisées.
Le biais de publication apparaît lorsque la probabilité de publication dépend de la direction, de la force ou de la signification statistique des résultats.
Les résultats positifs, nouveaux et spectaculaires sont souvent plus visibles que les résultats nuls, ambigus ou ordinaires.
Cette sélection peut exagérer l’existence, l’ampleur et la stabilité d’un effet.
Le problème ne suppose pas toujours une fraude ou une censure. Il peut résulter des décisions ordinaires des auteurs, revues, institutions et médias.
Un résultat négatif provenant d’un bon test est scientifiquement utile.
Le biais peut apparaître entre les études, mais aussi au sein d’une étude lorsque certains critères, analyses ou sous-groupes sont sélectionnés.
Le HARKing et le p-hacking transforment la flexibilité de l’analyse en confirmation apparente.
La répétition d’une même source par plusieurs articles, citations ou médias ne constitue pas plusieurs preuves indépendantes.
Les registres prospectifs rendent visible l’existence des études avant que leurs résultats puissent influencer leur publication.
Le préenregistrement conserve les hypothèses et analyses prévues, tout en permettant les changements à condition qu’ils soient signalés.
Les rapports enregistrés font évaluer et accepter en principe un protocole avant la connaissance des résultats, réduisant ainsi la préférence éditoriale pour les conclusions positives.
La science ouverte comprend également le partage des données, des codes, des matériels, des protocoles, des résultats négatifs et des historiques de correction.
L’ouverture ne garantit ni la qualité ni la vérité. Elle rend certaines erreurs plus visibles et certaines vérifications plus faciles.
Toutes les données ne peuvent pas être librement ouvertes. La transparence doit respecter la confidentialité, le consentement et les droits des communautés.
Les pratiques ouvertes demandent du temps, des compétences et des infrastructures. Elles doivent être reconnues et financées.
Aucun correctif isolé ne suffit. La fiabilité vient de la combinaison de l’enregistrement, de la transparence, de la publication complète, de la réplication et de la synthèse critique.
La présence visible d’erreurs et de corrections n’indique pas nécessairement que la science est moins fiable. Elle peut montrer que ses mécanismes de contrôle fonctionnent.
La question centrale n’est donc pas seulement :
« Que montrent les articles publiés ? »
mais :
« Quelles recherches ont réellement été conduites, comment leurs résultats ont-ils été sélectionnés, et les données visibles représentent-elles suffisamment l’ensemble des preuves disponibles ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Qu’est-ce que l’effet tiroir ?
- Comment distinguer biais de publication et biais de compte rendu ?
- Pourquoi les résultats nuls sont-ils moins visibles ?
- Qu’est-ce que le HARKing ?
- Comment le p-hacking produit-il des résultats apparemment positifs ?
- Qu’est-ce qu’un registre d’études ?
- Quelle différence existe entre enregistrement et préenregistrement ?
- Comment fonctionnent les rapports enregistrés ?
- Le préenregistrement limite-t-il la créativité scientifique ?
- Quelle différence existe entre accès ouvert et science ouverte ?
- Dans quelles conditions faut-il partager les données ?
- Comment protéger les participants dans une science ouverte ?
- Les méta-analyses peuvent-elles corriger le biais de publication ?
- Comment modifier les incitations scientifiques ?
- La transparence suffit-elle à rendre la science fiable ?
Quelques références
- Robert Rosenthal, travaux sur l’effet tiroir et le biais de publication.
- John Ioannidis, « Why Most Published Research Findings Are False ».
- Annie Franco, Neil Malhotra et Gábor Simonovits, « Publication Bias in the Social Sciences: Unlocking the File Drawer ».
- Erick Turner et ses collaborateurs, « Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy ».
- Ben Goldacre, *Bad Pharma*.
- Iain Chalmers et Paul Glasziou, travaux sur le gaspillage de la recherche.
- Leslie John, George Loewenstein et Drazen Prelec, travaux sur les pratiques de recherche discutables.
- Joseph Simmons, Leif Nelson et Uri Simonsohn, « False-Positive Psychology ».
- Brian Nosek et ses collaborateurs, « Promoting an Open Research Culture ».
- Christopher Chambers, travaux sur les rapports enregistrés.
- Dorothy Bishop, travaux sur la transparence et la reproductibilité.
- Marcus Munafò et ses collaborateurs, « A Manifesto for Reproducible Science ».
- Deborah Mayo, *Statistical Inference as Severe Testing*.
- Stephen Senn, travaux sur les essais cliniques et l’interprétation statistique.
- Cochrane, méthodes de synthèse et d’évaluation des biais de compte rendu.
- Organisation mondiale de la santé, plateforme internationale d’enregistrement des essais cliniques.
- Center for Open Science, ressources sur le préenregistrement, l’Open Science Framework et les rapports enregistrés.