Biais de publication et problème du fichier tiroir

Supposons que vingt équipes indépendantes testent une hypothèse qui est en réalité fausse.

Par simple fluctuation statistique, l’une ou deux peuvent obtenir un résultat particulièrement spectaculaire. Les autres trouvent peu de choses.

Si les vingt études deviennent publiques, la communauté scientifique peut examiner l’ensemble du corpus et constater que les résultats ne sont pas convaincants.

Mais imaginons maintenant que seules les deux études « positives » soient publiées.

La littérature accessible raconte alors une histoire complètement différente de la recherche réellement effectuée.

Aucune des deux publications n’a nécessairement falsifié ses données. Leurs analyses peuvent même être correctement exécutées. Le problème se situe à un autre niveau : les études visibles ne constituent plus un échantillon représentatif des études réalisées.

C’est le biais de publication.

Cochrane définit aujourd’hui plus largement le problème comme un ensemble de biais dus aux preuves manquantes : les décisions concernant le fait de rendre disponibles une étude, un résultat ou une analyse peuvent dépendre de la direction, de l’ampleur ou de la significativité statistique des résultats. Les résultats statistiquement significatifs ou favorables tendent notamment à être plus facilement disponibles, plus rapidement publiés, davantage présents dans des revues visibles et davantage cités.

La conséquence est profonde : une excellente revue systématique peut chercher parfaitement dans une littérature qui, elle, est incomplète.

Le « fichier tiroir »

L’expression file drawer problem, que l’on peut traduire par problème du fichier tiroir, a été popularisée par le psychologue Robert Rosenthal en 1979.

L’image était simple : certaines études aboutissant à des résultats non significatifs pourraient rester dans les tiroirs des laboratoires tandis que les résultats plus spectaculaires deviennent visibles dans les revues. Rosenthal présentait volontairement une version extrême du problème : si seuls les résultats fortuitement significatifs d’un grand ensemble de recherches étaient publiés, la littérature pourrait donner l’impression qu’un phénomène existe alors que l’ensemble des expériences raconterait tout autre chose.

Le terme est resté parce qu’il capture une asymétrie fondamentale :

nous voyons les études publiées ; nous ne voyons pas facilement celles qui auraient pu être publiées mais ne l’ont jamais été.

Le tiroir est aujourd’hui souvent numérique plutôt que physique.

L’étude peut rester sur un ordinateur, dans le rapport interne d’une entreprise, dans les archives d’un financeur ou simplement ne jamais dépasser le stade d’une analyse inachevée.

Une littérature publiée n’est donc pas nécessairement toute la littérature scientifique

La distinction est essentielle.

Supposons que nous trouvions cinquante articles sur un traitement.

Cela ne nous dit pas combien d’études ont réellement été entreprises.

Peut-être cinquante.

Peut-être soixante.

Peut-être cent.

Si les travaux invisibles ressemblent aux travaux visibles, le problème est limité.

Mais s’ils sont absents précisément parce que leurs résultats étaient différents, la littérature publiée devient systématiquement biaisée.

C’est pourquoi le nombre de publications ne suffit jamais à garantir la représentativité du corps de preuves.

Le biais ne nécessite pas un complot

Le mécanisme est parfois présenté comme s’il exigeait qu’un éditeur décide consciemment :

« cette étude n’a pas trouvé d’effet, refusons-la ».

Cela peut arriver.

Mais plusieurs étapes peuvent produire le même résultat.

Les chercheurs peuvent estimer qu’un résultat non significatif n’est pas assez intéressant pour être rédigé.

Ils peuvent anticiper qu’une revue le refusera.

Un doctorant peut quitter le laboratoire.

Le projet peut manquer de financement.

Un sponsor peut ne pas poursuivre la publication.

Un article peut être soumis mais rejeté.

Les auteurs peuvent abandonner après plusieurs refus.

Inversement, un résultat spectaculaire peut susciter immédiatement davantage d’efforts de rédaction et d’intérêt éditorial.

Dans l’étude célèbre de Turner et de ses collègues sur les antidépresseurs, les auteurs soulignaient précisément qu’ils ne pouvaient pas déterminer si la sélection observée provenait des auteurs et sponsors, des décisions éditoriales ou d’une combinaison de ces mécanismes.

Le biais est donc un résultat du système de sélection, pas nécessairement l’intention d’un acteur unique.

Pourquoi les résultats « positifs » sont-ils plus attractifs ?

Une affirmation nouvelle attire davantage l’attention que :

« nous avons testé l’hypothèse et obtenu un résultat très incertain ».

Un traitement qui « fonctionne » paraît plus intéressant qu’un traitement qui n’améliore rien.

Une relation surprenante entre deux phénomènes semble plus susceptible de produire un article, une citation ou un titre médiatique qu’une absence de différence.

Cette préférence possède une certaine logique éditoriale.

La science cherche réellement les phénomènes nouveaux.

Le problème apparaît lorsque l’intérêt éditorial dépend tellement du résultat que la littérature cesse de représenter correctement les recherches effectuées.

« Résultat négatif » est une expression ambiguë

Il faut également être précis.

Une étude peut être qualifiée de « négative » parce qu’elle obtient *p* > 0,05.

Mais comme nous l’avons vu, cela peut correspondre à plusieurs situations :

un effet réellement très faible ;

une étude trop petite ;

une estimation très incertaine ;

un effet dans la direction opposée ;

ou une véritable exclusion d’un effet important.

Le biais de publication ne concerne donc pas seulement des études démontrant solidement « l’absence d’effet ».

Il concerne plus généralement le risque que la probabilité de rendre un résultat visible dépende de son apparence favorable, spectaculaire ou statistiquement significative.

Cette distinction est importante : publier davantage les résultats significatifs peut biaiser la littérature même lorsque les résultats non significatifs étaient simplement inconclusifs.

Publication sélective de l’étude entière

La forme la plus intuitive est la disparition complète d’une étude.

Un essai est réalisé.

Les résultats principaux ne sont pas favorables.

Aucun article n’apparaît.

Pour le lecteur effectuant une recherche bibliographique classique, l’étude n’existe pratiquement pas.

Cette situation est appelée publication bias au sens strict ou, dans la terminologie actuelle de Cochrane, une forme de non-reporting bias au niveau de l’étude.

Mais il existe une forme plus subtile.

L’étude peut être publiée tout en cachant une partie de ses résultats

Supposons qu’un essai mesure :

douleur ;

mobilité ;

qualité de vie ;

anxiété ;

sommeil ;

satisfaction ;

retour au travail.

Le traitement n’améliore presque rien.

Mais une mesure secondaire de satisfaction donne *p* = 0,03.

L’étude est publiée en mettant en avant cette mesure.

Le problème n’est plus :

« l’étude entière a disparu ».

Il est :

« certains résultats de l’étude ont davantage de chances d’apparaître que d’autres ».

On parle de selective outcome reporting, ou rapport sélectif des résultats.

Les revues empiriques de Dwan et de ses collègues ont trouvé des preuves directes de ce phénomène : les résultats statistiquement significatifs avaient davantage de chances d’être complètement rapportés, et les publications différaient fréquemment des protocoles initiaux quant aux critères de jugement.

Le fichier tiroir peut donc exister à l’intérieur même d’un article publié.

Une analyse peut également disparaître

Le phénomène peut descendre encore d’un niveau.

Supposons qu’un même résultat permette plusieurs analyses :

avec ou sans certaines covariables ;

chez tous les participants ou seulement chez ceux ayant terminé l’étude ;

à trois mois ou six mois ;

avec une variable continue ou dichotomisée.

Les auteurs peuvent ne publier que la version donnant le résultat le plus intéressant.

L’étude est visible.

Le critère est visible.

Mais les analyses concurrentes restent invisibles.

Une revue systématique de cohortes de trials menée par Dwan et ses collègues a trouvé des preuves de divergences entre analyses prévues et analyses rapportées, confirmant que la sélection peut concerner non seulement les études et les résultats, mais également la manière dont ceux-ci sont analysés.

Nous retrouvons ici la continuité avec les degrés de liberté analytiques étudiés auparavant.

Trois niveaux de sélection

Le même mécanisme peut donc agir à plusieurs niveaux :

NiveauCe qui peut devenir invisible
Étudel’étude entière n’est pas publiée
Résultatcertains critères de jugement sont omis ou minimisés
Analysecertaines analyses sont sélectionnées parmi plusieurs possibilités

Cette distinction explique pourquoi résoudre uniquement la non-publication des études ne suffirait pas.

Une étude enregistrée peut être publiée tout en présentant une version sélective de ce qu’elle avait réellement trouvé.

L’exemple des antidépresseurs : la littérature visible et la base FDA

L’une des démonstrations empiriques les plus frappantes a été publiée en 2008 par Erick Turner et ses collègues.

Les chercheurs ont utilisé les dossiers de la Food and Drug Administration américaine concernant 74 études portant sur 12 antidépresseurs et 12 564 patients, puis ont recherché les publications correspondant à ces essais.

L’avantage méthodologique était exceptionnel.

Habituellement, nous voyons les publications et devons deviner ce qui pourrait manquer.

Ici, les chercheurs disposaient d’une source réglementaire permettant de connaître un ensemble beaucoup plus complet d’essais réalisés.

Ils pouvaient donc comparer :

ce que le corpus d’études montrait

et

ce qu’un lecteur de la littérature publiée aurait vu.

94 % contre 51 %

Parmi les 74 études enregistrées auprès de la FDA, 31 % n’avaient pas été publiées, représentant 3 449 participants. Parmi les études considérées comme positives par la FDA, 37 sur 38 furent publiées. Les études considérées comme négatives ou discutables étaient, à trois exceptions près, soit non publiées, soit publiées d’une manière que les auteurs de l’analyse jugeaient comme donnant une impression positive.

La conséquence était spectaculaire.

À partir de la littérature publiée, un lecteur aurait eu l’impression que 94 % des essais étaient positifs.

À partir de l’analyse FDA du corpus, 51 % seulement étaient classés positifs.

La méta-analyse des publications surestimait en outre la taille moyenne de l’effet des médicaments d’environ 32 % relativement à l’ensemble des données FDA.

Ce cas montre pourquoi le biais de publication n’est pas un problème abstrait de bibliométrie.

Il peut modifier l’estimation de l’efficacité d’un traitement.

Ce cas ne signifie pas « les antidépresseurs ne fonctionnent pas »

Il faut immédiatement éviter une mauvaise interprétation.

Turner et ses collègues ne concluaient pas que l’effet des antidépresseurs était entièrement illusoire.

Ils précisaient au contraire que, lorsqu’on regroupait l’ensemble des données pour chaque médicament, ceux-ci demeuraient supérieurs au placebo.

La conclusion importante était différente :

la littérature publiée donnait une image excessivement favorable de leur efficacité.

Le cas illustre donc exactement la distinction entre :

existence d’un effet

et

estimation correcte de son ampleur.

Le biais de publication peut transformer un petit effet réel en effet apparemment beaucoup plus impressionnant.

Et l’exemple ne peut pas être généralisé mécaniquement à toute la science

L’étude concernait douze antidépresseurs, des essais soumis à la FDA et un contexte historique particulier.

Elle ne démontre pas que 31 % de toutes les recherches scientifiques restent non publiées, ni que tous les domaines possèdent exactement le même biais.

Les taux varient selon :

les disciplines ;

les périodes ;

les politiques de publication ;

les types d’études ;

les financeurs ;

et les pratiques de transparence.

La valeur de cet exemple est méthodologique : il montre directement qu’un écart important peut exister entre corpus réel et corpus publié lorsqu’une source indépendante permet de comparer les deux.

Les études empiriques confirment que le problème dépasse cet exemple

Les revues systématiques de Dwan et de ses collègues ont examiné les études ayant comparé protocoles, essais enregistrés et publications ultérieures.

Leur conclusion générale était claire : il existe des preuves empiriques directes de biais de publication et de rapport sélectif des résultats. Les études présentant des résultats positifs ou statistiquement significatifs ont davantage de chances d’être publiées, tandis que les critères statistiquement significatifs ont davantage de chances d’être rapportés complètement.

Il faut toutefois conserver une nuance importante.

L’ampleur exacte de ces phénomènes varie énormément entre cohortes et contextes.

Nous pouvons être confiants dans l’existence du mécanisme sans supposer qu’il affecte toutes les littératures avec la même intensité.

Le biais peut également agir sur la vitesse de publication

Deux études peuvent toutes deux finir par être publiées.

Mais l’étude positive paraît en six mois.

L’étude négative après quatre ans.

Pendant ces quatre années, toute revue systématique ou recommandation s’appuie sur une littérature temporairement biaisée.

Cochrane inclut explicitement cette disponibilité plus rapide des résultats significatifs parmi les mécanismes de non-reporting bias.

On parle parfois de time-lag bias.

Une littérature peut donc devenir plus équilibrée avec le temps, tout en ayant fourni pendant plusieurs années une vision excessivement favorable d’un phénomène.

L’endroit où l’étude est publiée compte également

Un résultat positif peut être plus susceptible d’apparaître dans :

une revue à forte visibilité ;

une revue internationale ;

une publication en anglais ;

ou un article plus facilement indexé.

Même si les résultats négatifs existent quelque part, ils deviennent plus difficiles à découvrir.

Le biais de disponibilité n’est donc pas uniquement :

publié / non publié.

Il peut exister un continuum allant de :

très visible

à

pratiquement invisible.

Cochrane souligne que les résultats significatifs tendent non seulement à être davantage publiés, mais également à apparaître dans des supports plus visibles et à être davantage cités.

La littérature que nous lisons est filtrée plusieurs fois.

Le biais de citation

Supposons que deux études soient publiées.

L’une trouve un effet spectaculaire.

Elle est citée 500 fois.

L’autre trouve peu d’effet.

Elle est citée 20 fois.

Les futures introductions et revues narratives rencontreront beaucoup plus souvent la première.

Les moteurs académiques peuvent également la classer plus haut en raison de son nombre de citations.

Un résultat peut alors devenir dominant dans la mémoire collective du domaine sans représenter proportionnellement toutes les données disponibles.

Cochrane considère cette plus grande probabilité de citation des résultats significatifs parmi les mécanismes rendant certaines preuves plus faciles à retrouver.

Cela montre pourquoi compter les citations ne mesure pas directement la solidité d’un résultat.

La sélection peut modifier une méta-analyse

Le problème devient particulièrement important avec la synthèse quantitative.

Supposons que dix petites études positives soient publiées et dix petites études nulles restent invisibles.

La méta-analyse ne sait pas que les dix autres existent.

Elle combine les dix résultats visibles.

L’estimation devient plus précise.

L’intervalle se resserre.

Le résultat paraît extrêmement solide.

Paradoxalement, la méta-analyse peut augmenter notre confiance statistique précisément dans la partie biaisée du corpus.

C’est pourquoi Cochrane considère les preuves manquantes comme un risque de biais spécifique au niveau de la méta-analyse.

L’augmentation de précision ne compense jamais une sélection systématique de ce qui entre dans le calcul.

Une méta-analyse ne peut pas moyenner des études qu’elle ignore

Cette phrase simple résume le problème.

Le logiciel peut parfaitement combiner :

effets ;

variances ;

poids ;

hétérogénéité.

Mais il ne possède aucune information directe sur les études qui ne lui ont jamais été fournies.

Le biais de publication est donc un problème de données manquantes non aléatoirement.

S’il manquait au hasard quelques études positives et quelques études négatives, l’estimation pourrait rester essentiellement correcte avec davantage d’incertitude.

Si les études manquent précisément parce qu’elles donnent des résultats faibles ou défavorables, l’estimation peut être déplacée systématiquement.

Le nombre d’études n’offre aucune immunité

Une méta-analyse de cinquante études peut être plus biaisée qu’une synthèse de cinq études si le mécanisme de publication est plus fortement sélectif.

Le raisonnement :

« cinquante études ne peuvent pas toutes se tromper »

manque donc la question.

Les cinquante études visibles peuvent représenter une partie sélectionnée d’un ensemble beaucoup plus vaste.

La bonne question devient :

« savons-nous suffisamment quelles études ont été entreprises, et leur disponibilité dépend-elle de leurs résultats ? »

C’est précisément pourquoi les registres prospectifs ont une importance méthodologique majeure.

Les registres changent la question

Sans registre, nous cherchons :

« quelles études ont été publiées ? »

Avec un registre prospectif suffisamment complet, nous pouvons demander :

« quelles études avaient été annoncées avant que leurs résultats soient connus, et qu’est-il arrivé à chacune d’elles ? »

Cette différence est fondamentale.

Le registre fournit une sorte de liste de départ.

Une étude peut ne jamais être publiée, mais son existence reste visible.

On peut alors demander les résultats, chercher un rapport réglementaire ou au minimum signaler que des données manquent.

L’Organisation mondiale de la santé considère pour cette raison l’enregistrement prospectif de tous les essais interventionnels comme une responsabilité scientifique et éthique, notamment parce que les décisions médicales ne peuvent être correctement éclairées lorsque publication sélective et rapport sélectif altèrent le corpus disponible.

Pourquoi « prospectif » est-il important ?

Supposons qu’un essai soit enregistré après que les résultats ont été analysés.

Les chercheurs savent déjà quels critères sont favorables.

Ils peuvent enregistrer seulement la version du protocole correspondant à ce qu’ils souhaitent publier.

Le registre ne protège alors que très faiblement contre la sélection.

L’enregistrement est beaucoup plus informatif lorsqu’il précède le recrutement du premier participant, ou au minimum la connaissance des résultats pertinents.

L’OMS définit précisément l’enregistrement prospectif par la présence d’un enregistrement antérieur au premier recrutement et rappelle que la Déclaration d’Helsinki exige l’enregistrement des essais dans une base publique avant le recrutement.

Nous retrouvons encore la même logique :

créer une trace avant de connaître la réponse.

Un registre n’oblige pas à publier les résultats

Cependant, l’existence d’un enregistrement ne garantit pas que les résultats deviendront accessibles.

Un essai peut être enregistré puis disparaître.

Nous savons alors qu’il manque quelque chose, ce qui constitue déjà un progrès considérable.

Mais le corpus reste incomplet.

L’OMS a encore souligné ce problème dans ses orientations actualisées de 2025 : malgré les progrès de l’enregistrement préalable, la disponibilité des résultats directement dans les registres reste insuffisante, ce qui laisse une base de preuves incomplète et produit un gaspillage évitable de recherche.

Il faut donc distinguer :

enregistrer l’existence de l’étude

et

rendre ses résultats publics.

Les deux sont nécessaires pour réduire fortement le problème.

L’obligation morale envers les participants

Le biais de publication n’est pas seulement un problème statistique.

Des participants acceptent parfois :

un traitement expérimental ;

des prélèvements ;

du temps ;

des risques ;

ou l’utilisation de leurs données.

Ils le font en partie parce que l’étude est censée produire des connaissances utiles.

Si les résultats disparaissent parce qu’ils sont décevants, une partie de cette contribution est perdue.

L’OMS qualifie donc l’enregistrement prospectif et la publication des résultats de responsabilité scientifique et éthique.

L’invisibilité des résultats produit également du gaspillage : d’autres chercheurs peuvent répéter inutilement une question déjà étudiée sans savoir qu’une étude négative existe.

Le biais de publication peut nuire dans les deux directions

On l’associe généralement à l’exagération des bénéfices.

C’est fréquent.

Mais le principe est plus général.

Si certains résultats négatifs sont plus spectaculaires ou plus publiables, une littérature pourrait aussi surestimer un dommage.

Si un sujet politiquement ou médiatiquement sensible favorise certains types de résultats, la direction du biais peut dépendre du contexte.

La définition correcte doit donc rester générale :

la probabilité de diffusion dépend des résultats.

Le problème n’est pas intrinsèquement « les études positives ».

Il est la sélection conditionnée par ce qu’elles trouvent.

Publication sélective et fraude sont différentes

Une étude honnête peut contribuer au biais de publication.

Un chercheur réalise cinq études.

Une donne un résultat statistiquement significatif.

Il publie celle-ci et abandonne les autres parce qu’elles lui paraissent peu intéressantes.

Chaque donnée publiée est authentique.

Pourtant, la littérature est trompeuse.

Cela montre pourquoi les normes d’intégrité scientifique ne peuvent pas se limiter à :

« ne falsifiez pas les données ».

La fiabilité du système dépend également de la visibilité suffisamment complète des recherches conduites.

Le biais peut être structurel sans qu’un individu ait menti.

L’absence d’une publication n’est pas nécessairement elle-même un biais

Supposons qu’une étude soit interrompue parce qu’un cyclone détruit le laboratoire avant toute collecte de données utile.

Elle ne sera jamais publiée.

Cette absence ne dépend pas du résultat.

Elle réduit éventuellement l’information disponible, mais elle n’introduit pas nécessairement un biais directionnel.

Cochrane insiste précisément sur le mécanisme : le problème apparaît lorsque la disponibilité des preuves dépend de la valeur, de la direction ou de la significativité des résultats.

Toutes les études manquantes ne sont donc pas équivalentes.

La question fondamentale est :

pourquoi manquent-elles ?

Peut-on détecter le biais dans une méta-analyse ?

Il existe plusieurs méthodes.

Aucune n’est parfaite.

La plus connue est le funnel plot, ou graphique en entonnoir.

On représente généralement la taille d’effet de chaque étude horizontalement et une mesure de sa précision verticalement.

Les grandes études précises apparaissent vers le haut.

Les petites études plus variables se dispersent davantage vers le bas.

En l’absence de certains mécanismes de sélection et sous des conditions appropriées, l’ensemble peut former approximativement un entonnoir symétrique.

Si les petites études donnant des résultats défavorables sont absentes, une partie de l’entonnoir peut sembler manquer.

Cette asymétrie peut alors constituer un signal de problème.

Un funnel plot asymétrique ne prouve pas un biais de publication

Cette mise en garde est cruciale.

Cochrane recommande de considérer le funnel plot comme un outil permettant de détecter plus largement des small-study effects, c’est-à-dire une relation entre taille de l’étude et taille de l’effet observé.

Plusieurs mécanismes peuvent produire cette asymétrie.

Les petites études négatives peuvent ne pas avoir été publiées.

Mais les petites études peuvent aussi être de moins bonne qualité.

Elles peuvent étudier des populations plus gravement atteintes et obtenir réellement des effets plus importants.

Certaines mesures d’effet produisent des relations statistiques artificielles avec leur erreur standard.

L’asymétrie peut encore provenir du hasard.

Un graphique asymétrique ne permet donc pas de conclure :

« nous avons démontré un biais de publication ».

Il dit :

« les petites et grandes études semblent différentes ; cherchons pourquoi ».

Et un funnel plot symétrique ne prouve pas l’absence de biais

Le problème inverse existe.

Lorsque peu d’études sont disponibles, le graphique contient trop peu d’information.

Les tests statistiques d’asymétrie possèdent eux aussi une faible puissance.

Cochrane recommande comme règle pratique de ne généralement envisager ces tests que lorsqu’une méta-analyse comprend au moins dix études, tout en précisant que même dans ce cas leur interprétation doit rester prudente.

Un résultat non significatif au test d’Egger ne signifie donc pas :

« aucun biais de publication ».

Nous retrouvons exactement l’erreur étudiée précédemment :

absence de détection ≠ preuve d’absence.

Les grandes études peuvent servir de point de comparaison

Lorsque les petites études donnent systématiquement des effets plus forts que les grandes, une hypothèse de publication sélective devient plausible.

Pourquoi ?

Parce qu’une petite étude doit généralement produire un effet estimé assez grand pour atteindre un seuil statistique comme *p* < 0,05.

Une petite étude avec un effet proche de zéro aura moins de chances de produire un résultat « intéressant ».

Si seules les petites études favorables deviennent visibles, les effets observés diminueront à mesure que la taille augmente.

Mais il faut encore une fois vérifier les autres explications : les petites études peuvent réellement porter sur des populations différentes ou être davantage biaisées.

La taille d’étude n’est pas une machine à diagnostiquer la publication sélective.

Les méthodes de « correction » ne recréent pas les études manquantes

Certaines techniques statistiques cherchent à estimer ce que deviendrait une méta-analyse sous diverses hypothèses de sélection.

Elles peuvent être utiles comme analyses de sensibilité.

Mais aucune procédure ne possède un accès magique aux résultats qui n’ont jamais été rendus publics.

Nous ne savons pas nécessairement :

combien d’études manquent ;

quelle était leur taille ;

quel résultat elles avaient ;

pourquoi elles ne furent pas publiées.

Une correction statistique dépend donc d’un modèle du mécanisme de sélection.

Elle peut montrer :

« sous cette hypothèse concernant les données manquantes, la conclusion changerait de telle manière ».

Elle ne doit pas être présentée comme :

« le logiciel a retrouvé les véritables études manquantes ».

Cochrane recommande précisément d’utiliser les analyses de sensibilité pour examiner la robustesse des conclusions face à différents modèles plausibles de preuves manquantes plutôt que d’interpréter une correction unique comme la vérité.

La meilleure solution est en amont

Il vaut mieux empêcher l’invisibilité des études que tenter de la reconstruire statistiquement dix ans plus tard.

Les principaux outils sont donc :

l’enregistrement prospectif des études ;

des protocoles suffisamment détaillés ;

la publication des résultats indépendamment de leur direction ;

l’accès aux résultats dans les registres ;

et, pour certains travaux, des modèles éditoriaux où la décision de publication intervient avant de connaître les résultats.

Nous développerons les Registered Reports et les autres dispositifs de science ouverte dans la fiche 33.

Le principe commun est déjà clair :

réduire la dépendance entre résultat obtenu et probabilité d’être visible.

Publier tous les résultats ne signifie pas publier tout sous forme d’article traditionnel

Cette distinction est importante face à une objection pratique.

Les revues ne peuvent probablement pas publier un long article classique pour chaque analyse secondaire jamais réalisée.

Mais rendre un résultat accessible peut prendre plusieurs formes :

publication complète ;

rapport ;

résultat dans un registre ;

données et protocole accessibles ;

archive institutionnelle.

L’objectif n’est pas nécessairement que chaque résultat obtienne la même visibilité éditoriale.

Il est qu’une synthèse scientifique puisse déterminer quelles recherches existent et accéder suffisamment à leurs résultats pertinents.

L’OMS insiste désormais précisément sur la publication de résultats synthétiques dans les registres en plus de l’enregistrement de l’existence des essais.

Les résultats nuls sont scientifiquement informatifs lorsqu’ils sont suffisamment précis

Une culture scientifique valorisant exclusivement les découvertes positives produit une confusion entre :

« résultat non spectaculaire »

et

« résultat sans intérêt ».

Une étude suffisamment précise qui exclut un effet important peut être extrêmement informative.

Elle peut montrer qu’un traitement prometteur n’apporte pas le bénéfice attendu.

Elle peut éliminer une théorie.

Elle peut empêcher d’investir dans une intervention inefficace.

Nous avons vu dans la fiche 20 pourquoi une véritable preuve contre un effet important possède une valeur scientifique considérable.

Un système de publication qui l’ignore prive donc la communauté d’informations essentielles.

Même une étude inconclusive mérite de laisser une trace

Supposons qu’une étude soit trop petite pour trancher.

Elle ne démontre ni effet ni absence d’effet.

Faut-il la faire disparaître ?

Pas nécessairement.

Ses données peuvent contribuer à une future méta-analyse.

Elles peuvent montrer qu’une méthode est réalisable.

Elles peuvent signaler une variance importante utile pour dimensionner une étude suivante.

Mais leur statut doit être présenté honnêtement :

inconclusif.

Le problème n’est pas que toutes les recherches devraient être racontées comme des découvertes.

Il est que la communauté devrait pouvoir savoir qu’elles ont existé.

Une littérature complète peut paraître moins spectaculaire mais être plus fiable

Imaginons deux domaines.

Dans le premier, dix études sont réalisées et seules les trois significatives sont publiées.

La littérature paraît remarquablement cohérente :

trois études positives sur trois.

Dans le second, les dix études sont rendues publiques :

trois positives ;

sept peu concluantes ou proches de zéro.

Le deuxième domaine peut sembler plus « contradictoire ».

Il est pourtant plus transparent.

Cette idée est essentielle pour interpréter les sciences ouvertes.

Une augmentation visible du nombre de résultats nuls, corrections ou divergences ne signifie pas nécessairement que la science devient moins fiable.

Elle peut signifier que nous voyons enfin une plus grande partie de la recherche réelle.

Le biais de publication peut créer de faux consensus

Supposons que quinze études positives soient visibles et quinze négatives manquent.

Les articles publiés convergent.

Les revues narratives convergent.

Les experts lisent les mêmes articles et convergent à leur tour.

Un consensus apparent peut ainsi se construire sur une base documentaire sélectionnée.

Cela ne signifie évidemment pas que tout consensus scientifique serait suspect.

Les consensus les plus robustes reposent souvent sur une diversité considérable de preuves et de contrôles.

Mais cela explique pourquoi, pour certaines questions récentes et fortement dépendantes de petits essais, la complétude de la littérature fait partie de l’évaluation du consensus.

Nous retrouverons cette question dans la fiche consacrée au consensus scientifique.

La publication négative peut elle-même devenir sélective

Une réforme peut parfois produire une nouvelle incitation.

Supposons qu’un domaine traverse une crise de réplication.

Un article montrant qu’un résultat célèbre « ne se réplique pas » devient très intéressant.

Une réplication réussie et banale attire moins l’attention.

Le sens de la sélection peut donc évoluer.

L’objectif institutionnel ne devrait pas être :

« publions davantage de résultats négatifs »

comme nouvelle préférence éditoriale.

Il devrait être :

« réduisons autant que possible la dépendance entre contenu du résultat et probabilité qu’il soit accessible ».

C’est une distinction subtile mais fondamentale.

« Les journaux préfèrent le positif » n’explique pas tout

Le biais de publication est souvent imputé exclusivement aux revues.

Mais les chercheurs jouent un rôle important.

Un manuscrit qui n’est jamais rédigé ne peut pas être accepté par une revue.

Les financeurs et sponsors peuvent également influencer les priorités.

Les institutions valorisent les publications spectaculaires.

Les carrières scientifiques récompensent souvent la nouveauté.

Les médias et citations renforcent certaines découvertes.

Le biais de publication doit donc être considéré comme un phénomène écologique touchant toute la chaîne de production scientifique.

Modifier uniquement les éditeurs ne suffira probablement jamais.

Pourquoi la pression à publier amplifie le problème

Si une carrière dépend du nombre d’articles, du prestige des revues et de l’originalité des résultats, une étude nulle peut sembler avoir une valeur professionnelle limitée.

Le chercheur possède alors une incitation rationnelle à consacrer ses ressources à la partie la plus publiable de ses résultats.

Ce mécanisme n’exige aucune malhonnêteté.

Il suffit que le système récompense différemment les résultats.

Cette question nous conduira naturellement à la fiche 31 consacrée aux incitations, conflits d’intérêts et pression à publier.

Le biais de publication ne peut être totalement compris sans examiner l’économie institutionnelle de la recherche.

Une bonne revue systématique cherche donc au-delà des articles publiés

Lorsqu’une question est importante, les auteurs peuvent rechercher :

registres d’essais ;

protocoles ;

rapports réglementaires ;

résultats de registres ;

thèses ;

résumés de congrès ;

contacts avec les chercheurs ;

et autres sources appropriées.

L’objectif n’est pas d’ajouter mécaniquement toutes les données trouvées.

Certaines sources sont incomplètes ou difficiles à évaluer.

Il est de réduire la dépendance de la synthèse envers la seule littérature éditorialement visible.

Cochrane recommande explicitement l’utilisation des registres et d’autres sources lorsqu’elles permettent de repérer des preuves absentes des publications classiques.

Le protocole original est particulièrement précieux

Supposons qu’un article affirme :

« notre critère principal était la qualité de vie ».

Le protocole enregistré avant l’étude indiquait :

« critère principal : mortalité à un an ».

La divergence change fortement notre interprétation.

Sans protocole, il aurait été presque impossible de savoir que le critère avait changé.

Le protocole fournit donc un point de comparaison indépendant des résultats finaux.

Les revues de Dwan et de ses collègues ont précisément utilisé ce type de comparaison pour mettre en évidence des changements, ajouts ou omissions de critères entre protocoles et publications.

L’enregistrement ne sert pas uniquement à retrouver les études disparues.

Il permet également de repérer les parties disparues des études publiées.

Les changements de protocole ne sont pas automatiquement suspects

Comme toujours, une nuance est nécessaire.

Un critère peut être modifié pour une excellente raison.

Un instrument peut devenir indisponible.

Une nouvelle information peut révéler qu’une mesure est invalide.

Une erreur dans le protocole initial peut être découverte.

Le problème n’est pas :

« changer = tricher ».

Il est :

« modifier après avoir vu les résultats puis présenter la nouvelle version comme si elle avait toujours été prévue ».

La solution est la transparence :

voici ce qui était prévu ; voici ce qui a changé ; voici pourquoi.

Nous retrouvons exactement le principe utilisé pour le préenregistrement des analyses.

Il faut distinguer découverte et preuve confirmatoire

Supposons qu’un essai mesure vingt résultats.

Un effet inattendu apparaît sur le dix-septième.

Ce résultat mérite peut-être une publication.

Il peut ouvrir une nouvelle piste scientifique.

Mais il devrait être présenté comme :

« observation exploratoire inattendue »

plutôt que :

« confirmation de l’effet principal du traitement ».

Le problème du rapport sélectif apparaît lorsque la sélection est cachée.

Une littérature complète n’exige pas de supprimer les découvertes imprévues.

Elle exige de préserver leur véritable statut méthodologique.

Le biais de publication illustre une propriété générale de la sélection

Nous avons déjà rencontré cette logique plusieurs fois.

Sélectionner les participants selon certaines caractéristiques peut produire un biais de sélection.

Sélectionner une analyse selon son résultat peut produire du *p-hacking*.

Sélectionner les études selon leurs conclusions produit un biais de publication.

La structure générale est identique :

l’échantillon observé dépend de la variable que nous essayons ensuite d’étudier.

La littérature scientifique elle-même peut donc devenir un échantillon sélectionné.

C’est une idée fondamentale pour comprendre pourquoi les méthodes de synthèse doivent examiner non seulement les études présentes, mais également le mécanisme ayant déterminé leur présence.

Plus l’étude est petite, plus la sélection peut être spectaculaire

Les petites études produisent des estimations plus variables.

Si l’effet réel vaut 0,2, certaines petites études estimeront par hasard :

−0,3 ;

0,1 ;

0,8 ;

1,1.

Si seules celles obtenant des estimations suffisamment grandes pour franchir un seuil sont publiées, la littérature des petites études sera fortement enrichie en effets exagérés.

Cela explique pourquoi le biais de publication est étroitement lié au problème de la faible puissance et à la winner's curse étudiée précédemment.

La première étude spectaculaire peut être à la fois :

authentique ;

statistiquement significative ;

et fortement exagérée.

Il n’est pas nécessaire de choisir entre « vrai » et « faux ».

Les réplications atténuent certaines formes de sélection — si elles deviennent visibles

Lorsqu’un phénomène spectaculaire attire l’attention, plusieurs équipes peuvent tenter de le répliquer.

Si toutes les réplications sont publiées indépendamment de leur résultat, la littérature devient progressivement plus représentative.

Mais si seules les réplications « réussies » ou seulement les réplications « qui réfutent une étude célèbre » deviennent visibles, un nouveau biais apparaît.

C’est pourquoi l’enregistrement prospectif et les Registered Reports sont particulièrement intéressants pour les réplications : ils peuvent découpler davantage la décision de publier du résultat final obtenu.

La fiabilité de la réplication dépend elle aussi de la transparence de sa littérature.

Publication et visibilité ne sont donc pas des détails administratifs

Le processus scientifique ne s’arrête pas au moment où les données sont analysées.

Une connaissance collective exige que l’information circule.

Si la probabilité de circulation dépend fortement du résultat, l’ensemble de la communauté apprend à partir d’un échantillon déformé du réel.

Le biais de publication est donc une propriété de l’infrastructure de connaissance.

Il montre pourquoi les institutions éditoriales, registres, politiques de données et incitations professionnelles font partie intégrante de l’épistémologie de la science.

La méthode scientifique n’est pas uniquement ce qui se passe dans le laboratoire.

Elle dépend aussi de ce qui arrive aux résultats après leur production.


À retenir

Le biais de publication apparaît lorsque la probabilité qu’une étude ou un résultat devienne accessible dépend de la direction, de l’ampleur ou de la significativité de ses résultats. Le corpus publié peut alors donner une image systématiquement différente de l’ensemble des recherches réellement conduites. Cochrane préfère aujourd’hui parler plus largement de biais dus aux preuves manquantes, car la sélection peut affecter l’étude entière, certains résultats ou certaines analyses.

Le problème du fichier tiroir, popularisé par Robert Rosenthal en 1979, désigne précisément le risque que les résultats non significatifs restent invisibles tandis que les résultats plus spectaculaires alimentent la littérature publiée.

L’étude de Turner et de ses collègues sur 74 essais d’antidépresseurs illustre empiriquement l’importance potentielle du phénomène. Dans la littérature publiée, 94 % des essais apparaissaient positifs, contre 51 % selon l’évaluation du corpus FDA ; l’estimation de l’effet provenant des publications était environ 32 % plus élevée que celle obtenue à partir de l’ensemble des données réglementaires. Ce résultat ne montrait pas une absence totale d’efficacité des médicaments concernés, mais une surestimation produite par la sélection de la littérature visible.

Les funnel plots et tests d’asymétrie peuvent fournir des indices de preuves manquantes, mais ils ne constituent pas des détecteurs automatiques du biais de publication. Une asymétrie peut également provenir de différences réelles entre petites et grandes études, de biais méthodologiques, de propriétés statistiques particulières ou du hasard. Inversement, l’absence d’asymétrie ne démontre pas l’absence de biais, particulièrement lorsque peu d’études sont disponibles.

La protection la plus efficace intervient donc avant que les résultats soient connus : enregistrement prospectif des études, protocoles accessibles et diffusion des résultats indépendamment de leur direction. L’OMS considère l’enregistrement prospectif et la publication des résultats comme des responsabilités scientifiques et éthiques ; ses recommandations actualisées de 2025 soulignent toutefois que la publication des résultats directement dans les registres reste encore insuffisante.

La question essentielle devant une littérature scientifique n’est donc pas seulement :

« Que montrent les études que nous avons trouvées ? »

mais aussi :

« Quelles études, quels résultats ou quelles analyses auraient pu exister sans devenir visibles, et leur absence dépend-elle précisément de ce qu’ils avaient trouvé ? »

Sources et références

  • Rosenthal, Robert, « The “File Drawer Problem” and Tolerance for Null Results », *Psychological Bulletin*, 1979, 86(3):638–641, DOI 10.1037/0033-2909.86.3.638. L’article a popularisé l’expression *file drawer problem* pour désigner le risque d’une littérature sélectionnée en faveur des résultats significatifs.
  • Page, Matthew J., Higgins, Julian P. T. & Sterne, Jonathan A. C., « Assessing risk of bias due to missing evidence in a meta-analysis », chapitre 13 du *Cochrane Handbook for Systematic Reviews of Interventions*, version 6.5, mise à jour août 2024 : publication sélective, résultats manquants, *small-study effects*, funnel plots, tests d’asymétrie et analyses de sensibilité.
  • Turner, Erick H. et al., « Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy », *New England Journal of Medicine*, 2008;358:252–260, DOI 10.1056/NEJMsa065779.
  • Dwan, Kerry et al., « Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias », *PLOS ONE*, 2008;3:e3081, et mise à jour de 2013 : preuves empiriques de publication préférentielle des résultats significatifs et de rapport sélectif des critères de jugement.
  • Dwan, Kerry et al., « Evidence for the selective reporting of analyses and discrepancies in clinical trials: a systematic review of cohort studies of clinical trials », *PLOS Medicine*, 2014;11:e1001666, sur la sélection des analyses et les divergences entre protocoles et publications.
  • Organisation mondiale de la santé, International Clinical Trials Registry Platform — Trial Registration, sur le rôle scientifique et éthique de l’enregistrement prospectif des essais.
  • Organisation mondiale de la santé, Reporting on findings / Updated guidance for reporting summary results in clinical trial registries, 2025, sur la nécessité de rendre également publics les résultats des essais enregistrés.
29 sur 39Retour à la catégorie