Biais de publication
Le biais de publication apparaît lorsque la probabilité qu’une étude soit publiée dépend de ses résultats.
En particulier, les études trouvant un résultat positif, spectaculaire ou statistiquement significatif ont souvent davantage de chances d’être publiées que celles qui ne trouvent pas de différence claire.
Le problème est majeur : même si chaque étude publiée est correctement réalisée, l’image produite par la littérature accessible peut devenir biaisée si une partie des résultats reste invisible.
On risque alors de confondre :
« les études publiées montrent un effet »
avec
« l’ensemble des études réalisées montre un effet ».
Une expérience de pensée
Supposons qu’un traitement soit en réalité totalement inefficace.
Vingt petites études indépendantes sont réalisées.
Comme toujours en statistique, certaines produiront par hasard des résultats favorables.
Imaginons :
- 17 études ne trouvent aucun bénéfice convaincant ;
- 3 obtiennent un résultat statistiquement significatif en faveur du traitement.
Si les vingt études sont publiées, la littérature reflète correctement l’incertitude générale.
Mais supposons que seules les trois études positives soient publiées.
Un lecteur découvrant la littérature verra :
3 études sur 3 positives.
Il pourra raisonnablement mais faussement conclure que le traitement semble très prometteur.
La littérature publiée n’est pas nécessairement un échantillon aléatoire de la recherche
C’est le cœur du problème.
Une recherche bibliographique ne retrouve que ce qui a été :
- rédigé ;
- soumis ;
- accepté ;
- rendu accessible.
Les études disparues à l’une de ces étapes ne peuvent pas être intégrées spontanément dans une revue.
La littérature visible peut donc constituer une population sélectionnée de résultats scientifiques.
Pourquoi les résultats positifs sont-ils davantage publiés ?
Plusieurs mécanismes peuvent intervenir.
Les chercheurs peuvent trouver un résultat négatif moins intéressant et ne jamais rédiger l’article.
Les revues peuvent préférer les résultats :
- nouveaux ;
- surprenants ;
- statistiquement significatifs.
Les financeurs peuvent également avoir moins d’intérêt à diffuser certains résultats défavorables.
Le biais de publication peut donc apparaître à plusieurs niveaux.
Le problème du « tiroir »
Les études non publiées sont parfois décrites comme restant dans un file drawer, un tiroir.
On parle de file drawer problem.
Imaginons des centaines d’expériences réalisées dans différents laboratoires.
Les résultats négatifs restent dans les dossiers.
Les quelques résultats positifs sont soumis et publiés.
La littérature finit par donner l’impression qu’un effet existe de manière beaucoup plus robuste qu’en réalité.
Significativité statistique et sélection
Le seuil p < 0,05 peut renforcer ce mécanisme.
Supposons qu’un effet n’existe pas.
Si suffisamment d’études indépendantes sont réalisées, environ certaines d’entre elles produiront malgré tout un résultat « significatif » par hasard dans le cadre classique du test.
Si seules celles-ci deviennent visibles, la littérature publiée peut contenir presque exclusivement des faux positifs.
Le problème ne vient alors pas du test statistique lui-même, mais de la sélection des résultats après le test.
Exemple pédagogique
Supposons 100 études portant sur une hypothèse fausse.
Par simplification, imaginons que cinq obtiennent par hasard p < 0,05.
Si :
- les 95 études négatives ne sont jamais publiées ;
- les 5 positives le sont,
un lecteur découvrira une littérature où :
100 % des études publiées sont positives.
La perception de la preuve sera radicalement différente de la réalité.
Une méta-analyse peut être trompée
Une méta-analyse cherche à synthétiser toutes les études disponibles.
Mais si les études disponibles sont elles-mêmes sélectionnées, la méta-analyse peut surestimer l’effet.
Elle peut produire :
- effet combiné significatif ;
- intervalle de confiance étroit ;
- graphique impressionnant.
Le calcul statistique peut être parfaitement correct tout en reposant sur un échantillon incomplet de recherches.
Publication et précision
Les petites études sont particulièrement importantes dans ce problème.
Une petite étude produit des résultats plus variables.
Elle peut trouver :
- un effet très favorable ;
- aucun effet ;
- un effet défavorable.
Les résultats extrêmes positifs sont souvent les plus susceptibles d’attirer l’attention.
On peut alors observer une littérature où les petites études rapportent des bénéfices spectaculaires, alors que les grandes études trouvent des effets beaucoup plus modestes.
Le « small-study effect »
On parle parfois de small-study effects lorsque les petites études montrent systématiquement des effets plus importants que les grandes.
Le biais de publication peut en être une cause.
Mais d’autres explications existent :
- différences de populations ;
- méthodes moins rigoureuses ;
- hasard ;
- interventions différentes.
Observer ce phénomène est donc un signal, pas une preuve définitive de publication sélective.
Funnel plot
Le funnel plot, ou graphique en entonnoir, est un outil utilisé pour rechercher certains indices de biais de publication.
On représente généralement :
- effet estimé sur l’axe horizontal ;
- précision ou taille de l’étude sur l’axe vertical.
En théorie, les grandes études devraient se regrouper autour de l’effet moyen.
Les petites études devraient être davantage dispersées dans les deux directions.
Le graphique forme alors approximativement un entonnoir symétrique.
Une asymétrie suspecte
Supposons que les petites études montrant peu ou pas d’effet semblent absentes alors que de nombreuses petites études très positives sont présentes.
Le graphique devient asymétrique.
Cela peut être compatible avec le fait que les petites études négatives n’ont pas été publiées.
Mais il faut rester prudent.
Un funnel plot ne prouve pas le biais de publication
L’asymétrie peut aussi provenir de :
- hétérogénéité ;
- différence de qualité ;
- populations différentes ;
- hasard.
Le graphique ne doit donc pas être interprété comme un détecteur automatique de fraude ou de censure.
Il fournit seulement un indice supplémentaire.
Ne pas confondre absence de publication et fraude
Une étude peut rester non publiée pour des raisons très ordinaires :
- équipe dissoute ;
- manque de temps ;
- étude jugée peu intéressante ;
- difficultés de rédaction.
Le biais de publication peut donc apparaître sans aucune volonté de tromper.
Il s’agit d’un effet systémique pouvant émerger des incitations de milliers d’acteurs différents.
Biais de soumission
Les chercheurs eux-mêmes ne soumettent pas toujours les résultats négatifs.
On parle parfois de biais de soumission.
Cela peut venir de l’impression que :
« rien n’a été trouvé, donc il n’y a rien à raconter ».
Pourtant, savoir qu’une hypothèse testée rigoureusement n’a pas été confirmée constitue une information scientifique importante.
Biais éditorial
Les revues peuvent également favoriser :
- nouveauté ;
- effet spectaculaire ;
- conclusion claire.
Une étude rigoureuse concluant à l’absence d’effet peut sembler moins attractive qu’une étude annonçant une découverte inattendue.
Ce mécanisme contribue à la sélection de la littérature.
Le biais de publication peut aussi concerner la direction du résultat
Il ne s’agit pas uniquement de :
significatif versus non significatif.
Une étude peut être davantage publiée si son résultat correspond à :
- une hypothèse attendue ;
- une théorie populaire ;
- un sujet médiatique.
Les incitations scientifiques et sociales peuvent donc influencer ce qui devient visible.
Publication sélective des résultats
Un problème proche mais distinct apparaît à l’intérieur d’une même étude.
Supposons qu’un essai mesure :
- mortalité ;
- hospitalisations ;
- douleur ;
- qualité de vie ;
- quinze biomarqueurs.
Seuls deux résultats deviennent statistiquement significatifs.
L’article peut mettre fortement en avant ces deux variables et peu mentionner les autres.
On parle alors de publication sélective des résultats, ou selective outcome reporting.
Une étude publiée peut cacher une partie de ses propres résultats
Le biais ne consiste donc pas seulement à publier ou non l’étude.
Il peut également consister à sélectionner :
- quels critères sont rapportés ;
- quelles analyses sont présentées ;
- quels sous-groupes apparaissent.
L’article visible peut donner une image plus positive que l’ensemble des analyses réellement réalisées.
Critère principal changé après coup
Supposons qu’un essai ait été conçu avec la mortalité comme critère principal.
Aucun effet n’est trouvé.
Mais un critère secondaire biologique montre une amélioration.
Si l’article présente ensuite ce biomarqueur comme l’objectif principal, le lecteur peut croire que l’étude a confirmé son hypothèse.
La connaissance du protocole original devient donc essentielle.
Pourquoi le pré-enregistrement est important
Le pré-enregistrement consiste à enregistrer l’étude avant de connaître ses résultats.
Le registre peut préciser :
- hypothèse ;
- taille prévue ;
- critère principal ;
- critères secondaires ;
- méthodes d’analyse.
Après publication, il devient possible de comparer :
ce qui avait été prévu
à
ce qui a réellement été présenté.
Cela réduit la possibilité de reconstruire entièrement l’histoire après avoir vu les données.
Registres d’essais cliniques
Les essais cliniques sont aujourd’hui largement enregistrés dans des bases publiques.
Cela permet de retrouver l’existence d’un essai même si son article n’a jamais été publié.
Une revue systématique peut alors rechercher :
« cet essai a-t-il été terminé ? Où sont ses résultats ? »
Cette transparence permet de réduire le biais de publication.
Publication des résultats négatifs
Les résultats négatifs sont scientifiquement utiles.
Ils permettent :
- d’éviter de répéter inutilement les mêmes recherches ;
- d’estimer correctement l’efficacité ;
- de détecter les faux positifs initiaux ;
- d’améliorer les méta-analyses.
Une science où seuls les succès sont visibles devient structurellement trop optimiste.
Résultat négatif ne signifie pas nécessairement « absence d’effet »
Il faut cependant distinguer plusieurs situations.
Une étude peut être négative parce que :
- l’effet n’existe pas ;
- l’effet est très faible ;
- l’étude manque de puissance ;
- la mesure est mauvaise.
Publier les études négatives ne signifie donc pas les interpréter toutes comme preuve certaine de l’absence d’effet.
Elles apportent simplement une information qui doit entrer dans la synthèse.
Les intervalles de confiance sont importants
Supposons qu’une étude conclue :
« aucune différence statistiquement significative ».
Si l’intervalle de confiance est :
RR = 0,90 ; IC 95 % [0,40–2,10]
l’étude reste compatible avec :
- bénéfice important ;
- absence d’effet ;
- dommage important.
Ce résultat négatif est surtout très imprécis.
À l’inverse :
RR = 1,00 ; IC 95 % [0,97–1,03]
exclut beaucoup plus fortement des effets importants.
Les résultats négatifs ne sont donc pas tous équivalents.
Les résultats spectaculaires sont davantage médiatisés
Un autre niveau de sélection intervient après publication.
Les médias ont davantage tendance à reprendre :
« le café réduit le risque de maladie de 50 % »
que :
« aucune association claire n’a été observée ».
Le public reçoit donc une version encore plus sélectionnée de la littérature scientifique.
Le biais de visibilité s’ajoute au biais de publication.
Communiqués de presse
Les universités et institutions publient elles aussi davantage de communiqués lorsque le résultat est :
- surprenant ;
- positif ;
- facilement racontable.
Une étude devient alors :
étude réalisée → publiée → communiquée → médiatisée → partagée sur les réseaux.
À chaque étape, une nouvelle sélection peut intervenir.
L’effet final sur la perception publique
Imaginons 100 études.
Seulement 30 sont publiées.
Parmi elles, 10 donnent lieu à un communiqué.
Parmi ces 10, 3 deviennent des articles de presse largement partagés.
La population peut finir par connaître surtout 3 % de la recherche réellement réalisée, sélectionnée selon son intérêt médiatique.
Cette chaîne explique pourquoi l’impression créée par l’actualité scientifique peut être très différente de la littérature complète.
Les sujets médiatiques sont particulièrement vulnérables
Alimentation, cancer, environnement, médicaments ou comportements sont régulièrement concernés.
On voit apparaître des titres :
« X augmente le risque de cancer »
puis quelques mois plus tard :
« X pourrait finalement protéger du cancer ».
Une partie de cette instabilité vient de la variabilité des études, mais la sélection des résultats les plus étonnants renforce fortement l’impression de contradiction permanente.
Biais linguistique
Une autre forme de sélection concerne la langue de publication.
Les résultats importants peuvent avoir davantage de chances d’être publiés en anglais dans des revues internationales.
Les résultats négatifs peuvent rester dans des revues locales.
Une recherche limitée aux grandes bases anglophones peut donc manquer une partie des données.
On parle parfois de language bias.
Biais de base de données
Toutes les revues ne sont pas indexées dans toutes les bases.
Une revue systématique utilisant une seule base bibliographique peut manquer :
- littérature régionale ;
- thèses ;
- rapports institutionnels ;
- actes de congrès.
C’est pourquoi une recherche systématique utilise souvent plusieurs sources.
Littérature grise
La littérature grise comprend notamment :
- thèses ;
- rapports ;
- documents institutionnels ;
- résultats non publiés dans des revues classiques.
Elle peut contenir des résultats moins sélectionnés par la logique éditoriale traditionnelle.
Mais sa qualité méthodologique peut être variable.
L’inclure demande donc également une évaluation critique.
Abstracts de congrès
Les résultats sont parfois présentés lors d’un congrès puis jamais publiés intégralement.
Une revue peut identifier ces résumés.
Mais ils donnent souvent trop peu de détails pour évaluer correctement :
- méthodes ;
- biais ;
- analyses.
L’absence d’article complet reste donc problématique.
Retard de publication
Les études positives peuvent également être publiées plus rapidement que les résultats négatifs.
On parle parfois de time-lag bias.
Dans un domaine récent, les premières années de littérature peuvent alors paraître beaucoup plus favorables qu’une synthèse réalisée dix ans plus tard.
Une méta-analyse précoce peut être trop optimiste
Supposons qu’un nouveau traitement soit étudié dans dix essais.
Les trois résultats positifs sont publiés immédiatement.
Les sept autres prennent plusieurs années à apparaître.
Une méta-analyse réalisée la première année pourra conclure à un bénéfice important.
La même méta-analyse cinq ans plus tard pourra devenir beaucoup plus prudente.
La date d’une synthèse est donc essentielle.
Effet de nouveauté
Les premières études d’un domaine rapportent parfois les effets les plus importants.
Cela peut provenir de :
- petits échantillons ;
- publication sélective ;
- analyses flexibles ;
- populations particulièrement favorables.
Les réplications plus grandes produisent ensuite souvent des estimations plus modestes.
Ce phénomène ne signifie pas que les premières équipes ont nécessairement triché.
Les réplications ont moins de prestige
Une autre difficulté du système scientifique est que répéter une étude existante est parfois moins valorisé que publier une nouvelle découverte.
Cela peut produire :
- beaucoup d’hypothèses nouvelles ;
- moins de tentatives de réplication.
Or les réplications sont précisément nécessaires pour distinguer effets robustes et fluctuations initiales.
Biais de citation
Même parmi les études publiées, certaines sont davantage citées que d’autres.
Les résultats positifs ou spectaculaires peuvent attirer davantage de citations.
Une revue narrative basée sur les études « les plus connues » peut donc surreprésenter les résultats favorables.
On parle de biais de citation.
Une étude très citée n’est pas nécessairement plus vraie
Le nombre de citations dépend :
- importance du sujet ;
- controverse ;
- ancienneté ;
- visibilité ;
- réseau scientifique.
Une étude célèbre peut être citée précisément parce qu’elle est controversée.
La popularité scientifique ne remplace pas l’évaluation méthodologique.
Comparer protocole et publication
Lorsque le protocole initial est accessible, une vérification particulièrement utile consiste à comparer :
| Avant l’étude | Dans l’article |
|---|---|
| Critère principal prévu | Critère présenté |
| Analyses prévues | Analyses publiées |
| Sous-groupes prévus | Sous-groupes rapportés |
| Taille prévue | Taille finale |
Des différences ne signifient pas automatiquement une manipulation, mais elles doivent être expliquées.
Les essais interrompus
Un essai peut être arrêté prématurément en raison :
- d’un bénéfice apparent ;
- d’un risque ;
- d’un manque de financement.
Les essais arrêtés très tôt pour bénéfice peuvent parfois produire des effets particulièrement élevés.
S’ils sont ensuite très rapidement publiés, ils peuvent renforcer une littérature initialement trop optimiste.
Biais de publication dans les études observationnelles
Le problème ne concerne pas uniquement les essais.
Supposons que des chercheurs testent une relation entre :
- 100 aliments ;
- 20 maladies.
Il existe alors un nombre considérable de comparaisons possibles.
Les associations statistiquement significatives ont davantage de chances d’être transformées en articles.
Même sans manipulation explicite, la littérature peut se remplir de corrélations fortuites.
Multiplicité cachée
Un lecteur voit seulement l’étude publiée :
« l’aliment X est associé à la maladie Y ».
Il ne sait pas nécessairement que le même ensemble de données a permis de tester des centaines d’autres relations.
Le résultat devient beaucoup moins surprenant lorsqu’on connaît le nombre total de possibilités explorées.
Cela rapproche le biais de publication du problème de multiplicité des tests, étudié plus loin.
P-hacking et publication
Si les chercheurs peuvent tester de nombreuses variantes :
- définitions ;
- sous-groupes ;
- ajustements ;
- périodes,
puis publier celle qui donne p < 0,05, le biais de publication se combine au p-hacking.
La littérature peut alors contenir une proportion bien plus élevée de résultats exagérés que le seuil statistique ne le laisserait penser.
Le problème n’est pas résolu par « plusieurs études »
Dire :
« plusieurs études ont montré la même chose »
est plus convaincant qu’une étude isolée, mais pas toujours autant qu’on pourrait le croire.
Si toutes les études visibles ont été sélectionnées selon leur résultat, elles ne constituent pas nécessairement des réplications indépendantes représentatives.
Il faut savoir ce qui est arrivé aux études négatives.
Revues systématiques
Une bonne revue systématique cherche donc activement :
- essais enregistrés non publiés ;
- littérature grise ;
- travaux de congrès ;
- résultats non publiés.
Elle ne se contente pas de rechercher des articles dans une seule base.
Le biais de publication est l’une des raisons principales pour lesquelles une revue systématique est méthodologiquement différente d’une simple revue de littérature.
Contacter les auteurs
Les auteurs de revues peuvent parfois contacter les chercheurs afin d’obtenir :
- résultats supplémentaires ;
- données non publiées ;
- précisions méthodologiques.
Cela peut réduire certaines lacunes.
Mais les réponses ne sont évidemment pas toujours obtenues.
Obligation de publication des résultats
Des initiatives ont cherché à rendre obligatoire la publication des résultats d’essais enregistrés, indépendamment de leur issue.
L’objectif est simple :
si des personnes ont participé à une recherche, les connaissances produites ne devraient pas disparaître uniquement parce que le résultat n’est pas spectaculaire.
C’est à la fois un enjeu scientifique et éthique.
Dimension éthique
Des patients acceptent parfois :
- risques ;
- contraintes ;
- traitements expérimentaux,
afin de contribuer à la connaissance.
Si les résultats restent invisibles parce qu’ils sont négatifs, leur participation perd une partie de sa valeur scientifique.
La publication complète constitue donc également une forme de responsabilité envers les participants.
Les conflits d’intérêts
Le financement peut influencer le biais de publication.
Un promoteur commercial peut avoir davantage d’intérêt à publier rapidement les résultats favorables.
Mais le biais n’est pas limité à l’industrie.
Les chercheurs académiques ont eux aussi des incitations :
- carrière ;
- publications ;
- prestige ;
- financements.
Le problème est donc largement structurel.
Ne pas utiliser le financement comme raccourci
Une étude financée par une entreprise n’est pas automatiquement fausse.
Une étude académique n’est pas automatiquement indépendante de toute incitation.
Il faut examiner :
- protocole ;
- enregistrement ;
- accès aux données ;
- résultats ;
- transparence.
Le financement constitue une information pertinente, pas un verdict méthodologique.
Résultats défavorables au financeur
Une étude financée par l’industrie qui publie intégralement un résultat défavorable, avec protocole pré-enregistré et données transparentes, peut être méthodologiquement robuste.
À l’inverse, une étude sans financement commercial peut souffrir d’un fort biais de publication.
La qualité doit être évaluée concrètement.
Peut-on mesurer le biais de publication ?
Il est difficile de savoir exactement combien d’études manquent, précisément parce qu’elles sont invisibles.
On peut rechercher :
- asymétrie des funnel plots ;
- essais enregistrés non publiés ;
- écarts entre protocoles et articles ;
- résultats présentés en congrès mais jamais publiés.
Mais aucune méthode ne permet de reconstruire parfaitement toute la recherche disparue.
L’incertitude doit parfois augmenter
Lorsqu’un domaine montre de forts indices de publication sélective, la bonne réaction n’est pas nécessairement de corriger artificiellement l’effet avec une formule unique.
Il peut être plus honnête de réduire notre niveau de confiance dans l’estimation globale.
Le système GRADE tient notamment compte du risque de biais de publication dans l’évaluation de la certitude des preuves.
Une littérature très cohérente peut être artificiellement cohérente
Supposons que toutes les études publiées trouvent un effet positif.
Cette cohérence paraît impressionnante.
Mais si les études négatives sont absentes, l’uniformité elle-même devient partiellement un produit de la sélection.
Il faut donc distinguer :
convergence réelle de toutes les recherches
et
convergence des seules recherches visibles.
Une leçon d’esprit critique
Face à une littérature apparemment unanime, il est utile de demander :
Toutes les études réalisées sont-elles accessibles ?
Les essais étaient-ils enregistrés à l’avance ?
Les critères publiés correspondent-ils aux critères prévus ?
Les petites études trouvent-elles des effets beaucoup plus importants que les grandes ?
Existe-t-il des indices d’études négatives non publiées ?
La revue a-t-elle recherché la littérature grise et les registres d’essais ?
L’absence de résultats négatifs peut signifier que l’effet est réellement très robuste.
Mais elle peut aussi signifier que les résultats négatifs ont été moins visibles.
À retenir
Le biais de publication apparaît lorsque les études publiées ne représentent pas correctement l’ensemble des recherches réalisées.
Les résultats :
- positifs ;
- statistiquement significatifs ;
- spectaculaires ;
ont souvent davantage de chances d’être publiés ou diffusés.
Cela peut conduire à surestimer :
- efficacité des traitements ;
- force des associations ;
- cohérence de la littérature.
Le pré-enregistrement, les registres d’essais, les revues systématiques et la publication des résultats négatifs permettent de réduire ce biais.
Mais le principe essentiel reste :
la littérature scientifique visible n’est pas nécessairement identique à l’ensemble des preuves produites.
Avant de conclure qu’un effet est solidement établi parce que « toutes les études publiées vont dans le même sens », il faut donc poser une question supplémentaire :
« Qu’est-il arrivé aux études qui ne sont peut-être jamais devenues visibles ? »
Pour aller plus loin
Robert Rosenthal — travaux sur le file drawer problem. Une référence historique importante pour comprendre comment les résultats non publiés peuvent déformer la littérature scientifique.
Cochrane Handbook for Systematic Reviews of Interventions. Une référence majeure sur la détection, l’évaluation et les conséquences possibles du biais de publication.
PRISMA — recommandations pour les revues systématiques. Elles insistent notamment sur la transparence de la recherche documentaire et de la sélection des études.
AllTrials — initiative pour l’enregistrement et la publication des résultats de tous les essais cliniques. Une illustration des efforts visant à rendre la littérature scientifique moins dépendante du caractère positif ou négatif des résultats.