Revues systématiques et méta-analyses
Lorsque plusieurs études ont été publiées sur une même question, une nouvelle difficulté apparaît. Il ne suffit plus de savoir lire correctement une étude : il faut décider quelles études prendre en compte, comment les trouver, lesquelles sont réellement comparables, quel poids leur accorder et comment interpréter leurs désaccords.
Une recherche rapide sur Internet permet presque toujours de trouver quelques articles soutenant une conclusion donnée. Une personne convaincue qu’un aliment protège du cancer, qu’un traitement est inefficace ou qu’une politique fonctionne peut sélectionner cinq publications allant dans son sens et construire une argumentation apparemment scientifique.
La revue systématique a précisément été développée pour réduire cette liberté de sélection.
Elle ne consiste pas simplement à lire beaucoup d’articles. Elle cherche à définir à l’avance une question et des critères d’éligibilité, à rechercher méthodiquement les études pertinentes, à documenter leur sélection, à évaluer leurs caractéristiques et leurs risques de biais, puis à synthétiser l’ensemble des preuves disponibles.
Cochrane définit ainsi les revues systématiques comme des travaux visant à rassembler les preuves répondant à des critères d’éligibilité préspécifiés en utilisant des méthodes explicites et systématiques destinées à réduire les biais.
La méta-analyse est autre chose. Elle constitue une technique statistique permettant de combiner quantitativement les résultats d’au moins deux études lorsque cette combinaison est scientifiquement et méthodologiquement défendable. Cochrane insiste immédiatement sur un point important : une méta-analyse peut augmenter la précision et aider à résoudre certaines contradictions, mais elle peut également devenir très trompeuse si l’on néglige les biais des études, leurs différences ou les résultats manquants.
Il faut donc distinguer deux opérations :
la revue systématique organise le corps de preuves ; la méta-analyse peut, dans certaines revues, combiner statistiquement une partie de ces preuves.
Une excellente revue systématique peut ne contenir aucune méta-analyse. À l’inverse, calculer une moyenne de quelques études trouvées opportunément ne constitue pas une bonne revue systématique simplement parce qu’un logiciel a produit un graphique.
Une revue systématique commence avant la recherche bibliographique
Imaginons que l’on veuille répondre à la question :
« L’activité physique réduit-elle les symptômes dépressifs ? »
La question paraît précise.
Elle ne l’est pas encore suffisamment.
Parle-t-on d’adolescents, d’adultes ou de personnes âgées ?
De dépression diagnostiquée ou de symptômes mesurés dans la population générale ?
De marche quotidienne, d’entraînement intensif ou de toute activité physique ?
Comparée à quoi : absence d’intervention, traitement habituel, psychothérapie, médicament ?
Quel résultat : score moyen à un questionnaire, rémission clinique, rechute ?
Après quelle durée ?
Ces décisions déterminent les études qui seront considérées comme pertinentes.
C’est pourquoi les revues d’interventions utilisent fréquemment le cadre PICO : Population, Intervention, Comparateur, Outcome, c’est-à-dire le résultat étudié. Cochrane demande que les principales composantes de la question ainsi que les types d’études admissibles soient définis avant la synthèse.
Une revue systématique commence donc moins par :
« cherchons des articles »
que par :
« quelle question voulons-nous exactement résoudre ? »
Les critères d’inclusion doivent idéalement précéder les résultats
Supposons que les chercheurs commencent par lire les études disponibles.
Ils découvrent que les essais chez les personnes âgées montrent peu d’effet mais que ceux réalisés chez les jeunes adultes sont plus favorables.
Ils décident alors :
« finalement, notre revue portera uniquement sur les moins de 40 ans ».
Ce changement peut être scientifiquement justifiable.
Mais il est aussi susceptible d’avoir été influencé par les résultats.
Le même problème apparaît si l’on décide après coup d’exclure les études trop longues, les doses faibles ou certains critères de jugement parce qu’ils produisent des conclusions moins intéressantes.
Une revue systématique cherche donc à définir les critères d’éligibilité avant de connaître complètement les résultats qui en découleront.
Cochrane considère cette préspécification comme l’une des différences fondamentales entre une revue systématique et une revue narrative plus libre.
Nous retrouvons exactement la logique étudiée avec le préenregistrement des études individuelles : réduire la possibilité de modifier la question en fonction de la réponse obtenue.
Le protocole protège contre la revue construite après coup
Une revue systématique peut elle aussi disposer d’un protocole.
Celui-ci décrit notamment la question, les critères d’éligibilité, les principales sources recherchées et les méthodes prévues pour extraire, évaluer et synthétiser les données.
Certaines revues sont enregistrées prospectivement dans des registres tels que PROSPERO, qui conserve des informations importantes sur le protocole. L’objectif est notamment d’améliorer la transparence, de rendre visibles les projets en cours et de permettre de comparer ce qui avait été prévu avec ce qui a finalement été réalisé.
Un protocole ne garantit évidemment pas une bonne revue.
Les critères peuvent avoir été mal choisis.
La stratégie de recherche peut être insuffisante.
Les méthodes statistiques peuvent être inadéquates.
Mais, comme pour une étude préenregistrée, il permet de distinguer plus clairement :
ce qui avait été décidé avant la connaissance complète des résultats
de
ce qui a été modifié ensuite.
Les modifications peuvent parfaitement être légitimes. Elles doivent simplement être expliquées.
Chercher « les études » est beaucoup plus difficile qu’il n’y paraît
Une recherche Google ou PubMed avec deux mots-clés ne suffit généralement pas.
Une même notion peut être décrite avec plusieurs expressions.
Un essai peut utiliser un ancien vocabulaire.
Certains articles ne mentionnent pas le résultat principal dans leur titre.
Une étude peut être publiée dans une revue peu connue ou dans une langue différente.
Certaines recherches sont enregistrées sans avoir encore donné lieu à un article classique.
D’autres résultats apparaissent dans des rapports réglementaires ou plusieurs publications différentes.
Une stratégie de recherche systématique cherche donc une forte sensibilité : mieux vaut généralement examiner de nombreux résultats non pertinents que manquer silencieusement une partie importante des études admissibles.
Le chapitre actuel du *Cochrane Handbook* consacré à la recherche bibliographique recommande une démarche aussi complète que possible et souligne l’importance de combiner bases bibliographiques, registres d’essais et, lorsque cela est pertinent, d’autres sources comme les documents réglementaires.
Le travail bibliographique constitue ainsi une véritable partie de la méthode scientifique.
Trouver les articles n’est pas encore trouver les études
Une difficulté supplémentaire apparaît : une étude peut produire plusieurs publications.
Un essai clinique peut donner lieu à :
un article principal ;
un article consacré aux effets indésirables ;
une analyse à cinq ans ;
un résumé présenté en congrès ;
une publication portant sur un sous-groupe.
Si une méta-analyse traite ces cinq publications comme cinq études indépendantes, elle risque de compter plusieurs fois les mêmes participants.
Cochrane insiste donc sur une règle importante : l’unité fondamentale est l’étude, non le nombre de rapports publiés à son sujet. Les différents rapports doivent être reliés afin de reconstruire correctement chaque étude.
Cette distinction prolonge directement la fiche précédente : dix articles ne représentent pas nécessairement dix confirmations indépendantes.
La sélection doit pouvoir être reconstruite
Une revue systématique identifie généralement beaucoup plus de références qu’elle n’en inclura finalement.
Les doublons sont supprimés.
Les titres et résumés sont examinés.
Les textes complets des publications potentiellement pertinentes sont étudiés.
Certaines études sont finalement exclues parce qu’elles ne satisfont pas les critères prévus.
Une bonne revue indique combien de documents ont été identifiés, examinés et exclus, et pour quelles raisons principales.
Le diagramme de flux rendu célèbre par PRISMA répond notamment à cette exigence de transparence.
PRISMA 2020 est une recommandation de compte rendu comportant 27 items ainsi que des diagrammes permettant de documenter le processus de sélection et les principales méthodes d’une revue systématique.
Cette transparence permet à un lecteur de comprendre comment plusieurs milliers de références initiales ont conduit, par exemple, aux douze études finalement synthétisées.
PRISMA n’est pas un certificat de qualité
Cette précision est importante.
Un article peut afficher un magnifique diagramme PRISMA et rester méthodologiquement médiocre.
PRISMA est avant tout une recommandation pour rapporter de manière complète et transparente ce qui a été fait. Le site officiel le présente explicitement comme une guideline destinée à améliorer le reporting des revues systématiques.
Cela signifie qu’une revue peut être :
bien rapportée mais mal conçue.
Inversement, certaines bonnes pratiques méthodologiques peuvent avoir été réalisées mais insuffisamment décrites, ce qui empêche alors le lecteur de les évaluer correctement.
Dire :
« cette revue suit PRISMA »
ne signifie donc pas :
« cette revue est correcte ».
Cela signifie au mieux que son compte rendu cherche à fournir certaines informations nécessaires à son évaluation.
Une fois les études trouvées, il faut comprendre ce qu’elles étudient réellement
Supposons qu’une recherche identifie vingt études sur « l’activité physique et la dépression ».
Elles peuvent néanmoins être extrêmement différentes.
Certaines portent sur des patients atteints de dépression majeure.
D’autres sur des étudiants légèrement symptomatiques.
Certaines utilisent trois séances de sport supervisé par semaine.
D’autres mesurent simplement l’activité habituelle.
Certaines comparent à une liste d’attente.
D’autres à une psychothérapie active.
Certaines évaluent les symptômes après quatre semaines.
D’autres après un an.
Leur regroupement sous le même mot-clé ne signifie pas qu’elles répondent à la même question causale.
Avant toute combinaison statistique, il faut donc examiner populations, interventions, comparateurs, résultats et dessins d’étude.
C’est précisément pourquoi Cochrane avertit les auteurs de ne pas commencer directement par la méta-analyse : la pertinence de la combinaison dépend d’abord de toutes les étapes méthodologiques qui précèdent le calcul.
Une revue systématique n’est pas nécessairement une méta-analyse
Supposons que les vingt études soient trop différentes.
Certaines rapportent des taux de rechute.
D’autres une variation moyenne d’un questionnaire.
Leurs populations et interventions sont difficilement comparables.
Il peut être préférable de ne pas calculer d’effet global unique.
La revue reste pourtant systématique.
Elle peut présenter les résultats de manière structurée, comparer les études, examiner les directions et tailles d’effet, analyser leurs forces et faiblesses et expliquer pourquoi une synthèse statistique serait trompeuse.
Cochrane consacre d’ailleurs un chapitre entier aux méthodes de synthèse autres que la méta-analyse, ce qui montre bien que les deux notions ne doivent pas être confondues.
Refuser de calculer une moyenne peut parfois être plus scientifique que produire un chiffre artificiellement précis.
La méta-analyse : combiner quantitativement plusieurs estimations
Lorsque les études sont suffisamment comparables, une méta-analyse peut combiner leurs estimations.
Supposons que cinq essais aient chacun estimé l’effet du même traitement sur le même type de résultat.
Ils obtiennent des valeurs légèrement différentes :
une étude estime un bénéfice important ;
deux un bénéfice modéré ;
une presque aucun effet ;
une autre un effet intermédiaire.
La méta-analyse cherche à produire une estimation synthétique tenant compte des informations apportées par chaque étude.
Cochrane définit formellement la méta-analyse comme la combinaison statistique des résultats provenant d’au moins deux études distinctes.
Mais cette moyenne n’est généralement pas une simple moyenne arithmétique.
Les études n’ont généralement pas toutes le même poids
Supposons :
étude A : 50 participants ;
étude B : 500 participants ;
étude C : 10 000 participants.
Donner exactement un tiers du poids à chacune ferait de l’étude A l’égale de l’étude C, même si son estimation est beaucoup plus incertaine.
Les méthodes classiques de méta-analyse attribuent donc généralement davantage de poids aux estimations plus précises.
Une approche fréquente utilise l’inverse de la variance : plus l’incertitude statistique autour d’une estimation est faible, plus son poids dans la combinaison est important. Cochrane décrit la plupart des méthodes de méta-analyse comme différentes formes de moyenne pondérée des estimations individuelles.
Ainsi, une grande étude précise influence normalement davantage le résultat combiné qu’une petite étude extrêmement incertaine.
Poids statistique ne signifie pas qualité scientifique
Cette distinction est capitale.
Une étude très grande peut avoir un intervalle étroit et recevoir un poids statistique élevé.
Mais elle peut également présenter un biais méthodologique important.
Une petite étude peut être très bien conçue mais simplement moins précise.
Le poids calculé automatiquement par une méta-analyse reflète principalement l’information statistique selon le modèle utilisé, pas une note globale de qualité scientifique.
Une grande étude biaisée peut donc fortement influencer une méta-analyse.
Il ne faut jamais interpréter :
« cette étude reçoit 40 % du poids »
comme :
« elle représente 40 % de la qualité des preuves ».
L’évaluation du risque de biais constitue une étape distincte.
Une méta-analyse peut augmenter considérablement la précision
Supposons que cinq petites études suggèrent toutes un effet semblable mais possèdent individuellement des intervalles assez larges.
En combinant leurs informations, une méta-analyse peut produire une estimation beaucoup plus précise.
C’est l’un de ses principaux avantages.
Un effet trop petit pour être estimé précisément dans chacune des études peut devenir beaucoup mieux caractérisé lorsqu’un grand nombre de participants indépendants contribuent à l’estimation globale.
Cochrane cite précisément parmi les avantages possibles de la méta-analyse l’amélioration de la précision, la possibilité de répondre à des questions que les études isolées n’avaient pas assez de puissance pour examiner et la résolution de certaines controverses créées par des résultats apparemment contradictoires.
Cette augmentation de précision explique en grande partie la puissance de l’outil.
Elle explique également son principal danger.
Une méta-analyse peut devenir très précise sur une mauvaise quantité
Supposons que dix études partagent toutes le même biais.
Elles recrutent systématiquement une population sélectionnée.
Ou utilisent toutes une mesure biaisée.
Ou reposent sur la même confusion non contrôlée.
La méta-analyse peut combiner leurs résultats et produire un intervalle extrêmement étroit.
Le chiffre paraît alors extraordinairement convaincant.
Mais la synthèse a seulement réduit l’erreur aléatoire autour d’un ensemble d’estimations systématiquement biaisées.
Elle n’a pas éliminé le biais commun.
Une méta-analyse ne purifie donc pas les études qu’elle combine.
Elle peut parfois produire une estimation très précise d’une conclusion incorrecte.
Cochrane avertit explicitement que les méta-analyses peuvent induire gravement en erreur si les biais présents dans les études ou les différences entre elles ne sont pas correctement pris en compte.
Le forest plot : voir les études avant de regarder la moyenne
La représentation la plus connue d’une méta-analyse est le forest plot.
Chaque étude y apparaît généralement avec :
une estimation ponctuelle ;
un intervalle de confiance ;
et un poids plus ou moins important.
Une ligne verticale représente souvent la valeur correspondant à l’absence d’effet.
En bas, un losange représente fréquemment l’estimation synthétique et son intervalle.
Le forest plot possède un avantage pédagogique considérable : il permet de voir les études individuelles avant la moyenne.
On peut immédiatement observer si toutes les estimations se ressemblent.
Si une étude domine presque entièrement l’analyse.
Si les intervalles sont gigantesques.
Si certaines études indiquent un bénéfice et d’autres un dommage.
Le losange final ne devrait donc jamais être regardé isolément.
Une bonne lecture commence par la forêt et les arbres, pas uniquement par le chiffre combiné.
Une méta-analyse ne transforme pas automatiquement des résultats contradictoires en accord
Supposons que cinq études donnent :
−30 ;
−20 ;
0 ;
+25 ;
+35.
La moyenne globale peut être proche de zéro.
Mais cela ne signifie pas nécessairement :
« il n’existe aucun effet ».
Il se peut que l’intervention soit bénéfique dans certaines populations et nocive dans d’autres.
Une moyenne proche de zéro pourrait alors cacher deux effets réels opposés.
La première question n’est donc pas toujours :
« quelle est la moyenne ? »
Elle peut être :
« pourquoi les études diffèrent-elles autant ? »
Cette variation entre études est appelée hétérogénéité.
Elle mérite une fiche entière, car elle peut provenir de différences réelles entre populations, interventions ou méthodes aussi bien que d’erreurs et de fluctuations aléatoires.
Toutes les différences entre études ne sont pas problématiques
À l’inverse, deux études ne sont jamais parfaitement identiques.
Il serait donc absurde de refuser toute méta-analyse dès qu’une population, une dose ou une mesure varie légèrement.
Une certaine diversité peut même être scientifiquement intéressante.
Si un traitement produit un bénéfice semblable dans plusieurs pays, plusieurs hôpitaux et différentes tranches d’âge, cette variation des contextes renforce sa généralisation.
La question est donc de savoir si les études sont suffisamment comparables relativement à la question synthétisée.
Cochrane recommande explicitement d’examiner l’hétérogénéité clinique, méthodologique et statistique avant et pendant la combinaison des résultats.
Il n’existe pas de règle automatique du type :
« études différentes = pas de méta-analyse ».
Il faut comprendre la nature des différences.
Le problème des « pommes et des oranges »
Une critique traditionnelle des méta-analyses affirme qu’elles mélangeraient parfois « des pommes et des oranges ».
L’objection peut être parfaitement légitime.
Combiner des populations, interventions ou résultats tellement différents qu’une moyenne ne correspond plus à aucune question intelligible peut produire un nombre sans véritable signification.
Mais la simple différence entre les études n’interdit pas la synthèse.
Une revue sur les agrumes peut parfaitement combiner oranges, mandarines et pamplemousses si la question porte sur une propriété commune pertinente.
La bonne question n’est donc pas :
« les études sont-elles identiques ? »
mais :
« la quantité que nous cherchons à synthétiser possède-t-elle encore un sens à travers ces différences ? »
C’est un jugement scientifique avant d’être statistique.
Effet fixe et effets aléatoires
Deux grandes familles de modèles sont couramment utilisées.
Dans une méta-analyse à effet fixe, on suppose généralement que les études estiment un même effet sous-jacent pour la comparaison considérée, leurs différences observées provenant essentiellement de l’incertitude d’échantillonnage.
Dans une méta-analyse à effets aléatoires, on autorise au contraire les véritables effets sous-jacents à varier entre les études selon une certaine distribution.
Cochrane décrit explicitement cette distinction et souligne que le modèle à effets aléatoires doit être interprété avec prudence, notamment lorsque les études sont peu nombreuses ou lorsque leur hétérogénéité est importante.
Le choix entre ces modèles ne doit pas devenir une procédure mécanique déterminée par un seul test.
Il correspond à une conception du phénomène que l’on cherche à synthétiser.
« Effets aléatoires » ne résout pas automatiquement l’hétérogénéité
Une erreur fréquente consiste à dire :
« Les études sont très différentes, donc utilisons un modèle à effets aléatoires et le problème est réglé. »
Non.
Le modèle peut représenter statistiquement une partie de la variation entre études.
Il ne nous dit pas automatiquement pourquoi elles diffèrent.
Si certaines études portent sur des enfants et d’autres sur des personnes âgées, la variation peut refléter un véritable effet de l’âge.
Si certaines études sont fortement biaisées, la variation peut venir de leur qualité.
Si deux interventions substantiellement différentes ont été regroupées, la moyenne peut perdre son sens.
Le modèle statistique ne dispense donc jamais de l’enquête méthodologique sur les causes de l’hétérogénéité.
Cochrane recommande précisément d’examiner et, lorsque les données le permettent, d’investiguer ces variations plutôt que de les considérer comme un simple paramètre technique.
La moyenne sous effets aléatoires peut modifier le poids relatif des petites études
Le choix du modèle peut également changer la pondération.
Dans plusieurs méthodes courantes à effets aléatoires, lorsque la variation entre études est importante, les différences de poids entre grandes et petites études deviennent moins extrêmes qu’avec une analyse à effet fixe.
Une petite étude peut donc recevoir relativement davantage d’influence.
Ce détail devient particulièrement important si les petites études donnent systématiquement des résultats plus favorables que les grandes.
Un modèle à effets aléatoires n’est donc pas automatiquement plus « prudent ».
Dans certaines situations, son estimation synthétique peut même être davantage influencée par les petites études.
C’est pourquoi le modèle doit être choisi et interprété relativement à la structure réelle du corps de preuves, non comme un simple bouton logiciel.
L’intervalle de prédiction pose une autre question
Une méta-analyse à effets aléatoires peut produire un intervalle autour de l’effet moyen.
Mais si les véritables effets varient entre contextes, une autre question devient importante :
quel effet pourrait-on raisonnablement rencontrer dans une nouvelle étude comparable ?
Un intervalle de prédiction cherche à représenter cette variabilité future en tenant compte de l’hétérogénéité estimée.
Cochrane souligne son intérêt lorsque l’on cherche à montrer l’étendue possible des effets entre différentes situations.
Un effet moyen positif peut ainsi coexister avec un intervalle de prédiction couvrant des bénéfices faibles, nuls ou parfois défavorables.
La moyenne répond alors à une question.
La dispersion des effets en répond à une autre.
Une moyenne très nette peut cacher une forte hétérogénéité
Supposons qu’une méta-analyse estime :
effet moyen = −10, IC étroit.
Cela paraît extrêmement convaincant.
Mais si les études individuelles vont de −50 à +30, le contexte joue probablement un rôle majeur.
Dans une décision pratique, savoir que l’effet moyen est −10 ne suffit peut-être pas.
Il faut déterminer :
dans quelles situations se rapproche-t-il de −50 et dans lesquelles devient-il +30 ?
La synthèse scientifique ne doit donc pas seulement chercher une moyenne plus précise.
Elle doit parfois chercher une théorie expliquant la variation.
Nous développerons ce point dans la fiche suivante.
Une méta-analyse d’études observationnelles reste observationnelle
Supposons que quinze études observationnelles retrouvent une association entre un comportement et une maladie.
Leur méta-analyse peut fournir une estimation globale très précise.
Mais elle ne transforme pas l’exposition en intervention randomisée.
Si toutes les études restent vulnérables à un confondeur non mesuré semblable, la méta-analyse conserve ce problème.
La précision du résultat combiné peut même rendre l’association plus convaincante visuellement sans résoudre la question causale fondamentale.
Il faut donc éviter le raisonnement :
« une seule étude observationnelle ne prouve pas la causalité, mais vingt études réunies dans une méta-analyse la prouvent automatiquement ».
La multiplication des études peut renforcer considérablement une conclusion, notamment lorsqu’elles utilisent des méthodes différentes.
Mais la nature des biais doit être examinée.
Le type d’étude reste essentiel après la combinaison
Une revue peut parfois inclure à la fois essais randomisés et études non randomisées.
Il peut être scientifiquement utile d’examiner les deux.
Mais les combiner aveuglément dans une seule estimation peut masquer leurs différences méthodologiques.
Les essais randomisés répondent mieux à certaines questions de confusion.
Les études observationnelles peuvent apporter davantage d’information sur des populations ou événements rares.
Elles ne possèdent pas exactement les mêmes vulnérabilités.
Une bonne synthèse conserve donc la structure du corps de preuves, au lieu de transformer toute publication disponible en une ligne interchangeable dans un calcul.
La qualité d’une méta-analyse dépend d’abord de ce qui entre dedans
Une estimation synthétique peut être mathématiquement impeccable et scientifiquement faible.
Supposons que les cinq études incluses soient :
très petites ;
fortement biaisées ;
issues du même laboratoire ;
et toutes sélectionnées parmi un ensemble beaucoup plus vaste de résultats non publiés.
La moyenne n’acquiert aucune vertu particulière parce qu’elle est présentée avec trois décimales.
Une revue systématique doit donc examiner le risque de biais de chaque étude et les biais susceptibles d’affecter l’ensemble de la littérature.
Cochrane distingue explicitement ces niveaux : le risque de biais dans les études individuelles et le risque de biais dû aux résultats manquants ou non rapportés constituent des problèmes différents qui doivent tous deux être évalués.
Les études invisibles sont particulièrement dangereuses pour la synthèse
Supposons que vingt essais soient réalisés.
Dix trouvent un résultat favorable et sont publiés.
Dix trouvent peu ou pas d’effet et restent invisibles.
Une méta-analyse des dix publications disponibles donnera une vision excessivement favorable du traitement.
La recherche systématique essaie donc de ne pas dépendre uniquement des articles facilement accessibles.
Le chapitre Cochrane consacré à la recherche recommande notamment d’examiner les registres d’essais et d’autres sources susceptibles de révéler des études ou résultats absents de la littérature classique.
Cochrane rappelle également que les résultats statistiquement significatifs et favorables tendent davantage que les résultats non significatifs à être publiés, à paraître rapidement, à être cités et donc à devenir faciles à identifier.
Nous consacrerons plus tard une fiche entière à ce biais de publication et au problème du fichier tiroir.
Même une recherche parfaite ne garantit pas que toutes les données existent publiquement
Une revue systématique peut appliquer une stratégie bibliographique remarquable et ne jamais trouver certains résultats.
Pourquoi ?
Parce qu’ils n’ont peut-être jamais été rendus publics.
La qualité de la recherche bibliographique et la disponibilité du corpus sont donc deux problèmes différents.
On peut chercher parfaitement dans une littérature incomplète.
Cette distinction explique pourquoi les registres prospectifs d’essais et la déclaration des résultats sont si importants : ils permettent parfois de découvrir l’existence même d’une étude que la littérature publiée aurait rendue invisible.
La revue systématique ne supprime donc pas le biais de publication.
Elle essaie de le détecter, de le réduire et d’en tenir compte.
Plus les critères sont souples, plus la revue peut elle-même être surajustée
Le problème des degrés de liberté du chercheur existe aussi dans les synthèses.
Faut-il inclure cette population ?
Cette étude est-elle réellement comparable ?
Doit-on regrouper deux doses ?
Faut-il utiliser l’effet à trois ou six mois ?
Doit-on exclure l’étude dont le risque de biais est élevé ?
Faut-il choisir effet fixe ou effets aléatoires ?
Chaque décision peut modifier l’estimation finale.
Si ces choix sont effectués après observation des résultats, une revue peut être adaptée progressivement à la conclusion souhaitée.
D’où l’intérêt des protocoles et analyses de sensibilité.
Cochrane recommande explicitement d’utiliser des analyses de sensibilité pour examiner si les conclusions d’une méta-analyse résistent aux décisions potentiellement influentes prises durant la synthèse.
Une méta-analyse possède donc elle aussi son jardin de chemins qui bifurquent.
Modifier les critères après coup peut parfois être justifié
Supposons que le protocole prévoie de combiner toutes les doses d’un médicament.
Les chercheurs découvrent ensuite qu’une dose extrêmement élevée produit un mécanisme biologique radicalement différent.
Il peut être méthodologiquement préférable de modifier la synthèse.
Comme pour le préenregistrement d’une étude, le principe n’est pas :
« ne jamais changer ».
Il est :
« rendre le changement visible, l’expliquer et montrer ce qu’il change dans la conclusion ».
PRISMA 2020 demande précisément aux auteurs d’indiquer où le protocole est accessible et de décrire les amendements apportés aux informations enregistrées ou prévues.
La transparence est ici plus importante que l’obéissance aveugle au plan initial.
La revue narrative conserve néanmoins une véritable utilité
Distinguer revue systématique et revue narrative ne signifie pas que la seconde serait dépourvue de valeur.
Une excellente revue narrative peut expliquer :
l’histoire d’un débat ;
les principaux mécanismes ;
les changements théoriques ;
les problèmes conceptuels ;
les méthodes utilisées ;
ou les raisons pour lesquelles certains résultats diffèrent.
Elle peut offrir une compréhension qu’une synthèse quantitative ne fournira jamais.
Sa faiblesse apparaît lorsqu’elle cherche à répondre à une question du type :
« que montre globalement l’ensemble des études ? »
tout en sélectionnant les publications de manière peu explicite.
Une bonne architecture des connaissances utilise donc les revues systématiques pour limiter la sélection des preuves, sans prétendre que toute réflexion théorique doive être transformée en protocole de méta-analyse.
« Revue systématique » n’est pas davantage un label de vérité
Une revue peut se qualifier de systématique tout en étant mauvaise.
Elle peut rechercher une seule base.
Définir des critères ambigus.
Exclure arbitrairement certaines études.
Évaluer médiocrement leurs biais.
Combiner des travaux incomparables.
Ignorer les résultats non publiés.
Ou utiliser une méthode statistique inadéquate.
Le label ne suffit donc pas.
Comme toujours, il faut demander :
quels mécanismes de contrôle ont réellement été mis en œuvre ?
La force de la revue systématique vient de sa procédure, pas de son titre.
Une revue peut être obsolète
La synthèse fournit une photographie de la littérature disponible à une certaine date.
Si plusieurs essais importants apparaissent ensuite, la conclusion peut changer.
Une revue systématique excellente en 2018 peut devenir inadéquate pour une décision prise en 2026.
Cochrane souligne explicitement que les revues doivent parfois être mises à jour lorsque de nouvelles données ou de nouvelles méthodes sont susceptibles de modifier substantiellement leur conclusion.
Il faut donc toujours regarder la date de la dernière recherche bibliographique, pas seulement la date de publication de la revue.
Une revue publiée récemment peut même avoir une recherche terminée longtemps auparavant.
Les « living systematic reviews »
Pour certaines questions où de nouvelles données apparaissent rapidement, des équipes utilisent des revues systématiques vivantes régulièrement actualisées.
L’idée est simple : plutôt que de recommencer entièrement une revue tous les cinq ans, la recherche et la synthèse sont mises à jour à mesure que de nouvelles études importantes apparaissent.
Cette méthode est particulièrement intéressante lorsque :
la question est importante ;
l’incertitude persiste ;
et le corpus évolue rapidement.
Elle rappelle une fois encore que l’état des connaissances scientifiques n’est pas un document figé.
Une revue systématique est une étape datée d’un processus cumulatif.
Une méta-analyse peut détecter que la question initiale était mal posée
Supposons que l’on cherche :
« Le traitement fonctionne-t-il ? »
Les études sont combinées et montrent une hétérogénéité importante.
En examinant les données, on découvre que le traitement semble très efficace lorsque la maladie est sévère et presque inutile dans les formes légères.
La question initiale était peut-être trop générale.
La synthèse permet alors de la reformuler :
« Chez quels patients le traitement produit-il un bénéfice suffisamment important ? »
Une méta-analyse n’est donc pas seulement une machine à obtenir une moyenne.
Elle peut révéler la structure d’un phénomène que les petites études individuelles ne pouvaient pas distinguer.
Mais les analyses de sous-groupes réalisées après coup sont elles-mêmes vulnérables aux comparaisons multiples.
Les hypothèses qu’elles suggèrent devront parfois être testées indépendamment.
Les sous-groupes dans les méta-analyses peuvent eux aussi produire des illusions
Supposons qu’une méta-analyse contienne trente études.
On examine si l’effet varie selon :
continent ;
âge moyen ;
sexe ;
dose ;
durée ;
année de publication ;
type d’hôpital ;
qualité méthodologique ;
taille de l’étude.
Avec suffisamment de comparaisons, certaines différences apparaîtront fortuitement.
La méta-analyse n’échappe donc pas aux problèmes statistiques étudiés dans la fiche 21.
Cochrane recommande une grande prudence dans les analyses de sous-groupes et méta-régressions, notamment lorsque le nombre d’études est faible.
Une différence observée entre études doit idéalement devenir une nouvelle hypothèse testable, pas une histoire définitive construite après coup.
Une méta-analyse peut parfois répondre à une question qu’aucune étude ne pouvait résoudre seule
Imaginons un effet indésirable rare.
Chaque essai individuel contient trop peu de participants pour l’estimer correctement.
En regroupant plusieurs essais, la quantité totale d’information peut devenir suffisante pour mieux caractériser le risque.
De même, un effet modeste peut être difficile à distinguer dans chaque petite étude mais devenir visible lorsqu’elles sont combinées.
C’est l’un des apports majeurs de la synthèse quantitative.
Elle permet de passer de :
« chaque étude est trop imprécise »
à
« ensemble, elles fournissent suffisamment d’information ».
Mais cette possibilité suppose toujours que les données puissent légitimement être considérées comme contribuant à la même question.
La méta-analyse ne remplace pas une nouvelle grande étude dans toutes les situations
Supposons que dix petites études utilisent toutes des méthodes fragiles et donnent des résultats très hétérogènes.
Une méta-analyse peut aider à comprendre le corpus.
Mais la meilleure réponse scientifique peut être :
« il faut désormais un nouvel essai, plus grand et mieux conçu ».
Augmenter la sophistication de la synthèse ne corrige pas nécessairement les faiblesses du matériau primaire.
Une méta-analyse peut identifier précisément ce qui manque.
Elle ne peut pas créer des données qui n’ont jamais été recueillies.
Une revue systématique peut révéler que presque personne n’a étudié la bonne question
Ce résultat est fréquent.
Des dizaines d’études existent, mais :
elles utilisent toutes un critère intermédiaire au lieu du résultat réellement important ;
elles suivent les participants pendant seulement quelques semaines ;
elles excluent systématiquement certaines populations ;
ou elles ne mesurent jamais les effets indésirables recherchés.
La revue peut alors conclure :
« la littérature est volumineuse, mais la question importante reste mal étudiée ».
C’est une conclusion beaucoup plus informative que :
« il existe 73 publications ».
La quantité de littérature et la quantité de preuve pertinente ne sont pas synonymes.
La méta-analyse n’est pas automatiquement le sommet de toute hiérarchie des preuves
Les célèbres pyramides des preuves placent parfois revues systématiques et méta-analyses tout en haut.
Cette représentation possède une certaine utilité : une bonne synthèse de plusieurs études solides peut évidemment fournir davantage d’information qu’une petite étude isolée.
Mais l’emplacement peut devenir trompeur.
Une méta-analyse de mauvaises études ne devient pas meilleure qu’un essai exceptionnellement rigoureux simplement parce qu’elle se situe graphiquement au sommet d’une pyramide.
Une revue systématique de données observationnelles ne possède pas automatiquement les mêmes propriétés qu’une revue d’essais randomisés.
Et certaines questions ne se prêtent pas à une méta-analyse.
Nous reviendrons explicitement sur cette idée dans la fiche consacrée à la hiérarchie des preuves.
Une bonne synthèse conserve les incertitudes au lieu de les effacer
Une mauvaise communication transforme souvent :
« sept études hétérogènes, dont quatre à risque de biais élevé, fournissent une estimation moyenne incertaine »
en :
« une méta-analyse prouve que… »
C’est exactement l’inverse de la fonction scientifique de la synthèse.
Une bonne revue doit rendre visible :
la quantité de données ;
leur cohérence ;
leurs limitations ;
les risques de biais ;
les résultats manquants ;
et l’incertitude restante.
La synthèse n’a pas pour mission de faire disparaître l’incertitude.
Elle doit l’organiser.
Lire une méta-analyse commence donc bien avant le losange
Lorsqu’un forest plot circule sur les réseaux sociaux, l’œil est immédiatement attiré par le losange final.
Mais plusieurs questions devraient précéder son interprétation.
Quelle était exactement la question de la revue ?
Les critères d’inclusion étaient-ils définis avant la connaissance complète des résultats ?
La recherche des études semble-t-elle suffisamment large ?
Les registres ou sources non publiées ont-ils été examinés lorsque c’était pertinent ?
Les publications multiples provenant d’une même étude ont-elles été correctement reliées ?
Quel est le risque de biais des études ?
Sont-elles réellement comparables ?
Pourquoi une combinaison statistique a-t-elle été jugée pertinente ?
Une seule étude domine-t-elle le résultat ?
Les estimations individuelles convergent-elles ?
Le résultat dépend-il fortement d’un modèle ou d’une décision particulière ?
Enfin, quelles études ou quels résultats pourraient manquer ?
Le losange n’est que la dernière étape.
La force réelle d’une revue systématique est de limiter notre liberté de choisir les preuves
Nous pouvons maintenant revenir au problème initial.
Sans méthode explicite, deux personnes en désaccord peuvent chacune produire une liste d’articles correspondant à leur position.
La revue systématique cherche à remplacer :
« voici les études que j’ai trouvées convaincantes »
par :
« voici la question, les critères définis, la manière dont les études ont été recherchées, toutes celles qui satisfont ces critères et la manière dont elles ont été évaluées ».
Elle ne supprime pas le jugement.
De nombreux choix restent nécessaires.
Elle cherche plutôt à rendre ces choix explicites, traçables et critiquables.
C’est exactement le même mouvement que nous avons rencontré à chaque étape de la méthode scientifique : transformer une décision individuelle invisible en procédure pouvant être examinée par d’autres.
La méta-analyse ajoute ensuite une couche quantitative
Lorsque les études peuvent raisonnablement être combinées, la méta-analyse ajoute :
combien d’effet ?
avec quelle précision ?
à quel point les études diffèrent-elles ?
Elle peut donc produire une synthèse extraordinairement informative.
Mais elle ne possède aucun pouvoir de purification.
Elle ne transforme pas :
une mauvaise mesure en bonne mesure ;
une confusion en randomisation ;
un biais de publication en littérature complète ;
ou des questions différentes en une question unique.
La qualité du résultat dépend encore de toute la chaîne ayant produit les études et de toute la chaîne ayant permis de les sélectionner et de les combiner.
Une bonne synthèse est donc davantage qu’une moyenne
Une revue systématique rigoureuse ressemble finalement moins à une calculatrice qu’à une enquête sur l’ensemble d’un dossier scientifique.
Elle demande quelles preuves existent.
Lesquelles manquent peut-être.
Comment elles ont été produites.
À quelles populations elles s’appliquent.
À quels biais elles sont exposées.
Si leurs résultats sont compatibles.
Pourquoi ils diffèrent éventuellement.
Et seulement ensuite, lorsqu’un effet global possède réellement un sens :
quelle estimation quantitative peut-on tirer de l’ensemble ?
La méta-analyse est alors extrêmement puissante parce qu’elle arrive à la fin d’un raisonnement méthodologique, non parce qu’elle peut le remplacer.
À retenir
Une revue systématique cherche à identifier et synthétiser les études répondant à une question définie à l’aide de critères explicites et préspécifiés, afin de réduire notamment la sélection opportuniste des preuves. Elle implique donc bien davantage qu’une recherche bibliographique : formulation de la question, critères d’éligibilité, recherche des études, sélection, extraction des données, évaluation des biais et synthèse.
Une méta-analyse est une opération différente : elle combine statistiquement les résultats de plusieurs études lorsque cette combinaison est pertinente. Elle peut augmenter fortement la précision et aider à comprendre un corpus contradictoire, mais Cochrane avertit explicitement qu’elle peut également induire gravement en erreur lorsque les biais, l’hétérogénéité ou les résultats manquants sont ignorés.
Une revue systématique peut donc parfaitement être rigoureuse sans méta-analyse lorsque les études sont trop différentes pour qu’une estimation commune possède un sens. Inversement, une moyenne statistique de plusieurs articles sélectionnés sans recherche systématique n’acquiert pas automatiquement la force d’une revue systématique.
Il faut également distinguer précision statistique et qualité scientifique. Les poids utilisés dans une méta-analyse reflètent principalement la précision des estimations selon le modèle statistique ; ils ne constituent pas automatiquement des scores de risque de biais. Une grande étude biaisée peut donc exercer une influence considérable sur une estimation combinée.
Enfin, PRISMA est une guideline de transparence du compte rendu, non un label garantissant qu’une revue est méthodologiquement correcte. De même, l’enregistrement prospectif d’un protocole améliore la traçabilité mais ne garantit pas la qualité de ses choix.
La question fondamentale n’est donc pas :
« Existe-t-il une méta-analyse ? »
mais :
« Le corps de preuves a-t-il été recherché, sélectionné, évalué et combiné d’une manière suffisamment rigoureuse pour que l’estimation synthétique possède réellement le sens qu’on lui attribue ? »
Sources et références
- Cumpston, Miranda et al., « Introduction », dans *Cochrane Handbook for Systematic Reviews of Interventions*, version 6.5, Cochrane, 2024 : principes généraux des revues systématiques et préspécification des méthodes.
- McKenzie, Joanne E. et al., « Defining the criteria for including studies and how they will be grouped for the synthesis », chapitre 3 du *Cochrane Handbook*, mise à jour 2023 : formulation PICO, critères d’éligibilité et planification des synthèses.
- Lefebvre, Carol et al., « Searching for and selecting studies », chapitre 4 du *Cochrane Handbook*, mise à jour mars 2025 : recherche systématique, registres, sélection et distinction entre études et rapports de publication.
- Deeks, Jonathan J., Higgins, Julian P. T., Altman, Douglas G., McKenzie, Joanne E. & Veroniki, Areti Angeliki, « Analysing data and undertaking meta-analyses », chapitre 10 du *Cochrane Handbook*, mise à jour novembre 2024 : pondération, effets fixes et aléatoires, hétérogénéité, analyses de sensibilité et limites des méta-analyses.
- Page, Matthew J., Higgins, Julian P. T. & Sterne, Jonathan A. C., « Assessing risk of bias due to missing evidence in a meta-analysis », chapitre 13 du *Cochrane Handbook*, mise à jour août 2024.
- Page, Matthew J. et al., « The PRISMA 2020 statement: an updated guideline for reporting systematic reviews », *BMJ*, 2021;372:n71, DOI 10.1136/bmj.n71.
- Centre for Reviews and Dissemination, University of York, PROSPERO — International prospective register of systematic reviews, sur l’enregistrement prospectif des protocoles de revues systématiques et ses objectifs de transparence.