Revues systématiques et méta-analyses

Une étude isolée peut être informative, mais elle peut aussi produire un résultat atypique en raison du hasard, d’un biais ou d’une population particulière.

Pour obtenir une vision plus robuste, les chercheurs peuvent réaliser une revue systématique : une méthode organisée visant à identifier, évaluer et synthétiser l’ensemble des études pertinentes répondant à une question précise.

Lorsque les résultats de plusieurs études sont suffisamment comparables, ils peuvent également être combinés quantitativement dans une méta-analyse.

Ces méthodes constituent des outils essentiels de la médecine fondée sur les preuves. Mais elles ne transforment pas automatiquement des études faibles en preuve solide.

Revue systématique et revue narrative

Une revue traditionnelle, dite parfois narrative, repose largement sur le choix des études effectué par l’auteur.

Elle peut être excellente, mais elle comporte un risque : sélectionner surtout les travaux compatibles avec la thèse défendue.

Une revue systématique cherche au contraire à définir à l’avance :

  • la question ;
  • les bases interrogées ;
  • les critères d’inclusion ;
  • les méthodes d’évaluation ;
  • la stratégie de synthèse.

L’objectif est de rendre le processus reproductible et aussi peu dépendant que possible des préférences de l’auteur.

Une question précise

Une bonne revue systématique commence généralement par une question clairement définie.

Par exemple :

Chez les adultes atteints d’une maladie donnée, le traitement A réduit-il la mortalité par rapport au traitement standard ?

Une question trop vague rend difficile la sélection cohérente des études.

On utilise souvent la structure PICO :

ÉlémentSignification
PPopulation
IIntervention ou exposition
CComparateur
OOutcome, ou critère de jugement

Cette formulation permet de préciser exactement ce que l’on cherche.

Rechercher toutes les études pertinentes

Une revue systématique ne devrait pas se limiter aux premières études trouvées sur un moteur de recherche.

Les auteurs élaborent une stratégie documentaire visant à identifier le maximum de travaux pertinents.

Ils peuvent rechercher dans :

  • bases bibliographiques ;
  • registres d’essais ;
  • références des articles ;
  • littérature grise ;
  • actes de congrès.

Le but est notamment de limiter le risque de ne retrouver que les études les plus connues ou les plus positives.

Les critères d’inclusion

Avant de consulter les résultats, les auteurs définissent idéalement quelles études seront acceptées.

Par exemple :

  • uniquement des essais randomisés ;
  • adultes de plus de 18 ans ;
  • traitement d’au moins six semaines ;
  • comparaison avec placebo ou traitement standard ;
  • mortalité ou hospitalisation comme critères.

Ces règles limitent les décisions opportunistes prises après avoir vu les résultats.

Diagramme de sélection

Les revues systématiques présentent souvent un diagramme montrant :

  • nombre d’articles trouvés ;
  • doublons supprimés ;
  • articles examinés ;
  • études exclues ;
  • études finalement incluses.

Cela permet de comprendre comment on passe parfois de plusieurs milliers de références initiales à quelques dizaines d’études réellement pertinentes.

Les recommandations PRISMA standardisent largement cette présentation.

Toutes les études ne se valent pas

Identifier les études ne suffit pas.

Il faut également évaluer leur qualité méthodologique.

Pour un essai randomisé, on peut examiner :

  • randomisation ;
  • dissimulation de l’allocation ;
  • aveugle ;
  • données manquantes ;
  • sélection des résultats publiés.

Pour une étude observationnelle, on examinera davantage :

  • sélection des participants ;
  • mesure de l’exposition ;
  • facteurs de confusion ;
  • pertes de suivi.

Une synthèse qui ignore la qualité des études risque d’accorder le même poids à des preuves très différentes.

Qu’est-ce qu’une méta-analyse ?

Une méta-analyse combine mathématiquement les résultats de plusieurs études.

Supposons que cinq essais aient comparé un traitement au placebo.

Chaque étude produit une estimation du risque relatif :

ÉtudeRisque relatif
A0,72
B0,84
C0,78
D0,95
E0,76

Une méta-analyse peut calculer une estimation globale qui synthétise ces résultats.

Cette estimation n’est généralement pas une simple moyenne arithmétique.

Pondérer les études

Les études plus précises reçoivent généralement davantage de poids.

Une étude incluant 20 000 participants fournit habituellement plus d’information qu’une étude de 80 participants.

Le poids dépend notamment :

  • taille de l’échantillon ;
  • nombre d’événements ;
  • variance de l’estimation.

Ainsi, les études produisant des estimations très incertaines influencent moins le résultat combiné.

Le forest plot

Les résultats d’une méta-analyse sont souvent présentés dans un forest plot.

Chaque étude apparaît avec :

  • une estimation de l’effet ;
  • son intervalle de confiance.

Une ligne verticale représente généralement l’absence d’effet.

Le résultat combiné est représenté en bas du graphique.

Ce type de graphique permet de voir immédiatement :

  • direction des résultats ;
  • précision ;
  • cohérence entre études.

Exemple conceptuel

Supposons que plusieurs études trouvent toutes un risque relatif inférieur à 1.

Même si certaines prises séparément ne sont pas statistiquement significatives, leur combinaison peut montrer un effet global plus précis.

C’est l’un des avantages de la méta-analyse :

augmenter la précision en regroupant l’information disponible.

Mais ce bénéfice dépend de la comparabilité des études.

Additionner des études n’élimine pas leurs biais

Supposons que dix études observationnelles surestiment toutes l’effet d’un traitement pour la même raison : les patients recevant le traitement sont en meilleure santé au départ.

Les combiner ne supprimera pas ce biais.

On obtiendra simplement une estimation plus précise d’une association biaisée.

C’est un principe fondamental :

une méta-analyse réduit surtout l’incertitude aléatoire ; elle ne supprime pas automatiquement les erreurs systématiques.

« Garbage in, garbage out »

Cette idée est parfois résumée par l’expression :

garbage in, garbage out.

Si les études incluses sont méthodologiquement très faibles, la synthèse ne devient pas excellente simplement parce qu’elle rassemble beaucoup de données.

Une méta-analyse est aussi fiable que les études qu’elle combine et que les choix méthodologiques utilisés pour les sélectionner.

Peut-on mélanger toutes les études ?

Non.

Il serait parfois absurde de combiner directement :

  • enfants et personnes âgées ;
  • maladie légère et maladie critique ;
  • doses très différentes ;
  • critères de jugement différents.

Avant de calculer une moyenne globale, il faut demander si les études cherchent réellement à estimer le même effet ou des effets suffisamment proches.

C’est le problème de l’hétérogénéité.

Hétérogénéité clinique

Les études peuvent différer selon :

  • population ;
  • intervention ;
  • dose ;
  • durée ;
  • comparateur ;
  • contexte.

Ces différences constituent une hétérogénéité clinique.

Un médicament peut par exemple être très efficace au début d’une maladie et inutile lorsqu’il est administré tardivement.

Combiner les deux situations sans distinction peut produire une moyenne difficile à interpréter.

Hétérogénéité méthodologique

Les études peuvent aussi utiliser des méthodes différentes.

Par exemple :

  • essais randomisés ;
  • cohortes ;
  • études cas-témoins.

Ou mesurer l’exposition de manière différente.

Ces différences peuvent expliquer une partie de la variation des résultats.

Hétérogénéité statistique

Lorsque les estimations diffèrent plus que ce que le hasard seul expliquerait probablement, on parle d’hétérogénéité statistique.

Un indicateur fréquemment utilisé est I².

Il cherche à quantifier la proportion de la variabilité observée qui semble liée à de véritables différences entre études plutôt qu’au simple hasard.

Mais un chiffre comme I² ne remplace pas l’analyse du contexte.

Il faut comprendre pourquoi les études diffèrent.

Une forte hétérogénéité n’interdit pas toujours la synthèse

Si les effets varient fortement, une moyenne globale peut devenir moins informative.

Supposons qu’un traitement :

  • soit très bénéfique chez les patients graves ;
  • n’ait aucun effet chez les patients légers.

La moyenne peut indiquer un bénéfice modéré.

Mais cette moyenne ne correspond réellement à aucun des deux groupes.

Il est alors plus utile d’examiner les sous-groupes pertinents.

Modèle à effet fixe

Un modèle à effet fixe suppose essentiellement que toutes les études estiment un même effet sous-jacent et que leurs différences proviennent surtout du hasard d’échantillonnage.

Cette hypothèse peut être raisonnable lorsque les études sont très similaires.

Modèle à effets aléatoires

Un modèle à effets aléatoires suppose que l’effet réel peut varier d’une étude à l’autre.

Il estime alors une distribution d’effets plutôt qu’un seul effet strictement identique.

Cette méthode est souvent utilisée lorsque les populations ou contextes diffèrent.

Mais utiliser un modèle à effets aléatoires ne résout pas automatiquement une hétérogénéité excessive.

Résultat global et pertinence clinique

Supposons qu’une méta-analyse trouve :

RR = 0,97 avec un intervalle de confiance très étroit.

Grâce à des centaines de milliers de participants, le résultat peut être statistiquement significatif.

Mais une réduction relative de 3 % peut être cliniquement très faible.

Il faut donc toujours examiner :

  • ampleur absolue ;
  • risque de base ;
  • effets indésirables ;
  • coût.

La significativité statistique ne suffit pas.

Utiliser les risques absolus

Supposons qu’un traitement réduise un risque de :

1 % à 0,8 %.

Le risque relatif est :

0,8 / 1 = 0,80, soit une réduction relative de 20 %.

Mais la réduction absolue n’est que :

0,2 point de pourcentage.

La méta-analyse ne dispense donc pas de traduire l’effet en termes compréhensibles.

Méta-analyse d’essais randomisés

Lorsque plusieurs essais randomisés comparables et bien réalisés donnent des résultats convergents, leur synthèse peut fournir une preuve particulièrement solide.

Elle augmente la précision et permet parfois d’étudier :

  • événements rares ;
  • différents sous-groupes ;
  • robustesse des résultats.

C’est l’une des raisons pour lesquelles les revues systématiques d’essais randomisés occupent une place importante dans la médecine fondée sur les preuves.

Méta-analyse d’études observationnelles

On peut également combiner des cohortes ou études cas-témoins.

Cela peut être extrêmement utile, notamment lorsqu’aucun essai n’est possible.

Mais les biais de confusion et de sélection restent présents.

Une méta-analyse de vingt études observationnelles n’est donc pas automatiquement équivalente à vingt essais randomisés.

Le type d’étude source compte.

Le biais de publication

L’un des problèmes les plus importants est que toutes les études réalisées ne sont pas nécessairement publiées.

Historiquement, une étude trouvant :

« le traitement fonctionne »

avait davantage de chances d’être publiée qu’une étude concluant :

« aucune différence détectable ».

Si une revue systématique ne voit que les études publiées, elle peut surestimer l’effet.

Exemple pédagogique

Imaginons que dix petits essais soient réalisés.

Par hasard :

  • trois trouvent un résultat spectaculaire positif ;
  • sept ne trouvent rien.

Si seuls les trois essais positifs sont publiés, une revue basée uniquement sur la littérature publiée donnera l’impression d’un traitement extrêmement efficace.

C’est pourquoi les registres d’essais sont importants.

Funnel plot

Le funnel plot est parfois utilisé pour rechercher des indices de biais de publication.

Il représente généralement :

  • taille ou précision des études ;
  • ampleur de leur effet.

En l’absence de certains biais, le graphique devrait présenter une forme relativement symétrique.

Une asymétrie peut suggérer l’absence de petites études négatives.

Mais elle peut également avoir d’autres causes.

Un funnel plot n’est donc pas une preuve définitive de biais de publication.

Biais de petit échantillon

Les petites études produisent davantage de résultats extrêmes simplement par hasard.

Elles peuvent également être plus vulnérables :

  • aux biais méthodologiques ;
  • aux analyses flexibles ;
  • à la publication sélective.

Lorsque les petites études montrent des effets gigantesques et les grandes études des effets beaucoup plus faibles, cette différence mérite une attention particulière.

Effet de la première étude

Dans certains domaines, la première étude publiée produit un effet spectaculaire.

Les études suivantes trouvent ensuite un effet plus modeste.

Cela peut venir :

  • fluctuation aléatoire ;
  • publication du résultat le plus remarquable ;
  • méthodologie initiale plus fragile.

Ce phénomène rappelle qu’une découverte précoce doit généralement être répliquée.

Sélection des études

Deux revues systématiques portant apparemment sur la même question peuvent inclure des études différentes.

Cela dépend :

  • critères d’inclusion ;
  • date de recherche ;
  • définition de l’intervention ;
  • type de population.

Des conclusions divergentes ne signifient donc pas nécessairement qu’une des équipes a commis une fraude.

Il faut comparer les méthodes.

Choix des critères de jugement

Une revue peut conclure différemment selon qu’elle analyse :

  • mortalité totale ;
  • mortalité spécifique ;
  • hospitalisation ;
  • amélioration biologique.

Il faut donc vérifier quel résultat a été synthétisé.

Un traitement peut améliorer un marqueur sans démontrer une réduction de la mortalité.

Mélanger des doses différentes

Supposons que certaines études utilisent une dose faible et d’autres une dose très élevée.

La moyenne globale peut masquer :

  • inefficacité de la dose faible ;
  • efficacité de la dose élevée ;
  • toxicité plus importante à forte dose.

Une analyse dose-réponse peut être plus informative qu’une moyenne unique.

Sous-groupes en méta-analyse

Les chercheurs peuvent explorer si l’effet varie selon :

  • âge ;
  • sexe ;
  • sévérité ;
  • dose ;
  • durée.

Mais les mêmes précautions que dans un essai individuel s’appliquent.

Plus on teste de sous-groupes, plus on risque de trouver des différences dues au hasard.

Une hypothèse pré-spécifiée et biologiquement plausible est plus convaincante qu’une découverte post hoc.

Méta-régression

La méta-régression cherche à expliquer les différences entre études à partir de leurs caractéristiques.

Par exemple :

l’effet augmente-t-il lorsque la dose augmente ?

Mais l’unité d’analyse est généralement l’étude, pas l’individu.

Elle reste donc exposée au risque de sophisme écologique.

Une association entre caractéristiques moyennes des études ne signifie pas nécessairement la même relation au niveau individuel.

Données individuelles

Une forme particulièrement riche est la méta-analyse sur données individuelles.

Au lieu d’utiliser uniquement les résultats publiés, les chercheurs récupèrent les données originales de chaque participant.

Cela permet :

  • harmonisation ;
  • analyses de sous-groupes plus fiables ;
  • vérification des données.

Mais cette méthode est beaucoup plus lourde à réaliser.

Mise à jour des revues

La connaissance scientifique évolue.

Une revue systématique réalisée il y a dix ans peut ne plus représenter les preuves actuelles.

De nouveaux essais peuvent :

  • confirmer ;
  • affaiblir ;
  • renverser une conclusion.

Il faut donc vérifier la date de la dernière recherche bibliographique, pas seulement la date de publication de la revue.

Living systematic reviews

Dans certains domaines évoluant très rapidement, on utilise des revues systématiques vivantes.

Elles sont mises à jour régulièrement lorsque de nouvelles études apparaissent.

Cette approche a été particulièrement utile pendant certaines crises sanitaires.

Elle montre bien que la synthèse scientifique n’est pas nécessairement un document figé.

La revue Cochrane

Les revues de la Cochrane Collaboration constituent un exemple majeur de revues systématiques standardisées.

Elles utilisent des méthodes explicites pour :

  • recherche ;
  • sélection ;
  • évaluation du risque de biais ;
  • synthèse.

Cela ne signifie pas que toutes leurs conclusions sont définitives, mais leur processus cherche à rendre les choix méthodologiques transparents.

GRADE

Une revue systématique peut ensuite évaluer le niveau global de certitude des preuves.

Le système GRADE prend notamment en compte :

  • risque de biais ;
  • incohérence ;
  • imprécision ;
  • indirectness, ou caractère indirect des preuves ;
  • biais de publication.

La conclusion peut être classée selon différents niveaux de confiance.

Cela évite de réduire l’évaluation à :

« méta-analyse = preuve certaine ».

Une hiérarchie trop simpliste

On voit parfois une pyramide plaçant :

méta-analyse

tout en haut.

Cette représentation peut être trompeuse.

Une méta-analyse n’est pas un type d’étude primaire.

C’est une méthode de synthèse.

Une méta-analyse de petites études très biaisées peut être moins fiable qu’un excellent grand essai randomisé.

Il faut donc demander :

méta-analyse de quoi ?

Exemple caricatural

Supposons vingt études très faibles, toutes exposées au même biais.

Les combiner donne une estimation extrêmement précise.

On pourrait alors obtenir :

RR = 0,72 ; IC 95 % 0,70–0,74.

Visuellement, le résultat paraît impressionnant.

Mais si le biais commun déplace l’estimation de 30 %, l’intervalle de confiance très étroit ne protège absolument pas contre cette erreur.

La précision n’est pas la validité.

Une étude isolée peut modifier une méta-analyse

Dans un domaine comprenant plusieurs petits essais, l’arrivée d’un grand essai de haute qualité peut modifier fortement la conclusion globale.

Cela n’est pas anormal.

Le nouvel essai apporte beaucoup plus d’information.

Une synthèse scientifique doit justement évoluer lorsque de meilleures données deviennent disponibles.

Hydroxychloroquine et Covid : une leçon méthodologique

Pendant le Covid, de petites études initiales ont suscité de fortes attentes concernant certains traitements.

À mesure que des essais randomisés plus grands et mieux contrôlés sont devenus disponibles, la synthèse des preuves a évolué.

Cet exemple illustre pourquoi la quantité et la qualité de preuve accumulée importent davantage qu’une étude spectaculaire isolée.

Une méta-analyse réalisée trop tôt peut elle-même refléter une littérature encore très immature.

Mise à jour bayésienne implicite

On peut voir la synthèse scientifique comme une forme de mise à jour progressive des croyances.

Une première étude modifie légèrement notre estimation.

Une deuxième ajoute de l’information.

Puis d’autres études renforcent ou affaiblissent la conclusion.

Cette logique rejoint le raisonnement bayésien : la confiance augmente lorsque des preuves indépendantes cohérentes s’accumulent.

Mais chaque preuve doit être pondérée selon sa qualité.

Convergence entre types d’études

Une revue systématique ne doit pas nécessairement combiner mathématiquement toutes les études.

Elle peut aussi montrer que :

  • essais randomisés ;
  • cohortes ;
  • mécanismes biologiques ;

convergent vers la même conclusion.

Cette synthèse qualitative peut parfois être plus informative qu’une moyenne statistique artificielle.

Quand ne pas faire de méta-analyse ?

Parfois, il vaut mieux ne pas calculer de moyenne.

C’est le cas lorsque les études sont trop différentes :

  • populations incompatibles ;
  • interventions différentes ;
  • critères incomparables ;
  • biais majeurs.

Produire malgré tout un chiffre global peut créer une impression de certitude qui n’existe pas.

Une revue systématique sans méta-analyse peut donc être parfaitement appropriée.

Les revues systématiques peuvent elles-mêmes être biaisées

Une revue systématique est une étude.

Elle peut donc comporter ses propres erreurs :

  • recherche incomplète ;
  • critères de sélection discutables ;
  • extraction incorrecte ;
  • mauvaise évaluation du biais ;
  • modèle statistique inadapté.

Il faut donc évaluer la qualité d’une revue systématique exactement comme on évalue une étude primaire.

Revues contradictoires

Il arrive que deux méta-analyses donnent des conclusions différentes.

Avant de conclure que « la science se contredit », il faut examiner :

  • dates ;
  • études incluses ;
  • populations ;
  • critères ;
  • modèles statistiques ;
  • qualité des études.

Les deux analyses peuvent parfois répondre à des questions légèrement différentes.

Umbrella reviews

Lorsque de nombreuses revues systématiques existent sur un domaine, on peut réaliser une umbrella review, ou revue de revues.

Elle synthétise plusieurs revues systématiques.

Mais cette couche supplémentaire ne supprime pas les problèmes sous-jacents.

Si les mêmes études primaires sont répétées dans plusieurs méta-analyses, on ne dispose pas réellement d’autant de preuves indépendantes que le nombre de revues pourrait le laisser croire.

Une leçon d’esprit critique

Lorsqu’un titre annonce :

« Une méta-analyse de 50 études prouve que… »

le nombre d’études ne suffit pas.

Il faut demander :

Quelles études ?

Sont-elles randomisées ou observationnelles ?

Ont-elles de forts risques de biais ?

Sont-elles suffisamment comparables ?

Les résultats sont-ils homogènes ?

Existe-t-il un biais de publication ?

Quelle est l’ampleur absolue de l’effet ?

La conclusion dépend-elle de quelques petites études ?

La méta-analyse est un outil puissant de synthèse, mais elle ne constitue pas une machine transformant automatiquement toute littérature en vérité.

À retenir

Une revue systématique cherche à identifier, évaluer et synthétiser de manière transparente toutes les études pertinentes répondant à une question précise.

Une méta-analyse combine statistiquement les résultats lorsque les études sont suffisamment comparables.

Ces méthodes peuvent augmenter considérablement la précision et donner une vision plus robuste que celle d’une étude isolée.

Mais leur qualité dépend de :

la qualité des études incluses, la recherche documentaire, le risque de biais de publication, l’hétérogénéité et les choix méthodologiques de synthèse.

Une règle simple permet d’éviter beaucoup d’erreurs :

une méta-analyse n’est pas supérieure aux données qu’elle synthétise.

La bonne question n’est donc pas seulement :

« Y a-t-il une méta-analyse ? »

mais :

« Quelle est la qualité de l’ensemble des preuves qu’elle rassemble ? »

Pour aller plus loin

Cochrane Handbook for Systematic Reviews of Interventions. La référence méthodologique majeure pour la conduite et l’interprétation des revues systématiques et méta-analyses.

PRISMA — Preferred Reporting Items for Systematic Reviews and Meta-Analyses. Des recommandations internationales visant à rendre la sélection et la synthèse des études transparentes.

GRADE Working Group. Un cadre très utilisé pour évaluer le niveau de certitude global des preuves et éviter de confondre synthèse statistique et certitude scientifique.

Iain Chalmers et Cochrane Collaboration. Des travaux fondamentaux sur la nécessité de synthétiser systématiquement les essais plutôt que de sélectionner les résultats les plus favorables.