Hétérogénéité, risque de biais et qualité d’un ensemble d’études

Une méta-analyse rassemble dix études et conclut qu’un traitement réduit en moyenne un risque de 15 %. L’intervalle de confiance est étroit et le résultat statistiquement très net.

À première vue, la conclusion paraît solide.

Mais imaginons maintenant que certaines études trouvent une réduction de 50 %, d’autres presque aucun effet et deux une augmentation du risque. Plusieurs essais présentent beaucoup de pertes au suivi. Les petites études donnent systématiquement les résultats les plus spectaculaires. Enfin, presque tous les participants sont de jeunes adultes alors que la décision qui nous intéresse concerne principalement des personnes âgées.

L’estimation moyenne de −15 % n’est pas fausse au sens arithmétique.

Elle est simplement loin de résumer tout ce que nous avons besoin de savoir.

Lorsqu’on passe d’une étude individuelle à un ensemble d’études, au moins quatre questions deviennent distinctes : les résultats sont-ils cohérents entre eux ? Les études sont-elles exposées à des biais susceptibles de déplacer leurs estimations ? Les résultats sont-ils suffisamment précis ? Et les preuves répondent-elles réellement à la question qui nous intéresse ?

C’est pourquoi la qualité d’un corps de preuves ne peut pas être déduite d’un unique nombre placé au bas d’un *forest plot*.

Cochrane et l’approche GRADE distinguent précisément plusieurs dimensions : risque de biais, incohérence entre études, indirectness — que l’on peut traduire par caractère indirect ou inadéquation à la question —, imprécision et risque de biais de publication. Ces dimensions servent à évaluer la certitude attachée à une conclusion pour un résultat donné.

La méta-analyse produit donc une estimation.

L’évaluation du corps de preuves demande ensuite :

« À quel point avons-nous de bonnes raisons de croire que cette estimation décrit la quantité qui nous intéresse réellement ? »

Toutes les différences entre études ne sont pas de l’hétérogénéité au même sens

Deux études ne donnent presque jamais exactement le même résultat.

Une estime une réduction du risque de 18 %.

Une autre de 21 %.

Une troisième de 15 %.

Une partie de ces différences apparaît simplement parce que chaque étude observe un échantillon fini.

Même si le véritable effet était identique partout, la fluctuation d’échantillonnage produirait des estimations différentes.

Mais les études peuvent également différer pour des raisons beaucoup plus intéressantes.

Le véritable effet peut varier selon les populations.

Les doses peuvent être différentes.

Le traitement peut être administré plus ou moins correctement.

Les résultats peuvent être mesurés à des moments différents.

Certaines études peuvent être davantage biaisées que d’autres.

Les méthodes statistiques peuvent varier.

On parle donc d’hétérogénéité lorsque la variation des résultats dépasse ou structure ce que l’on attendrait d’une simple répétition parfaitement identique soumise uniquement aux fluctuations d’échantillonnage.

Cochrane insiste sur le fait que l’hétérogénéité doit être examinée parce qu’elle limite parfois fortement la possibilité de formuler une conclusion générale, mais peut également fournir de nouvelles informations sur les raisons pour lesquelles un effet varie.

Hétérogénéité clinique, méthodologique et statistique

Il est utile de distinguer trois niveaux.

Une hétérogénéité clinique apparaît lorsque les études diffèrent par les personnes étudiées, les interventions, les comparateurs ou les résultats mesurés.

Une hétérogénéité méthodologique apparaît lorsque les dessins, mesures, durées de suivi ou risques de biais diffèrent.

L’hétérogénéité statistique désigne enfin une variation des estimations qui apparaît dans les résultats quantitatifs eux-mêmes.

Ces niveaux sont liés, mais ils ne sont pas identiques.

Deux études peuvent utiliser des protocoles différents tout en donnant presque exactement la même estimation.

À l’inverse, deux études apparemment très similaires peuvent produire des résultats très différents.

La statistique peut constater la variation.

Elle ne nous dit pas automatiquement quelle différence clinique ou méthodologique la produit.

L’hétérogénéité peut révéler un phénomène réel

Supposons qu’un médicament produise une réduction moyenne du risque de 20 %.

Chez les patients atteints d’une forme légère de la maladie, le bénéfice est presque nul.

Chez les patients gravement atteints, il réduit fortement le risque.

Une méta-analyse regroupant les deux populations peut montrer une forte hétérogénéité.

Il serait pourtant incorrect de traiter cette hétérogénéité comme un simple « défaut » des données.

Elle révèle peut-être une modification réelle de l’effet par la gravité initiale.

Dans ce cas, l’objectif scientifique n’est pas de faire disparaître l’hétérogénéité.

Il est de la comprendre.

La meilleure conclusion devient :

« l’effet dépend vraisemblablement de la gravité de la maladie »

plutôt que :

« l’effet moyen vaut 20 % pour tout le monde ».

GRADE traite précisément une incohérence inexpliquée comme une raison de diminuer la certitude, mais indique qu’une variation expliquée par un véritable modificateur d’effet peut conduire à présenter séparément les populations concernées plutôt qu’à parler d’une seule estimation universelle.

L’hétérogénéité peut aussi être le signal d’un biais

Imaginons maintenant que toutes les études correctement randomisées trouvent un effet faible, tandis que les études présentant une mauvaise dissimulation de l’allocation trouvent des effets considérables.

La variation ne révèle peut-être pas une propriété du traitement.

Elle peut révéler une différence de qualité méthodologique.

La distinction est capitale.

Dans le premier cas :

le véritable effet varie.

Dans le second :

les estimations varient parce que certaines études se trompent davantage que d’autres.

La même statistique d’hétérogénéité peut accompagner les deux situations.

Il faut donc revenir aux études et demander :

« quelles caractéristiques changent en même temps que les résultats ? »

Une hétérogénéité impressionnante peut parfois provenir d’une simple erreur

Avant de construire une théorie sophistiquée, il faut également vérifier les choses les plus simples.

Cochrane recommande explicitement, devant une forte hétérogénéité, de vérifier de nouveau l’extraction et l’entrée des données. Une erreur d’unité, une confusion entre écart-type et erreur standard ou un mauvais traitement de la structure des données peut produire artificiellement des résultats apparemment incompatibles.

Cette règle illustre merveilleusement l’esprit de toute cette rubrique.

Un résultat étrange n’exige pas immédiatement une révolution théorique.

Il exige d’abord une enquête sur toutes les causes plausibles de l’étrangeté observée.

Le test d’hétérogénéité ne répond pas simplement « oui » ou « non »

Les méta-analyses présentent parfois un test statistique, souvent dérivé du χ² de Cochran, destiné à examiner si la variation observée est compatible avec l’hypothèse selon laquelle toutes les études partagent le même effet sous-jacent.

Il serait tentant de lire :

p < 0,05 : hétérogénéité présente ;

p > 0,05 : pas d’hétérogénéité.

Nous retrouvons immédiatement les problèmes rencontrés avec la significativité statistique.

Lorsque peu d’études sont disponibles ou qu’elles sont petites, le test peut manquer de puissance pour détecter une hétérogénéité pourtant importante.

Lorsque les études sont très nombreuses, il peut au contraire détecter une variation très faible dont l’importance pratique est minime.

Cochrane avertit donc explicitement qu’un test non significatif ne constitue pas une preuve d’absence d’hétérogénéité.

Une fois encore, la valeur *p* n’est pas un interrupteur ontologique.

I² : quantifier l’incohérence

Pour dépasser le simple test, Higgins et ses collègues ont proposé la statistique I², devenue extrêmement courante.

Très schématiquement, I² estime la proportion de la variabilité observée entre les estimations attribuable à l’hétérogénéité plutôt qu’aux seules fluctuations d’échantillonnage.

Un I² proche de 0 % suggère que les différences observées peuvent largement être compatibles avec l’incertitude propre aux études.

Une valeur élevée indique qu’une part importante de la variation ne s’explique pas simplement par cette incertitude.

Cochrane donne parfois comme repères grossiers 0–40 %, 30–60 %, 50–90 % et 75–100 %, correspondant respectivement à des niveaux allant de potentiellement peu importants à considérables.

Mais ces intervalles se chevauchent volontairement.

Ils ne doivent surtout pas devenir de nouveaux seuils rigides.

I² = 60 % ne signifie pas « les études sont différentes à 60 % »

Cette interprétation est fausse.

I² ne mesure pas :

« 60 % de différence entre les études ».

Il ne donne pas non plus directement :

« 60 % de chances que l’hétérogénéité soit réelle ».

Il exprime une relation entre variation inter-études et incertitude statistique.

Sa valeur dépend donc aussi de la précision des études.

Deux ensembles d’études présentant des écarts absolus similaires peuvent produire des I² différents si leurs erreurs standards sont très différentes.

C’est pourquoi Cochrane insiste sur la nécessité d’interpréter I² en regardant aussi la taille et la direction des effets ainsi que l’incertitude sur l’hétérogénéité elle-même.

Peu d’études peuvent masquer une hétérogénéité importante

Supposons que seulement trois petites études soient disponibles.

Leurs intervalles de confiance sont très larges.

Même si leurs effets sous-jacents diffèrent réellement, les données peuvent être trop imprécises pour distinguer clairement cette variation de l’erreur d’échantillonnage.

On peut alors obtenir un I² relativement faible ou extrêmement incertain.

Il serait dangereux de conclure :

« les résultats sont parfaitement homogènes ».

Cochrane rappelle précisément que les estimations de I² et de τ² sont elles-mêmes très incertaines lorsque le nombre d’études est faible.

L’absence de preuve d’hétérogénéité n’est donc, là encore, pas nécessairement preuve d’homogénéité.

τ² répond à une autre question

Dans les modèles à effets aléatoires, une autre quantité importante est τ², qui représente la variance estimée des véritables effets entre les études selon le modèle.

Sa racine carrée, τ, correspond à l’écart-type estimé de cette distribution d’effets.

Contrairement à I², τ² dépend de l’échelle sur laquelle l’effet est exprimé.

Il cherche donc davantage à représenter la quantité de variation réelle entre les effets eux-mêmes.

Mais lui aussi peut être estimé avec une grande incertitude lorsque le nombre d’études est faible. Cochrane recommande donc de ne jamais traiter τ² comme un paramètre connu avec certitude simplement parce qu’un logiciel en affiche une valeur.

L’intervalle de confiance autour de la moyenne ne montre pas toute l’hétérogénéité

Supposons qu’une méta-analyse estime un effet moyen très précisément :

effet moyen = −10 ; IC 95 % : −12 à −8.

On pourrait penser que l’intervention produit partout un effet compris approximativement entre −12 et −8.

Mais si les véritables effets varient fortement selon les études, cet intervalle décrit principalement l’incertitude sur la moyenne, pas toute la dispersion des effets entre contextes.

Il est possible que certaines situations présentent un effet de −30 et d’autres un effet proche de zéro.

La moyenne peut être connue avec précision alors que l’effet dans une nouvelle population reste beaucoup plus incertain.

C’est précisément la raison d’être de l’intervalle de prédiction.

L’intervalle de prédiction remet la variation entre contextes au premier plan

Dans une méta-analyse à effets aléatoires, l’intervalle de prédiction cherche à représenter une plage plausible pour l’effet sous-jacent dans une nouvelle étude suffisamment comparable aux études incluses, compte tenu de l’hétérogénéité estimée.

Cochrane le recommande comme une manière particulièrement utile de rendre visible la dispersion des effets, tout en rappelant qu’il repose lui-même sur des hypothèses et peut être très instable lorsque peu d’études sont disponibles.

Supposons :

effet moyen : −15 ; IC 95 % : −20 à −10 ; intervalle de prédiction : −45 à +12.

La moyenne semble nettement favorable.

Mais l’intervalle de prédiction indique que, selon les variations estimées entre études, une nouvelle situation comparable pourrait présenter un bénéfice considérable, un effet faible ou éventuellement un résultat défavorable.

C’est une information cruciale pour la décision.

Une moyenne peut ne correspondre à aucune situation réelle

Lorsque l’hétérogénéité est forte, l’effet moyen peut devenir une abstraction.

Supposons que le traitement réduise un risque de 40 % chez les patients graves mais augmente légèrement ce risque chez les patients légers.

Une moyenne de −18 % peut être mathématiquement correcte.

Mais il n’existe peut-être aucun groupe de patients pour lequel l’effet réel est −18 %.

Cochrane avertit explicitement qu’en présence d’une hétérogénéité substantielle, une estimation synthétique peut parfois correspondre à un effet n’existant réellement dans aucune des populations étudiées.

Dans ces situations, la question :

« quel est l’effet moyen ? »

peut être moins utile que :

« quels effets apparaissent dans quelles circonstances ? »

Parfois, la meilleure décision est de ne pas calculer de moyenne

Cette conclusion est méthodologiquement importante.

Une revue systématique n’a aucune obligation de produire une méta-analyse.

Si les études vont dans des directions radicalement différentes et qu’aucune interprétation cohérente de leur moyenne n’est possible, Cochrane recommande explicitement d’envisager de ne pas combiner statistiquement les résultats.

Il vaut mieux dire :

« ces études ne peuvent pas actuellement être résumées par une estimation unique suffisamment interprétable »

que fabriquer un chiffre uniquement parce qu’un logiciel sait le calculer.

Refuser une moyenne peut être une marque de rigueur.

Le modèle à effets aléatoires ne « corrige » pas l’hétérogénéité

Comme nous l’avons vu dans la fiche précédente, une solution fréquente consiste à utiliser une méta-analyse à effets aléatoires.

Ce modèle autorise une distribution de véritables effets différents entre études.

Il constitue donc souvent un choix raisonnable lorsqu’une certaine hétérogénéité est attendue.

Mais il ne répond pas à la question :

« pourquoi les effets varient-ils ? »

Cochrane précise explicitement qu’une analyse à effets aléatoires ne remplace pas une véritable investigation de l’hétérogénéité.

Le modèle représente statistiquement la variation.

Il ne l’explique pas.

Chercher les causes de l’hétérogénéité

Supposons que vingt études soient disponibles.

Les effets varient fortement.

Les chercheurs peuvent examiner si cette variation est associée à :

la dose ;

la gravité initiale ;

l’âge ;

la durée de traitement ;

le type de comparateur ;

la qualité méthodologique.

Des analyses de sous-groupes ou des méta-régressions peuvent aider à explorer ces hypothèses.

Si les études à forte dose montrent systématiquement un bénéfice plus important, cela peut suggérer une relation dose-effet.

Mais il faut être extrêmement prudent.

Il existe souvent de nombreuses différences possibles entre les études.

Chercher après coup celle qui coïncide le mieux avec les résultats recrée exactement le problème des analyses multiples rencontré dans la fiche 21.

Une explication post hoc de l’hétérogénéité reste une hypothèse

Imaginons que la méta-analyse révèle une forte hétérogénéité.

Les chercheurs essaient ensuite :

âge moyen ;

proportion de femmes ;

année de publication ;

continent ;

dose ;

durée ;

taille de l’étude ;

type d’hôpital.

Une seule variable donne une différence statistiquement spectaculaire : le continent.

Il serait imprudent de conclure immédiatement :

« le traitement fonctionne différemment selon le continent ».

Cette association peut être fortuite.

Elle peut également être confondue par d’autres différences entre les études.

Cochrane recommande que les analyses d’hétérogénéité véritablement confirmatoires soient autant que possible préspécifiées. Les explications conçues après observation de l’hétérogénéité doivent plutôt être considérées comme génératrices d’hypothèses.

Nous retrouvons exactement la distinction entre exploration et confirmation.

La méta-régression travaille souvent avec très peu d’unités

Il existe une difficulté supplémentaire.

Dans une étude comportant 10 000 patients, une régression peut disposer de 10 000 observations individuelles.

Dans une méta-régression portant sur dix essais, certaines analyses disposent essentiellement de dix unités au niveau des études.

Essayer d’expliquer la variation à l’aide de nombreux prédicteurs devient alors extrêmement instable.

Cochrane souligne que la plupart des revues contiennent trop peu d’études pour identifier de manière fiable les causes de l’hétérogénéité.

La sophistication apparente d’une méta-régression ne doit donc pas masquer la pauvreté parfois extrême de l’information disponible pour expliquer les différences.

Les relations entre études ne sont pas nécessairement les relations entre individus

Supposons que les études comportant davantage de personnes âgées montrent un effet plus faible.

Cela ne démontre pas nécessairement que l’âge individuel réduit l’effet du traitement.

Les études dont l’âge moyen est élevé peuvent aussi différer par leur pays, leurs doses ou leurs pratiques médicales.

Déduire une relation individuelle à partir d’une relation observée entre caractéristiques moyennes de groupes peut produire une erreur écologique.

Une méta-régression sur des caractéristiques agrégées doit donc être interprétée avec prudence.

Pour comprendre un véritable modificateur individuel d’effet, des données individuelles ou des tests spécifiquement conçus peuvent être beaucoup plus informatifs.

Le risque de biais est différent de l’hétérogénéité

Supposons maintenant que toutes les études donnent presque exactement la même estimation.

I² = 0 %.

Peut-on conclure que les preuves sont excellentes ?

Non.

Toutes les études peuvent partager le même biais.

Si aucune n’a correctement dissimulé l’allocation, si toutes perdent massivement les participants les plus malades ou si toutes mesurent le résultat de manière biaisée, leurs estimations peuvent être remarquablement cohérentes et pourtant incorrectes.

L’homogénéité ne garantit donc pas la validité.

Des résultats peuvent être consistants dans l’erreur.

Qu’est-ce qu’un biais ?

Cochrane distingue très clairement biais et imprécision.

Le biais est une erreur systématique : si l’on répétait l’étude de la même manière, elle tendrait en moyenne à déplacer l’estimation dans une certaine direction ou selon un mécanisme particulier.

L’imprécision provient davantage de la variabilité aléatoire : différentes répétitions produiraient des estimations dispersées autour de la quantité recherchée.

Une étude peut donc être :

très précise mais biaisée ;

peu précise mais peu biaisée ;

ou malheureusement les deux.

Cochrane insiste précisément sur cette distinction dans son chapitre consacré au risque de biais.

Un intervalle de confiance étroit n’est pas une protection contre un biais systématique.

Pourquoi parler de « risque de biais » plutôt que déclarer qu’une étude est biaisée ?

Dans la plupart des cas, nous ne savons pas exactement de combien une faiblesse méthodologique a déplacé un résultat.

Supposons qu’une étude perde 25 % de ses participants.

Cela crée un risque de biais si les abandons dépendent du traitement et du résultat.

Mais nous ne pouvons pas toujours calculer précisément :

« cette perte a exagéré l’effet de 17,3 % ».

C’est pourquoi les outils modernes parlent plutôt de risque de biais.

Ils examinent si la conception et la conduite de l’étude créent un mécanisme capable de produire une erreur systématique.

Cochrane souligne explicitement qu’il est généralement impossible de savoir dans quelle mesure exacte un biais a affecté une étude individuelle ; il est donc plus approprié d’évaluer le risque que le résultat soit biaisé.

Cette prudence est importante.

Une étude n’a pas nécessairement un unique niveau de biais

Une même étude peut fournir plusieurs résultats dont le risque de biais diffère.

Un essai peut mesurer :

la mortalité ;

la douleur ;

la qualité de vie.

Si les participants savent quel traitement ils reçoivent, cela peut avoir peu d’effet sur l’enregistrement de la mortalité mais beaucoup plus sur une auto-évaluation subjective de douleur.

Cochrane RoB 2 évalue donc un résultat particulier d’un essai, et non simplement l’article entier avec une étiquette globale.

Cette distinction évite les jugements trop grossiers du type :

« étude de haute qualité »

ou

« étude de mauvaise qualité »

indépendamment de la question précise considérée.

Les principaux domaines de biais dans un essai randomisé

L’outil Cochrane RoB 2 examine notamment les biais pouvant provenir du processus de randomisation, des écarts par rapport aux interventions prévues, des données de résultat manquantes, de la mesure du résultat et de la sélection du résultat finalement rapporté.

Ces domaines correspondent à des mécanismes d’erreur différents.

Une mauvaise randomisation peut rendre les groupes initialement incomparables.

Des abandons différentiels peuvent détruire une partie de cette comparabilité.

Une mesure non aveugle peut influencer l’évaluation d’un résultat subjectif.

Une sélection parmi plusieurs analyses peut rendre visible uniquement le résultat le plus favorable.

Les réunir dans un seul chiffre ferait perdre une grande partie de cette information.

Pourquoi les « scores de qualité » simples sont problématiques

Certaines anciennes méthodes attribuaient des points :

randomisation : 2 points ;

aveugle : 1 point ;

pertes au suivi : 1 point ;

etc.

On additionnait ensuite les notes pour obtenir :

« qualité = 7/10 ».

Cette approche paraît objective.

Elle peut pourtant être profondément trompeuse.

Toutes les faiblesses n’ont pas la même importance pour tous les résultats.

Une absence d’aveugle peut être cruciale pour une évaluation subjective et presque sans importance pour un résultat impossible à manipuler.

Deux études obtenant 7/10 peuvent également avoir des faiblesses complètement différentes.

Cochrane a donc abandonné ces scores globaux au profit d’une approche par domaines de risque de biais. Le Handbook rappelle que différentes échelles de « qualité » pouvaient même conduire à des conclusions opposées selon la manière dont leurs points étaient pondérés.

Le chiffre unique donne ici une illusion de simplicité.

Une étude à haut risque de biais ne doit pas simplement être comptée comme les autres

Supposons dix essais.

Huit petits essais à haut risque de biais trouvent un effet énorme.

Deux grands essais à faible risque de biais trouvent presque aucun effet.

Une synthèse purement arithmétique pourrait encore produire une estimation favorable.

Mais l’interprétation doit évidemment prendre en compte la répartition du risque de biais à travers le corps de preuves.

Cochrane recommande d’intégrer explicitement ces évaluations dans l’analyse et l’interprétation. Une stratégie peut par exemple consister à limiter l’analyse principale aux résultats présentant un faible risque de biais puis à examiner par analyse de sensibilité ce qui change lorsque les études plus fragiles sont ajoutées.

Cette démarche est beaucoup plus informative que l’attribution d’un nombre de points arbitraires aux études.

Mais il n’existe pas encore une formule parfaite pour « pondérer le biais »

On pourrait imaginer :

faible risque de biais = poids × 1 ;

risque élevé = poids × 0,3.

Le problème est que nous ne savons généralement pas avec assez de précision combien chaque biais déplace réellement une estimation.

Cochrane indique ainsi qu’il serait souhaitable que les études à haut risque de biais reçoivent moins de poids, mais que les méthodes quantitatives permettant de pondérer directement les études en fonction de leur risque de biais ne sont pas suffisamment développées pour être recommandées de manière générale.

Une grande partie de l’évaluation reste donc structurée mais qualitative.

Ce n’est pas un défaut évitable par une simple formule.

C’est le reflet de l’information réellement disponible.

Le risque de biais et la qualité du compte rendu ne sont pas la même chose

Un article peut être très mal écrit mais décrire une étude correcte.

À l’inverse, un article magnifiquement présenté peut masquer une conception faible.

Le manque d’information crée évidemment une difficulté : si l’on ignore comment la randomisation a été réalisée, il devient difficile d’évaluer son risque de biais.

Mais mauvais reporting et mauvais dessin ne sont pas conceptuellement identiques.

Cochrane a précisément séparé le risque de biais d’autres dimensions autrefois mélangées dans les « scores de qualité », comme la qualité du rapport, la précision ou l’applicabilité.

Une bonne évaluation doit garder ces concepts séparés.

De la qualité des études à la certitude du corps de preuves

Nous pouvons maintenant franchir une étape supplémentaire.

Supposons que cinq essais soient chacun correctement conduits.

Est-ce suffisant pour déclarer :

« preuve de haute certitude » ?

Pas nécessairement.

Ils peuvent être très petits et donc imprécis.

Ils peuvent produire des résultats radicalement différents.

Ils peuvent porter uniquement sur une population très éloignée de celle qui nous intéresse.

D’autres études négatives peuvent avoir disparu de la littérature.

La qualité des études individuelles et la certitude du corps de preuves sont donc deux niveaux différents.

C’est précisément cette distinction que formalise l’approche GRADE.

GRADE : une structure de jugement, pas une machine à vérité

GRADE signifie Grading of Recommendations Assessment, Development and Evaluation.

L’approche est aujourd’hui largement utilisée dans les revues systématiques et recommandations de santé. Cochrane l’a adoptée pour évaluer la certitude des preuves concernant les résultats importants.

Elle classe cette certitude en quatre niveaux :

haute, modérée, faible ou très faible.

Mais il faut bien comprendre ce que cette classification cherche à représenter.

Elle n’attribue pas une note générale à une discipline ou même nécessairement à une intervention.

La certitude est évaluée pour un résultat particulier et une comparaison particulière.

Nous pouvons disposer de preuves de haute certitude qu’un médicament réduit les symptômes à trois mois mais de faible certitude concernant ses effets indésirables rares à dix ans.

Le niveau de preuve dépend de ce que l’on cherche précisément à savoir.

Les cinq questions principales de GRADE

Pour un corps de preuves, GRADE examine notamment cinq domaines : risque de biais, incohérence, caractère indirect des preuves, imprécision et biais de publication.

Leur logique peut être résumée ainsi :

DomaineQuestion centrale
Risque de biaisLes méthodes des études pourraient-elles déplacer systématiquement les résultats ?
IncohérenceLes résultats diffèrent-ils d’une manière importante et insuffisamment expliquée ?
Caractère indirectLes études répondent-elles réellement à la population, l’intervention, le comparateur et le résultat qui nous intéressent ?
ImprécisionL’incertitude statistique laisse-t-elle ouvertes des conclusions substantiellement différentes ?
Biais de publicationUne partie importante des résultats pourrait-elle être absente du corpus visible ?

Cette structure est utile précisément parce qu’elle empêche de réduire « niveau de preuve » à un seul indicateur.

Risque de biais : pouvons-nous faire confiance aux estimations produites ?

Nous venons de l’examiner.

Si une grande partie du corps de preuves provient d’études dont la randomisation, les pertes au suivi, les mesures ou la sélection des résultats créent de sérieux risques de biais, la confiance dans l’estimation diminue.

Le problème ne dépend pas uniquement du nombre d’études concernées.

Il dépend de la quantité d’information qu’elles apportent au résultat synthétique.

Une petite étude fragile ayant très peu de poids n’a pas nécessairement le même impact qu’une gigantesque étude dont dépend presque toute la conclusion.

C’est pourquoi GRADE examine le risque de biais au niveau du corps de preuves, en tenant compte des études qui contribuent réellement à l’estimation.

Incohérence : l’effet est-il suffisamment stable pour être résumé ?

Une forte variation inexpliquée réduit la certitude.

Mais le mot inexpliquée est essentiel.

Supposons que le traitement fonctionne systématiquement dans les formes graves et pas dans les formes légères.

Si cette structure est convaincante et soutenue par une hypothèse solide, nous pouvons présenter deux conclusions plus précises.

Le problème apparaît lorsque les études divergent fortement et que nous ne savons pas pourquoi.

GRADE considère cette incohérence inexpliquée comme une raison de diminuer la certitude parce qu’elle rend moins clair quel effet nous devons réellement attendre.

L’hétérogénéité devient ainsi une question directement épistémique.

Caractère indirect : de bonnes études peuvent répondre à la mauvaise question

Supposons que nous souhaitions savoir si un traitement réduit la mortalité chez des personnes âgées.

Nous trouvons dix excellents essais randomisés.

Mais tous ont été réalisés chez des adultes de 20 à 40 ans et mesurent uniquement un biomarqueur après deux semaines.

Les études peuvent être impeccables.

Les preuves restent indirectes relativement à notre question.

GRADE examine ainsi les différences entre la question d’intérêt et les preuves disponibles concernant notamment population, intervention, comparateur et résultat.

Cette dimension est particulièrement importante parce qu’elle rappelle :

validité interne élevée ≠ applicabilité automatique.

Une étude peut répondre parfaitement à une question qui n’est pas la nôtre.

Une mesure intermédiaire peut créer une preuve indirecte

Supposons qu’un médicament réduise fortement un marqueur biologique associé à la maladie.

C’est intéressant.

Mais ce que nous voulons savoir est :

réduit-il les accidents, les hospitalisations ou la mortalité ?

Si nous n’avons que le biomarqueur, nous dépendons d’une hypothèse supplémentaire :

la modification de ce marqueur entraîne réellement l’amélioration du résultat important pour les patients.

Cette hypothèse peut être très solide ou fragile selon le contexte.

Un critère de substitution peut donc rendre les preuves plus indirectes.

Ce n’est pas une condamnation automatique du biomarqueur.

C’est la reconnaissance d’un maillon supplémentaire dans l’inférence.

Imprécision : quelles conclusions restent compatibles avec les données ?

Nous avons largement étudié ce problème dans la fiche 20.

Supposons qu’une méta-analyse donne :

risque relatif = 0,80 ; IC 95 % : 0,45 à 1,42.

L’estimation centrale suggère un bénéfice de 20 %.

Mais l’intervalle reste compatible avec un bénéfice extrêmement important comme avec une augmentation substantielle du risque.

Même si les études sont bien conduites et parfaitement cohérentes entre elles, nous ne savons pas encore quelle conclusion pratique adopter.

GRADE évalue donc l’imprécision notamment en examinant si les intervalles restent compatibles simultanément avec absence d’effet, bénéfice important ou dommage important.

Le nombre d’études n’est pas le point essentiel.

C’est la quantité totale d’information pertinente.

Dix petites études peuvent rester imprécises

Supposons dix essais comptant chacun vingt participants.

Le corpus paraît impressionnant :

dix études indépendantes.

Mais l’information totale peut rester relativement faible.

Inversement, deux gigantesques essais correctement conçus peuvent fournir une estimation extrêmement précise.

C’est pourquoi GRADE recommande de ne pas utiliser simplement le nombre d’études comme critère d’imprécision.

Il faut examiner le nombre de participants ou d’événements et surtout l’étendue des valeurs compatibles avec les intervalles d’incertitude.

Encore une fois :

quantité de publications ≠ quantité d’information.

Biais de publication : le corpus visible représente-t-il les recherches conduites ?

Même lorsque les études publiées sont correctement analysées, une question reste ouverte : le corpus visible représente-t-il réellement les recherches qui ont été conduites ?

Des résultats absents peuvent modifier la conclusion d’ensemble. GRADE traite donc le biais de publication comme une dimension propre de la certitude, aux côtés du risque de biais, de l’incohérence, du caractère indirect et de l’imprécision.

Ici, ce point sert uniquement à rappeler que la qualité des études présentes ne renseigne pas entièrement sur les études absentes. Les mécanismes de non-publication, le problème du fichier tiroir et les méthodes qui tentent de les détecter seront examinés en détail dans la fiche 29.

Haute certitude ne signifie pas certitude absolue

Le vocabulaire GRADE peut être mal compris.

Une preuve classée haute certitude n’est pas une démonstration mathématique définitive.

Elle signifie que l’on dispose d’un niveau élevé de confiance relativement à l’estimation ou à la position de l’effet par rapport à une valeur importante, selon le cadre utilisé.

Le GRADE Working Group décrit précisément la certitude comme le degré de confiance concernant la localisation de l’effet réel relativement à une plage ou un seuil pertinent.

Une nouvelle étude extraordinairement informative peut toujours modifier une conclusion.

La science reste révisable.

Haute certitude signifie donc :

« il faudrait des preuves nouvelles suffisamment fortes pour modifier substantiellement notre conclusion »,

pas :

« cette conclusion ne pourra jamais être révisée ».

Très faible certitude ne signifie pas que l’effet est nécessairement faux

L’erreur inverse est tout aussi importante.

Une preuve de très faible certitude ne signifie pas :

« nous savons que le traitement ne fonctionne pas ».

Elle signifie plutôt :

« les données disponibles ne permettent pas de déterminer avec suffisamment de confiance quelle estimation est proche de la réalité ».

L’effet peut être réel.

Il peut être absent.

Il peut même aller dans une direction différente.

La conclusion appropriée est donc souvent :

« nous sommes très incertains ».

GRADE est un système de niveau de confiance dans les preuves, pas un système attribuant vrai ou faux aux hypothèses.

Le dessin d’étude ne suffit pas à déterminer le niveau final de preuve

Un essai randomisé possède de fortes propriétés pour certaines questions causales.

Mais un essai randomisé mal exécuté peut fournir des preuves fragiles.

À l’inverse, certaines études non randomisées peuvent produire des informations extrêmement fortes lorsque leur dessin est adapté à la question, leurs biais bien contrôlés et leur effet particulièrement discriminant.

GRADE conserve historiquement une distinction entre essais randomisés et études observationnelles dans son point de départ, tout en permettant ensuite des diminutions ou, dans certaines situations, des augmentations de certitude. L’utilisation de ROBINS-I permet par ailleurs une approche où le risque de biais dû à l’absence de randomisation est traité explicitement plutôt que simplement par une étiquette de dessin.

La leçon générale dépasse GRADE :

le nom du dessin fournit une information importante, mais jamais l’évaluation complète du corps de preuves.

GRADE est extrêmement utile, mais ce n’est pas une loi universelle de toute la science

GRADE a été développé principalement pour la synthèse des preuves en santé et l’élaboration de recommandations.

Son cadre est aujourd’hui extrêmement influent et utilisé par de nombreuses organisations internationales.

Il serait néanmoins excessif de transformer ses catégories en une métrique universelle permettant de classer indistinctement une théorie cosmologique, une reconstruction paléontologique, une étude économique et un essai thérapeutique.

Les disciplines disposent de structures de preuve différentes.

L’intérêt de GRADE pour notre réflexion est surtout conceptuel : il montre remarquablement qu’un corps de preuves doit être évalué selon plusieurs dimensions indépendantes, et non selon un unique rang dans une pyramide.

Nous retrouverons cette idée dans la fiche consacrée à la hiérarchie des preuves.

Une grande cohérence peut renforcer la confiance — si les erreurs possibles sont différentes

Supposons que plusieurs essais correctement conçus obtiennent des résultats proches.

L’incohérence est faible.

C’est rassurant.

Supposons maintenant que les mêmes conclusions apparaissent également dans :

des études observationnelles ;

des quasi-expériences ;

plusieurs populations ;

et des analyses mécanistiques.

La convergence devient encore plus intéressante parce que les vulnérabilités méthodologiques ne sont pas toutes identiques.

La simple homogénéité statistique à l’intérieur d’une méta-analyse n’est donc qu’une forme particulière de convergence.

La robustesse scientifique globale dépend également de l’indépendance des méthodes et des erreurs possibles.

La cohérence parfaite peut parfois être suspecte

Cette remarque mérite un détour.

Dans des domaines où les populations, protocoles et conditions varient naturellement, obtenir vingt études présentant presque exactement le même résultat peut sembler extraordinairement rassurant.

Mais une uniformité excessive peut parfois suggérer que les études :

utilisent la même base de données ;

appliquent les mêmes hypothèses ;

partagent le même mécanisme de mesure ;

ou proviennent d’une littérature sélectionnée.

Ce n’est évidemment pas une preuve de problème.

Cela rappelle seulement qu’une cohérence numérique parfaite n’est pas automatiquement plus informative qu’une variation scientifiquement compréhensible.

Une certaine hétérogénéité peut être exactement ce qu’une théorie réaliste devrait prévoir.

La meilleure synthèse explique parfois la variation plutôt qu’elle ne la réduit

Considérons deux conclusions possibles.

« Le traitement réduit en moyenne le risque de 12 %, mais l’hétérogénéité est élevée. »

Comparons :

« Le traitement produit peu de bénéfice chez les patients à faible risque mais une réduction importante chez les patients à haut risque ; cette différence explique une grande partie des résultats divergents. »

La seconde conclusion est scientifiquement plus riche.

L’objectif d’une synthèse n’est donc pas nécessairement d’obtenir le plus petit I² possible.

Il est d’obtenir le modèle le plus informatif de ce que montrent réellement les études.

Une hétérogénéité expliquée peut représenter une découverte.

Une hétérogénéité inexpliquée représente davantage une source d’incertitude.

Une analyse de sensibilité peut montrer si la conclusion dépend des études fragiles

Supposons que l’analyse principale donne :

effet = −20 %.

On retire les études à haut risque de biais :

effet = −4 %.

La conclusion change radicalement.

Cette divergence est essentielle.

À l’inverse, si l’estimation reste proche de −20 % lorsque les études les plus fragiles sont retirées, la conclusion paraît plus robuste à cette source de biais.

Cochrane recommande précisément l’utilisation d’analyses de sensibilité pour examiner dans quelle mesure la conclusion dépend des décisions méthodologiques et de l’inclusion d’études potentiellement problématiques.

Ces analyses ne permettent pas de savoir exactement quelle estimation est vraie.

Elles révèlent où se situe la fragilité.

Mais supprimer les études qui déplaisent serait évidemment dangereux

Supposons qu’une étude trouve un résultat très différent.

On examine son protocole et découvre une petite particularité méthodologique.

On la retire.

L’hétérogénéité disparaît.

Ce raisonnement peut rapidement devenir opportuniste.

Cochrane avertit explicitement qu’exclure une étude uniquement parce que son résultat est atypique peut introduire un biais. Il est presque toujours possible de trouver après coup une caractéristique distinguant une étude des autres.

La bonne démarche consiste à disposer d’une justification méthodologique indépendante du résultat, puis à montrer éventuellement l’analyse avec et sans l’étude.

On ne doit pas nettoyer la littérature jusqu’à obtenir la conclusion souhaitée.

Les résultats divergents méritent parfois plus d’attention que la moyenne

Un *forest plot* contient une information que le losange final peut faire oublier.

Une étude se trouve complètement à l’opposé des autres.

Pourquoi ?

Erreur ?

Population particulière ?

Dose différente ?

Protocole plus rigoureux ?

Résultat différent ?

Il peut s’agir précisément de l’étude la plus instructive de la revue.

La bonne science ne traite donc pas nécessairement les résultats aberrants comme du bruit à supprimer.

Elle demande si leur différence révèle une erreur ou une structure réelle du phénomène.

C’est exactement la logique des anomalies étudiée plus tôt dans la rubrique.

La certitude doit être évaluée résultat par résultat

Supposons un médicament étudié dans trente essais.

Les preuves montrent avec grande précision qu’il réduit une douleur à court terme.

Mais les événements indésirables graves sont très rares et mal rapportés.

Nous pouvons donc avoir :

certitude élevée concernant le bénéfice symptomatique à trois mois ;

certitude faible concernant le risque d’un événement grave à cinq ans.

Dire simplement :

« le médicament repose sur des preuves de haute qualité »

efface cette différence.

GRADE exige précisément une évaluation de la certitude par résultat important, et les tableaux *Summary of findings* présentent séparément l’amplitude de l’effet, la quantité de données et la certitude pour les principaux résultats.

Cette manière de raisonner est beaucoup plus précise que l’attribution d’une note générale à une intervention.

La certitude n’est pas non plus la recommandation

Même une preuve de haute certitude qu’un traitement réduit un risque ne signifie pas automatiquement :

« il faut l’utiliser ».

La décision dépend aussi :

des effets indésirables ;

de l’importance absolue du bénéfice ;

des coûts ;

des alternatives ;

des préférences des personnes concernées ;

et parfois de considérations d’équité ou de faisabilité.

GRADE distingue précisément certitude des preuves et force d’une recommandation.

Cette séparation est essentielle pour l’esprit critique.

La science peut nous renseigner avec beaucoup de certitude sur certaines conséquences.

Elle ne transforme pas automatiquement cette information en décision normative.

« Niveau de preuve » ne doit jamais devenir un argument d’autorité chiffré

Imaginons :

« GRADE : faible certitude. Donc cette hypothèse est fausse. »

Ou :

« I² = 0 %. Donc le résultat est certain. »

Ou encore :

« méta-analyse de douze essais. Niveau de preuve maximal. »

Ces formulations transforment des outils d’aide au jugement en substituts au jugement.

Or tous ces instruments ont été précisément conçus pour rendre explicites certaines dimensions de l’incertitude.

I² oblige à regarder la variation.

RoB oblige à chercher les mécanismes de biais.

GRADE oblige à séparer risque de biais, incohérence, indirectness, imprécision et publication sélective.

Les réduire ensuite à un slogan ferait perdre l’information qu’ils étaient destinés à préserver.

Une grille pratique pour lire un corps de preuves

Devant une revue systématique ou une méta-analyse, une première question consiste à regarder les études avant l’estimation synthétique.

Les effets vont-ils globalement dans la même direction ?

Leur amplitude varie-t-elle fortement ?

Certaines études dominent-elles l’ensemble ?

Cette variation semble-t-elle liée à des populations, doses ou méthodes différentes ?

Une deuxième question concerne les biais. Les études les plus convaincantes méthodologiquement donnent-elles le même résultat que les plus fragiles ? Les principales conclusions dépendent-elles d’études à haut risque de biais ?

Il faut ensuite examiner la précision. Les données excluent-elles des bénéfices ou dommages importants, ou plusieurs conclusions pratiques restent-elles compatibles avec l’incertitude ?

Puis vient la directness : les personnes, interventions, comparateurs et résultats étudiés correspondent-ils réellement à la question que nous voulons résoudre ?

Enfin, il faut se demander si des études ou résultats pourraient manquer.

Cette séquence donne beaucoup plus d’information que :

« la méta-analyse est significative ».

Une bonne synthèse doit préserver plusieurs incertitudes simultanément

Le résultat idéal n’est pas nécessairement :

« effet = −17,3 %, p < 0,001 ».

Une synthèse plus scientifique pourrait dire :

« les études de meilleure qualité suggèrent probablement un bénéfice modéré ; l’estimation moyenne est relativement précise, mais les effets varient selon la gravité initiale et les données concernant les effets indésirables à long terme restent indirectes et peu précises ».

Cette phrase est plus longue.

Mais elle représente beaucoup mieux l’état réel des connaissances.

L’objectif n’est pas de fabriquer un chiffre unique capable de remplacer la littérature.

Il est de comprendre ce que nous savons, à quel point nous le savons et où se trouvent les principales raisons de douter.

Un ensemble de preuves est plus qu’une somme d’études

Cette fiche complète donc l’étape commencée avec :

« une étude n’est pas la science ».

Plusieurs études ne deviennent pas automatiquement un corps de preuves solide simplement parce qu’elles sont nombreuses.

Il faut encore examiner :

leur indépendance ;

leurs biais ;

leur précision ;

leur cohérence ;

leur pertinence ;

et ce qui pourrait manquer.

Une méta-analyse peut ensuite produire une excellente estimation synthétique.

Mais la certitude scientifique vient de l’architecture entière des preuves, pas du losange placé au bas du graphique.


À retenir

L’hétérogénéité désigne la variation des résultats entre études au-delà ou dans la structure de ce que l’on attendrait des seules fluctuations d’échantillonnage. Elle peut provenir d’une véritable variation de l’effet, de différences de populations ou de méthodes, de biais, voire d’erreurs de traitement des données. Elle n’est donc pas simplement un défaut statistique à faire disparaître.

La statistique I² quantifie la part relative de la variabilité observée attribuable à l’hétérogénéité plutôt qu’aux seules fluctuations d’échantillonnage, mais ses seuils ne doivent pas être interprétés mécaniquement. Son importance dépend notamment de la taille et de la direction des effets et son estimation peut être très incertaine lorsque peu d’études sont disponibles.

Le risque de biais est différent de l’imprécision. Le premier concerne des mécanismes d’erreur systématique ; la seconde concerne principalement la variabilité aléatoire. Cochrane recommande donc une évaluation par domaines plutôt que des scores globaux de « qualité », et son outil RoB 2 examine un résultat particulier d’un essai selon plusieurs mécanismes de biais.

L’approche GRADE déplace ensuite le regard depuis l’étude individuelle vers la certitude du corps de preuves pour un résultat donné. Elle examine notamment cinq dimensions : risque de biais, incohérence, caractère indirect des preuves, imprécision et biais de publication.

Une faible certitude ne signifie pas qu’une hypothèse est fausse ; elle signifie que notre confiance dans l’estimation est limitée. Une haute certitude ne signifie pas davantage certitude absolue. Enfin, la certitude scientifique concernant un effet doit être distinguée de la décision de recommander une intervention.

La question essentielle n’est donc pas :

« Quelle est l’estimation moyenne ? »

mais :

« Les différentes études convergent-elles suffisamment, les principales estimations sont-elles protégées contre les biais, répondent-elles réellement à notre question et avec quelle incertitude pouvons-nous appliquer leur conclusion ? »

Sources et références

  • Deeks, Jonathan J., Higgins, Julian P. T., Altman, Douglas G., McKenzie, Joanne E. & Veroniki, Areti Angeliki, « Analysing data and undertaking meta-analyses », chapitre 10 du *Cochrane Handbook for Systematic Reviews of Interventions*, version 6.5, mise à jour novembre 2024 : hétérogénéité, I², τ², modèles à effets aléatoires, intervalles de prédiction, analyses de sous-groupes et de sensibilité.
  • Higgins, Julian P. T., Thompson, Simon G., Deeks, Jonathan J. & Altman, Douglas G., « Measuring inconsistency in meta-analyses », *BMJ*, 2003;327:557–560, DOI 10.1136/bmj.327.7414.557, article fondateur sur l’interprétation de I².
  • Higgins, Julian P. T. et al., « Considering bias and conflicts of interest among the included studies », chapitre 7 du *Cochrane Handbook*, sur la distinction entre biais et imprécision et le passage des anciens scores de qualité aux outils par domaines.
  • Higgins, Julian P. T., Savović, Jelena, Page, Matthew J., Elbers, Roy G. & Sterne, Jonathan A. C., « Assessing risk of bias in a randomized trial », chapitre 8 du *Cochrane Handbook*, présentant l’outil RoB 2 et ses différents domaines.
  • Schünemann, Holger J. et al., « Completing ‘Summary of findings’ tables and grading the certainty of the evidence », chapitre 14 du *Cochrane Handbook*, sur l’approche GRADE, ses quatre niveaux de certitude et ses cinq principaux domaines d’évaluation.
  • GRADE Working Group, GRADE — Grading of Recommendations Assessment, Development and Evaluation, cadre international d’évaluation de la certitude des preuves et de formulation des recommandations.
26 sur 39Retour à la catégorie