Hiérarchie des preuves : utilité et limites de la pyramide

Dans de nombreux manuels de médecine fondée sur les preuves, on rencontre une image devenue presque iconique : la pyramide des preuves.

À sa base figurent souvent l’opinion d’expert, les raisonnements mécanistiques ou les observations de cas. Plus haut apparaissent les études cas-témoins et les cohortes. Les essais contrôlés randomisés occupent les étages supérieurs. Tout en haut sont généralement placées les revues systématiques et les méta-analyses.

L’intuition est utile : toutes les méthodes ne protègent pas avec la même efficacité contre les mêmes erreurs. Pour estimer l’effet causal d’un traitement, une randomisation correctement conduite contrôle en principe certains facteurs de confusion, y compris inconnus, beaucoup mieux qu’une simple comparaison entre personnes ayant spontanément choisi de prendre ou non le traitement.

Mais la pyramide devient trompeuse dès qu’on la transforme en règle universelle :

méta-analyse > essai randomisé > cohorte > étude cas-témoins > série de cas > mécanisme.

Ce classement mélange plusieurs dimensions qui doivent rester séparées. Il suppose notamment qu’une même hiérarchie convient à toutes les questions, qu’un dessin d’étude suffit à déterminer sa qualité réelle et qu’une synthèse de plusieurs études est nécessairement supérieure aux études qu’elle contient.

Même l’Oxford Centre for Evidence-Based Medicine, qui propose l’un des systèmes de niveaux de preuve les plus connus, avertit explicitement que sa grille ne doit pas être utilisée sans jugement et réflexion. Son système ne fournit d’ailleurs pas une pyramide unique : le type de preuve recherché varie selon qu’on étudie un traitement, un diagnostic, un pronostic, une prévalence ou certains dommages.

La bonne manière d’utiliser une hiérarchie des preuves est donc de la considérer comme une heuristique indiquant quels dessins d’étude sont généralement les mieux armés contre certains biais pour une question déterminée, et non comme une machine à attribuer automatiquement une valeur scientifique à chaque article.

Une pyramide répond toujours à une question particulière

Supposons que nous voulions savoir :

« Ce médicament réduit-il la mortalité ? »

Un essai randomisé correctement conçu peut être particulièrement approprié.

Mais posons maintenant une autre question :

« Quelle proportion de la population française possède actuellement cette maladie ? »

Un essai randomisé n’est plus le bon dessin.

Nous avons besoin d’une enquête représentative ou d’un recensement approprié.

Demandons plutôt :

« Ce test diagnostique détecte-t-il correctement la maladie ? »

Nous aurons besoin d’études comparant le test à une référence pertinente chez des personnes représentant la population dans laquelle il sera utilisé.

Demandons enfin :

« Quels sont les effets indésirables extrêmement rares de ce médicament après vingt années d’utilisation ? »

Un essai randomisé de quelques milliers de patients suivi pendant douze mois peut être presque incapable de répondre.

De grandes bases observationnelles ou des systèmes de pharmacovigilance peuvent alors fournir l’information décisive.

C’est précisément pourquoi les niveaux de preuve de l’Oxford CEBM sont organisés par type de question clinique plutôt que sous forme d’une seule échelle valable pour tout. Pour les bénéfices thérapeutiques, les essais randomisés et leurs synthèses occupent une place privilégiée ; pour le pronostic, les cohortes deviennent essentielles ; pour certaines questions de prévalence, une enquête locale actuelle peut constituer la meilleure preuve disponible.

Il n’existe donc pas de meilleur dessin d’étude en général. Il existe des dessins plus ou moins adaptés à une question précise.

Pourquoi les essais randomisés occupent-ils une place si importante ?

Leur avantage principal n’est pas qu’ils seraient intrinsèquement plus « scientifiques ».

Il vient d’un mécanisme très particulier : l’attribution aléatoire de l’intervention.

Dans une étude observationnelle, les personnes traitées peuvent être plus malades, plus riches, plus âgées ou avoir des comportements différents de celles qui ne reçoivent pas le traitement.

Ces caractéristiques peuvent influencer à la fois l’exposition et le résultat.

Nous avons vu que les méthodes statistiques peuvent tenter de contrôler ces facteurs de confusion, mais seulement lorsqu’ils sont suffisamment connus, mesurés et correctement modélisés.

La randomisation change la structure du problème.

Avant le traitement et dans un essai suffisamment grand et correctement conduit, les caractéristiques pronostiques connues et inconnues ne déterminent pas systématiquement qui reçoit quelle intervention.

Elle produit ainsi, en espérance, des groupes beaucoup plus comparables relativement aux causes préexistantes du résultat.

C’est la raison fondamentale pour laquelle les essais randomisés se situent généralement très haut dans les hiérarchies consacrées aux effets des interventions. L’Oxford CEBM explique d’ailleurs son classement principalement par la capacité des différents dessins à réduire le risque de confusion.

Randomisé ne signifie pourtant pas automatiquement fiable

Imaginons un essai randomisé dans lequel :

40 % des participants sont perdus au suivi ;

l’allocation est prévisible ;

les chercheurs connaissent les groupes lorsqu’ils évaluent un résultat très subjectif ;

le critère principal a été remplacé après observation des données ;

l’échantillon est minuscule ;

et l’analyse exclut arbitrairement certains participants.

Le mot randomisé ne fait pas disparaître ces problèmes.

La randomisation protège principalement contre certaines formes de confusion initiale.

Elle ne garantit pas :

une bonne mesure ;

un aveugle adéquat ;

l’absence de pertes différentielles ;

une puissance suffisante ;

l’absence de sélection des résultats ;

une bonne généralisation ;

ou une analyse statistique correcte.

C’est précisément pourquoi les méthodes modernes d’évaluation des preuves ne se contentent plus de dire :

« essai randomisé = preuve forte ».

Elles examinent comment l’essai a réellement été conduit.

Un mauvais essai randomisé peut fournir de moins bonnes preuves qu’une excellente étude observationnelle

Cette conséquence est importante.

Supposons qu’un petit essai randomisé possède de graves pertes au suivi, une intervention mal appliquée et une estimation extrêmement imprécise.

Comparons-le à une vaste quasi-expérience exploitant une loterie administrative indépendante des caractéristiques des participants, avec un suivi presque complet et des mesures fiables.

Il n’existe aucune loi épistémologique imposant de préférer mécaniquement le premier uniquement parce que son étiquette contient le mot randomisé.

Le dessin fournit certaines protections.

Il ne remplace pas l’évaluation du travail réel.

Même les niveaux d’Oxford précisent que les preuves peuvent être déclassées en fonction de la qualité, de l’imprécision, de l’incohérence ou du caractère indirect des résultats, et qu’une étude observationnelle produisant un effet spectaculaire peut parfois occuper une position élevée pour certaines questions thérapeutiques.

La pyramide indique donc une tendance générale du risque d’erreur, pas le classement définitif de deux études particulières.

Pourquoi l’observationnel se trouve-t-il généralement plus bas pour la causalité thérapeutique ?

Si des patients choisissent eux-mêmes leur traitement ou si leurs médecins le choisissent selon leur état de santé, les groupes ne sont pas directement comparables.

Nous rencontrons alors :

confusion par indication ;

sélection ;

différences socio-économiques ;

comportements de santé différents ;

comorbidités ;

et facteurs inconnus.

Même une régression très sophistiquée peut ne pas éliminer tous ces problèmes.

Pour l’estimation de l’effet causal d’une intervention, la vulnérabilité à la confusion non mesurée constitue donc une raison sérieuse de considérer une simple étude observationnelle comme généralement moins protectrice qu’une randomisation correcte.

Mais « généralement » est le mot important.

Toutes les questions causales ne permettent pas une randomisation.

Et toutes les relations causales n’ont pas besoin d’un essai randomisé pour devenir extrêmement convaincantes.

Personne ne demande un essai randomisé du parachute

Certaines relations possèdent un effet tellement spectaculaire que la confusion devient une explication très peu plausible.

Si une personne tombe d’une très grande hauteur sans protection, nous n’avons pas besoin de répartir aléatoirement des participants entre parachute et absence de parachute pour prendre au sérieux le rôle causal du dispositif.

Cet exemple volontairement extrême montre une limite des hiérarchies rigides.

Le niveau de preuve dépend aussi de la taille de l’effet et de la plausibilité des explications concurrentes.

L’Oxford CEBM reconnaît explicitement cette possibilité en permettant à certaines études observationnelles montrant des effets dramatiques d’occuper un niveau élevé.

La randomisation est particulièrement importante lorsque les effets recherchés sont modestes et que plusieurs explications concurrentes plausibles peuvent produire des associations de taille comparable.

Le tabagisme n’a jamais été randomisé pendant trente ans

L’effet causal du tabagisme sur le cancer du poumon n’a pas été établi par un essai dans lequel des milliers de personnes auraient été assignées à fumer ou à ne pas fumer pendant plusieurs décennies.

Un tel essai serait aujourd’hui éthiquement inimaginable.

La conclusion provient d’une convergence d’études observationnelles, de relations temporelles et dose-réponse, de changements de risque après arrêt, de connaissances biologiques et d’autres sources de preuves.

Traiter cette conclusion comme intrinsèquement faible parce que les cohortes et études cas-témoins apparaissent plus bas qu’un essai randomisé dans une pyramide reviendrait à appliquer une heuristique en dehors de son domaine de validité.

La question pertinente est toujours :

quelles explications concurrentes restent réellement capables de rendre compte de l’ensemble des observations ?

Les sciences historiques n’entrent pratiquement pas dans une pyramide clinique

Le problème devient encore plus évident en géologie, paléontologie ou astronomie.

Quel est le « niveau de preuve » d’un cratère d’impact ?

D’une couche géologique mondiale riche en iridium ?

De plusieurs méthodes indépendantes de datation ?

D’une prédiction astronomique retrouvée à l’endroit attendu ?

Il serait artificiel d’essayer de classer chacun de ces éléments selon une pyramide conçue pour choisir entre essais randomisés et études de cohorte.

Dans les sciences historiques, comme nous l’avons vu, la force vient souvent de la convergence de traces indépendantes et de leur capacité à départager plusieurs reconstructions concurrentes.

Une hiérarchie utile dans un domaine peut donc être méthodologiquement absurde dans un autre.

Même en médecine, la hiérarchie change selon la question

C’est un point que les représentations simplifiées effacent souvent.

Pour connaître l’évolution naturelle d’une maladie, une cohorte longitudinale peut être particulièrement informative.

Pour évaluer la précision d’un test diagnostique, un dessin transversal comparant le test à une référence appropriée peut être idéal.

Pour identifier un effet indésirable très rare, une immense base observationnelle peut apporter davantage d’information qu’un petit essai.

Pour évaluer un traitement, un essai randomisé est souvent privilégié.

La version officielle des niveaux d’Oxford distingue explicitement ces questions et place des dessins différents au niveau supérieur selon ce que l’on cherche à savoir.

La fameuse pyramide unique est donc souvent une compression pédagogique excessive de plusieurs hiérarchies différentes.

Une série de cas peut être extrêmement informative pour détecter un nouveau phénomène

Supposons qu’un médecin observe cinq patients développant en quelques heures un syndrome extrêmement inhabituel après la prise du même nouveau médicament.

Une série de cas ne permet généralement pas d’estimer correctement la fréquence du risque.

Elle ne dispose pas non plus nécessairement d’un groupe témoin permettant une estimation causale précise.

Mais elle peut produire un signal d’alerte majeur.

Les premières observations d’une maladie nouvelle, d’un effet indésirable exceptionnel ou d’un syndrome inconnu commencent souvent ainsi.

Le rôle scientifique du cas clinique n’est donc pas nécessairement de fournir l’estimation définitive.

Il peut être de :

détecter quelque chose que personne ne cherchait encore.

Le dessin considéré comme « faible » dans une question peut être exactement celui qui permet d’ouvrir la suivante.

Faible niveau de preuve ne signifie pas inutile

Cette distinction devrait accompagner toutes les pyramides.

Une étude de cas peut être faible pour établir :

« ce médicament augmente le risque de 35 % dans la population ».

Elle peut être extrêmement utile pour établir :

« un phénomène inhabituel mérite immédiatement une enquête ».

Une étude écologique peut être mauvaise pour attribuer un risque individuel mais excellente pour identifier une régularité géographique nécessitant une investigation.

Une étude animale ne permet pas automatiquement de prédire l’effet clinique exact chez l’humain mais peut révéler un mécanisme qui serait impossible à examiner directement chez des patients.

Classer une méthode comme « faible » sans préciser pour quelle inférence elle est faible n’a donc pas beaucoup de sens.

Et le raisonnement mécanistique ?

Les pyramides placent souvent le raisonnement mécanistique près de leur base.

Cette prudence est justifiée.

De nombreux traitements semblaient devoir fonctionner sur la base d’un mécanisme physiologique plausible avant que des essais ne montrent un bénéfice beaucoup plus faible, nul ou même des dommages inattendus.

Un organisme complexe contient de nombreux mécanismes simultanés.

Agir sur une étape considérée comme bénéfique peut produire ailleurs des conséquences inattendues.

Le simple raisonnement :

« X agit sur le mécanisme M ; M est impliqué dans la maladie ; donc X améliore forcément la maladie »

est donc fragile.

Mais cela ne signifie pas que les mécanismes sont des preuves sans valeur.

Le mécanisme et le résultat clinique répondent à des questions différentes

Supposons qu’un médicament réduise effectivement un biomarqueur.

Des études expérimentales permettent de comprendre précisément comment.

Nous avons alors de bonnes preuves concernant :

l’action du médicament sur ce mécanisme.

Nous n’avons pas encore nécessairement de bonnes preuves concernant :

son bénéfice clinique global.

Le traitement peut posséder d’autres effets qui annulent le bénéfice attendu.

La place relativement basse du raisonnement mécanistique dans certaines pyramides thérapeutiques signifie donc surtout :

un mécanisme plausible ne suffit pas à prédire avec fiabilité le résultat clinique total.

Elle ne signifie pas :

la connaissance mécanistique serait épistémiquement inférieure en toute circonstance.

Dans certaines sciences fondamentales, l’identification expérimentale d’un mécanisme constitue précisément l’objet principal de la recherche.

Une hiérarchie ne doit pas devenir un conflit entre « mécanisme » et « statistiques »

Les meilleures inférences combinent souvent plusieurs niveaux.

Un essai indique qu’un traitement produit un effet.

Une étude mécanistique explique pourquoi.

Des cohortes montrent que l’effet apparaît aussi dans la pratique réelle.

La pharmacovigilance détecte certains dommages rares.

Une réplication dans une autre population précise les limites de généralisation.

La connaissance finale est plus riche que n’importe lequel de ces dessins isolément.

Cela montre pourquoi la représentation pyramidale peut devenir trompeuse : elle suggère parfois que les preuves sont concurrentes alors qu’elles sont souvent complémentaires.

Pourquoi les revues systématiques sont-elles placées en haut ?

La justification est intuitive.

Une étude individuelle peut être atypique.

Une revue systématique recherche l’ensemble des études pertinentes, examine leurs biais et synthétise leur résultat.

Si plusieurs essais randomisés bien conduits convergent, une revue systématique peut offrir une vision beaucoup plus fiable que la lecture d’un seul essai choisi arbitrairement.

C’est précisément pourquoi les niveaux d’Oxford privilégient généralement les revues systématiques lorsqu’elles existent pour la question pertinente.

Mais la formulation :

« la méta-analyse se trouve au sommet de la pyramide »

est dangereusement simplificatrice.

Une méta-analyse n’est pas un dessin d’étude supérieur aux études qu’elle combine

Murad, Asi, Alsawas et Alahdab ont précisément proposé en 2016 une nouvelle pyramide des preuves pour corriger cette représentation.

Ils soulignent que les revues systématiques et méta-analyses sont moins un type d’étude primaire placé automatiquement au-dessus des autres qu’un instrument permettant d’évaluer, synthétiser et appliquer un ensemble de preuves.

Cette modification est conceptuellement très importante.

Une méta-analyse d’essais randomisés synthétise un corps d’essais randomisés.

Une méta-analyse d’études observationnelles synthétise un corps d’études observationnelles.

Elle ne transforme pas ces dernières en essais randomisés simplement parce qu’elles ont été combinées.

La qualité de la synthèse dépend de la qualité et de la pertinence de ce qu’elle synthétise.

« Méta-analyse » n’est donc pas automatiquement synonyme de preuve maximale

Prenons deux travaux.

Le premier est un grand essai randomisé préenregistré, correctement aveuglé, portant sur 20 000 participants et mesurant directement le résultat clinique pertinent.

Le second est une méta-analyse de quatre minuscules études observationnelles très biaisées.

La pyramide naïve pourrait encourager :

méta-analyse > essai randomisé.

Ce serait évidemment absurde.

La méta-analyse peut être la meilleure synthèse disponible de ces quatre études.

Elle ne devient pas pour autant plus fiable que toute étude primaire imaginable.

Murad et ses collègues proposent précisément de représenter les revues systématiques comme une lentille à travers laquelle les différents niveaux de preuves sont évalués, plutôt que comme un bloc automatiquement supérieur à eux.

« Garbage in, garbage out »

L’expression informatique s’applique très bien ici.

Si toutes les études incluses mesurent mal l’exposition, la méta-analyse ne répare pas cette mesure.

Si toutes souffrent du même confondeur, la moyenne ne supprime pas le confondeur.

Si les résultats négatifs n’ont jamais été publiés, une synthèse des seules études visibles peut être biaisée.

Si les interventions sont trop différentes pour qu’un effet commun possède un sens, une moyenne peut masquer davantage qu’elle n’explique.

La méta-analyse peut réduire l’incertitude aléatoire.

Elle ne supprime pas automatiquement les erreurs systématiques communes.

C’est l’une des raisons pour lesquelles la fiche précédente a insisté sur le risque de biais, l’hétérogénéité, l’indirectness, l’imprécision et le biais de publication.

La pyramide confond facilement dessin d’étude et certitude des preuves

C’est probablement sa faiblesse conceptuelle principale.

Le dessin d’étude décrit la manière dont les données ont été produites.

La certitude du corps de preuves dépend de beaucoup plus de choses.

Un essai randomisé peut être :

très biaisé ;

extrêmement imprécis ;

incohérent avec plusieurs autres essais ;

effectué dans une population très différente de celle qui nous intéresse ;

ou inclus dans une littérature fortement soumise à la publication sélective.

À l’inverse, des observations non randomisées peuvent parfois être très convaincantes.

Le système GRADE a justement été développé pour dépasser en partie cette simplification. Il évalue un corps de preuves selon plusieurs dimensions : risque de biais, incohérence, caractère indirect, imprécision et biais de publication, puis attribue une certitude haute, modérée, faible ou très faible pour un résultat déterminé.

Le dessin constitue donc un point de départ.

Il n’est pas le verdict final.

GRADE conserve une hiérarchie — mais permet de la modifier

Dans son approche classique des effets d’intervention, GRADE commence généralement avec davantage de confiance dans les essais randomisés que dans les études non randomisées.

Mais cette confiance peut diminuer si les essais présentent :

un risque de biais ;

une incohérence ;

des preuves indirectes ;

une grande imprécision ;

ou un biais de publication.

Inversement, certaines caractéristiques d’un corps de preuves non randomisé peuvent augmenter la confiance, notamment dans des situations définies par le cadre.

Nous passons donc d’une conception :

« RCT = niveau A ; cohorte = niveau B »

à :

« le dessin nous donne certaines attentes initiales sur les erreurs possibles ; examinons maintenant ce qui s’est réellement passé ».

C’est un progrès méthodologique considérable.

Une hiérarchie est plus utile lorsqu’elle est comprise comme heuristique de recherche

Le document introductif de l’Oxford CEBM présente explicitement ses niveaux comme une heuristique destinée à chercher rapidement la meilleure preuve susceptible de répondre à une question clinique.

Cette conception est beaucoup plus raisonnable que celle d’une pyramide ontologique.

Supposons qu’un médecin veuille connaître l’efficacité d’un traitement.

Il peut commencer par chercher :

une bonne revue systématique d’essais randomisés.

Si elle n’existe pas :

un bon essai randomisé.

Puis éventuellement :

les meilleures études contrôlées non randomisées disponibles.

Cette stratégie fait gagner du temps.

Elle ne signifie pas qu’il peut lire l’étiquette du dessin et cesser immédiatement toute évaluation critique.

La hiérarchie indique où chercher d’abord.

Elle ne lui dit pas encore quoi croire.

Une pyramide est une compression de plusieurs questions sur les biais

On peut reformuler son intuition d’une manière plus précise.

Plutôt que de demander :

« À quel étage se trouve cette étude ? »

demandons :

« Contre quelles erreurs ce dessin nous protège-t-il particulièrement bien, et contre lesquelles reste-t-il vulnérable ? »

Un essai randomisé protège relativement bien contre certaines confusions initiales.

Un grand registre peut détecter des événements trop rares pour les essais.

Une cohorte longitudinale établit mieux la séquence temporelle qu’une enquête transversale.

Une étude en aveugle réduit certains biais de mesure.

Une expérience naturelle peut créer une variation d’exposition moins confondue.

Une réplication indépendante protège contre certaines particularités d’un premier échantillon.

Une méta-analyse réduit certaines incertitudes d’échantillonnage et organise le corps de preuves.

Aucun dessin ne contrôle toutes les erreurs.

La véritable carte des preuves ressemble donc davantage à un réseau de protections complémentaires qu’à une simple échelle verticale.

Une représentation en réseau serait parfois plus fidèle qu’une pyramide

Prenons une relation causale importante.

Nous pouvons disposer de :

plusieurs cohortes ;

un essai randomisé ;

une expérience naturelle ;

des études mécanistiques ;

une réplication dans une autre population ;

des résultats de pharmacovigilance.

Dans une pyramide, il faudrait décider lequel mettre au-dessus de l’autre.

Mais scientifiquement, la question intéressante peut être :

« Ces méthodes indépendantes convergent-elles malgré leurs vulnérabilités différentes ? »

Le raisonnement ressemble alors beaucoup plus à un réseau.

Chaque type de preuve soutient certains maillons et contrôle certaines explications concurrentes.

La conclusion devient particulièrement forte lorsque la même erreur devrait prendre plusieurs formes indépendantes pour expliquer toute la convergence.

C’est exactement le principe de triangulation rencontré précédemment.

Les preuves ne gagnent pas seulement par hauteur, mais par indépendance

Supposons quatre cohortes reposant toutes sur la même base administrative.

Elles convergent.

Comparons-les à :

une cohorte ;

une quasi-expérience ;

un essai ;

et une étude mécanistique.

La seconde série peut être beaucoup plus convaincante même si certaines de ses composantes occupent des étages différents de la pyramide.

Pourquoi ?

Parce que leurs erreurs potentielles sont moins corrélées.

Une mauvaise mesure dans la base administrative peut affecter les quatre premières études.

Elle explique beaucoup plus difficilement simultanément les résultats d’une expérience de laboratoire, d’une quasi-expérience et d’un essai indépendant.

La structure des dépendances entre preuves est donc une dimension que la pyramide représente très mal.

Deux preuves de niveaux différents peuvent se compléter plutôt que se concurrencer

Un essai randomisé établit qu’un médicament réduit un événement chez une population sélectionnée pendant deux ans.

Une cohorte nationale montre que le bénéfice semble persister en pratique courante.

Un registre révèle un effet indésirable très rare.

Une étude pharmacologique explique le mécanisme responsable.

Quelle étude est « la meilleure » ?

La question est mal posée.

Elles répondent à des sous-questions différentes.

La connaissance globale du traitement exige les quatre.

La hiérarchie des preuves devient donc particulièrement trompeuse lorsqu’elle pousse à considérer toute donnée située plus bas comme inutile dès qu’une étude « supérieure » existe.

L’essai randomisé possède lui-même une validité externe limitée

Supposons qu’un essai soigneusement contrôlé recrute exclusivement :

des adultes de 40 à 60 ans ;

sans comorbidités importantes ;

recevant un suivi intensif ;

dans des centres spécialisés.

Il démontre un effet causal avec une excellente validité interne.

Mais le médecin souhaite traiter :

une personne de 85 ans ;

atteinte de plusieurs maladies ;

recevant de nombreux médicaments.

Une vaste étude observationnelle de pratique courante peut alors devenir particulièrement pertinente pour la généralisation et la sécurité.

Cela ne rend pas l’observationnelle supérieure à l’essai pour toutes les questions.

Cela signifie que l’essai et l’étude répondent à des dimensions différentes de la décision.

La verticalité unique de la pyramide masque encore cette complémentarité.

Les effets rares posent un problème particulièrement clair

Supposons qu’un effet indésirable survienne chez une personne sur 100 000.

Un essai portant sur 3 000 patients peut ne rencontrer aucun cas.

Cela ne permet pas de conclure :

« le médicament ne produit pas cet effet ».

Après sa commercialisation, des millions de personnes peuvent être exposées.

Les registres, déclarations de pharmacovigilance et bases de données observationnelles deviennent alors essentiels.

Une méthode plus basse dans la pyramide thérapeutique classique peut être la seule capable de fournir suffisamment d’information pour une question de sécurité rare.

Encore une fois, le classement dépend de la question.

Même le mot « preuve » peut recouvrir plusieurs fonctions

Une observation peut :

détecter un phénomène ;

estimer sa fréquence ;

tester une relation causale ;

identifier un mécanisme ;

évaluer sa généralisation ;

détecter ses effets indésirables ;

ou synthétiser des résultats antérieurs.

Il n’est donc pas surprenant qu’une seule hiérarchie échoue à organiser parfaitement toutes ces fonctions.

Une série de cas peut être remarquable pour la détection.

Une enquête représentative pour la prévalence.

Une cohorte pour le pronostic.

Un essai randomisé pour certains effets d’intervention.

Une revue systématique pour synthétiser un corpus.

La meilleure méthode dépend du verbe scientifique employé :

détecter, décrire, prévoir, expliquer, comparer, attribuer, généraliser ou synthétiser.

La pyramide peut néanmoins être très utile pédagogiquement

Il ne faut donc pas simplement la supprimer.

Pour un lecteur débutant, elle transmet plusieurs idées essentielles.

Une anecdote individuelle ne possède généralement pas la même force qu’une comparaison organisée.

Une étude sans groupe témoin contrôle moins d’explications concurrentes qu’une étude convenablement comparée.

Une attribution aléatoire possède de grandes vertus pour certaines questions causales.

Une synthèse systématique d’un corpus fournit généralement davantage de recul qu’un article sélectionné isolément.

Ces intuitions sont précieuses.

Le problème apparaît seulement lorsqu’on oublie que la pyramide est une carte simplifiée, pas le territoire.

Une bonne pyramide devrait donc comporter des avertissements

Si nous voulions conserver l’image, elle devrait être entourée de plusieurs règles.

Premièrement, la hiérarchie dépend de la question.

Deuxièmement, un dessin théoriquement fort peut être mal réalisé.

Troisièmement, une synthèse hérite des faiblesses des études qu’elle combine.

Quatrièmement, des preuves de types différents peuvent être complémentaires.

Cinquièmement, une convergence de méthodes indépendantes peut être plus informative qu’un classement vertical.

Sixièmement, la certitude dépend aussi du risque de biais, de la précision, de la cohérence, de la pertinence et des preuves manquantes.

Avec ces précautions, la pyramide redevient utile.

Sans elles, elle devient une source de sophismes.

Sophisme : « c’est observationnel, donc cela ne prouve rien »

Cette formule est fréquemment utilisée.

La version correcte serait :

« une association observationnelle isolée peut rester vulnérable à des explications causales concurrentes, notamment la confusion ».

C’est très différent de :

« les données observationnelles n’ont aucune valeur causale ».

Une excellente étude observationnelle peut :

établir une temporalité ;

montrer une relation dose-réponse ;

exploiter un contrôle négatif ;

ajuster soigneusement plusieurs confondeurs ;

être répétée dans de nombreuses populations ;

être soutenue par des quasi-expériences et des mécanismes indépendants.

La confiance causale peut alors devenir très élevée même sans essai randomisé.

La pyramide ne doit pas servir d’autorisation pour arrêter le raisonnement dès que l’étiquette du dessin est connue.

Sophisme inverse : « c’est randomisé, donc c’est prouvé »

L’essai randomisé peut à son tour devenir argument d’autorité.

Mais nous savons désormais qu’il faut demander :

la randomisation était-elle réellement correcte ?

L’allocation était-elle dissimulée ?

Les pertes au suivi étaient-elles problématiques ?

Le critère a-t-il été choisi avant les résultats ?

L’échantillon était-il suffisamment précis ?

Le groupe comparateur était-il pertinent ?

L’intervention reçue correspondait-elle à celle annoncée ?

La population étudiée correspond-elle à celle qui nous intéresse ?

Les résultats ont-ils été répliqués ?

Randomisé est une information méthodologique majeure.

Ce n’est pas le dernier mot.

Sophisme : « c’est une méta-analyse, donc niveau de preuve maximal »

Nous pouvons désormais comprendre précisément pourquoi cette phrase est incorrecte.

Il faut savoir :

quelles études ont été recherchées ;

lesquelles ont été incluses ;

quel est leur risque de biais ;

si certaines études manquent ;

si les populations sont comparables ;

si les effets sont hétérogènes ;

si la moyenne possède réellement un sens ;

et si l’estimation dépend fortement de quelques études fragiles.

Une méta-analyse peut constituer la meilleure synthèse disponible d’un corpus médiocre, sans que le corpus devienne pour autant de haute certitude.

Murad et ses collègues ont précisément proposé de sortir la revue systématique du sommet traditionnel de la pyramide pour la représenter comme un moyen d’examiner les preuves à tous les niveaux.

Sophisme : « plusieurs niveaux de preuve existent, donc tout se vaut »

La critique de la pyramide peut elle-même devenir excessive.

Puisqu’aucun classement n’est parfait, certains pourraient conclure :

« toutes les méthodes ont leurs limites ; il n’existe donc aucune raison de préférer un essai randomisé à une anecdote ».

Ce serait absurde.

Les méthodes possèdent réellement des capacités de contrôle différentes.

Si l’on cherche l’effet moyen d’un nouveau médicament et qu’un grand essai randomisé bien conduit contredit l’expérience personnelle d’un seul patient, il existe d’excellentes raisons méthodologiques de donner davantage de poids à l’essai.

Le pluralisme méthodologique ne signifie pas relativisme.

Il signifie :

comparer les preuves selon leurs capacités réelles à répondre à la question et à résister aux erreurs pertinentes.

La hiérarchie devient donc conditionnelle plutôt qu’absolue

Nous pouvons reformuler toute l’idée ainsi.

Au lieu de :

A > B > C dans tous les cas,

nous avons :

pour cette question, cette méthode contrôle mieux ces erreurs-là, sous ces conditions.

Cette formulation est moins élégante graphiquement.

Elle est beaucoup plus proche de la méthode scientifique réelle.

Pour une intervention :

la randomisation reçoit un avantage particulier.

Pour un pronostic :

la cohorte devient centrale.

Pour une prévalence :

la représentativité est cruciale.

Pour un dommage rarissime :

la taille et la durée d’observation peuvent dominer.

Pour un événement historique :

la convergence de traces indépendantes devient décisive.

La hiérarchie des preuves est donc une fonction de la question.

La qualité vient d’une combinaison entre dessin et exécution

On peut résumer la situation par une idée simple :

un dessin d’étude indique ce qu’une étude pourrait idéalement contrôler ; sa réalisation détermine ce qu’elle a réellement contrôlé.

Un essai randomisé peut théoriquement neutraliser la confusion initiale.

Encore faut-il que la randomisation fonctionne.

Une étude en double aveugle peut réduire certains biais d’attente.

Encore faut-il que l’aveugle soit effectivement maintenu.

Une cohorte peut établir une séquence temporelle.

Encore faut-il mesurer correctement l’exposition et le résultat.

Une méta-analyse peut augmenter la précision.

Encore faut-il que les études combinées répondent suffisamment à la même question.

L’étiquette méthodologique décrit donc une architecture potentielle de contrôle, pas sa réussite effective.

La meilleure preuve est souvent la convergence d’un programme de recherche

Imaginons qu’une relation soit soutenue par :

un essai randomisé ;

plusieurs cohortes ;

une expérience naturelle ;

une relation dose-réponse ;

des mécanismes biologiques ;

une réplication multisite ;

et une revue systématique montrant que les résultats convergent.

Quelle ligne de la pyramide produit alors la connaissance ?

La question devient presque impossible à poser.

La force vient de l’ensemble.

Chaque méthode élimine une partie des explications concurrentes.

Les limites de l’une sont compensées par une autre.

Une erreur capable d’expliquer toutes les observations devient progressivement plus difficile à construire.

La maturité d’un domaine scientifique apparaît précisément lorsque la conclusion ne dépend plus d’un seul dessin spectaculaire, mais d’un réseau de preuves partiellement indépendantes.

De la pyramide des preuves à l’architecture des preuves

Cette idée rejoint directement le fil directeur de cette rubrique.

Depuis le début, nous n’avons cessé d’identifier des dispositifs destinés à rendre certaines erreurs plus difficiles :

mesure ;

calibration ;

randomisation ;

aveugle ;

contrôle statistique ;

quasi-expérience ;

réplication ;

analyse de robustesse ;

revue systématique ;

évaluation du risque de biais.

Aucun n’est suffisant à lui seul.

Leur force vient de leur complémentarité.

La pyramide représente correctement une partie de cette architecture lorsqu’elle nous rappelle que certains dessins contrôlent généralement davantage de biais que d’autres pour certaines questions.

Elle devient incorrecte lorsqu’elle transforme cette idée en classement universel de la valeur scientifique.

Le modèle le plus fidèle est donc peut-être moins :

une pyramide des preuves

que :

une architecture de preuves et de contrôles d’erreur.


À retenir

La pyramide des preuves constitue une heuristique utile, particulièrement dans la médecine fondée sur les preuves, mais elle ne représente pas une hiérarchie universelle de toute connaissance scientifique. Le Centre for Evidence-Based Medicine d’Oxford avertit lui-même qu’aucun système de classement ne doit être utilisé sans jugement et propose des hiérarchies différentes selon que la question porte sur un traitement, un diagnostic, un pronostic ou une prévalence.

Les essais randomisés occupent une position privilégiée pour de nombreuses questions concernant les effets des interventions parce que la randomisation contrôle particulièrement bien certaines formes de confusion initiale. Mais un essai randomisé peut rester biaisé, imprécis ou indirect. Le dessin d’étude fournit donc une protection méthodologique potentielle ; il ne garantit pas la qualité de sa réalisation.

À l’inverse, une étude observationnelle n’est pas automatiquement une preuve faible pour toute question. Certaines relations causales ne peuvent être randomisées, certains effets spectaculaires rendent les explications concurrentes très improbables et certaines questions — prévalence, pronostic, événements rares ou conséquences à long terme — nécessitent précisément des dessins non randomisés. Les niveaux d’Oxford reconnaissent eux-mêmes que le dessin optimal dépend de la question et qu’une étude observationnelle montrant un effet dramatique peut parfois fournir des preuves particulièrement fortes.

Les revues systématiques et méta-analyses ne doivent pas davantage être considérées comme automatiquement supérieures à toute étude primaire. Murad et ses collègues ont proposé de les représenter plutôt comme des outils permettant d’évaluer et synthétiser les différents niveaux de preuve. Une méta-analyse d’études fragiles reste une synthèse d’études fragiles.

Enfin, des cadres comme GRADE montrent pourquoi le type de dessin ne suffit pas à déterminer la certitude finale : il faut également examiner le risque de biais, l’incohérence, le caractère indirect des preuves, l’imprécision et le biais de publication.

La question la plus utile n’est donc pas :

« À quel étage de la pyramide se trouve cette étude ? »

mais :

« Quelle question cherche-t-elle à résoudre, contre quelles erreurs son dessin la protège-t-il, quelles erreurs restent possibles, et comment ses résultats s’intègrent-ils aux autres preuves disponibles ? »

Sources et références

  • OCEBM Levels of Evidence Working Group, Oxford Centre for Evidence-Based Medicine: Levels of Evidence 2, University of Oxford. Le système distingue explicitement les meilleurs dessins selon la nature de la question : prévalence, diagnostic, pronostic, traitement, dommages ou dépistage.
  • Howick, Jeremy et al., « The 2011 Oxford CEBM Levels of Evidence — Introductory Document », Oxford Centre for Evidence-Based Medicine. Les auteurs présentent les niveaux comme une heuristique de recherche de la meilleure preuve probable et avertissent qu’ils ne peuvent être utilisés correctement sans jugement.
  • Murad, M. Hassan, Asi, Noor, Alsawas, Mouaz & Alahdab, Fares, « New evidence pyramid », *Evidence-Based Medicine*, 2016;21(4):125–127, DOI 10.1136/ebmed-2016-110401. Les auteurs proposent de ne plus placer mécaniquement revues systématiques et méta-analyses au sommet mais de les considérer comme des outils permettant d’évaluer et synthétiser les preuves.
  • Schünemann, Holger J. et al., « Completing ‘Summary of findings’ tables and grading the certainty of the evidence », chapitre 14 du *Cochrane Handbook for Systematic Reviews of Interventions*, version 6.5, Cochrane, 2024 : présentation de GRADE et de ses domaines d’évaluation de la certitude.
  • GRADE Working Group, GRADE Handbook / GRADE Book, cadre international d’évaluation de la certitude des preuves et d’élaboration des recommandations. Une nouvelle version du *GRADE Book* est progressivement publiée et doit à terme remplacer l’ancien Handbook.
27 sur 39Retour à la catégorie