Niveaux de preuve : toutes les observations ont-elles la même valeur ?
Une information n’est pas une preuve par sa seule existence
Un témoignage, une corrélation, une expérience contrôlée et une méta-analyse peuvent tous apporter une information. Ils ne possèdent pourtant pas automatiquement la même capacité à soutenir une conclusion.
Une personne affirme avoir guéri après un traitement. Une étude observe que les utilisateurs de ce traitement vont mieux que les autres. Un essai répartit aléatoirement les patients entre le traitement et un comparateur. Plusieurs équipes reproduisent ensuite le résultat. Ces observations peuvent sembler raconter la même histoire :
le traitement serait efficace.
Mais elles ne permettent pas d’écarter les mêmes explications alternatives.
Le témoignage ne permet pas de savoir ce qui se serait produit sans traitement. L’étude observationnelle peut être influencée par des différences entre les groupes. L’essai randomisé réduit certaines causes de confusion, mais peut rester trop petit, mal exécuté ou peu représentatif. La méta-analyse peut être très précise tout en combinant des études biaisées.
La valeur d’une preuve dépend donc moins de son étiquette que de la question suivante :
Quelles explications concurrentes cette observation permet-elle réellement d’éliminer ?
Une preuve devient forte lorsqu’il devient difficile d’expliquer le résultat sans accepter au moins une partie de l’hypothèse étudiée.
La preuve est toujours relative à une affirmation
Une même observation peut constituer une preuve forte pour une conclusion et une preuve faible pour une autre.
Un thermomètre indique une température élevée. Cette mesure constitue une preuve directe que la température mesurée dépasse une certaine valeur, à condition que l’instrument fonctionne correctement. Elle constitue une preuve plus indirecte d’une infection. Elle ne permet pas à elle seule d’identifier :
- l’agent responsable ;
- la gravité future ;
- le traitement approprié.
De même, une corrélation peut être une preuve solide qu’une association statistique existe dans une population, tout en rester une preuve faible que l’une des variables cause l’autre.
Il faut donc toujours préciser :
- quelle affirmation est évaluée ;
- à quel niveau ;
- avec quel degré de généralité.
La question « cette étude constitue-t-elle une bonne preuve ? » est incomplète.
Il faut demander :
Une bonne preuve de quoi ?
La hiérarchie classique des preuves
Dans plusieurs domaines, notamment en médecine fondée sur les preuves, les méthodes sont souvent présentées sous la forme d’une pyramide.
À la base se trouvent généralement :
- avis d’experts ;
- raisonnements théoriques ;
- observations cliniques ;
- séries de cas.
Au-dessus apparaissent :
- études transversales ;
- études cas-témoins ;
- cohortes ;
- essais contrôlés randomisés.
Au sommet sont parfois placées :
- revues systématiques ;
- méta-analyses.
Cette hiérarchie exprime une intuition importante.
Certaines méthodes contrôlent mieux que d’autres :
- la sélection ;
- les facteurs confondants ;
- les fluctuations ;
- les erreurs d’interprétation.
Mais la pyramide devient trompeuse lorsqu’elle est traitée comme une règle automatique.
Une mauvaise étude placée « haut » dans la hiérarchie peut être moins informative qu’une excellente étude située plus bas.
Pourquoi les méthodes ne se valent pas
Chaque méthode produit une structure particulière de comparaison.
Un témoignage compare implicitement :
- la situation avant ;
- la situation après.
Mais le changement peut venir de nombreuses causes. Une étude de cohorte compare des personnes exposées et non exposées, mais les groupes peuvent différer. Un essai randomisé tente de rendre l’attribution de l’intervention indépendante des autres causes du résultat. La différence de valeur vient donc principalement de la capacité à limiter certaines erreurs. Mais chaque méthode possède ses propres forces. Un essai randomisé est particulièrement adapté pour estimer l’effet moyen d’une intervention. Il peut être moins adapté pour étudier :
- un effet indésirable extrêmement rare ;
- une conséquence apparaissant trente ans plus tard ;
- une catastrophe historique ;
- un mécanisme moléculaire précis ;
- une expérience vécue ;
- une politique appliquée à un pays entier.
La meilleure méthode dépend de la question.
L’avis d’expert
L’expert connaît :
- la littérature ;
- les méthodes ;
- les concepts ;
- le contexte ;
- les limites des données.
Son jugement peut synthétiser une quantité d’informations difficilement accessible au non-spécialiste.
L’avis d’expert n’est donc pas sans valeur. Mais il peut être influencé par :
- habitudes ;
- école théorique ;
- conflits d’intérêts ;
- prestige ;
- biais de confirmation ;
- information incomplète.
Un expert affirmant une conclusion sans rendre visibles ses raisons fournit une preuve limitée.
Son jugement devient plus fort lorsqu’il explicite :
- les données ;
- les alternatives ;
- les incertitudes ;
- les critères ayant guidé sa conclusion.
L’expertise est particulièrement utile pour interpréter les preuves. Elle ne doit pas être confondue avec une preuve empirique indépendante.
Autorité et compétence
Une affirmation n’est pas vraie parce qu’une personne possède un titre. Mais le titre, l’expérience et la reconnaissance peuvent constituer des indices de compétence.
La confiance raisonnable ne doit être ni aveugle ni inexistante. Elle dépend notamment :
- du domaine exact d’expertise ;
- de la qualité des travaux antérieurs ;
- de la transparence ;
- du consensus ;
- de l’existence de contrôles institutionnels.
Un prix Nobel de physique ne devient pas automatiquement une autorité en épidémiologie ou en politique économique.
La compétence est localisée.
Le témoignage
Un témoignage constitue une preuve directe de ce qu’une personne dit avoir vécu. Il peut établir avec une certaine force :
- qu’elle rapporte une expérience ;
- qu’elle a perçu un événement ;
- qu’elle a ressenti une amélioration.
Il établit moins directement :
- la cause réelle ;
- la fréquence générale ;
- ce qu’aurait vécu une autre personne.
Une personne peut sincèrement attribuer son amélioration à un traitement alors que celle-ci vient :
- de l’évolution naturelle ;
- d’un autre soin ;
- du retour à la moyenne ;
- d’une attente ;
- d’un changement de comportement.
Le témoignage est essentiel pour connaître l’expérience subjective. Il est insuffisant pour mesurer seul l’efficacité causale d’une intervention.
Le cas individuel
Un cas bien documenté peut révéler un phénomène important. Il peut montrer :
- qu’un événement est possible ;
- qu’une complication existe ;
- qu’une théorie rencontre une anomalie ;
- qu’un mécanisme mérite d’être étudié.
Certaines découvertes commencent par un cas atypique. Mais le cas individuel ne permet pas généralement d’estimer :
- la fréquence ;
- le risque moyen ;
- l’efficacité habituelle ;
- la généralité.
Une exception peut réfuter une affirmation strictement universelle. Elle ne permet pas automatiquement de reconstruire une théorie alternative complète.
Les séries de cas
Une série de cas rassemble plusieurs observations similaires. Elle peut montrer :
- une répétition ;
- un profil commun ;
- une évolution ;
- un effet indésirable inattendu.
Elle est plus informative qu’un témoignage isolé. Mais elle ne possède souvent pas de groupe de comparaison. Si vingt patients s’améliorent, nous ignorons encore combien se seraient améliorés sans intervention. Les cas peuvent également être sélectionnés parce qu’ils sont :
- remarquables ;
- favorables ;
- facilement accessibles.
La série de cas est précieuse pour détecter et décrire. Elle est généralement moins forte pour établir une causalité moyenne.
Les études transversales
Une étude transversale mesure plusieurs caractéristiques à un moment donné. Elle peut estimer :
- une prévalence ;
- une distribution ;
- une corrélation ;
- des différences entre groupes.
Elle est utile pour décrire l’état d’une population. Mais elle établit difficilement l’ordre temporel.
Si l’anxiété est associée à l’usage d’un réseau social, plusieurs interprétations restent possibles :
- l’usage augmente l’anxiété ;
- l’anxiété augmente l’usage ;
- un troisième facteur influence les deux.
L’étude transversale fournit une photographie. Elle reconstruit difficilement le sens de la causalité.
Les études écologiques
Une étude écologique compare des groupes, des régions ou des pays. Elle peut révéler :
- tendances collectives ;
- différences institutionnelles ;
- effets environnementaux ;
- hypothèses à tester.
Mais une relation observée entre groupes ne s’applique pas automatiquement aux individus. Un pays possédant une forte consommation moyenne et un faible taux de maladie ne montre pas nécessairement que les individus consommant davantage sont mieux protégés. La composition des populations peut expliquer la relation. C’est le risque de l’erreur écologique. L’inverse existe également : une relation individuelle peut ne pas se retrouver au niveau collectif.
Les études cas-témoins
Une étude cas-témoins compare :
- des personnes ayant connu un événement ;
- des personnes ne l’ayant pas connu.
Elle recherche ensuite les expositions antérieures. Cette méthode est particulièrement utile pour les événements rares ou à longue latence. Elle peut étudier efficacement des facteurs de risque sans suivre une immense population pendant des années. Mais elle est sensible :
- au choix des contrôles ;
- à la mémoire des participants ;
- à la sélection ;
- à la mesure rétrospective.
Un groupe de contrôle inadéquat peut produire une association trompeuse.
La qualité du dessin compte davantage que l’étiquette « cas-témoins ».
Les études de cohorte
Une cohorte suit des personnes dans le temps. Elle peut comparer les résultats selon :
- exposition ;
- comportement ;
- traitement ;
- environnement.
La temporalité est généralement plus claire que dans une étude transversale.
Une cohorte permet d’estimer :
- incidence ;
- risques ;
- trajectoires.
Mais les personnes exposées et non exposées peuvent différer dès le départ. L’ajustement statistique réduit certains facteurs confondants, sans garantir l’absence de confusion résiduelle. Une grande cohorte précise une association. Elle ne la rend pas automatiquement causale.
Les essais contrôlés non randomisés
Une intervention peut être comparée à un groupe de contrôle sans répartition aléatoire. Cette méthode est plus forte qu’une simple comparaison avant-après lorsque le groupe de contrôle représente correctement l’évolution sans intervention. Mais l’attribution peut dépendre :
- du choix du patient ;
- du professionnel ;
- de la gravité ;
- de l’institution.
Les différences initiales peuvent alors expliquer une partie du résultat.
Des méthodes quasi expérimentales peuvent améliorer la crédibilité, à condition que leurs hypothèses soient défendues.
Les essais randomisés
L’essai contrôlé randomisé est souvent considéré comme une preuve forte pour évaluer une intervention. La randomisation réduit le lien entre l’attribution du traitement et les caractéristiques antérieures. Elle aide donc à construire un contrefactuel crédible. Mais l’étiquette « randomisé » ne suffit pas. Un essai peut être fragilisé par :
- mauvaise randomisation ;
- absence de dissimulation de l’attribution ;
- attrition ;
- contamination ;
- faible puissance ;
- critère choisi après coup ;
- absence d’aveuglement ;
- analyse inappropriée.
Un essai randomisé bien conduit constitue une preuve forte d’un effet dans les conditions étudiées. Il ne garantit ni la généralisation, ni la pertinence pratique, ni la sécurité à long terme.
Randomiser ne répond pas à toutes les questions
Un essai peut montrer qu’une intervention modifie un résultat. Il ne montre pas nécessairement :
- pourquoi elle agit ;
- chez qui elle agit le mieux ;
- si elle fonctionnera ailleurs ;
- si son bénéfice durera ;
- si des dommages rares apparaîtront ;
- si elle est moralement justifiée.
Il faut donc éviter de transformer la randomisation en critère unique de scientificité.
Une méthode peut être excellente pour une question et insuffisante pour une autre.
Les quasi-expériences
Les quasi-expériences exploitent une variation institutionnelle ou temporelle permettant une comparaison causale sans randomisation contrôlée directe. Elles peuvent utiliser :
- seuil ;
- réforme ;
- frontière ;
- calendrier ;
- instrument ;
- choc extérieur.
Une excellente quasi-expérience peut fournir une preuve causale très forte. Elle peut parfois être plus pertinente qu’un petit essai artificiel. Mais sa validité dépend d’hypothèses particulières :
- absence de manipulation du seuil ;
- tendances parallèles ;
- absence d’autre changement simultané ;
- validité de l’instrument.
Ces hypothèses doivent être examinées, pas simplement mentionnées.
Les expériences naturelles
Une expérience naturelle peut être extrêmement persuasive lorsque l’exposition varie pour une raison indépendante des autres causes du résultat. Elle n’est cependant pas « naturelle » au sens où la nature garantirait sa validité. Le chercheur doit démontrer que la situation produit réellement une comparaison crédible. Un événement extérieur peut encore être associé :
- au contexte ;
- à une autre politique ;
- à une population particulière.
La force vient du mécanisme d’attribution, pas du nom de la méthode.
Les revues narratives
Une revue narrative synthétise la littérature selon l’analyse d’un ou plusieurs auteurs. Elle peut offrir :
- contexte ;
- explications ;
- histoire du domaine ;
- comparaison théorique.
Mais la sélection des études peut être peu systématique. Les auteurs peuvent privilégier les travaux compatibles avec leur point de vue. Une revue narrative est utile pour comprendre un domaine. Elle n’est pas toujours suffisante pour estimer quantitativement l’état complet des preuves.
Les revues systématiques
Une revue systématique définit à l’avance :
- question ;
- critères d’inclusion ;
- bases consultées ;
- méthode d’évaluation ;
- procédure de synthèse.
Elle cherche à réduire la sélection subjective des études. Elle peut inclure ou non une méta-analyse.
Sa valeur dépend néanmoins :
- de la qualité de la recherche bibliographique ;
- des critères choisis ;
- des études disponibles ;
- de la gestion des biais ;
- de la comparabilité des travaux.
Une revue systématique d’études faibles reste limitée.
La méthode systématique rend le processus plus transparent ; elle ne transforme pas les données.
La méta-analyse
Une méta-analyse combine quantitativement plusieurs estimations. Elle peut produire :
- effet moyen plus précis ;
- analyse de l’hétérogénéité ;
- comparaison des sous-groupes ;
- intervalle de prédiction.
Elle se situe souvent au sommet des pyramides de preuve. Mais cette position est trompeuse lorsqu’elle fait oublier que la méta-analyse dépend des études incluses.
Une synthèse de travaux :
- biaisés ;
- sous-puissants ;
- sélectionnés ;
- hétérogènes,
peut produire une conclusion fausse avec une grande précision.
La méta-analyse n’est pas une machine transformant automatiquement la quantité en qualité.
Une méta-analyse peut amplifier une erreur
Supposons que plusieurs études utilisent le même mauvais indicateur. Leurs résultats convergent. La méta-analyse réduit l’intervalle autour de l’effet. Elle devient très précise. Mais elle mesure précisément la relation avec le mauvais indicateur. De même, plusieurs études publiées peuvent constituer une sélection favorable de toutes les études réalisées.
La synthèse renforce alors un biais de publication. La précision statistique ne corrige pas un biais partagé.
La revue systématique n’est pas nécessairement la meilleure preuve pour chaque question
Pour connaître un événement indésirable très rare, une grande base observationnelle peut être plus utile qu’une méta-analyse de petits essais. Pour comprendre un mécanisme, des études expérimentales de laboratoire peuvent être plus directes. Pour connaître l’expérience de patients, une synthèse qualitative peut répondre à une question inaccessible à un essai randomisé. Le sommet de la hiérarchie change selon l’affirmation évaluée. Il existe donc plusieurs hiérarchies partielles plutôt qu’une pyramide universelle.
Les preuves mécanistes
Une preuve mécaniste décrit les étapes reliant une cause à un effet. Elle peut établir :
- interaction moléculaire ;
- réponse cellulaire ;
- chaîne physiologique ;
- processus psychologique ;
- mécanisme institutionnel.
Cette preuve augmente la plausibilité causale et aide à généraliser. Mais un mécanisme partiel ne garantit pas un effet global. Une intervention peut produire le changement intermédiaire attendu tout en ne pas améliorer le résultat final à cause de compensations, d’effets secondaires ou d’une amplitude insuffisante. Les preuves mécanistes et les preuves sur les résultats doivent être articulées.
Un mécanisme sans effet observable
Un traitement peut modifier un biomarqueur conformément à la théorie. Cela montre qu’une partie du mécanisme fonctionne. Mais le patient peut ne recevoir aucun bénéfice perceptible.
Le biomarqueur peut être :
- trop éloigné du résultat ;
- compensé ;
- peu important ;
- mal validé comme substitut.
Il faut éviter de transformer une preuve mécaniste en preuve automatique d’efficacité clinique ou sociale.
Un effet sans mécanisme connu
Inversement, une intervention peut produire un effet reproductible avant que son mécanisme soit compris. Cette situation ne rend pas l’effet irréel. Les preuves causales peuvent parfois être solides même si l’explication reste incomplète. L’absence de mécanisme réduit néanmoins notre capacité à :
- généraliser ;
- anticiper les exceptions ;
- améliorer l’intervention ;
- prévoir les dommages.
Le mécanisme approfondit la connaissance sans toujours être nécessaire à la première démonstration de l’effet.
Les modèles animaux et les modèles expérimentaux
Un modèle animal permet de contrôler :
- génétique ;
- environnement ;
- exposition ;
- prélèvements ;
- mécanismes.
Il peut fournir une preuve importante sur un processus biologique. Mais l’animal ne reproduit pas exactement l’être humain.
Les différences peuvent concerner :
- métabolisme ;
- durée de vie ;
- système immunitaire ;
- environnement ;
- dose ;
- structure de la maladie.
Une réussite chez l’animal constitue souvent une preuve de possibilité mécaniste, non une preuve suffisante d’efficacité humaine.
Les études in vitro
Les études sur cellules ou tissus isolent des mécanismes avec une grande précision. Elles peuvent montrer qu’une substance :
- se lie à une cible ;
- détruit certaines cellules ;
- modifie une expression ;
- bloque une réaction.
Mais la concentration utilisée peut être impossible à atteindre sans toxicité dans un organisme.
Le système complet comporte :
- absorption ;
- métabolisme ;
- interactions ;
- compensation.
L’étude *in vitro* est une preuve forte du phénomène observé dans ce système expérimental et une preuve plus indirecte de l’effet clinique.
La plausibilité biologique
Une hypothèse cohérente avec les mécanismes connus possède généralement une plausibilité initiale plus élevée. Mais l’histoire des sciences contient des résultats surprenants.
La plausibilité ne doit pas devenir un veto absolu. Elle sert à calibrer :
- le niveau de preuve nécessaire ;
- les alternatives ;
- l’attention portée aux erreurs.
Une hypothèse très improbable demande généralement des preuves :
- fortes ;
- indépendantes ;
- répliquées.
Une simple valeur de *p* ne suffit pas à renverser un ensemble massif de connaissances.
Les preuves qualitatives
Les méthodes qualitatives étudient :
- significations ;
- expériences ;
- pratiques ;
- mécanismes vécus ;
- contexte ;
- mise en œuvre.
Elles utilisent notamment :
- entretiens ;
- observations ;
- analyses de documents ;
- groupes de discussion.
Elles ne cherchent pas toujours à estimer une fréquence moyenne. Leur valeur ne doit donc pas être jugée uniquement selon les critères d’un essai quantitatif. Une étude qualitative peut fournir une preuve forte sur :
- la manière dont une politique est vécue ;
- les obstacles pratiques ;
- les interprétations ;
- les mécanismes sociaux.
Elle fournit généralement une preuve plus limitée sur la fréquence exacte de ces expériences dans toute une population.
Généralisation qualitative
Une étude qualitative ne généralise pas nécessairement par représentativité statistique. Elle peut généraliser par :
- mécanisme ;
- concept ;
- comparaison ;
- saturation ;
- transférabilité contextuelle.
Un entretien unique ne suffit pas à affirmer que toute une population pense de la même manière. Mais plusieurs cas analysés en profondeur peuvent révéler un mécanisme ou une catégorie utile à d’autres contextes.
La portée doit être explicitement calibrée.
Les méthodes mixtes
Les méthodes quantitatives et qualitatives peuvent se compléter.
Une étude quantitative indique :
- combien ;
- à quelle fréquence ;
- avec quelle amplitude.
Une étude qualitative aide à comprendre :
- comment ;
- pourquoi ;
- dans quelles conditions ;
- avec quelles conséquences vécues.
Une politique peut produire un effet moyen positif tout en être difficilement applicable pour certains groupes.
La combinaison améliore l’interprétation sans supprimer les limites propres à chaque méthode.
Les preuves historiques
En histoire, les preuves peuvent comprendre :
- archives ;
- lettres ;
- registres ;
- objets ;
- témoignages ;
- traces matérielles ;
- comparaisons.
Leur valeur dépend notamment :
- de l’authenticité ;
- de la proximité avec l’événement ;
- de l’indépendance ;
- des intérêts de la source ;
- de la conservation sélective.
Un document officiel n’est pas automatiquement véridique. Un témoignage tardif n’est pas automatiquement faux. La critique historique consiste à évaluer la production et la transmission de chaque trace.
La convergence des sources historiques
Plusieurs documents peuvent sembler indépendants tout en reprendre une source commune. Inversement, une absence d’archive peut venir d’une destruction, d’un défaut de conservation, d’un secret ou d’une pratique orale. La preuve historique gagne en force lorsque plusieurs traces réellement indépendantes convergent :
- documents ;
- données matérielles ;
- témoignages ;
- chronologie.
La cohérence narrative ne suffit pas.
Les preuves juridiques et les preuves scientifiques
Le droit et la science utilisent parfois des normes de preuve différentes.
Le droit doit prendre une décision dans un délai limité :
- condamner ;
- acquitter ;
- indemniser ;
- autoriser.
Il fixe donc des seuils normatifs comme :
- preuve au-delà d’un doute raisonnable ;
- prépondérance des probabilités.
La science peut maintenir plus longtemps une conclusion incertaine. Une preuve scientifique de risque collectif n’établit pas automatiquement la causalité juridique dans un cas individuel. Les objectifs diffèrent.
Les preuves directes et indirectes
Une preuve directe porte immédiatement sur l’objet de la conclusion. Une mesure de concentration sanguine est relativement directe pour connaître cette concentration. Elle est indirecte pour connaître l’observance sur plusieurs mois. Une preuve indirecte peut néanmoins être très forte si le lien intermédiaire est bien établi. Les termes « direct » et « indirect » ne doivent pas être confondus avec :
- fort ;
- faible.
Une preuve directe peut être mal mesurée.
Une chaîne indirecte peut être solidement confirmée par plusieurs étapes indépendantes.
La pertinence
Une observation est pertinente lorsqu’elle serait plus probable si l’hypothèse était vraie que si elle était fausse. Une empreinte correspondant à une personne est pertinente pour sa présence sur un lieu. Sa force dépend pourtant :
- de la fréquence du profil ;
- du risque de contamination ;
- de la qualité du prélèvement ;
- des alternatives.
Une preuve ne vaut pas seulement parce qu’elle est compatible avec une hypothèse. Elle doit également être moins compatible avec les hypothèses concurrentes.
La force discriminante
Supposons qu’un symptôme soit fréquent chez les personnes atteintes d’une maladie, mais également fréquent chez les personnes non atteintes. Le symptôme est compatible avec la maladie. Il distingue mal les hypothèses. À l’inverse, un marqueur rare en dehors de la maladie possède une plus grande force discriminante. La valeur d’une preuve dépend donc des probabilités comparées :
Quelle probabilité d’observer cette donnée si l’hypothèse est vraie ?
Quelle probabilité si elle est fausse ?
Cette logique est proche du rapport de vraisemblance.
Les taux de base
Une preuve ne doit pas être interprétée sans tenir compte de la fréquence initiale de l’hypothèse. Un test très performant peut produire de nombreux faux positifs lorsqu’il recherche une maladie extrêmement rare. De même, un résultat statistiquement significatif en faveur d’une hypothèse très improbable peut rester fragile si :
- la puissance est faible ;
- de nombreuses hypothèses ont été testées ;
- le biais de publication est important.
La preuve modifie une crédibilité initiale. Elle ne commence pas toujours à partir d’une ignorance totale.
L’approche bayésienne
Le raisonnement bayésien représente la preuve comme une mise à jour.
La crédibilité après observation dépend :
- de la plausibilité antérieure ;
- de la compatibilité des données avec l’hypothèse ;
- de la compatibilité avec les alternatives.
Une preuve très discriminante peut fortement modifier le jugement.
Une donnée attendue sous plusieurs hypothèses change peu la conclusion. Cette approche aide à comprendre pourquoi le même résultat peut avoir un poids différent selon le contexte scientifique.
Une preuve extraordinaire
L’expression « des affirmations extraordinaires demandent des preuves extraordinaires » ne signifie pas qu’une idée nouvelle devrait être rejetée par principe. Elle signifie qu’une hypothèse très éloignée des connaissances bien établies possède une probabilité initiale faible. Pour devenir crédible, elle doit produire des observations difficiles à expliquer autrement. Une petite étude isolée et flexible ne suffit généralement pas. Il faut davantage :
- réplications ;
- contrôles ;
- précision ;
- indépendance ;
- mécanisme ;
- prédictions nouvelles.
La précision
Une étude peut être méthodologiquement rigoureuse mais trop petite pour répondre précisément à la question.
Son intervalle peut rester compatible avec :
- un bénéfice important ;
- une absence ;
- un dommage.
Elle apporte alors une preuve limitée, même si elle ne contient aucun biais évident.
La précision dépend notamment :
- de la taille de l’échantillon ;
- de la variabilité ;
- de la fréquence du résultat ;
- de la fiabilité de la mesure.
Une étude précise n’est pas nécessairement valide. Mais une étude très imprécise ne permet pas une conclusion forte.
Le risque de biais
Le risque de biais concerne les erreurs systématiques susceptibles de déplacer l’estimation. Il peut venir :
- de la sélection ;
- de l’attribution ;
- de l’aveuglement ;
- des pertes de suivi ;
- de la mesure ;
- du rapport sélectif.
Une erreur aléatoire élargit principalement l’incertitude. Un biais peut déplacer l’estimation dans une direction sans apparaître dans l’intervalle statistique. Une étude peut donc être précise et systématiquement fausse.
La cohérence
Une conclusion gagne en crédibilité lorsque plusieurs études trouvent des résultats compatibles. Mais une incohérence ne signifie pas automatiquement que l’effet n’existe pas. Elle peut révéler :
- hétérogénéité ;
- différence de population ;
- erreur ;
- biais ;
- hasard ;
- mécanisme contextuel.
La cohérence doit être examinée avec la qualité et la diversité des méthodes.
Une uniformité parfaite peut elle-même être suspecte si la littérature semble trop favorable pour être complète.
La directivité
Une preuve est plus directe lorsque :
- la population correspond à celle qui nous intéresse ;
- l’intervention correspond à celle qui sera utilisée ;
- le comparateur correspond à la décision réelle ;
- le résultat correspond à l’objectif important.
Une étude sur un biomarqueur chez de jeunes volontaires fournit une preuve indirecte sur la qualité de vie de patients âgés. Plusieurs extrapolations séparent l’étude de la conclusion. La directivité ne concerne donc pas seulement le mécanisme. Elle concerne la correspondance entre la question et les données.
L’importance du comparateur
Un traitement peut être supérieur au placebo. La question pratique peut être de savoir s’il est supérieur au meilleur traitement existant. Une politique peut faire mieux que l’absence totale de mesure, mais moins bien qu’une alternative moins coûteuse. Une preuve répond toujours à une comparaison précise. Changer silencieusement le comparateur élargit abusivement la conclusion.
Les critères intermédiaires
Un résultat portant sur un indicateur intermédiaire peut fournir une preuve indirecte du bénéfice final. Cette preuve est forte si le critère intermédiaire est validé. Elle est faible si la relation avec le résultat important reste incertaine.
Une intervention peut améliorer :
- score ;
- biomarqueur ;
- opinion déclarée ;
sans modifier :
- santé ;
- comportement ;
- autonomie ;
- mortalité.
La place d’une étude dans une hiérarchie ne corrige pas un mauvais choix de critère.
La durée
Une étude de quelques semaines fournit une preuve directe sur l’effet à court terme. Elle fournit une preuve indirecte sur :
- l’effet durable ;
- les dommages tardifs ;
- l’adaptation ;
- la persistance.
La durée de suivi doit correspondre au phénomène.
Une longue observation peut être nécessaire pour des événements rares ou différés.
Les biais de publication
La littérature visible sélectionne plus facilement :
- résultats positifs ;
- effets importants ;
- conclusions nouvelles ;
- études significatives.
Une accumulation de publications positives ne représente pas forcément toutes les recherches réalisées.
Le biais de publication diminue la confiance dans :
- la fréquence des effets ;
- leur amplitude ;
- leur cohérence.
Les registres, les rapports enregistrés et la publication des résultats nuls améliorent la qualité globale de la preuve.
Les conflits d’intérêts
Un conflit d’intérêts peut influencer :
- choix de la question ;
- comparateur ;
- dose ;
- durée ;
- analyse ;
- publication ;
- formulation.
Il ne prouve pas que l’étude est fausse. Il indique qu’un mécanisme de biais est possible. La réponse raisonnable n’est ni :
- rejeter automatiquement ;
- ignorer complètement.
Il faut augmenter les exigences de :
- transparence ;
- indépendance ;
- réplication ;
- accès aux données.
L’indépendance des preuves
Deux études ne constituent pas deux preuves pleinement indépendantes si elles utilisent :
- la même base ;
- le même instrument ;
- la même équipe ;
- le même biais ;
- la même hypothèse auxiliaire.
Une dizaine d’articles peut reposer sur un même échantillon. Le nombre de publications surestime alors la quantité réelle d’information. L’indépendance augmente lorsque les preuves proviennent de :
- nouvelles populations ;
- nouvelles équipes ;
- nouvelles méthodes ;
- nouvelles sources.
La triangulation
La triangulation consiste à comparer plusieurs méthodes dont les biais probables diffèrent. Supposons qu’une hypothèse soit soutenue par :
- essai randomisé ;
- cohorte ;
- mécanisme ;
- expérience naturelle ;
- évolution après intervention.
Chaque méthode possède ses limites. Si elles convergent malgré des structures d’erreur différentes, la conclusion gagne en crédibilité. La triangulation peut être plus forte qu’une simple répétition de la même méthode.
Les erreurs indépendantes
La convergence est particulièrement informative lorsque les erreurs possibles ne devraient pas aller dans la même direction. Si une étude observationnelle risque de surestimer l’effet et qu’un essai randomisé produit une estimation similaire, le biais observationnel devient moins capable d’expliquer seul le résultat. Si plusieurs études utilisent le même questionnaire biaisé, leur convergence apporte moins. Il faut donc analyser non seulement le nombre de preuves, mais aussi la relation entre leurs erreurs possibles.
La cohérence mécaniste
Une preuve empirique gagne parfois en force lorsqu’elle s’intègre à :
- un mécanisme connu ;
- une relation dose-réponse ;
- une chronologie ;
- des interventions intermédiaires.
Mais la cohérence mécaniste peut également conduire au biais de confirmation. Une histoire plausible ne suffit pas à établir le phénomène. Le mécanisme doit produire des prédictions nouvelles et être testé indépendamment.
La preuve convergente ne signifie pas unanimité
Une littérature réelle contient souvent :
- résultats nuls ;
- effets variables ;
- mesures imparfaites ;
- désaccords.
La convergence n’exige pas que toutes les études produisent exactement le même chiffre. Elle signifie que l’ensemble est mieux expliqué par une certaine conclusion que par les alternatives.
Une science mature peut reconnaître simultanément :
- un effet moyen probable ;
- une amplitude incertaine ;
- des contextes d’échec ;
- plusieurs mécanismes possibles.
Les pyramides de preuve trop rigides
Une pyramide rigide peut conduire à plusieurs erreurs.
Dévaloriser toute observation non randomisée
Certaines questions ne peuvent pas être randomisées et disposent néanmoins de preuves solides.
Survaloriser les petits essais
Une randomisation ne compense pas un très faible échantillon, une mauvaise mesure ou une attrition massive.
Placer mécaniquement les méta-analyses au sommet
Une méta-analyse dépend de la qualité des études et de la sélection de la littérature.
Ignorer les mécanismes et les contextes
Un effet moyen ne suffit pas à comprendre ou à transférer une intervention.
La hiérarchie doit rester un guide contre certains biais, non une machine produisant automatiquement un verdict.
Les réseaux de preuve
Une meilleure représentation peut être celle d’un réseau.
Chaque source soutient une partie de l’affirmation :
- les essais soutiennent l’effet causal moyen ;
- les cohortes soutiennent la sécurité à long terme ;
- les mécanismes soutiennent la plausibilité ;
- les études qualitatives soutiennent la compréhension de la mise en œuvre ;
- les réplications soutiennent la stabilité ;
- les méta-analyses soutiennent l’estimation cumulative.
La conclusion globale dépend de la cohérence du réseau. Cette image évite de réduire la preuve à un classement unique.
La méthode GRADE
Le système GRADE est utilisé pour évaluer la certitude des preuves concernant des interventions.
Il part généralement d’un niveau initial lié au type d’étude, puis examine plusieurs dimensions pouvant diminuer la confiance :
- risque de biais ;
- incohérence ;
- indirectivité ;
- imprécision ;
- biais de publication.
Certaines caractéristiques peuvent augmenter la confiance dans des études observationnelles, par exemple :
- effet très important ;
- relation dose-réponse ;
- biais plausibles allant contre l’effet observé.
La certitude finale peut être décrite comme :
- élevée ;
- modérée ;
- faible ;
- très faible.
Cette approche est plus nuancée qu’une pyramide fixe.
Une preuve élevée ne signifie pas certitude absolue
Dans GRADE, une certitude élevée signifie approximativement que de nouvelles recherches ont peu de chances de modifier substantiellement la conclusion. Elle ne signifie pas :
- absence de toute erreur ;
- vérité définitive ;
- effet identique chez chaque personne ;
- décision moralement obligatoire.
La certitude porte sur une estimation précise et une question définie.
Une preuve élevée d’un petit bénéfice n’implique pas que l’intervention soit souhaitable.
Une preuve faible ne signifie pas absence d’effet
Une faible certitude signifie que l’estimation reste incertaine.
L’effet peut être :
- réel ;
- nul ;
- plus fort ;
- plus faible ;
- opposé.
Il ne faut pas traduire « preuve faible » par :
l’intervention ne fonctionne pas.
La conclusion correcte est :
nous ne savons pas encore avec assez de confiance quelle est l’amplitude ou la direction de l’effet.
Certitude de la preuve et force de la recommandation
Une recommandation dépend de davantage que la certitude empirique. Elle doit examiner :
- amplitude du bénéfice ;
- dommages ;
- coûts ;
- équité ;
- préférences ;
- faisabilité ;
- alternatives.
Une recommandation forte peut parfois être formulée malgré des données limitées si :
- le dommage évité est très grave ;
- l’intervention est peu risquée ;
- les alternatives sont mauvaises.
Inversement, une preuve solide d’un bénéfice modeste peut conduire à une recommandation faible si :
- les coûts sont élevés ;
- les préférences divergent ;
- les dommages sont importants.
Les preuves dans une décision urgente
Une décision ne peut pas toujours attendre la preuve idéale.
Pendant une crise, il peut être nécessaire d’agir avec :
- modèles ;
- données observationnelles ;
- mécanismes ;
- analogies ;
- informations incomplètes.
L’absence d’essai randomisé ne signifie pas qu’aucune action n’est rationnelle.
Il faut comparer :
- risques d’agir ;
- risques d’attendre ;
- réversibilité ;
- coût ;
- possibilité d’apprentissage.
La décision doit rester révisable lorsque de nouvelles preuves apparaissent.
Le risque inductif
Toute conclusion comporte deux risques :
- accepter une hypothèse fausse ;
- rejeter une hypothèse vraie.
Le niveau de preuve demandé dépend en partie des conséquences de ces erreurs. Pour autoriser un produit dangereux, le coût d’un faux positif peut être élevé. Pour adopter une mesure provisoire peu coûteuse face à un danger grave, le coût d’un faux négatif peut être plus important. Les valeurs interviennent dans le seuil d’action, sans déterminer arbitrairement les faits.
La charge de la preuve
La charge de la preuve indique qui doit soutenir une affirmation. Elle dépend du contexte.
Celui qui propose :
- une nouvelle thérapie ;
- une accusation ;
- une politique contraignante ;
- une théorie extraordinaire,
doit généralement apporter les raisons principales. Mais la charge de la preuve n’est pas une règle interdisant toute action en l’absence de certitude. Elle organise le débat. Elle peut être renforcée lorsque l’action proposée est :
- risquée ;
- coûteuse ;
- irréversible ;
- coercitive.
L’asymétrie des erreurs
Dans un dépistage, augmenter la sensibilité peut augmenter les faux positifs. Dans une procédure pénale, condamner un innocent et acquitter un coupable ne sont pas considérés comme des erreurs moralement équivalentes. La même donnée peut donc conduire à des décisions différentes selon le seuil retenu. Le niveau de preuve scientifique et le niveau de preuve décisionnel doivent être distingués.
L’effet important
Un effet très important et difficile à expliquer par les biais ordinaires peut augmenter la force d’une étude observationnelle.
Si une exposition est associée à une multiplication spectaculaire du risque, les facteurs confondants devraient être extrêmement puissants pour tout expliquer. Mais un grand effet n’est pas automatiquement causal. Il peut venir d’un biais majeur, d’une mauvaise classification ou d’une sélection extrême.
L’amplitude est un élément de la preuve, pas une garantie.
La relation dose-réponse
Une relation où l’effet augmente avec l’exposition soutient souvent une interprétation causale. Elle indique que différentes intensités produisent des résultats ordonnés. Mais elle peut également venir d’une cause commune graduelle, d’une mesure biaisée, d’une causalité inverse et d’un seuil choisi après coup.
La dose-réponse renforce une preuve lorsqu’elle était prédite et apparaît dans plusieurs méthodes.
La temporalité
Une cause doit généralement précéder son effet. Une étude établissant clairement cette temporalité est plus informative qu’une mesure simultanée. Mais l’antériorité ne suffit pas. De nombreuses variables précèdent un résultat sans le causer. La temporalité élimine certaines hypothèses, pas toutes.
La spécificité
Une cause produisant un effet très spécifique peut sembler plus convaincante. Mais de nombreuses causes possèdent plusieurs effets, et de nombreux résultats ont plusieurs causes.
La spécificité est utile dans certaines situations, notamment pour certains agents infectieux. Elle ne constitue pas un critère universel.
Les critères de Bradford Hill
Austin Bradford Hill a proposé plusieurs considérations pour réfléchir à la causalité dans les données observationnelles :
- force de l’association ;
- cohérence ;
- temporalité ;
- gradient biologique ;
- plausibilité ;
- expérience ;
- analogie ;
- spécificité ;
- cohérence avec les connaissances.
Ces critères ne forment pas une checklist produisant mécaniquement une causalité. Ils organisent des questions. Aucun n’est toujours nécessaire ou suffisant, à l’exception générale de la temporalité.
L’abduction
L’abduction consiste à chercher l’hypothèse expliquant le mieux un ensemble de données.
Une preuve devient forte lorsque l’hypothèse :
- explique plusieurs observations ;
- produit des prédictions ;
- évite les ajustements artificiels ;
- surpasse les alternatives.
Cette logique est essentielle dans les sciences où une expérience décisive unique est impossible. Mais « meilleure explication » ne doit pas être réduit à :
- histoire la plus intuitive ;
- récit préféré ;
- hypothèse la plus familière.
Les alternatives doivent être sérieusement comparées.
La sévérité d’un test
Deborah Mayo propose d’évaluer une preuve selon la sévérité du test. Un résultat soutient fortement une hypothèse lorsqu’il aurait été peu probable d’obtenir un succès si l’hypothèse était fausse ou si son erreur était importante. Une étude qui ne pouvait presque pas échouer fournit peu d’information. Une méthode flexible capable de produire un résultat positif dans de nombreux scénarios ne constitue pas un test sévère. La force de la preuve dépend donc du risque réel pris par l’hypothèse.
Une confirmation facile vaut peu
Une théorie affirme vaguement qu’un effet peut apparaître :
- chez certaines personnes ;
- dans certaines conditions ;
- selon une mesure quelconque.
Une étude trouve une différence dans un sous-groupe. La théorie semble confirmée. Mais elle n’avait exclu presque aucun résultat possible. La preuve est faible, car la réussite était facile à obtenir. Une prédiction précise constitue une mise à l’épreuve plus exigeante.
La falsification et ses limites
Une observation contraire peut fragiliser une hypothèse. Mais une théorie n’est jamais testée complètement seule.
Le résultat dépend :
- des instruments ;
- des hypothèses auxiliaires ;
- des conditions ;
- de l’analyse.
Une anomalie unique ne produit donc pas toujours un rejet immédiat.
La force du contre-exemple augmente lorsqu’il est :
- répliqué ;
- précis ;
- indépendant ;
- difficile à expliquer par une erreur auxiliaire ;
- mieux expliqué par une alternative.
Le cumul des anomalies
Une théorie peut survivre raisonnablement à une anomalie isolée. Elle devient plus fragile lorsque les échecs :
- se répètent ;
- apparaissent dans plusieurs méthodes ;
- nécessitent de nombreux ajustements ;
- ne produisent aucune nouvelle prédiction réussie.
Le niveau de preuve contre une théorie est lui aussi cumulatif.
Il faut regarder la trajectoire du programme de recherche, pas seulement un test unique.
La preuve négative
L’absence d’un phénomène peut constituer une preuve si nous avions de bonnes raisons de l’observer sous l’hypothèse.
Une recherche infructueuse est informative lorsque :
- l’instrument est sensible ;
- le phénomène devrait être présent ;
- la zone pertinente a été examinée ;
- l’échantillon est suffisant.
L’absence d’une trace attendue réduit alors la crédibilité de l’hypothèse. Mais une absence de donnée peut être non informative si la détection était faible.
Les tests d’équivalence
Un résultat non significatif ne prouve pas automatiquement l’absence d’effet. Un test d’équivalence demande si les données permettent d’exclure les effets considérés comme importants. Il fournit une preuve positive en faveur d’un effet suffisamment faible. Cette méthode montre que le niveau de preuve dépend aussi de la formulation de l’hypothèse. Chercher une différence et établir une absence pratique sont deux questions distinctes.
L’incertitude doit être conservée
Une synthèse honnête ne transforme pas automatiquement les preuves en certitude binaire. Elle peut conclure :
- effet probablement réel ;
- amplitude incertaine ;
- effet variable ;
- données insuffisantes ;
- preuve de faible efficacité ;
- absence probable d’un effet important.
Ces formulations sont plus précises que :
- prouvé ;
- réfuté ;
- aucune preuve ;
- scientifiquement démontré.
Le langage doit suivre la structure réelle de l’incertitude.
Les niveaux de confiance
Une affirmation peut être classée comme :
Hypothèse plausible
Compatible avec certaines données, mais peu testée.
Signal empirique
Association ou anomalie retrouvée, encore exposée à plusieurs explications.
Résultat confirmé localement
Répliqué dans des conditions proches.
Résultat robuste
Résiste à plusieurs analyses et mesures.
Conclusion convergente
Soutenue par plusieurs méthodes indépendantes.
Connaissance bien établie
Intégrée à un réseau de preuves, de mécanismes, de réplications et d’applications réussies.
Ces niveaux ne sont pas des catégories universelles officielles.
Ils permettent de communiquer une confiance graduelle.
Une étude prestigieuse ne remplace pas l’ensemble des preuves
Le prestige de la revue, de l’institution ou de l’auteur peut constituer un indice de sélection et de contrôle. Il ne garantit pas :
- absence d’erreur ;
- réplication ;
- pertinence ;
- généralisation.
Un article spectaculaire publié dans une revue très reconnue reste une étude unique tant qu’il n’a pas été contrôlé.
La science ne devrait pas dépendre d’arguments de marque.
Le nombre de citations
Un article très cité peut être :
- fondateur ;
- pratique ;
- polémique ;
- souvent critiqué ;
- utilisé comme référence historique.
Le nombre de citations ne mesure pas directement sa fiabilité. Une affirmation peut être répétée par de nombreux articles qui citent tous la même source initiale. Il faut distinguer :
- popularité ;
- influence ;
- confirmation indépendante.
Consensus et niveau de preuve
Un consensus scientifique peut émerger parce que plusieurs lignes de preuve convergent. Il constitue alors une information importante pour le non-spécialiste. Mais le consensus n’est pas une preuve séparée ajoutée aux données comme un vote.
Il résume un jugement collectif sur :
- littérature ;
- méthodes ;
- alternatives ;
- incertitudes.
Sa force dépend :
- de la diversité des experts ;
- de la transparence ;
- de la possibilité de contestation ;
- de la maturité du domaine.
Un consensus peut être provisoire
Un consensus raisonnable signifie :
compte tenu des preuves disponibles, cette conclusion est actuellement la mieux soutenue.
Il ne signifie pas :
aucune révision future n’est possible.
La science peut conserver une forte confiance tout en rester faillibiliste. Cette combinaison n’est pas contradictoire.
Le désaccord expert
Un désaccord persistant peut indiquer :
- données insuffisantes ;
- méthodes différentes ;
- valeurs différentes ;
- domaines différents ;
- incertitude réelle.
Mais tous les désaccords ne divisent pas les experts de manière équilibrée.
La présence d’un petit groupe dissident ne signifie pas automatiquement que le domaine serait partagé à parts égales.
Il faut examiner :
- nombre ;
- qualité ;
- arguments ;
- conflits d’intérêts ;
- évolution des preuves.
Les preuves et les décisions individuelles
Une preuve moyenne sur une population ne décide pas automatiquement pour une personne.
La décision peut dépendre :
- du risque personnel ;
- des préférences ;
- des effets secondaires ;
- de la possibilité de suivi ;
- des alternatives.
Une preuve très solide d’un effet moyen faible peut conduire des individus raisonnables à faire des choix différents.
L’incertitude scientifique et la pluralité des valeurs doivent être distinguées.
Les preuves et les politiques publiques
Une politique demande davantage qu’un effet causal.
Il faut connaître :
- ampleur ;
- distribution ;
- coût ;
- faisabilité ;
- équité ;
- acceptabilité ;
- conséquences indirectes.
Une preuve forte qu’une mesure réduit un indicateur ne suffit pas à montrer qu’elle améliore globalement la société.
Les autres objectifs et les droits doivent également être considérés.
Un résultat statistiquement solide peut être normativement insuffisant
Une intervention peut produire de manière fiable :
- davantage de contrôle ;
- une réduction d’un comportement ;
- une hausse de productivité.
La décision reste ouverte si elle entraîne :
- atteinte à la liberté ;
- discrimination ;
- souffrance ;
- coût excessif.
La preuve indique ce que l’intervention produit. Elle ne détermine pas seule ce qui doit être voulu.
Une preuve faible peut parfois justifier une action provisoire
Lorsqu’un risque potentiel est grave, une action réversible et peu coûteuse peut être rationnelle malgré une certitude limitée. Mais la décision doit être présentée correctement :
Nous agissons par précaution sous incertitude.
Il serait trompeur de dire :
La science a définitivement prouvé la nécessité de cette mesure.
L’action et le degré de certitude doivent rester séparés.
La proportionnalité du niveau de preuve
Le niveau de preuve exigé devrait augmenter lorsque l’intervention est :
- dangereuse ;
- coercitive ;
- coûteuse ;
- irréversible ;
- difficile à corriger.
Une hypothèse préliminaire peut justifier :
- une étude ;
- un suivi ;
- un pilote.
Elle justifie moins facilement :
- une politique massive ;
- une sanction ;
- une interdiction durable.
Une architecture des preuves
Il est utile d’imaginer la connaissance comme une architecture.
Fondations
Qualité des mesures, données et classifications.
Comparaisons
Groupes de contrôle, temporalité, contrefactuels.
Structure causale
Mécanismes, interventions, modèles.
Contrôles
Réplication, robustesse, analyses de sensibilité.
Extension
Validité externe, transportabilité, effets d’échelle.
Décision
Bénéfices, dommages, coûts, valeurs.
Une faiblesse des fondations fragilise les niveaux supérieurs.
Une méta-analyse ne peut pas compenser une mesure invalide partagée par toutes les études.
Une méthode pratique pour évaluer le niveau de preuve
Définir précisément l’affirmation
S’agit-il d’une description, d’une association, d’une cause, d’un mécanisme ou d’une recommandation ?
Examiner la mesure
Les données représentent-elles correctement le concept ?
Identifier la méthode
Quel type de comparaison a été utilisé ?
Rechercher les biais
Sélection, confusion, mesure, attrition, publication.
Examiner la précision
Quelles amplitudes restent compatibles avec les données ?
Vérifier la directivité
La population, l’intervention, le comparateur et le résultat correspondent-ils à la question ?
Rechercher les réplications
Le résultat apparaît-il dans de nouvelles données ?
Examiner la cohérence
Les différences entre études sont-elles expliquées ?
Rechercher la triangulation
Plusieurs méthodes indépendantes convergent-elles ?
Distinguer preuve et décision
Le niveau de preuve suffit-il pour l’action envisagée ?
Questions pour évaluer une source de preuve
- Quelle affirmation exacte cette source soutient-elle ?
- La preuve est-elle directe ou indirecte ?
- La mesure représente-t-elle correctement le phénomène ?
- Quelle comparaison permet-elle ?
- Quelles explications alternatives restent possibles ?
- Existe-t-il un groupe de contrôle crédible ?
- L’ordre temporel est-il établi ?
- L’étude permet-elle une interprétation causale ?
- L’effet est-il important ou seulement détectable ?
- L’intervalle est-il suffisamment précis ?
- La population correspond-elle à la population cible ?
- Le résultat mesuré est-il réellement pertinent ?
- La durée est-elle suffisante ?
- Les données manquantes peuvent-elles biaiser l’estimation ?
- L’analyse était-elle définie à l’avance ?
- Combien de tests ont été réalisés ?
- Le résultat a-t-il été reproduit ou répliqué ?
- Les réplications sont-elles indépendantes ?
- L’effet est-il robuste à plusieurs analyses ?
- Plusieurs méthodes différentes convergent-elles ?
- Les études partagent-elles le même biais ?
- Existe-t-il un mécanisme plausible et testé ?
- Le mécanisme produit-il réellement un effet global ?
- Les résultats négatifs sont-ils accessibles ?
- Un biais de publication est-il plausible ?
- La revue systématique a-t-elle inclus toutes les études pertinentes ?
- La méta-analyse combine-t-elle des études réellement comparables ?
- L’hétérogénéité est-elle importante ?
- L’intervalle de prédiction permet-il un effet nul ou inverse ?
- Les conflits d’intérêts sont-ils transparents ?
- Le consensus reflète-t-il une convergence des preuves ?
- Quelle nouvelle donnée pourrait modifier la conclusion ?
- Quel degré de confiance est réellement justifié ?
- Le niveau de preuve est-il proportionné à la décision envisagée ?
Erreurs fréquentes
Considérer toutes les observations comme équivalentes
Les méthodes n’écartent pas les mêmes explications alternatives.
Croire qu’un témoignage ne vaut rien
Il peut être une preuve forte de l’expérience vécue, mais une preuve faible de l’efficacité causale générale.
Utiliser un cas pour estimer une fréquence
Un cas montre une possibilité, pas une probabilité habituelle.
Traiter une corrélation comme une causalité
L’association peut venir d’une cause commune, d’une sélection ou d’une causalité inverse.
Croire qu’une grande cohorte devient automatiquement causale
La taille réduit l’erreur aléatoire, pas les biais systématiques.
Considérer tout essai randomisé comme une preuve supérieure
La qualité de la randomisation, de la mesure, du suivi et de l’analyse reste essentielle.
Placer toute méta-analyse au sommet
Une synthèse dépend des études incluses et de la littérature visible.
Croire qu’une preuve mécaniste suffit à démontrer un bénéfice pratique
Un mécanisme intermédiaire peut être trop faible ou compensé.
Rejeter une preuve qualitative parce qu’elle ne fournit pas une moyenne
Elle peut répondre rigoureusement à des questions de sens, de mise en œuvre ou d’expérience.
Confondre précision et validité
Une estimation très précise peut être systématiquement biaisée.
Confondre cohérence et indépendance
Plusieurs études peuvent converger parce qu’elles partagent la même erreur.
Ignorer les taux de base
Le poids d’une preuve dépend aussi de la plausibilité initiale.
Utiliser une checklist causale comme une démonstration automatique
Les critères organisent le raisonnement, ils ne remplacent pas l’analyse.
Confondre faible preuve et preuve d’absence
Une faible certitude indique souvent une incertitude, pas une inefficacité établie.
Confondre certitude de la preuve et force de la recommandation
Les coûts, les dommages et les valeurs interviennent dans la décision.
Traiter le consensus comme un simple vote d’autorité
Sa valeur vient de la qualité et de la convergence des raisons qui le soutiennent.
Exiger la même preuve pour toute décision
Le niveau requis dépend des conséquences et de la réversibilité de l’action.
À retenir
Toutes les observations ne possèdent pas la même valeur pour toutes les conclusions.
La force d’une preuve dépend de l’affirmation qu’elle cherche à soutenir.
Une preuve est forte lorsqu’elle rend l’hypothèse plus plausible que ses principales alternatives.
L’avis d’expert synthétise des connaissances, mais reste vulnérable aux biais et aux conflits d’intérêts.
Un témoignage peut établir une expérience vécue sans établir la cause générale de cette expérience.
Un cas individuel peut révéler une possibilité ou réfuter une généralisation universelle, mais ne permet pas d’estimer une fréquence.
Les études transversales décrivent des associations sans établir facilement la temporalité.
Les études cas-témoins sont utiles pour les événements rares, mais sensibles au choix des contrôles et à la mesure rétrospective.
Les cohortes clarifient la temporalité et permettent d’estimer les risques, mais restent exposées aux facteurs confondants.
Les essais randomisés constituent une preuve particulièrement forte pour certaines interventions, à condition d’être correctement conçus et analysés.
La randomisation ne garantit pas la pertinence du critère, la généralisation, la sécurité à long terme ou la qualité de la mise en œuvre.
Les quasi-expériences peuvent fournir des preuves causales fortes lorsque leurs hypothèses sont crédibles.
Les revues systématiques réduisent la sélection subjective des études, mais dépendent de la qualité de la littérature.
Une méta-analyse ne transforme pas automatiquement plusieurs études faibles en preuve forte.
Les preuves mécanistes expliquent comment un effet peut être produit. Elles ne garantissent pas toujours un bénéfice global.
Les études qualitatives fournissent des preuves importantes sur les significations, les expériences, les mécanismes sociaux et la mise en œuvre.
La qualité d’une preuve dépend notamment :
- du risque de biais ;
- de la précision ;
- de la directivité ;
- de la cohérence ;
- de la réplication ;
- du biais de publication.
La convergence de plusieurs méthodes indépendantes peut être plus forte qu’une hiérarchie appliquée mécaniquement.
Une pyramide unique des preuves est souvent trop simple.
Il est plus utile de construire un réseau dans lequel différentes méthodes soutiennent différentes parties de la conclusion.
Une preuve très précise peut rester invalide si elle repose sur une sélection ou une mesure biaisée.
Une preuve indirecte peut être forte lorsque les étapes intermédiaires sont solidement établies.
La plausibilité initiale et les taux de base influencent le poids d’une nouvelle observation.
Une hypothèse extraordinaire demande généralement plusieurs preuves indépendantes et sévères.
Une preuve faible ne signifie pas que l’hypothèse est fausse. Elle signifie que la conclusion demeure incertaine.
Une preuve élevée ne signifie pas certitude absolue ni obligation morale.
La force d’une recommandation dépend aussi :
- des bénéfices ;
- des dommages ;
- des coûts ;
- des préférences ;
- de l’équité.
Le niveau de preuve demandé doit être proportionné aux conséquences de la décision.
La question centrale n’est donc pas seulement :
« Quel type d’étude se trouve le plus haut dans la pyramide ? »
mais :
« Quelle affirmation voulons-nous établir, quelles erreurs chaque méthode permet-elle d’écarter, quelles limites subsistent, et plusieurs lignes de preuve indépendantes convergent-elles vers la même conclusion ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Qu’est-ce qu’une preuve scientifique ?
- Une preuve est-elle toujours relative à une affirmation ?
- À quoi sert une hiérarchie des preuves ?
- Pourquoi une mauvaise étude randomisée peut-elle être moins informative qu’une bonne étude observationnelle ?
- Quelle valeur possède un témoignage ?
- À quoi servent les études de cas et les séries de cas ?
- Quelle différence existe entre étude transversale, étude cas-témoins et cohorte ?
- Pourquoi les essais randomisés sont-ils souvent considérés comme forts ?
- Quelles sont leurs limites ?
- Une expérience naturelle peut-elle fournir une preuve causale solide ?
- Quelle différence existe entre revue systématique et méta-analyse ?
- Pourquoi une méta-analyse ne se trouve-t-elle pas automatiquement au sommet ?
- Quelle valeur possèdent les preuves mécanistes ?
- Les études qualitatives constituent-elles des preuves scientifiques ?
- Quelle différence existe entre précision et validité ?
- Qu’est-ce que la directivité d’une preuve ?
- Comment la triangulation renforce-t-elle une conclusion ?
- Qu’est-ce que le système GRADE ?
- Quelle différence existe entre certitude de la preuve et force d’une recommandation ?
- Comment adapter le niveau de preuve aux conséquences d’une décision ?
Quelques références
- David Hume, *Enquête sur l’entendement humain*.
- John Stuart Mill, *Système de logique*.
- Charles Sanders Peirce, textes sur l’abduction et l’enquête.
- Karl Popper, *La Logique de la découverte scientifique*.
- Imre Lakatos, *The Methodology of Scientific Research Programmes*.
- Carl Hempel, *Aspects of Scientific Explanation*.
- Austin Bradford Hill, « The Environment and Disease: Association or Causation? »
- Archie Cochrane, *Effectiveness and Efficiency*.
- David Sackett et ses collaborateurs, travaux sur la médecine fondée sur les preuves.
- Gordon Guyatt et ses collaborateurs, travaux sur l’evidence-based medicine et le système GRADE.
- Holger Schünemann et ses collaborateurs, travaux sur l’évaluation de la certitude des preuves.
- Iain Chalmers, travaux sur les essais, les revues systématiques et la transparence.
- Julian Higgins et ses collaborateurs, *Cochrane Handbook for Systematic Reviews of Interventions*.
- John Ioannidis, travaux sur la crédibilité de la littérature scientifique.
- Nancy Cartwright, *Nature’s Capacities and Their Measurement*.
- Nancy Cartwright et Jeremy Hardie, *Evidence-Based Policy*.
- Angus Deaton et Nancy Cartwright, travaux sur les essais randomisés et leurs limites.
- Jeremy Howick, *The Philosophy of Evidence-Based Medicine*.
- Jon Williamson, travaux sur l’articulation des preuves statistiques et mécanistes.
- Federica Russo et Jon Williamson, travaux sur la causalité et les mécanismes.
- Phyllis Illari et Federica Russo, *Causality: Philosophical Theory Meets Scientific Practice*.
- Deborah Mayo, *Statistical Inference as Severe Testing*.
- Judea Pearl, *Causality*.
- Miguel Hernán et James Robins, *Causal Inference: What If*.
- Marcus Munafò et George Davey Smith, travaux sur la triangulation.
- Norman Denzin, travaux sur la triangulation méthodologique.
- Michael Quinn Patton, travaux sur les méthodes qualitatives et mixtes.
- National Academies of Sciences, *Reproducibility and Replicability in Science*.