Évaluer une affirmation scientifique : une grille pratique
« Une étude scientifique prouve que… »
Cette formule devrait immédiatement déclencher une série de questions.
Quelle étude ? Qu’a-t-elle réellement mesuré ? Sur qui ? Comparé à quoi ? Avec quelle incertitude ? Les auteurs voulaient-ils démontrer une causalité ou seulement décrire une association ? Le résultat principal était-il prévu avant l’analyse ? L’effet est-il important ou seulement statistiquement détectable ? D’autres équipes l’ont-elles retrouvé ? Et surtout : que montre l’ensemble de la littérature, plutôt que cet article particulier ?
À l’issue de toute cette rubrique, une conclusion devrait désormais être claire : évaluer une affirmation scientifique ne consiste pas à chercher un label unique permettant de décider rapidement “vrai” ou “faux”.
« Étude randomisée », « p < 0,05 », « peer-reviewed », « méta-analyse », « grande université », « consensus scientifique » sont tous des éléments potentiellement informatifs.
Aucun n’est un sceau de vérité.
Les méthodes modernes d’évaluation des preuves fonctionnent justement en examinant plusieurs dimensions distinctes. Cochrane sépare par exemple explicitement le risque de biais de l’imprécision et de la validité externe, et son outil RoB 2 évalue différents mécanismes de biais pour un résultat déterminé plutôt que d’attribuer simplement une note globale de « qualité » à une étude.
De même, l’approche GRADE ne déduit pas la certitude d’un corps de preuves d’un seul indicateur : elle examine notamment risque de biais, incohérence entre études, caractère indirect des preuves, imprécision et biais de publication.
La bonne grille d’analyse doit donc ressembler moins à un détecteur de vérité qu’à une enquête sur les chemins possibles de l’erreur.
La question générale est :
« Quelles raisons avons-nous de penser que cette affirmation résisterait si nous améliorions la mesure, modifiions raisonnablement l’analyse, répétions l’étude et examinions toutes les preuves disponibles ? »
Première étape : retrouver l’affirmation exacte
Avant d’évaluer les preuves, il faut savoir quelle proposition nous sommes censés évaluer.
Prenons un titre imaginaire mais parfaitement plausible :
« Boire du café réduit de 30 % le risque de démence. »
Cette phrase peut correspondre à des résultats très différents.
L’étude a-t-elle montré que :
les buveurs de café avaient 30 % moins de diagnostics pendant dix ans ?
Que l’effet concernait seulement certains participants ?
Qu’une différence apparaissait après ajustement statistique ?
Que le risque relatif diminuait de 30 %, mais que la différence absolue était faible ?
Que des marqueurs biologiques associés au risque étaient différents ?
Ces affirmations ne sont pas interchangeables.
Un article peut montrer :
« dans cette cohorte, une consommation déclarée de café était associée à un risque ultérieur inférieur »
alors qu’un titre médiatique devient :
« le café protège le cerveau ».
Nous sommes passés :
d’une association observée
à une affirmation causale.
Avant toute critique sophistiquée, il faut donc reformuler la conclusion dans les termes les plus proches possible de ce que l’étude a réellement établi.
C’est souvent l’étape qui élimine le plus grand nombre de malentendus.
Séparer trois niveaux : résultat, interprétation et généralisation
Une étude peut produire un résultat empirique :
« dans cet échantillon, le groupe A présente une moyenne inférieure de 4 unités au groupe B ».
Les chercheurs ajoutent ensuite une interprétation :
« cette différence pourrait être due à l’intervention X ».
Puis vient éventuellement une généralisation :
« X devrait produire cet effet dans la population générale ».
À chaque étape apparaissent de nouvelles hypothèses.
Le résultat dépend :
des mesures ;
des participants ;
de l’analyse.
L’interprétation causale dépend en plus :
du contrôle des explications concurrentes.
La généralisation dépend encore :
de la similitude entre les conditions de l’étude et les populations auxquelles on veut appliquer le résultat.
Un titre peut être correct au premier niveau et beaucoup trop affirmatif au troisième.
Une bonne lecture demande donc constamment :
« À quel niveau de l’inférence cette phrase appartient-elle ? »
Commencer par la question, pas par le prestige de la méthode
Une réaction courante consiste à demander immédiatement :
« Est-ce un essai randomisé ? »
ou
« Est-ce une méta-analyse ? »
La meilleure première question est plutôt :
« Quel problème cherche-t-on à résoudre ? »
Pour savoir si un médicament cause une réduction d’un symptôme, un essai randomisé peut constituer un dessin particulièrement puissant.
Pour savoir quelle proportion d’une population possède une maladie, la randomisation n’est pas ce dont nous avons besoin : la représentativité de l’échantillonnage devient cruciale.
Pour identifier les effets indésirables rarissimes d’un traitement après quinze ans, une immense base observationnelle peut être plus informative qu’un essai de quelques milliers de personnes suivi pendant un an.
Pour reconstruire la cause d’un événement géologique ancien, aucune randomisation n’est même concevable.
Le bon dessin d’étude est donc celui qui répond correctement à la question tout en contrôlant les erreurs les plus importantes pour cette question.
C’est pourquoi les guides méthodologiques diffèrent selon les types d’études. Le réseau EQUATOR recense notamment des recommandations distinctes pour essais randomisés, études observationnelles, revues systématiques, études diagnostiques, recherches qualitatives ou études animales.
La méthode doit suivre la question.
Pas l’inverse.
Attention : bien rapporté ne signifie pas nécessairement bien réalisé
Cette distinction est très utile lors de la lecture d’un article.
Des recommandations comme CONSORT 2025 définissent les informations essentielles qui devraient être rapportées pour permettre de comprendre correctement un essai randomisé. Elles améliorent la transparence et la possibilité d’évaluer le travail.
Mais un article peut suivre parfaitement CONSORT et décrire avec une grande transparence une étude comportant une limite réelle.
Un mauvais aveugle ne devient pas bon parce qu’il est correctement déclaré.
Une faible puissance ne disparaît pas parce que sa justification est parfaitement documentée.
Inversement, l’absence de certains détails dans un article ancien ne prouve pas automatiquement que la procédure n’a jamais été utilisée : elle peut refléter un mauvais reporting.
Il faut donc distinguer :
qualité du compte rendu
et
qualité de la production de la preuve.
La transparence permet de mieux juger la qualité.
Elle n’est pas elle-même toute la qualité.
Qui a été étudié ?
Une affirmation concernant « les humains », « les patients », « les enfants » ou « les électeurs » repose concrètement sur un ensemble précis de personnes.
Il faut donc demander :
qui pouvait participer ?
Qui a effectivement participé ?
Qui a refusé ?
Qui a été exclu ?
Qui a disparu pendant le suivi ?
Supposons qu’une application numérique soit testée exclusivement sur :
des volontaires ;
âgés de 18 à 30 ans ;
diplômés ;
habitués à utiliser des smartphones ;
recrutés dans une seule université.
L’étude peut parfaitement estimer son effet sur ce groupe.
Le problème apparaît si l’on conclut :
« l’application fonctionne dans toute la population ».
Une très grande taille d’échantillon ne règle pas automatiquement cette difficulté.
Un million de participants sélectionnés de la même manière peuvent fournir une estimation extrêmement précise d’une population mal alignée avec la question qui nous intéresse.
Cochrane distingue explicitement risque de biais, imprécision et validité externe : une étude peut être très précise tout en ayant une faible applicabilité à une autre population.
La question n’est donc jamais simplement :
« combien de personnes ? »
mais :
« quelles personnes, sélectionnées comment, relativement à quelle population cible ? »
Une étude gigantesque peut être très précise et pourtant systématiquement fausse
Imaginons une balance indiquant toujours deux kilogrammes de trop.
Mesurons cent personnes.
Puis un million.
La moyenne sera estimée avec une précision extraordinaire.
Elle restera déplacée de deux kilogrammes.
Le même principe vaut en recherche.
Augmenter l’échantillon réduit certaines formes d’erreur aléatoire.
Cela ne corrige pas nécessairement :
une mauvaise mesure ;
une sélection biaisée ;
un confondeur non contrôlé ;
une erreur systématique dans le traitement des données.
Cochrane insiste précisément sur cette distinction : une petite étude peut être peu biaisée mais très imprécise, tandis qu’une grande étude peut produire une estimation précise tout en restant à haut risque de biais.
La taille d’échantillon est donc importante.
Elle n’est jamais une garantie autonome de validité.
Qu’a-t-on réellement mesuré ?
Nous avons commencé cette rubrique en insistant sur l’opérationnalisation.
Il faut y revenir devant chaque affirmation.
Un article prétend étudier :
le bonheur.
Comment ?
Par une question unique ?
Un questionnaire validé ?
Une mesure comportementale ?
Il étudie :
la pauvreté.
Par le revenu ?
Le patrimoine ?
Les privations matérielles ?
Il étudie :
la « réussite scolaire ».
Par les notes ?
Le diplôme ?
Un test standardisé ?
Le problème n’est pas que ces indicateurs seraient forcément mauvais.
Il est qu’ils ne représentent jamais automatiquement la totalité du concept.
Une mesure peut être extrêmement précise et ne capturer qu’un aspect étroit du phénomène.
Il faut donc demander :
« Quel concept l’article affirme-t-il étudier, et quelle variable concrète a réellement été mesurée ? »
Plus l’écart entre les deux est grand, plus l’interprétation nécessite d’hypothèses supplémentaires.
Une mesure est-elle fiable et valide ?
Deux questions doivent être séparées.
Fiabilité : la mesure produit-elle suffisamment stablement des résultats cohérents ?
Validité : mesure-t-elle réellement ce qu’on pense qu’elle mesure ?
Un questionnaire peut produire presque exactement le même score lorsqu’il est répété et être pourtant une mauvaise mesure du concept supposé.
Un appareil peut être extrêmement précis mais mal calibré.
Une mesure subjective peut être parfaitement légitime lorsqu’elle concerne un phénomène subjectif comme la douleur, mais elle peut être davantage sensible :
aux attentes ;
à la formulation des questions ;
à la connaissance du traitement.
Une étude solide doit donc nous permettre de comprendre :
comment les variables ont été construites, testées et interprétées.
Le nombre de décimales dans un tableau ne dit presque rien à lui seul sur la qualité de cette chaîne de mesure.
Quelle comparaison permet réellement de soutenir la conclusion ?
Une grande partie de l’inférence scientifique repose sur des comparaisons.
Un patient traité s’améliore.
Mais aurait-il également progressé sans le traitement ?
Un pays adopte une politique et la criminalité baisse.
Mais aurait-elle baissé de toute façon ?
Une personne consommant beaucoup de légumes vit plus longtemps.
Mais diffère-t-elle aussi par :
revenu ;
activité physique ;
tabac ;
suivi médical ?
Une conclusion causale exige donc une comparaison qui représente aussi bien que possible ce qui se serait passé sans la cause étudiée.
Dans un essai randomisé, l’attribution aléatoire aide à construire des groupes comparables relativement aux caractéristiques initiales.
Dans une étude observationnelle, il faut examiner beaucoup plus attentivement :
sélection ;
confusion ;
temporalité ;
ajustements ;
éventuelles expériences naturelles.
Le mot contrôle ne signifie pas seulement qu’un groupe témoin apparaît quelque part dans l’article.
Il faut demander :
« cette comparaison élimine-t-elle réellement les principales explications concurrentes ? »
« Corrélation n’est pas causalité » est seulement le début
Cette formule est vraie.
Elle est insuffisante.
Si nous l’utilisons mécaniquement, aucune étude observationnelle ne pourrait jamais fournir d’information causale sérieuse.
Or certaines relations causales importantes ont été établies sans essai randomisé direct.
La bonne question n’est pas :
« est-ce observationnel ? Donc rejetons. »
Elle est :
« quelles autres causes de l’association sont plausibles, et quelles méthodes ont été utilisées pour les éliminer ou les rendre improbables ? »
Temporalité.
Dose-réponse.
Quasi-expériences.
Contrôles négatifs.
Différentes populations.
Mécanismes.
Triangulation.
Une association observationnelle isolée peut être faible.
Une convergence de plusieurs dessins différents peut devenir extrêmement forte.
L’évaluation de la causalité demande donc une architecture d’arguments, pas un slogan.
Dans un essai randomisé, regarder au-delà du mot « randomisé »
L’étiquette RCT peut encourager un arrêt prématuré de l’analyse.
Cochrane utilise justement son outil RoB 2 pour examiner plusieurs domaines distincts : processus de randomisation, écarts par rapport aux interventions prévues, données manquantes, mesure du résultat et sélection du résultat rapporté.
Ces domaines rappellent plusieurs questions concrètes.
La séquence était-elle réellement aléatoire ?
L’allocation était-elle dissimulée avant l’inclusion ?
Les participants ou évaluateurs pouvaient-ils savoir quel traitement avait été attribué ?
Les pertes au suivi diffèrent-elles entre groupes ?
Le critère étudié est-il celui qui avait réellement été prévu ?
Le résultat choisi pour l’article est-il seulement l’un des nombreux résultats disponibles ?
Deux essais portant tous les deux l’étiquette « randomisé » peuvent donc fournir des preuves de qualité très différente.
Une faiblesse méthodologique n’a pas la même importance pour tous les résultats
Supposons un essai non aveugle.
Pour une mesure très subjective de satisfaction, cela peut créer un problème important.
Pour une mortalité enregistrée automatiquement, le même manque d’aveugle peut avoir moins d’influence directe sur la mesure elle-même, même si d’autres différences de prise en charge restent possibles.
C’est pourquoi RoB 2 évalue un résultat déterminé plutôt qu’une étude entière avec une seule note globale.
Cette logique mérite d’être généralisée.
Ne demandons pas seulement :
« cette étude est-elle bonne ? »
Demandons :
« ce résultat précis est-il vulnérable à ce défaut précis ? »
C’est beaucoup plus informatif.
Quelle est la taille de l’effet ?
Un article annonce :
« différence statistiquement significative ».
La première question devrait être :
« de combien ? »
Un médicament peut réduire :
un score de douleur de 0,2 point sur 10
et produire :
p < 0,00001
dans un gigantesque échantillon.
Le résultat est statistiquement très détectable.
Il peut rester pratiquement insignifiant.
À l’inverse, une diminution potentiellement importante peut ne pas atteindre un seuil conventionnel dans une petite étude.
L’American Statistical Association a précisément rappelé que la valeur *p* ne mesure ni la taille d’un effet ni son importance, et qu’une conclusion scientifique ne devrait pas être fondée uniquement sur le franchissement d’un seuil particulier.
La taille de l’effet doit donc précéder son étiquette de significativité dans notre lecture.
Risque relatif et risque absolu
Voici un piège particulièrement fréquent dans les titres.
Supposons que le risque d’un événement passe de :
2 cas pour 10 000
à
1 cas pour 10 000.
La réduction relative est :
50 %.
La réduction absolue est :
0,01 point de pourcentage.
Les deux formulations sont mathématiquement correctes.
Elles produisent des impressions radicalement différentes.
Inversement, une réduction relative modeste appliquée à un événement très fréquent peut représenter un bénéfice absolu important.
Lorsque le résultat concerne un risque, une bonne évaluation demande donc autant que possible :
« combien d’événements avec l’exposition ? combien sans ? »
Cochrane recommande justement que ses tableaux de synthèse présentent lorsque cela est approprié les effets relatifs et absolus, ainsi que la quantité de preuves disponible.
Quelle est l’incertitude autour de l’estimation ?
Une différence estimée à 20 % peut correspondre à :
IC 95 % : 18 à 22 %
ou
IC 95 % : −10 à +50 %.
L’estimation centrale est identique.
L’information ne l’est pas du tout.
Le premier résultat est très précis.
Le second reste compatible avec :
un dommage ;
aucun effet ;
ou un bénéfice considérable.
Il faut donc toujours examiner l’étendue des valeurs compatibles avec les données et le modèle, pas seulement le nombre placé au centre.
Cette habitude permet également de dépasser le faux contraste :
significatif / non significatif.
Deux études peuvent avoir presque la même estimation et être classées de part et d’autre de p = 0,05 simplement parce que leur précision diffère légèrement.
Une valeur p ne dit pas ce que beaucoup de lecteurs pensent qu’elle dit
Un résultat :
p = 0,03
ne signifie pas :
« il y a 3 % de chances que l’hypothèse nulle soit vraie ».
Il ne signifie pas non plus :
« il y a 97 % de chances que l’hypothèse scientifique soit correcte ».
L’ASA a publié en 2016 une déclaration précisément destinée à corriger ces interprétations et à rappeler que les valeurs *p* doivent être comprises dans le contexte du dessin de recherche, du processus analytique et des autres preuves disponibles.
La question pratique devient donc :
« quel est l’effet estimé, avec quelle incertitude, selon quel modèle ? »
La valeur *p* peut être une information supplémentaire.
Elle ne doit pas remplacer ces questions.
« Pas significatif » ne veut pas dire « aucun effet »
Supposons :
effet estimé : −15 % ;
IC 95 % : −40 % à +12 % ;
p = 0,20.
L’étude n’a pas clairement détecté une différence.
Elle n’a pas pour autant démontré :
« effet = zéro ».
Les données restent compatibles avec des effets assez importants.
Comparons avec :
effet estimé : 0,2 % ;
IC 95 % : −1 % à +1,4 %.
Cette seconde étude peut fournir une preuve beaucoup plus forte que les effets importants sont absents ou très faibles, même si l’on ne franchit pas non plus un seuil conventionnel de significativité.
L’absence de preuve ne devient véritablement preuve d’absence que lorsque l’étude possédait la capacité de détecter les effets que l’on prétend exclure.
Quelle puissance avait réellement l’étude ?
Une étude de vingt participants n’a pas la même capacité à tester un petit effet qu’une étude de dix mille personnes.
Mais la puissance ne doit pas être transformée en label non plus.
Elle dépend :
de la taille d’effet envisagée ;
de la variabilité ;
du seuil statistique ;
du dessin ;
de la qualité des mesures.
Demander :
« l’étude avait 80 % de puissance ? »
sans préciser pour détecter quel effet est incomplet.
Une bonne question est :
« quelle différence la recherche était-elle conçue pour pouvoir détecter avec une probabilité raisonnable ? »
Puis :
« cette différence est-elle scientifiquement ou pratiquement importante ? »
Les résultats sont-ils robustes aux choix raisonnables ?
Beaucoup d’analyses ne possèdent pas une seule spécification possible.
On peut parfois choisir :
plusieurs définitions ;
plusieurs transformations ;
plusieurs covariables ;
plusieurs exclusions.
Une conclusion solide devrait idéalement ne pas dépendre d’un choix arbitraire extrêmement particulier.
Il est donc intéressant de demander :
que devient l’effet si les valeurs aberrantes sont traitées différemment ?
Si l’on change légèrement la spécification ?
Si l’on considère une autre mesure raisonnable ?
Si le résultat disparaît complètement dès que l’on modifie un détail, il ne devient pas nécessairement faux.
Il devient fragile.
Cochrane recommande d’ailleurs des analyses de sensibilité dans les synthèses afin d’examiner si les conclusions générales résistent aux décisions potentiellement influentes.
La robustesse n’exige pas que tous les modèles donnent exactement le même nombre.
Elle exige que l’histoire scientifique générale survive aux choix raisonnables.
Ce résultat avait-il été prévu ?
Une association découverte après exploration de données peut être scientifiquement fascinante.
Mais son statut n’est pas le même qu’une prédiction spécifiée avant les résultats.
Il faut donc rechercher :
protocole ;
enregistrement ;
préenregistrement ;
plan d’analyse ;
date des hypothèses.
Si l’article annonçait initialement une variable principale et met finalement en avant une autre sans explication, notre confiance doit diminuer.
Si les chercheurs écrivent honnêtement :
« cette analyse est exploratoire »
la situation est différente.
La flexibilité n’est pas le problème en soi.
La flexibilité cachée l’est davantage.
Combien de questions ont été testées avant celle qui « marche » ?
Imaginons cent analyses indépendantes effectuées au seuil de 5 % dans une situation où aucun effet réel n’existe.
Nous devrions nous attendre à voir apparaître quelques résultats fortuitement « significatifs ».
Les méthodes réelles sont souvent plus complexes et les tests ne sont pas nécessairement indépendants, mais l’intuition reste valable :
plus une étude possède d’occasions de produire un résultat intéressant, plus le résultat final doit être interprété en tenant compte de cette multiplicité.
Il faut donc regarder :
nombre d’outcomes ;
sous-groupes ;
temps de mesure ;
modèles ;
transformations.
Un résultat isolé au milieu d’une forêt d’analyses négatives ne possède pas la même force qu’une prédiction principale retrouvée exactement comme prévu.
Que manque-t-il dans l’article ?
Cette question est moins intuitive que :
« qu’est-ce qui est présent ? »
Elle est parfois plus importante.
Des participants ont-ils disparu ?
Un critère prévu est-il absent ?
Une analyse mentionnée dans le protocole n’apparaît-elle plus ?
Des effets indésirables sont-ils moins détaillés que les bénéfices ?
Les résultats ne pouvant être retrouvés dans les publications constituent une source importante de biais pour les synthèses. Cochrane rappelle qu’il existe des preuves convaincantes que les résultats statistiquement non significatifs ou défavorables sont moins facilement publiés et peuvent ainsi manquer systématiquement aux revues.
Une publication scientifique est donc toujours ce qui a réussi à atteindre le lecteur.
Ce n’est pas nécessairement tout ce qui a été étudié.
Le financement et les conflits d’intérêts modifient-ils notre interprétation ?
Ils doivent être pris en compte.
Ils ne doivent pas remplacer l’analyse.
Un financement par une entreprise bénéficiant directement du résultat doit augmenter notre vigilance concernant :
choix du comparateur ;
critères ;
analyse ;
publication ;
accès aux données.
Mais la conclusion :
« financé par l’industrie, donc faux »
serait elle aussi irrationnelle.
De même, l’absence de financement industriel ne garantit pas l’absence :
d’intérêts intellectuels ;
institutionnels ;
politiques ;
professionnels.
Le conflit d’intérêts est un indice sur un mécanisme possible de biais.
Il n’est pas une réfutation.
La meilleure réponse consiste à demander :
« quels contrôles rendent ce résultat moins dépendant de l’intérêt particulier des auteurs ou du sponsor ? »
Préenregistrement.
Analyse indépendante.
Données accessibles.
Réplications indépendantes.
Le résultat est-il plausible ?
Cette question est utile mais dangereuse.
Une affirmation extrêmement incompatible avec un ensemble considérable de connaissances bien établies demande généralement des preuves plus fortes qu’une petite extension de ce que nous connaissons déjà.
Mais :
« cela me semble bizarre »
n’est pas une réfutation.
Une découverte scientifique peut précisément être importante parce qu’elle contredit certaines attentes.
La plausibilité initiale doit donc influencer notre degré de prudence sans devenir un mécanisme permettant d’écarter automatiquement toute anomalie.
Une bonne nouveauté doit progressivement démontrer qu’elle :
résiste aux contrôles ;
se réplique ;
explique l’anomalie ;
et s’intègre ou corrige le reste des connaissances.
Une étude isolée ne constitue presque jamais l’unité finale de jugement
C’est peut-être la règle la plus importante.
Supposons une étude absolument remarquable.
Grande.
Préenregistrée.
Bien mesurée.
Faible risque de biais.
L’estimation reste une réalisation particulière d’un processus de recherche.
Une autre population peut donner un résultat différent.
Une erreur jusque-là inconnue peut apparaître.
Une réplication peut réduire fortement l’effet.
La question suivante doit donc être :
« qu’ont trouvé les autres études ? »
Les National Academies insistent précisément sur le fait que la confiance scientifique se construit par plusieurs lignes de recherche, reproductions, réplications et intégration progressive dans un réseau de connaissances, plutôt que par une seule publication spectaculaire.
Un article mérite notre attention.
Un corps de preuves mérite notre confiance.
Chercher d’abord une synthèse lorsque la question est mature
Si cinquante essais existent sur une intervention, lire arbitrairement le dernier n’est généralement pas la meilleure stratégie.
Une revue systématique bien conduite permet de :
rechercher plusieurs études ;
examiner leurs méthodes ;
comparer leurs résultats ;
évaluer les biais ;
éventuellement réaliser une méta-analyse.
Mais nous savons désormais qu’une revue systématique n’est pas automatiquement bonne parce qu’elle porte ce nom.
Il faut examiner :
la recherche documentaire ;
les critères d’inclusion ;
les études manquantes ;
les risques de biais ;
l’hétérogénéité.
Cochrane avertit explicitement qu’une méta-analyse peut être très trompeuse si le dessin des études, leurs biais, les différences entre elles et les biais de reporting ne sont pas correctement considérés.
Le losange au bas du *forest plot* n’est donc pas la fin de l’analyse.
Il est une synthèse dont la valeur dépend de ce qui a été mis dedans.
Les études racontent-elles la même histoire ?
Supposons dix études :
neuf trouvent un bénéfice proche de 10 % ;
une trouve 8 %.
C’est une convergence assez nette.
Comparons avec :
trois trouvent +50 % ;
trois trouvent 0 ;
quatre trouvent −30 %.
La même moyenne arithmétique pourrait parfois apparaître.
L’interprétation serait totalement différente.
Il faut donc regarder :
direction ;
amplitude ;
populations ;
méthodes.
L’hétérogénéité peut signifier :
variation réelle de l’effet ;
biais différents ;
population différente ;
mesures différentes.
Elle peut transformer la question :
« quel est l’effet moyen ? »
en :
« pourquoi l’effet change-t-il selon les situations ? »
Les synthèses modernes doivent donc examiner non seulement si les études convergent, mais aussi la structure de leurs divergences.
Les meilleures études donnent-elles le même résultat que les plus fragiles ?
Une vérification extrêmement informative consiste à comparer :
études présentant les meilleures protections méthodologiques
et
études davantage exposées aux biais.
Supposons que :
toutes les petites études non aveugles trouvent un effet énorme ;
les grands essais correctement contrôlés trouvent presque zéro.
Cette structure doit influencer l’interprétation.
À l’inverse, si les résultats restent similaires lorsque :
les études fragiles sont exclues ;
la définition de l’outcome change raisonnablement ;
plusieurs modèles sont testés,
la conclusion paraît plus robuste.
Le simple nombre d’études favorables ne suffit donc pas.
Il faut savoir quelles études portent réellement le poids du résultat.
Le résultat se réplique-t-il ?
Une réplication indépendante constitue un contrôle particulièrement puissant parce qu’elle expose l’hypothèse à de nouvelles données.
Il faut toutefois demander ce que « réplication » signifie ici.
La même base analysée par une autre équipe ?
Reproduction computationnelle.
Un nouvel échantillon avec la même méthode ?
Réplication relativement directe.
Une autre méthode cherchant le même phénomène ?
Réplication conceptuelle ou triangulation.
Ces contrôles ne sont pas identiques.
Une conclusion devient particulièrement intéressante lorsque plusieurs d’entre eux convergent.
L’idéal n’est pas que chaque réplication fournisse exactement le même chiffre.
Il est que les différences restent compréhensibles dans le cadre de :
l’incertitude ;
la variation entre populations ;
les modifications raisonnables de méthode.
Une non-réplication ne réfute pas automatiquement
La seconde étude peut :
avoir moins de puissance ;
utiliser une population différente ;
mesurer différemment le phénomène ;
échouer à reproduire une condition essentielle.
Mais une répétition des échecs de réplication doit évidemment diminuer notre confiance, surtout lorsque les nouvelles études sont :
plus grandes ;
plus transparentes ;
plus préenregistrées ;
mieux contrôlées.
La question utile devient :
« quelle explication rend compte simultanément de l’étude originale et des réplications ? »
Parfois, l’effet initial disparaît.
Parfois, il devient plus petit.
Parfois, on découvre qu’il existe seulement dans certaines conditions.
Une bonne science apprend aussi des échecs.
Les résultats sont-ils transparents et contrôlables ?
Nous avons vu l’importance :
des données ;
du code ;
des protocoles ;
du préenregistrement.
Leur disponibilité ne garantit pas que l’étude soit correcte.
Elle augmente cependant les possibilités de détecter certaines erreurs.
Si les données sont ouvertes, une autre équipe peut parfois refaire les calculs.
Si le code est disponible, elle peut examiner comment l’analyse a réellement été réalisée.
Si le protocole est accessible, elle peut comparer :
prévu
et
rapporté.
La question ne doit donc pas être :
« open science, oui ou non ? »
mais :
« quelles parties du résultat peuvent réellement être contrôlées par une personne extérieure ? »
Un article peer-reviewed mérite davantage d’attention, pas une confiance illimitée
La revue par les pairs fournit un contrôle supplémentaire.
Des spécialistes ont normalement eu l’occasion :
d’examiner les méthodes ;
de demander des modifications ;
de critiquer l’interprétation.
Mais ils n’ont généralement pas :
répété l’expérience ;
vérifié toutes les données ;
rejoué chaque analyse ;
détecté toute erreur ou fraude possible.
L’étiquette peer-reviewed doit donc augmenter notre confiance relativement à un contenu non évalué comparable.
Elle ne doit pas arrêter l’évaluation.
De même, un preprint n’est pas nécessairement mauvais : il demande simplement davantage de prudence parce qu’une étape institutionnelle de critique manque encore.
Le prestige de la revue est un signal faible comparé à la méthode
Nature, Science, The Lancet ou une autre revue prestigieuse peuvent sélectionner des recherches importantes.
Leur réputation transmet donc une certaine information.
Mais la crise de reproductibilité a montré très clairement que des articles publiés dans d’excellentes revues peuvent :
contenir des erreurs ;
être surestimés ;
ne pas se répliquer.
Le prestige est surtout un filtre éditorial et social.
La preuve se trouve toujours dans :
le dessin ;
les données ;
la reproductibilité ;
les réplications ;
le corpus.
Un bon réflexe consiste donc à lire :
la méthode avant l’adresse de publication.
L’auteur est-il réellement expert de la question ?
Cette étape devient particulièrement importante lorsqu’une affirmation est relayée par :
une tribune ;
une vidéo ;
un entretien ;
un réseau social.
Il faut vérifier si la personne possède une expertise pertinente pour la question précise.
Un biologiste n’est pas expert de toute la biologie.
Un médecin n’est pas expert de toute la médecine.
Un Nobel n’est pas expert universel.
Ensuite, il faut idéalement passer de la personnalité au domaine :
« que pensent les autres spécialistes compétents ? »
Un expert individuel peut ouvrir une piste.
Une convergence communautaire correctement produite offre généralement davantage de contrôles.
Existe-t-il un véritable consensus — et sur quelle proposition ?
Le consensus ne doit pas servir de raccourci pour éviter d’examiner la littérature.
Mais pour le non-spécialiste, il constitue une information importante lorsque :
les experts sont réellement compétents ;
les méthodes sont diverses ;
les équipes relativement indépendantes ;
la dissidence possible ;
les preuves nombreuses.
Il faut surtout cartographier précisément :
ce qui fait consensus ;
ce qui reste incertain ;
ce qui demeure activement disputé.
Un domaine peut être largement d’accord sur l’existence d’un effet et débattre fortement de son amplitude.
Dire :
« les scientifiques sont divisés »
serait alors aussi trompeur que :
« tout est définitivement établi ».
Ne pas confondre désaccord scientifique et désaccord sur les valeurs
Cette distinction devient cruciale lorsqu’une affirmation scientifique est utilisée dans un débat politique ou moral.
Deux personnes peuvent accepter exactement les mêmes données sur :
efficacité ;
risque ;
coût ;
et défendre néanmoins des décisions différentes.
Pourquoi ?
Parce qu’elles pondèrent différemment :
liberté ;
sécurité ;
égalité ;
coût ;
risque acceptable.
Le désaccord n’est alors plus nécessairement scientifique.
Une bonne évaluation demande :
« quelle partie du conflit porte réellement sur les faits ? »
Puis :
« quelle partie porte sur les valeurs ou les priorités ? »
Cette séparation protège la science contre une politisation artificielle et la politique contre l’idée que tout choix normatif pourrait être délégué à des experts techniques.
Tester le titre médiatique avec une traduction plus prudente
Voici une technique extrêmement utile.
Prenons :
« Le café réduit de 30 % le risque de démence. »
Après lecture de l’étude, la traduction pourrait devenir :
« Dans une cohorte de personnes âgées suivies pendant huit ans, les participants déclarant consommer telle quantité de café présentaient une incidence diagnostiquée de démence inférieure d’environ 30 % relativement au groupe de référence, après ajustement pour plusieurs variables mesurées ; l’étude observationnelle ne permet cependant pas d’exclure entièrement confusion résiduelle, sélection ou causalité liée à d’autres comportements associés à la consommation de café. »
La seconde phrase paraît beaucoup moins spectaculaire.
Elle est beaucoup plus informative.
L’objectif n’est pas de rendre toute découverte incompréhensible.
Il est d’apprendre à reconstruire les conditions cachées derrière les verbes médiatiques :
« prouve » ;
« cause » ;
« protège » ;
« augmente » ;
« confirme ».
Les « red flags » sont utiles, mais aucun n’est un verdict
Petit échantillon.
Résultat juste sous 0,05.
Sous-groupe inattendu.
Auteur en conflit d’intérêts.
Absence de réplication.
Revue peu connue.
Chacun peut justifier une prudence supplémentaire.
Aucun ne suffit automatiquement à réfuter une étude.
Inversement :
grande taille ;
p < 0,001 ;
revue prestigieuse ;
auteur célèbre ;
ne suffisent pas à établir une conclusion.
L’évaluation scientifique mature remplace donc progressivement les signaux binaires par une accumulation de raisons pondérées.
Une bonne étude peut justifier une confiance modérée, pas nécessairement une conclusion définitive
Il est important de disposer d’un vocabulaire intermédiaire.
Nous pouvons conclure :
résultat intéressant mais préliminaire ;
preuve compatible avec l’hypothèse ;
preuve modérée ;
preuve robuste ;
conclusion très bien établie.
Cette gradation est beaucoup plus fidèle que :
prouvé / réfuté.
L’approche GRADE formalise précisément cette idée dans son domaine particulier en utilisant quatre niveaux de certitude — haute, modérée, faible et très faible — pour un corps de preuves concernant un résultat donné, après examen de plusieurs dimensions méthodologiques.
Il ne s’agit pas d’utiliser GRADE comme classement universel de toute la science.
Il montre simplement qu’un jugement scientifique sérieux peut être structuré sans être artificiellement binaire.
Le niveau de confiance doit porter sur une proposition précise
Dire :
« les preuves sur ce médicament sont fortes »
reste ambigu.
Fortes concernant quoi ?
Réduction des symptômes à trois mois ?
Mortalité ?
Effets secondaires graves ?
Sécurité pendant vingt ans ?
La même intervention peut disposer :
de preuves solides sur un outcome
et
de preuves extrêmement faibles sur un autre.
Cochrane évalue justement la certitude par résultat important, et ses tableaux de synthèse présentent séparément les effets, la quantité de données et le degré de certitude pour chaque outcome.
Une bonne grille critique doit donc éviter les verdicts globaux portant sur un sujet entier.
Il faut distinguer « nous avons peu de preuves » et « les preuves montrent que c’est faux »
Supposons une nouvelle intervention dont seulement deux petites études existent.
Nous ne pouvons pas conclure :
« elle ne fonctionne pas ».
Nous pouvons seulement dire :
« nous ne disposons pas encore de preuves suffisamment solides permettant de conclure ».
À l’inverse, dix essais de grande qualité peuvent produire des estimations suffisamment précises pour exclure un bénéfice d’importance pratique.
Nous avons alors une véritable preuve contre un effet important.
Cette distinction entre :
incertitude
et
preuve d’absence
est essentielle pour éviter les conclusions trop rapides dans les deux directions.
Il faut aussi distinguer « plausible » et « démontré »
Un mécanisme convaincant peut rendre une hypothèse plausible.
Un médicament agit sur une protéine impliquée dans une maladie.
Une théorie psychologique explique élégamment un comportement.
Ce sont de bonnes raisons d’étudier l’hypothèse.
Elles ne démontrent pas nécessairement l’effet final.
Le monde contient :
effets compensatoires ;
interactions ;
causalités parallèles ;
conséquences inattendues.
L’explication mécanistique et la mesure directe de l’effet se complètent.
Elles ne doivent pas être confondues.
La meilleure preuve ressemble souvent à un réseau
Une conclusion devient particulièrement forte lorsque plusieurs questions reçoivent simultanément de bonnes réponses.
Les mesures sont valides.
Le dessin limite les principales explications concurrentes.
L’effet est suffisamment important.
L’incertitude est raisonnable.
L’analyse est transparente.
Le résultat se réplique.
Des méthodes différentes convergent.
Les synthèses ne révèlent pas de forte contradiction.
Les spécialistes compétents partagent globalement cette interprétation.
Aucun élément ne produit seul la certitude.
La force vient de la redondance des contrôles.
C’est pourquoi l’image d’une pyramide unique des preuves est moins fidèle que celle d’une architecture de preuves partiellement indépendantes.
Une grille pratique en douze questions
| Étape | Question essentielle | Signal rassurant | Signal demandant davantage de prudence |
|---|---|---|---|
| 1. Affirmation | Qu’est-ce qui est réellement affirmé ? | proposition précise, proche des données | titre plus causal ou général que l’étude |
| 2. Question | Le dessin répond-il à la bonne question ? | méthode adaptée à l’inférence recherchée | prestige méthodologique sans adéquation à la question |
| 3. Population | Qui a été étudié et comment sélectionné ? | recrutement pertinent, pertes comprises | forte sélection, généralisation excessive |
| 4. Mesure | Comment les concepts ont-ils été opérationnalisés ? | mesure validée et suffisamment fiable | proxy fragile, variable redéfinie après les résultats |
| 5. Comparaison | Quelles explications concurrentes sont contrôlées ? | contrôle, randomisation ou stratégie causale crédible | confusion probable, groupe témoin inadéquat |
| 6. Effet | Quelle est réellement l’amplitude du résultat ? | effet présenté en unités interprétables, risques absolus si pertinents | uniquement « significatif » ou pourcentage relatif spectaculaire |
| 7. Incertitude | Quelles valeurs restent compatibles avec les données ? | intervalle suffisamment précis pour la question | intervalle autorisant des conclusions opposées |
| 8. Biais | Quel mécanisme pourrait déplacer systématiquement le résultat ? | principaux risques identifiés et limités | données manquantes, mesure non aveugle, sélection du résultat |
| 9. Flexibilité | Qu’était-il prévu avant les données ? | protocole, préenregistrement, analyses clairement distinguées | nombreuses décisions non déclarées, HARKing possible |
| 10. Robustesse | Le résultat survit-il à des choix raisonnables ? | analyses de sensibilité et réplications compatibles | conclusion dépendant d’une seule spécification |
| 11. Corpus | Que montrent les autres études ? | convergence de méthodes et équipes différentes | article isolé, forte hétérogénéité inexpliquée, publication sélective possible |
| 12. Conclusion | Quel niveau de confiance le corpus justifie-t-il réellement ? | langage calibré, limites explicites | « prouvé », « aucun doute », ou scepticisme absolu injustifié |
Cette grille n’est pas une checklist permettant de calculer :
7 cases vertes = vrai.
Elle sert à structurer le raisonnement.
Certains problèmes peuvent être décisifs.
D’autres presque sans importance dans le cas étudié.
Une absence d’aveugle peut être majeure pour un résultat subjectif et mineure pour une mesure entièrement automatisée.
Une faible représentativité peut être cruciale pour estimer une prévalence et beaucoup moins pour une relation physiologique extrêmement stable.
Le poids des critères dépend donc de l’inférence précise que nous voulons tirer.
Une méthode rapide pour les informations quotidiennes
Nous n’allons évidemment pas réaliser une revue Cochrane à chaque titre rencontré dans un journal.
L’esprit critique doit aussi être économiquement réaliste.
Pour une affirmation sans grand enjeu, il suffit souvent de demander :
quelle est la source ?
quel type d’étude ?
quelle taille d’effet ?
est-ce une étude isolée ou un corpus ?
Puis de conserver un niveau de confiance modeste.
Pour une décision importante, on augmente progressivement la profondeur :
article original ;
revue systématique ;
risque de biais ;
réplications ;
position des experts ;
incertitudes.
L’effort critique doit être proportionnel à l’enjeu et à la fragilité de l’information.
Cette règle évite deux extrêmes :
croire tout ce qui porte le mot « science »
et
passer sa vie à vérifier personnellement chaque détail de toute affirmation.
Quand suspendre son jugement
Une compétence essentielle consiste à reconnaître les situations dans lesquelles la meilleure conclusion est :
« je ne sais pas encore ».
Par exemple lorsque :
une seule petite étude existe ;
les résultats sont fortement contradictoires ;
le domaine est tout nouveau ;
le résultat dépend d’analyses peu transparentes ;
les synthèses disponibles sont anciennes ou fragiles.
Suspendre son jugement n’est pas refuser de penser.
C’est parfois le résultat le plus rationnel de la pensée critique.
Nous pouvons alors conserver plusieurs hypothèses avec des degrés de plausibilité différents et attendre :
de nouvelles données ;
une réplication ;
une meilleure synthèse.
Quand une conclusion mérite au contraire une confiance élevée
La prudence critique ne signifie pas qu’il faille rester indéfiniment dans le doute.
Lorsqu’une conclusion repose sur :
des méthodes bien adaptées ;
des mesures fiables ;
de grands ensembles de données ;
des expériences ou quasi-expériences convaincantes ;
des réplications indépendantes ;
plusieurs disciplines ou méthodes convergentes ;
des synthèses systématiques ;
un accord stable des spécialistes,
continuer à traiter toutes les alternatives comme également probables n’est plus de l’esprit critique.
C’est refuser de mettre à jour ses croyances.
Le doute doit être proportionné aux raisons de douter.
La charge de la preuve augmente lorsque l’on conteste un corpus très solide
Une nouvelle observation peut contredire une littérature ancienne.
Elle mérite d’être examinée.
Mais une petite étude ne renverse pas automatiquement :
cinquante essais ;
plusieurs méta-analyses ;
des mécanismes indépendamment confirmés.
La nouvelle hypothèse doit idéalement expliquer :
son propre résultat
et
pourquoi toutes les preuves antérieures semblaient converger.
Plus un corpus a survécu à des contrôles indépendants, plus les preuves nécessaires pour le renverser doivent être fortes.
Ce principe n’est pas un conservatisme dogmatique.
Il correspond simplement à l’accumulation rationnelle des preuves.
La critique la plus forte cherche ce qui pourrait faire changer d’avis
Lorsque nous évaluons une affirmation, une excellente question est :
« Qu’est-ce qui me ferait réviser mon jugement ? »
Mais il faut poser exactement la même question à la position opposée.
Si quelqu’un affirme qu’un traitement fonctionne, qu’accepterait-il comme preuve contraire ?
Si quelqu’un affirme qu’il ne fonctionne pas, quel résultat suffisamment solide lui ferait changer d’avis ?
Une position protégée contre toute donnée possible devient très difficile à tester scientifiquement.
Cette symétrie est importante.
L’esprit critique ne doit pas servir uniquement à trouver les faiblesses des affirmations que nous n’aimons pas.
Évaluer une affirmation, c’est aussi évaluer notre propre réaction
Supposons qu’un article confirme parfaitement nos convictions.
Nous devons nous demander :
« Aurais-je été aussi facilement convaincu si le résultat avait été opposé ? »
Cette question ne remplace évidemment pas l’évaluation méthodologique.
Elle nous rappelle simplement que le lecteur lui-même fait partie du système d’erreurs possible.
Raisonnement motivé.
Sélection des sources.
Double standard.
L’autonomie critique demande donc une discipline supplémentaire :
appliquer approximativement les mêmes exigences aux preuves favorables et défavorables à nos attentes.
La méthode scientifique et l’esprit critique se rejoignent ici
Le chercheur cherche :
des contrôles ;
des réplications ;
des alternatives.
Le lecteur critique devrait faire la même chose à son niveau.
Pas pour refaire l’expérience.
Mais pour poser les questions qui déterminent ce que l’étude permet réellement de conclure.
L’objectif n’est pas de devenir méfiant envers toute science.
Il est de devenir plus précis dans sa confiance.
Pouvoir dire :
« cette conclusion est encore fragile »
ou
« sur ce point, les preuves sont désormais très solides »
est plus rationnel que la posture uniforme :
« je crois la science »
ou
« je me méfie de la science ».
De l’article au système de preuves
Nous pouvons maintenant résumer le parcours complet.
Une affirmation scientifique commence par :
une question.
Cette question doit devenir :
observable et mesurable.
Les chercheurs construisent ensuite :
une comparaison ou un test.
Ils recueillent des données.
Une analyse transforme ces données en estimations.
Ces estimations sont interprétées.
L’article est soumis à une critique éditoriale.
D’autres chercheurs peuvent :
reproduire ;
répliquer ;
contester ;
synthétiser.
La communauté construit progressivement :
un état des connaissances.
À chaque étape existe un nouveau type d’erreur possible et un nouveau type de contrôle.
C’est pourquoi l’évaluation sérieuse d’une affirmation scientifique ne devrait jamais se réduire à un chiffre, un auteur ou un article.
La question ultime : quelle erreur faudrait-il imaginer pour expliquer tout le corpus ?
Cette formulation fournit peut-être la synthèse la plus profonde de toute la rubrique.
Devant une étude isolée, il existe souvent de nombreuses explications alternatives.
Mauvaise mesure.
Confusion.
Fluctuation.
Sélection.
Mais lorsque :
plusieurs mesures différentes ;
plusieurs populations ;
plusieurs laboratoires ;
plusieurs méthodes ;
plusieurs périodes
convergent, l’hypothèse de l’erreur devient progressivement plus difficile.
Il faudrait désormais imaginer une erreur capable d’affecter simultanément des lignes de preuve partiellement indépendantes.
Plus cette explication commune devient artificielle, plus notre confiance rationnelle augmente.
La connaissance scientifique robuste se construit précisément ainsi :
non en éliminant toute possibilité abstraite de doute,
mais en rendant les explications alternatives de plus en plus coûteuses et improbables.
À retenir
Évaluer une affirmation scientifique commence par déterminer exactement ce qu’elle dit. Il faut distinguer le résultat réellement mesuré, son interprétation et la généralisation proposée. Beaucoup de titres médiatiques deviennent excessifs précisément lors du passage d’une association particulière à une affirmation causale ou universelle.
Il faut ensuite examiner si le dessin de recherche est adapté à la question, qui a été étudié, comment les concepts ont été mesurés et quelles explications concurrentes sont réellement contrôlées. Aucun dessin ne garantit automatiquement un résultat fiable. Cochrane distingue explicitement risque de biais, imprécision et applicabilité, et son outil RoB 2 examine plusieurs mécanismes spécifiques par lesquels un résultat randomisé peut encore être biaisé.
La lecture des résultats doit privilégier taille d’effet et incertitude plutôt que le seul statut significatif/non significatif. L’American Statistical Association rappelle qu’une valeur *p* ne mesure ni la taille ni l’importance d’un effet et ne devrait pas déterminer seule une conclusion scientifique.
Il faut également chercher ce qui n’est pas directement visible dans le résultat final : analyses multiples, changements de protocole, outcomes absents, études non publiées. Cochrane documente notamment une publication préférentielle des résultats statistiquement significatifs et rappelle qu’une synthèse peut être biaisée lorsque les résultats manquants dépendent de leur direction.
Surtout, une étude n’est presque jamais l’unité finale de connaissance. Réplication, robustesse, convergence entre méthodes et revues systématiques permettent de déterminer si un premier résultat appartenait à une structure plus large. Une méta-analyse peut améliorer considérablement la précision, mais Cochrane avertit qu’elle peut également induire fortement en erreur lorsque biais des études, hétérogénéité et sélection des résultats ne sont pas correctement pris en compte.
Enfin, l’état des preuves doit être exprimé graduellement. L’approche GRADE illustre cette logique dans le domaine des interventions en distinguant quatre niveaux de certitude et en examinant plusieurs dimensions indépendantes du corps de preuves plutôt qu’un simple classement automatique par type d’étude.
La question décisive n’est donc pas :
« Cette étude prouve-t-elle que l’affirmation est vraie ? »
mais :
« Quel niveau de confiance cette étude mérite-t-elle compte tenu de sa question, de ses mesures, de son dessin, de ses incertitudes et de ses biais possibles — puis comment ce résultat modifie-t-il notre jugement lorsque nous le replaçons dans l’ensemble des preuves disponibles ? »
C’est ce passage de l’étude isolée au système de preuves qui constitue probablement l’un des gestes les plus importants de l’autonomie critique.
Sources et références
Cochrane Handbook for Systematic Reviews of Interventions, version 6.5, chapitre 7 — « Considering bias and conflicts of interest among the included studies ». Le chapitre distingue explicitement biais, imprécision et validité externe, décrit les mécanismes de publication sélective et explique pourquoi le risque de biais doit être évalué par domaines plutôt que par score global.
Higgins, Julian P. T. et al., chapitre 8 — « Assessing risk of bias in a randomized trial », *Cochrane Handbook*, sur l’outil RoB 2 et ses domaines : randomisation, écarts aux interventions prévues, données manquantes, mesure des outcomes et sélection du résultat rapporté.
Deeks, Jonathan J. et al., chapitre 10 — « Analysing data and undertaking meta-analyses », *Cochrane Handbook*, mise à jour novembre 2024. Les auteurs soulignent les gains possibles de précision et de synthèse apportés par les méta-analyses tout en avertissant qu’elles peuvent être fortement trompeuses lorsque biais, hétérogénéité ou sélection des résultats ne sont pas convenablement pris en compte.
Schünemann, Holger J. et al., chapitre 14 — « Completing ‘Summary of findings’ tables and grading the certainty of the evidence », *Cochrane Handbook*. Le chapitre présente l’approche GRADE et ses cinq principaux domaines de certitude : risque de biais, incohérence, caractère indirect, imprécision et biais de publication.
Wasserstein, Ronald L. & Lazar, Nicole A., « The ASA Statement on p-Values: Context, Process, and Purpose », *The American Statistician*, 2016, 70(2):129–133, DOI 10.1080/00031305.2016.1154108, rappelant notamment que les valeurs *p* ne mesurent pas la taille ou l’importance d’un effet et ne doivent pas, isolément, dicter les conclusions scientifiques.
Hopewell, Sally et al., « CONSORT 2025 statement: updated guideline for reporting randomised trials », *BMJ*, 2025;389:e081123, et son document d’explication et d’élaboration. CONSORT fournit les éléments essentiels à rapporter afin de permettre une compréhension et une évaluation transparentes des essais randomisés.
EQUATOR Network, Reporting Guidelines Library, répertoire des principaux standards de reporting adaptés aux différents dessins d’étude, notamment CONSORT, STROBE, PRISMA, STARD, TRIPOD, ARRIVE et COREQ.
National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303, sur le rôle de la réplication, de la reproductibilité et de plusieurs lignes convergentes de recherche dans la construction progressive de la confiance scientifique.