Vérifier une affirmation scientifique : de l’article de presse à l’étude originale

« Une étude prouve que le café protège le cœur. »

« Des scientifiques démontrent que les réseaux sociaux provoquent la dépression. »

« Une nouvelle recherche révèle que ce produit double le risque de cancer. »

Ces formulations sont omniprésentes dans l’information. Elles possèdent une force particulière parce qu’elles invoquent la science : l’affirmation paraît avoir dépassé le stade de l’opinion pour entrer dans celui de la preuve.

Pourtant, entre le travail réalisé par les chercheurs et le titre que nous lisons peuvent se trouver plusieurs intermédiaires : communiqué de presse, agence, journaliste, éditeur, publication sur les réseaux sociaux. À chacune de ces étapes, les précautions méthodologiques peuvent être raccourcies, les incertitudes disparaître et une association statistique se transformer progressivement en causalité.

Vérifier une affirmation scientifique ne consiste pas à refaire soi-même l’étude ni à devenir spécialiste du domaine en quelques minutes. Il s’agit d’apprendre à effectuer quelques contrôles accessibles permettant de savoir ce qui a réellement été étudié, ce que les résultats montrent et jusqu’où les auteurs eux-mêmes estiment pouvoir conclure.

La première règle est simple :

ne pas vérifier une affirmation scientifique uniquement à partir de l’article de presse qui la rapporte.

« Une étude montre que… » : quelle étude ?

Lorsqu’un article invoque « une étude », notre premier réflexe devrait être de chercher la référence exacte.

Qui sont les auteurs ?

Quel est le titre ?

Dans quelle revue ou sur quelle plateforme le travail est-il disponible ?

Quand a-t-il été publié ?

S’agit-il réellement d'une étude originale ?

Une information scientifique sérieuse devrait normalement permettre de remonter à ce document.

Un lien direct est idéal. À défaut, quelques informations — auteur, institution, revue ou titre — permettent généralement de le retrouver dans un moteur de recherche scientifique.

Si un article annonce une découverte spectaculaire tout en rendant pratiquement impossible l’identification de la recherche sur laquelle il repose, nous disposons de moins de possibilités de contrôle.

Cela ne démontre pas que l’information est fausse.

Mais avant d’interpréter les résultats, nous devons au minimum savoir de quel travail nous parlons.

Retrouver l’étude originale change souvent la question

Imaginons le titre :

« Une étude prouve que boire du café augmente l’espérance de vie. »

Nous retrouvons l’article scientifique.

Son titre réel pourrait être :

« Association between coffee consumption and all-cause mortality in a prospective cohort ».

Un changement important apparaît immédiatement.

Le média parlait de :

« augmente l’espérance de vie ».

L’étude parle d’une :

« association ».

Ce ne sont pas deux formulations interchangeables.

L’étude peut montrer que, dans la population observée, les consommateurs de café présentaient une mortalité différente de celle des non-consommateurs après certains ajustements statistiques.

Cela ne démontre pas automatiquement que le café lui-même a causé la différence.

Retrouver l’étude originale permet donc parfois de détecter une inflation du niveau de conclusion avant même d’avoir lu la méthodologie.

Lire le titre, mais ne pas s’arrêter au titre

Le titre scientifique fournit généralement une information beaucoup plus précise que le titre médiatique.

Il peut indiquer :

la population étudiée ;

le type d’exposition ;

le résultat mesuré ;

le type d’étude ;

ou le caractère exploratoire du travail.

Mais le titre reste lui aussi une simplification.

Il faut au minimum poursuivre vers le résumé scientifique, puis vers le texte complet lorsque l’enjeu le justifie.

Le résumé permet généralement de retrouver rapidement quatre éléments essentiels : pourquoi l’étude a été réalisée, comment elle a été menée, quels résultats principaux ont été obtenus et quelles conclusions les auteurs en tirent.

Pour une vérification rapide, c’est souvent le meilleur point de départ après avoir identifié l’article.

Prépublication ou article évalué ?

Une autre question importante concerne le statut de l’étude.

Une prépublication, ou *preprint*, est un manuscrit rendu publiquement accessible avant l’achèvement du processus traditionnel d’évaluation par les pairs d’une revue scientifique.

Ce système présente de grands avantages : diffusion rapide des résultats, accès ouvert, possibilité pour d’autres chercheurs de commenter le travail avant sa publication définitive.

Mais le statut doit être connu.

Un preprint ne doit pas être présenté comme s’il avait déjà franchi exactement les mêmes étapes éditoriales qu’un article publié après évaluation. Nature Communications rappelle par exemple que les preprints doivent être interprétés avec prudence tant qu’ils n’ont pas été soumis à l’examen du *peer review*.

Il faut néanmoins éviter l’excès inverse :

preprint ne signifie pas mauvaise étude.

Des travaux comparant prépublications et versions ultérieurement évaluées montrent souvent une assez forte stabilité des résultats, même si des modifications peuvent intervenir au cours de l’évaluation. Une étude portant sur des recherches liées au Covid-19 a par exemple observé une très forte corrélation entre les estimations des preprints et celles des versions publiées, tout en constatant que certaines estimations étaient supprimées, ajoutées ou révisées pendant le processus.

La formulation correcte est donc :

« ce résultat est actuellement disponible sous forme de prépublication et doit être considéré avec le niveau de prudence correspondant ».

Évaluation par les pairs ne signifie pas certification de vérité

L’erreur symétrique serait de raisonner :

« l’étude a été publiée dans une revue scientifique, donc elle est vraie ».

L’évaluation par les pairs constitue un contrôle important. Des chercheurs du domaine examinent normalement le manuscrit, peuvent identifier des problèmes et demander des modifications.

Mais ils ne reproduisent généralement pas l’expérience.

Ils peuvent manquer une erreur.

Ils travaillent à partir des informations fournies par les auteurs.

Et différentes revues possèdent des pratiques éditoriales de qualité variable.

Une publication évaluée peut donc contenir des erreurs méthodologiques, être contredite par des recherches ultérieures ou même être rétractée.

Peer-reviewed signifie contrôlé selon un certain processus, pas infaillible.

Ce processus augmente certaines raisons initiales de prendre le travail au sérieux ; il ne dispense pas d’examiner ce que l’étude permet effectivement de conclure.

Quel type d’étude a été réalisé ?

Le type d’étude détermine fortement le type de conclusion que nous pouvons en tirer.

Un essai randomisé, une étude de cohorte, une étude cas-témoins, une enquête transversale, une expérience en laboratoire, une étude animale et une simulation informatique ne répondent pas exactement aux mêmes questions.

Nous avons développé cette question beaucoup plus en détail dans la catégorie Méthode scientifique. Pour la vérification d’une information, le contrôle minimal consiste à identifier le dessin général de l’étude.

Comparez :

« Des chercheurs ont réparti aléatoirement des participants entre un traitement et un placebo »

avec :

« Des chercheurs ont observé que les personnes consommant davantage de ce produit présentaient moins souvent la maladie ».

Dans le second cas, les groupes existaient déjà dans la population. Ils peuvent donc différer sur de nombreuses caractéristiques autres que le produit étudié.

La distinction est essentielle lorsque le titre médiatique utilise un langage causal.

Association ne signifie pas nécessairement causalité

C’est probablement le glissement le plus fréquent.

Une étude observe que les personnes qui pratiquent davantage une activité ont moins souvent une maladie.

Plusieurs explications restent possibles.

L’activité peut réellement réduire le risque.

Mais les personnes pratiquant cette activité peuvent également être plus jeunes, avoir des revenus différents, consulter davantage leur médecin, mieux manger ou avoir déjà une meilleure santé.

Les chercheurs peuvent tenter de contrôler statistiquement certains de ces facteurs.

Cela améliore l’analyse.

Mais un ajustement statistique ne garantit jamais que tous les facteurs pertinents ont été mesurés et correctement pris en compte.

Un article devrait donc respecter la différence entre :

« X est associé à Y »

et

« X provoque Y ».

Une analyse publiée dans le *BMJ* en 2014 a comparé 462 communiqués universitaires relatifs à des recherches biomédicales avec leurs articles scientifiques et les 668 articles de presse correspondants. Parmi les communiqués concernant des recherches corrélationnelles, 33 % comportaient des affirmations causales plus fortes que celles des articles scientifiques. Lorsque le communiqué contenait cette exagération causale, les articles de presse la reproduisaient beaucoup plus fréquemment.

L’exagération scientifique ne naît donc pas nécessairement chez le journaliste : elle peut apparaître dès le communiqué produit autour de l’étude.

Examiner la population étudiée

Une autre question fondamentale est :

« Sur qui cette étude a-t-elle été réalisée ? »

Supposons qu’une recherche porte sur 60 étudiants âgés de 18 à 25 ans.

Un article peut difficilement en conclure directement :

« Cette technique améliore la mémoire chez tout le monde. »

Une étude réalisée uniquement chez des hommes ne nous informe pas avec le même degré de certitude sur les femmes.

Une recherche portant sur des patients atteints d’une maladie sévère ne s’applique pas automatiquement aux personnes présentant une forme légère.

Une étude menée dans un pays particulier peut dépendre d’un contexte social ou sanitaire difficilement généralisable.

La question n’est pas de rejeter une étude parce que son échantillon ne représente pas toute l’humanité.

Toute recherche doit nécessairement porter sur une population limitée.

Il faut simplement que la conclusion reste proportionnée à la population réellement étudiée.

Un résultat chez la souris n’est pas encore un traitement chez l’humain

Ce problème devient particulièrement visible avec les études animales ou cellulaires.

Une expérience montre qu’une molécule détruit certaines cellules cancéreuses dans une boîte de laboratoire.

Le titre devient :

« Une nouvelle substance détruit le cancer. »

Entre ces deux propositions existe pourtant une distance considérable.

Une substance active sur des cellules peut être toxique pour l’organisme entier, impossible à délivrer à la dose nécessaire ou ne produire aucun bénéfice clinique.

Même une expérience animale prometteuse constitue une étape avant l’étude chez l’être humain.

L’étude du *BMJ* déjà citée avait également observé des extrapolations exagérées de résultats animaux vers l’humain dans 36 % des communiqués concernés ; lorsque ces extrapolations apparaissaient dans le communiqué, elles étaient très fréquemment reprises dans les articles de presse.

La bonne formulation est donc beaucoup plus modeste :

« Ce résultat fournit une piste qui devra être testée à d’autres niveaux avant de savoir si elle produit un effet comparable chez l’être humain. »

Combien de personnes ont été étudiées ?

La taille de l’échantillon est une information importante, mais elle doit être interprétée correctement.

Une étude portant sur 20 personnes n’est pas automatiquement mauvaise.

Certains effets très importants peuvent être observés sur de petits échantillons.

À l’inverse, une étude portant sur un million de personnes peut être méthodologiquement médiocre.

La taille agit surtout sur la précision avec laquelle certains effets peuvent être estimés et sur la capacité à détecter des différences faibles.

Un petit échantillon produit généralement davantage d’incertitude et peut être plus sensible aux fluctuations aléatoires.

La question utile est donc moins :

« Combien faut-il de participants pour qu’une étude soit sérieuse ? »

que :

« La quantité de données est-elle suffisante pour soutenir le niveau de précision et de généralisation annoncé ? »

Que comparait réellement l’étude ?

Une information médiatique peut mettre en avant un traitement ou une intervention sans expliquer à quoi ils ont été comparés.

Un nouveau médicament paraît efficace.

Comparé à quoi ?

À l’absence de traitement ?

À un placebo ?

Au meilleur traitement déjà disponible ?

Ces comparaisons ne répondent pas à la même question.

Un traitement peut être supérieur au placebo sans être supérieur au traitement habituel.

Une nouvelle méthode pédagogique peut améliorer les résultats par rapport à l’absence d’accompagnement tout en ne faisant pas mieux qu’une méthode déjà couramment utilisée.

La question « comparé à quoi ? » est donc indispensable.

Quel résultat a réellement été mesuré ?

Un titre peut également faire glisser un indicateur intermédiaire vers un résultat beaucoup plus important.

Une étude montre qu’un médicament diminue un marqueur biologique.

Le titre devient :

« Ce médicament réduit le risque de mourir de la maladie. »

Cette conclusion n’est justifiée que si le lien entre le marqueur et le résultat clinique est suffisamment établi.

De même, améliorer le score à un test cognitif immédiatement après un exercice ne signifie pas nécessairement réduire le risque de démence vingt ans plus tard.

Nous devons donc demander :

« Quelle variable les chercheurs ont-ils effectivement mesurée ? »

La mesure directe de l’événement qui nous intéresse est différente de celle d’un indicateur intermédiaire ou substitut.

Taille de l’effet : « existe-t-il quelque chose ? » n’est pas la seule question

Une étude peut trouver une différence réelle mais extrêmement faible.

Supposons qu’une intervention améliore en moyenne un score de 100 à 100,4 sur une échelle où les variations ordinaires entre personnes sont importantes.

La différence peut être détectable statistiquement dans un très grand échantillon.

Cela ne signifie pas nécessairement qu’elle possède une importance pratique.

Inversement, un effet potentiellement important peut rester incertain dans une petite étude.

Il faut donc distinguer :

« les données suggèrent-elles l’existence d’un effet ? »

de :

« quelle est l’ampleur de cet effet ? »

La catégorie Méthode scientifique développe le traitement statistique de cette question. Pour le lecteur d’une information, le contrôle minimal est de rechercher la taille de l’effet, pas uniquement la présence de la formule « statistiquement significatif ».

Regarder l’incertitude autour de l’estimation

Une estimation scientifique ne devrait pas être comprise comme un nombre parfaitement exact.

Une étude peut estimer qu’un traitement réduit un risque de 20 %, mais cette estimation est accompagnée d’une certaine incertitude.

Les intervalles de confiance permettent notamment de rendre visible une partie de cette incertitude.

Un effet estimé à 20 % avec un intervalle très étroit n’a pas le même degré de précision qu’un effet de 20 % accompagné d’un intervalle compatible aussi bien avec un bénéfice très faible qu’avec un bénéfice important.

Cochrane recommande précisément de ne pas réduire l’interprétation aux catégories « statistiquement significatif » et « non significatif », mais d’examiner l’estimation de l’effet et son intervalle de confiance.

Le lecteur n’a pas besoin de refaire le calcul.

Il doit simplement comprendre qu’une étude fournit généralement une plage de valeurs plausibles, pas une mesure infiniment précise.

L’abstract peut lui-même simplifier le résultat

Remonter de l’article de presse vers le résumé scientifique constitue un progrès important.

Mais l’abstract reste un texte court produit pour condenser plusieurs pages de recherche.

Certains détails importants se trouvent uniquement dans :

la méthode ;

les tableaux ;

les analyses supplémentaires ;

ou la discussion des limites.

Lorsque l’affirmation est importante, controversée ou susceptible de guider une décision lourde, il est donc utile d’aller au-delà du résumé.

Nous ne sommes pas obligés de comprendre chaque équation.

Nous pouvons déjà rechercher des passages comme :

limitations, strengths and limitations, discussion, conclusion, conflicts of interest ou funding.

Quelques minutes suffisent parfois à découvrir que les auteurs eux-mêmes formulent des réserves absentes du titre médiatique.

Lire ce que les chercheurs disent de leurs propres limites

Les auteurs connaissent souvent mieux que le journaliste certaines faiblesses de leur étude.

Ils peuvent reconnaître :

un échantillon restreint ;

une mesure imparfaite ;

une population peu représentative ;

un suivi trop court ;

un risque de facteurs de confusion ;

ou une impossibilité de conclure causalement.

Ces limites ne rendent pas automatiquement l’étude inutile.

Au contraire, leur présence peut témoigner d’une interprétation prudente.

Le problème apparaît lorsqu’un média reprend le résultat en supprimant exactement les précautions que les chercheurs avaient jugées nécessaires.

Une méthode extrêmement efficace consiste donc à comparer :

le titre médiatique ;

le communiqué ;

le résumé scientifique ;

la conclusion complète des auteurs.

Nous pouvons ainsi observer directement à quel endroit le niveau de certitude change.

Le communiqué de presse n’est pas l’étude

Les universités et revues produisent souvent des communiqués afin de présenter les recherches aux journalistes et au grand public.

Ces documents sont utiles.

Ils traduisent un article spécialisé en langage accessible et permettent parfois d’interroger les chercheurs.

Mais ils ont également une fonction de communication.

Une université peut vouloir valoriser une découverte réalisée dans ses laboratoires ; une revue souhaite attirer l’attention sur un nouvel article.

Le communiqué doit donc être considéré comme un intermédiaire à vérifier, pas comme le document scientifique lui-même.

L’étude du *BMJ* sur les communiqués universitaires est particulièrement intéressante parce qu’elle montre que les exagérations observées dans les médias étaient fortement associées aux exagérations déjà présentes dans les communiqués. Les auteurs n’avaient par ailleurs trouvé que peu d’éléments indiquant que les communiqués plus prudents recevaient moins de couverture médiatique.

La simplification excessive n’est donc pas nécessairement le prix inévitable de l’attention médiatique.

Vérifier qui finance l’étude

Les informations sur le financement et les conflits d’intérêts méritent également d’être examinées.

Une étude sur un médicament peut être financée par son fabricant.

Une étude sur les effets environnementaux d’un produit peut être financée par l’industrie qui le commercialise.

Une recherche sur une politique publique peut recevoir le soutien d’une organisation engagée dans le débat.

Cette information est pertinente.

Mais nous devons conserver la règle déjà rencontrée :

financement intéressé ne signifie pas résultat faux.

Le financement doit nous conduire à examiner plus attentivement la méthode, la transparence, les résultats complets et l’existence de travaux indépendants.

L’erreur serait de remplacer :

« cette étude est financée par l’entreprise X »

par :

« elle est donc nécessairement frauduleuse ».

Le conflit d’intérêts est une information permettant de calibrer notre vigilance, pas une réfutation logique.

La réputation de la revue n’est pas une garantie suffisante

Une publication dans une revue prestigieuse constitue une information.

Ces revues disposent généralement de procédures éditoriales exigeantes et peuvent sélectionner fortement les articles.

Mais aucune revue n’est infaillible.

Des articles publiés dans les journaux les plus réputés ont été corrigés ou rétractés.

À l’inverse, un travail solide peut paraître dans une revue peu connue.

Le nom du journal doit donc être considéré comme un élément contextuel, pas comme une preuve permettant d’éviter l’examen du contenu.

La formule :

« publié dans une grande revue, donc prouvé »

reste un argument d’autorité insuffisant.

Une étude isolée doit être replacée dans la littérature

Une nouvelle étude attire naturellement davantage l’attention qu’une recherche confirmant tranquillement ce que nous savions déjà.

C’est précisément ce qui peut fausser notre perception.

Supposons que vingt études aient trouvé un effet faible ou nul.

Une vingt-et-unième trouve un effet spectaculaire.

Cette dernière peut devenir :

« Une nouvelle étude bouleverse tout ce que nous pensions savoir. »

C’est possible.

Mais avant de modifier fortement notre confiance, nous devons demander :

« Comment ce résultat s’inscrit-il dans le reste des connaissances ? »

Une étude isolée peut être la première indication d’un phénomène réel.

Elle peut aussi être un résultat extrême produit par hasard, par une particularité méthodologique ou par une population inhabituelle.

Cochrane rappelle, dans ses ressources destinées au public comme aux professionnels, qu’il est généralement préférable pour les décisions de santé de ne pas dépendre des résultats d’une seule étude ; une revue systématique cherche précisément à identifier et combiner méthodiquement l’ensemble pertinent des recherches portant sur une même question.

Chercher d’abord une revue systématique lorsque la question est déjà ancienne

Si une question scientifique est étudiée depuis vingt ans, la meilleure porte d’entrée n’est pas nécessairement la dernière étude publiée.

Une revue systématique peut fournir une vision beaucoup plus large.

Elle cherche à définir une question, retrouver systématiquement les études pertinentes, évaluer leur qualité puis synthétiser leurs résultats lorsque cela est méthodologiquement raisonnable.

Une méta-analyse peut parfois combiner quantitativement plusieurs études.

Mais elle n’est pas non plus une machine automatique à produire la vérité.

Si les études disponibles sont très différentes ou comportent des biais similaires, les combiner peut donner une synthèse trompeuse. Cochrane souligne d’ailleurs que des études trop hétérogènes ne doivent pas être artificiellement fusionnées simplement parce qu’une méta-analyse est techniquement possible.

La bonne question reste donc :

« Que montre le meilleur ensemble de preuves disponible ? »

Une étude nouvelle peut néanmoins être importante face à une ancienne synthèse

Il ne faut pas transformer les revues systématiques en autorités définitives.

Une synthèse publiée il y a cinq ans ne contient évidemment pas les recherches apparues depuis.

Une nouvelle étude exceptionnellement grande ou méthodologiquement solide peut réellement modifier l’état des connaissances.

La hiérarchie ne doit donc pas devenir mécanique :

méta-analyse toujours supérieure à étude récente.

Il faut aussi prendre en compte la date, la qualité et la pertinence des preuves.

Une bonne pratique consiste à chercher une synthèse récente puis à vérifier si des résultats importants ont été publiés depuis.

Le résultat a-t-il été reproduit ?

La répétition d’un résultat par des équipes différentes renforce généralement la confiance.

Mais, comme nous l’avons vu avec le recoupement de l’information, il faut distinguer réplication indépendante et simple réutilisation des mêmes données.

Trois articles analysant la même cohorte ne constituent pas trois réplications totalement indépendantes.

Une étude réalisée dans une autre population, avec d’autres chercheurs et des données distinctes apporte une information différente.

La convergence de méthodes et d’équipes indépendantes est particulièrement importante lorsque le premier résultat était inattendu.

Corrections et rétractations

Un article scientifique n’est pas figé au moment de sa publication.

Une revue peut publier une correction lorsqu’une erreur est découverte.

Dans les cas les plus graves, l’article peut être rétracté, par exemple lorsque les résultats ne sont plus considérés comme fiables en raison d’erreurs majeures ou de problèmes d’intégrité.

Une vieille publication médiatique peut pourtant continuer à présenter le résultat comme valide longtemps après cette rétractation.

Lorsque l’étude est ancienne et que l’enjeu est important, il peut donc être utile de vérifier son statut actuel.

Une rétractation ne signifie pas nécessairement fraude : elle peut aussi résulter d’une erreur importante découverte après publication.

Le point essentiel est que la situation scientifique actuelle peut différer de celle qui existait lorsque le premier article de presse a été écrit.

« Aucune autre étude ne l’a confirmé » ne signifie pas toujours réfutation

Supposons qu’une découverte très récente n’ait encore jamais été reproduite.

Cela peut simplement signifier que les autres équipes n’ont pas encore eu le temps d’essayer.

L’absence de réplication immédiatement après une publication n’est donc pas une preuve d’erreur.

À l’inverse, après de nombreuses tentatives indépendantes sérieuses, l’échec répété à retrouver un effet attendu peut devenir beaucoup plus informatif.

Comme pour l’absence d’information en général, tout dépend de ce que nous aurions raisonnablement dû observer à ce stade.

Un résultat spectaculaire mérite souvent davantage de vérifications

Plus une affirmation est surprenante relativement aux connaissances établies, plus il est raisonnable de vérifier soigneusement les preuves.

Cela ne signifie pas que la science protège dogmatiquement les idées anciennes.

Les révolutions scientifiques existent précisément parce que de nouvelles observations peuvent conduire à abandonner des théories auparavant solides.

Mais une observation extraordinaire doit pouvoir surmonter une probabilité initiale faible.

Un article annonçant qu’une nouvelle particule remet en cause tout un pan de la physique mérite donc davantage de prudence qu’une mesure améliorant légèrement une estimation déjà bien établie.

Cette logique rejoint directement le raisonnement bayésien développé ailleurs sur le site : la force des nouvelles preuves doit être appréciée relativement à ce que nous savions déjà.

Cas pratique : « Le chocolat protège contre les maladies cardiovasculaires »

Imaginons un article :

« Une nouvelle étude prouve que manger du chocolat protège le cœur. »

Nous remontons à l’étude.

Elle porte sur plusieurs milliers de personnes suivies pendant plusieurs années.

Les chercheurs n’ont pas attribué aléatoirement du chocolat à certains participants : ils ont observé leurs habitudes alimentaires.

Les personnes consommant davantage de chocolat présentent moins d’événements cardiovasculaires.

Que pouvons-nous conclure ?

Nous pouvons raisonnablement dire :

« Dans cette population, une consommation plus élevée de chocolat était associée à une fréquence plus faible de certains événements cardiovasculaires. »

Mais plusieurs questions restent ouvertes.

Les consommateurs de chocolat différaient-ils sur d’autres caractéristiques ?

Leur alimentation générale était-elle différente ?

Leur niveau socio-économique ?

Leur activité physique ?

Certains facteurs ont peut-être été statistiquement ajustés, mais tous les facteurs de confusion ne peuvent pas nécessairement être éliminés.

L’étude peut constituer un élément intéressant sans démontrer à elle seule que prescrire davantage de chocolat réduira les infarctus.

Nous sommes passés d’une formule spectaculaire à une conclusion plus précise sans avoir eu besoin de refaire les analyses.

Cas pratique : « une molécule détruit 90 % des cellules cancéreuses »

Un communiqué annonce :

« Une nouvelle molécule élimine 90 % des cellules cancéreuses. »

Le résultat paraît extraordinaire.

L’étude montre effectivement une destruction importante de cellules cultivées en laboratoire.

Mais elle n’a encore été testée ni chez l’humain ni même nécessairement sur un organisme entier.

La recherche peut être excellente.

Le résultat peut ouvrir une piste très prometteuse.

Mais la proposition :

« nous avons découvert un nouveau traitement efficace contre le cancer »

n’est pas encore établie.

Les deux affirmations ne se situent simplement pas au même stade de la chaîne de preuve.

Cas pratique : « l’étude n’est pas significative, donc il n’y a aucun effet »

L’erreur peut également fonctionner dans l’autre sens.

Une petite étude observe une différence potentiellement importante, mais son estimation reste très imprécise et l’analyse ne franchit pas un seuil statistique conventionnel.

Un commentaire affirme :

« L’étude prouve que le traitement ne fonctionne pas. »

Cette conclusion peut être tout aussi excessive.

L’absence de résultat statistiquement convaincant ne prouve pas automatiquement l’absence de tout effet.

L’étude peut simplement manquer de précision.

Il faut regarder l’estimation et l’intervalle d’incertitude plutôt qu’utiliser « significatif/non significatif » comme interrupteur vrai/faux. C’est précisément l’une des recommandations actuelles du manuel Cochrane.

Une méthode de vérification accessible

Devant une affirmation du type « une étude montre que… », nous pouvons procéder sans expertise spécialisée en suivant quelques contrôles :

QuestionCe qu’elle permet de comprendre
Quelle est l’étude originale ?Vérifier qu’elle existe et éviter de dépendre uniquement du résumé médiatique.
Quel est son statut ?Preprint, article évalué, correction éventuelle ou rétractation.
Quel type d’étude ?Le type de conclusion raisonnablement accessible.
Quelle population ?À qui le résultat peut être généralisé.
Combien de participants ou observations ?La quantité d’information et une partie de la précision.
Quelle comparaison ?Placebo, absence d’intervention, traitement habituel, groupes observés, etc.
Qu’a-t-on réellement mesuré ?Résultat clinique, comportement, biomarqueur, variable intermédiaire ou autre critère.
Association ou causalité ?Le média va-t-il plus loin que le dessin de l’étude ne le permet ?
Quelle taille d’effet ?Importance réelle de la différence observée.
Quelle incertitude ?Précision de l’estimation et éventail des effets compatibles avec les données.
Quelles limites les auteurs reconnaissent-ils ?Les réserves supprimées du résumé médiatique.
Qui finance le travail ?Les intérêts éventuels nécessitant des contrôles supplémentaires.
Que dit le reste de la littérature ?Résultat isolé, réplication, revue systématique ou consensus plus large.

Cette grille ne remplace évidemment pas l’évaluation méthodologique spécialisée.

Elle permet en revanche au lecteur de détecter une grande partie des exagérations ordinaires.

Savoir quand déléguer l’évaluation

Certaines études deviennent rapidement trop techniques pour être évaluées correctement sans expertise.

Un modèle épidémiologique complexe, une analyse génomique, une étude de physique des particules ou une méthode statistique avancée ne peuvent pas être sérieusement audités après quelques recherches sur Internet.

L’autonomie intellectuelle ne signifie pas tout vérifier personnellement depuis zéro.

Elle signifie aussi savoir à qui et à quoi déléguer raisonnablement notre confiance.

Nous pouvons rechercher :

des commentaires de chercheurs réellement compétents dans le domaine ;

des réplications ;

des revues systématiques ;

des sociétés savantes ;

ou des institutions disposant de procédures transparentes d’évaluation.

L’important est de conserver la chaîne de justification visible :

« Je ne peux pas contrôler moi-même cette méthode, mais voici pourquoi je considère cette évaluation experte comme suffisamment digne de confiance. »

Cette position est beaucoup plus rationnelle que l’illusion de tout maîtriser soi-même ou l’abandon complet à une autorité.

Une étude modifie les connaissances ; elle ne les recommence pas à zéro

Une recherche scientifique est finalement une nouvelle pièce ajoutée à un ensemble de preuves.

Parfois, cette pièce change presque immédiatement notre compréhension.

Le plus souvent, elle déplace plus modestement notre degré de confiance.

Cette manière de penser permet d’éviter le cycle médiatique spectaculaire :

« Une étude prouve X. »

Puis six mois plus tard :

« Une nouvelle étude prouve l’inverse. »

La science réelle fonctionne rarement comme un duel entre deux articles.

Les connaissances progressent par accumulation, critique, réplication, confrontation des méthodes et synthèse.

Une nouvelle étude doit donc être évaluée à deux niveaux :

que montre-t-elle elle-même ?

et

comment modifie-t-elle l’ensemble des preuves déjà disponibles ?

De « une étude prouve » à une conclusion correctement calibrée

Vérifier une affirmation scientifique revient donc rarement à répondre simplement :

VRAI ou FAUX.

Nous pouvons aboutir à des conclusions beaucoup plus précises :

« L’étude existe, mais le titre lui attribue une causalité qu’elle ne démontre pas. »

« Le résultat est réel mais porte uniquement sur des cellules en laboratoire. »

« L’étude suggère un effet intéressant, mais son échantillon est petit et l’incertitude importante. »

« Le résultat est cohérent avec plusieurs autres études et une revue systématique récente. »

« Le travail est pour l’instant disponible sous forme de preprint et doit être considéré comme provisoire. »

« Le chiffre cité est exact, mais l’ampleur de l’effet est beaucoup plus faible que ne le laisse entendre l’article. »

Ces formulations peuvent sembler moins spectaculaires que « la science a prouvé ».

Elles représentent beaucoup mieux la manière dont fonctionne réellement la connaissance scientifique.

Lorsqu’un article affirme qu’« une étude montre que… », le bon réflexe est donc de ne pas s’arrêter au prestige du mot *étude*. Il faut remonter jusqu’au travail original, identifier ce qui a effectivement été testé, vérifier jusqu’où vont les résultats puis replacer cette étude dans l’ensemble des preuves disponibles.

Nous allons maintenant quitter les articles scientifiques pour revenir aux contenus que nous rencontrons quotidiennement en ligne : les images. Là encore, la question la plus importante n’est souvent pas de savoir si une photographie a été « photoshopée », mais d’où elle vient, quand elle a été prise et si elle représente réellement l’événement auquel elle est associée.

13 sur 25Retour à la catégorie