Une étude n’est pas « la science »
Les médias annoncent régulièrement qu’« une étude montre que… ». Le café protégerait contre telle maladie, un aliment augmenterait tel risque, une méthode pédagogique améliorerait les résultats scolaires, un comportement modifierait l’espérance de vie.
Quelques semaines plus tard, une autre étude semble conclure l’inverse.
Cette succession donne facilement l’impression que « la science change tout le temps d’avis ».
Le problème vient en partie d’une confusion entre deux niveaux très différents : le résultat d’une étude particulière et l’état des connaissances scientifiques sur une question.
Une étude est une pièce du processus scientifique. Elle peut être excellente ou médiocre, très informative ou presque inutile, compatible ou contradictoire avec les travaux précédents. Dans certaines circonstances, une étude remarquablement bien conçue peut modifier fortement notre compréhension d’un problème. Mais elle ne constitue jamais à elle seule l’ensemble de « la science ».
Les National Academies décrivent précisément la connaissance scientifique comme le produit d’un processus collectif dans lequel les résultats sont confrontés, reproduits, répliqués, critiqués et intégrés à d’autres connaissances. La possibilité de répéter ou de confronter un résultat à de nouveaux travaux constitue l’un des mécanismes par lesquels une communauté évalue progressivement sa robustesse.
La bonne question devant une nouvelle publication n’est donc pas seulement :
« Que trouve cette étude ? »
Elle est aussi :
« Quelle place ce résultat occupe-t-il dans l’ensemble des preuves disponibles ? »
Une étude répond à une question limitée
Toute étude possède un périmètre.
Elle examine une certaine population, pendant une certaine période, avec certaines mesures, un certain traitement statistique et un certain protocole.
Supposons qu’un essai montre qu’un médicament réduit une douleur moyenne de deux points pendant huit semaines chez des adultes âgés de 40 à 65 ans présentant une maladie déterminée.
Cette étude n’a pas directement montré que le médicament réduit la mortalité.
Elle n’a pas étudié son efficacité pendant dix ans.
Elle n’a pas nécessairement établi ce qui se passe chez les enfants, les personnes très âgées ou les patients atteints d’autres maladies.
Elle ne nous apprend pas automatiquement tous ses effets indésirables rares.
La conclusion scientifique doit donc rester proportionnée à la question réellement étudiée.
Cette précaution paraît évidente. Pourtant, une grande partie de l’exagération des résultats scientifiques consiste précisément à transformer une conclusion locale en affirmation beaucoup plus générale.
Une publication n’est pas nécessairement une étude
Une deuxième distinction est souvent oubliée.
Article scientifique et étude scientifique ne sont pas synonymes.
Une seule étude peut donner lieu à plusieurs articles : résultats principaux, suivi à long terme, analyses secondaires, données sur les effets indésirables.
Inversement, un article peut rapporter plusieurs expériences ou plusieurs études.
Deux articles ne représentent donc pas nécessairement deux preuves indépendantes.
Cochrane insiste sur cette distinction lors des revues systématiques : plusieurs publications doivent être reliées lorsqu’elles proviennent de la même étude afin de ne pas compter plusieurs fois les mêmes participants ou les mêmes données.
Cette remarque devient particulièrement importante lorsque l’on entend :
« Dix articles montrent que… »
Il faut encore savoir s’il s’agit réellement de dix études indépendantes.
Dix analyses d’une même base de données ne font pas dix confirmations
Supposons que dix équipes analysent la même cohorte de 100 000 personnes.
Elles publient dix articles concluant qu’une exposition est associée à une maladie.
Ces travaux peuvent être très intéressants.
Mais ils partagent au moins une partie des mêmes vulnérabilités : même recrutement, mêmes erreurs de mesure, mêmes populations manquantes, éventuellement les mêmes confondeurs non mesurés.
Leur accord ne possède donc pas la même force que dix études réalisées sur dix populations indépendantes avec plusieurs méthodes de mesure.
Nous retrouvons ici une idée essentielle :
le nombre de résultats compte moins que l’indépendance de leurs erreurs possibles.
Une accumulation de preuves devient particulièrement convaincante lorsque plusieurs méthodes susceptibles de se tromper de manières différentes aboutissent malgré tout à une conclusion compatible.
Pourquoi une étude peut se tromper même lorsqu’elle est honnête
Aucune erreur scientifique n’exige nécessairement fraude ou incompétence.
Une étude peut se tromper parce que son échantillon a produit une fluctuation inhabituelle.
Une variable importante peut avoir été mal mesurée.
Un confondeur peut être absent.
Une analyse raisonnable peut avoir produit fortuitement un résultat extrême.
Un modèle peut être mal spécifié.
Des participants peuvent abandonner l’étude de manière différentielle.
Une hypothèse auxiliaire peut être incorrecte.
Les fiches précédentes ont précisément montré pourquoi la science construit autant de mécanismes de contrôle.
L’étude individuelle reste cependant toujours une réalisation particulière de ces contrôles, avec ses réussites et ses faiblesses.
C’est pourquoi la publication d’un résultat n’est pas la fin du processus.
Une étude positive contient toujours une possibilité de fluctuation
Supposons qu’un effet n’existe pas réellement.
Une procédure statistique utilisant un seuil de 5 % produira néanmoins occasionnellement des résultats franchissant ce seuil, même si toutes les hypothèses du test sont respectées.
Ce phénomène n’est pas une anomalie.
Il fait partie du fonctionnement même de l’échantillonnage aléatoire.
Une seule étude positive peut donc parfois représenter un résultat inhabituel parmi de nombreux résultats possibles.
La réplication permet notamment de déterminer si l’effet réapparaît lorsque de nouvelles données sont recueillies.
Ce problème devient encore plus important lorsque de nombreuses hypothèses, variables ou analyses ont été examinées, comme nous venons de le voir avec les comparaisons multiples.
Une première estimation peut également surestimer l’effet
Supposons qu’un effet réel soit modeste.
Plusieurs petites études sont réalisées.
Certaines l’estiment en dessous de sa véritable valeur.
D’autres au-dessus.
Si les études produisant les résultats les plus impressionnants attirent davantage l’attention, sont publiées plus rapidement ou franchissent plus facilement les seuils de significativité, les premières estimations visibles peuvent donner une image exagérée de l’ampleur du phénomène.
Le problème n’est donc pas uniquement :
« vrai ou faux ? »
Il peut être :
« l’effet existe, mais sa première estimation était beaucoup trop grande ».
Cette distinction deviendra importante lorsque nous examinerons le biais de publication, les réplications et les méta-analyses.
Une seule étude négative ne clôt pas davantage la question
Le même principe fonctionne dans l’autre sens.
Une étude ne retrouve pas un effet.
Cela ne signifie pas automatiquement que toutes les études positives précédentes étaient erronées.
L’étude négative peut être trop petite.
Elle peut utiliser une opérationnalisation différente.
Sa population peut être différente.
L’effet peut dépendre de certaines conditions.
Ou elle peut simplement avoir produit une fluctuation défavorable.
Comme nous l’avons vu dans la fiche précédente, il faut examiner quelle taille d’effet l’étude négative était réellement capable d’exclure.
Un résultat isolé ne devrait donc pas devenir un verdict uniquement parce qu’il contredit les publications précédentes.
« Une étude contredit toutes les autres » est souvent un mauvais résumé
Imaginons dix études assez solides estimant un effet proche de 10 %, puis une nouvelle étude estimant −2 % avec beaucoup d’incertitude.
Dire :
« une nouvelle étude renverse le consensus »
serait probablement excessif.
La nouvelle étude doit être ajoutée aux preuves précédentes.
Elle peut diminuer notre confiance.
Elle peut révéler une hétérogénéité.
Elle peut signaler un problème méthodologique jusque-là ignoré.
Mais son existence ne supprime pas automatiquement tout ce qui était connu auparavant.
La bonne logique est cumulative.
Chaque nouvelle étude modifie plus ou moins l’état des preuves selon sa qualité et l’information qu’elle apporte.
Toutes les études ne doivent pas recevoir le même poids
Accumuler les études ne consiste donc pas à organiser un vote.
Supposons que cinq petites études observationnelles mal contrôlées suggèrent un bénéfice.
Un grand essai randomisé correctement conduit trouve peu ou pas d’effet.
Dire :
« cinq études contre une, le bénéfice gagne 5 à 1 »
serait méthodologiquement absurde.
À l’inverse, une unique étude randomisée mal exécutée ne doit pas automatiquement écraser de nombreuses observations robustes et convergentes.
Le poids d’une étude dépend notamment de son dessin, de ses biais possibles, de sa précision, de la qualité des mesures, de son adéquation à la question et de son indépendance relativement aux autres preuves.
Une synthèse scientifique doit donc évaluer les études, pas seulement les compter.
Une très grande étude n’est pas automatiquement décisive
Supposons qu’une étude porte sur deux millions de personnes.
Le nombre est impressionnant.
Elle peut estimer extrêmement précisément une association.
Mais si l’exposition est mal mesurée ou si un confondeur important n’a pas été enregistré, la taille de l’échantillon ne supprime pas ces problèmes.
À l’inverse, une expérience plus petite mais très bien contrôlée peut fournir une information causale supérieure.
Nous retrouvons ici une distinction fondamentale :
quantité de données et qualité de l’identification scientifique ne sont pas la même chose.
Une grande étude peut être extrêmement importante.
Elle ne devient pas infaillible par son effectif.
Une étude particulièrement forte peut néanmoins changer beaucoup de choses
Dire qu’« une étude n’est pas la science » ne signifie pas que chaque publication ne devrait modifier nos croyances que très légèrement.
Certaines études apportent énormément d’information.
Un résultat particulièrement fort peut être obtenu dans une expérience préenregistrée, très bien contrôlée, portant sur un grand échantillon, avec une mesure directe, un effet important et une prédiction précise qui distinguait nettement plusieurs théories.
Dans une telle situation, il serait irrationnel d’attendre arbitrairement dix réplications avant de modifier notre jugement.
La logique bayésienne étudiée précédemment permet de comprendre ce point : une observation très attendue sous une hypothèse et extrêmement inattendue sous ses concurrentes peut produire une mise à jour importante.
Le principe « une étude ne suffit jamais » serait donc aussi simpliste que le principe inverse.
La bonne idée est plutôt :
une étude doit être évaluée par la quantité et la qualité de l’information qu’elle apporte relativement aux preuves déjà disponibles.
Une découverte spectaculaire exige souvent davantage de vérifications
Il existe néanmoins une raison pour laquelle les résultats les plus révolutionnaires sont généralement examinés avec une attention particulière.
Supposons qu’une expérience semble contredire une théorie soutenue par des milliers d’autres observations.
Plusieurs possibilités existent.
La théorie peut effectivement rencontrer une limite fondamentale.
Mais une erreur instrumentale, une analyse incorrecte ou un phénomène auxiliaire inattendu peuvent être initialement beaucoup plus plausibles.
L’épisode des neutrinos apparemment supraluminiques d’OPERA, étudié précédemment, l’illustre parfaitement.
La première observation était scientifiquement intéressante.
Elle n’était pas immédiatement devenue :
« la science a démontré qu’Einstein avait tort ».
Elle est devenue :
« un résultat suffisamment étrange pour justifier une enquête extrêmement sérieuse ».
Cette distinction est un excellent modèle pour lire les annonces spectaculaires.
Plus une affirmation est surprenante, plus le contexte antérieur compte
Une étude ne surgit jamais dans un vide épistémique.
Si elle porte sur une question déjà étudiée, certaines hypothèses possèdent un soutien antérieur.
Cela ne signifie pas qu’un consensus établi doit devenir impossible à renverser.
Mais une observation incompatible avec une immense quantité de connaissances nécessite une explication de cette incompatibilité.
La nouvelle étude peut montrer que l’ancien cadre était faux.
Elle peut également contenir une erreur.
Les deux possibilités doivent être examinées.
C’est pourquoi une étude ne peut pas être interprétée uniquement à partir de sa valeur *p*, de son intervalle de confiance ou de son prestige éditorial.
Elle doit être située dans le réseau des autres connaissances.
Le prestige de la revue ne transforme pas le résultat en vérité
Une publication dans une revue très prestigieuse peut fournir certaines informations.
L’étude a probablement franchi un processus éditorial sélectif.
Elle peut avoir bénéficié de plusieurs évaluations par les pairs.
Mais le nom de la revue n’est pas une garantie de validité.
Des articles publiés dans les meilleures revues peuvent contenir des erreurs, être difficiles à reproduire ou devoir être corrigés.
Inversement, un travail excellent peut apparaître dans une revue moins prestigieuse.
L’autorité éditoriale constitue donc un indice très imparfait de qualité, jamais un substitut à l’examen de la méthode et des preuves.
Nous reviendrons précisément sur les forces et limites de la revue par les pairs dans la fiche 28.
La publication n’est pas une certification définitive
Cette idée est essentielle pour comprendre le fonctionnement réel de la science.
Lorsqu’un article paraît, il entre dans la conversation scientifique.
D’autres chercheurs peuvent :
examiner ses méthodes ;
recalculer ses résultats ;
tester ses hypothèses ;
réutiliser ses données ;
tenter une réplication ;
proposer une explication concurrente ;
ou incorporer l’étude à une synthèse plus large.
La publication est donc une étape de mise à disposition et de critique, pas un sceau de vérité définitive.
Le rapport des National Academies sur la reproductibilité et la réplication insiste précisément sur le caractère collectif et continu de cette vérification : lorsqu’un résultat ne se reproduit ou ne se réplique pas, cela peut signaler une erreur, mais également conduire à mieux comprendre les conditions sous lesquelles le phénomène apparaît.
Une réplication réussie n’est pas non plus la fin de l’histoire
Supposons qu’une deuxième étude retrouve exactement l’effet.
Notre confiance augmente.
Mais les deux laboratoires peuvent avoir utilisé la même mesure imparfaite.
Ils peuvent travailler dans la même population.
Ils peuvent partager un protocole comportant le même biais.
Une troisième étude utilisant une autre opérationnalisation peut encore modifier l’interprétation.
La robustesse vient donc progressivement de la diversité des contrôles, pas d’un nombre magique de réplications.
La prochaine fiche distinguera précisément réplication, reproductibilité et robustesse.
L’indépendance est parfois plus importante que le nombre
Imaginons deux situations.
Dans la première, cinq laboratoires utilisent le même instrument, le même logiciel et le même jeu de données.
Dans la seconde, trois équipes utilisent des populations, mesures et méthodes différentes.
Si les trois secondes convergent, elles peuvent parfois fournir une preuve plus forte que les cinq premières.
Pourquoi ?
Parce que l’hypothèse :
« toutes les études se trompent à cause de la même erreur »
devient plus difficile à maintenir lorsque leurs vulnérabilités diffèrent.
C’est exactement la logique de triangulation introduite avec les sciences observationnelles.
Une preuve robuste ne repose pas uniquement sur la répétition.
Elle repose sur la répétition accompagnée d’une diversification intelligente des possibilités d’erreur.
Un résultat devient plus intéressant lorsqu’il survit à des méthodes différentes
Supposons qu’une intervention soit étudiée avec :
un essai randomisé ;
une expérience naturelle ;
une étude de cohorte ;
et une analyse mécanistique.
Si toutes les méthodes suggèrent un effet compatible, la conclusion devient plus convaincante, car les principales faiblesses méthodologiques ne sont pas identiques.
L’essai randomisé contrôle bien certaines confusions mais peut porter sur une population sélectionnée.
L’étude observationnelle représente mieux certaines conditions réelles mais reste vulnérable à des confondeurs.
L’analyse mécanistique montre qu’un processus est plausible sans prouver à elle seule son importance chez l’humain.
Chaque méthode possède des forces et des faiblesses différentes.
Leur convergence peut donc être plus informative que la répétition exacte d’un même dessin.
Mais des études discordantes ne signifient pas automatiquement que « tout se vaut »
Supposons que huit études trouvent un effet et trois non.
La conclusion correcte n’est ni :
« huit contre trois, l’effet est vrai »
ni :
« les scientifiques ne sont pas d’accord, donc nous ne savons rien ».
Il faut expliquer les différences.
Les trois études négatives sont-elles plus petites ?
Utilisent-elles une population différente ?
Mesurent-elles un autre résultat ?
Les études positives sont-elles davantage exposées à un biais ?
Les estimations sont-elles réellement incompatibles ou seulement situées de part et d’autre du seuil *p* = 0,05 ?
Cette analyse de la structure de l’hétérogénéité est une partie essentielle de la synthèse scientifique.
Nous la développerons dans les fiches consacrées aux méta-analyses.
Le seuil de significativité amplifie artificiellement l’impression de contradiction
Prenons deux études.
Étude A : effet estimé 8 ; IC 95 % : 1 à 15 ; p = 0,03.
Étude B : effet estimé 7 ; IC 95 % : −1 à 15 ; p = 0,08.
La presse pourrait annoncer :
« La première étude montre un effet ; la seconde la contredit. »
En réalité, les estimations sont presque identiques.
La deuxième étude est simplement un peu moins précise.
Une partie des prétendues contradictions de la littérature provient donc de la transformation de résultats continus en catégories « positif / négatif ».
Lorsque les tailles d’effet et leurs intervalles sont examinés ensemble, l’opposition disparaît parfois presque entièrement.
Une étude peut être incompatible avec les autres sans qu’aucune ne soit « mauvaise »
Une véritable hétérogénéité existe également.
Un médicament peut fonctionner davantage dans certaines populations.
Une intervention éducative peut dépendre du système scolaire.
Une association biologique peut varier avec l’âge.
Une politique économique peut produire des effets différents selon le contexte institutionnel.
Les études ne mesurent alors pas nécessairement un unique effet universel.
Une contradiction peut révéler les conditions limites d’un phénomène.
La bonne réaction n’est donc pas toujours de chercher :
« laquelle des études est fausse ? »
Elle peut être :
« quelle différence entre les situations explique la différence entre les résultats ? »
La discordance devient alors scientifiquement productive.
Le premier résultat doit parfois être considéré comme générateur d’hypothèse
Le cas est particulièrement clair lorsqu’une découverte provient d’une analyse exploratoire.
Une équipe découvre une association inattendue dans un sous-groupe.
La première étude remplit une fonction importante :
elle génère une hypothèse.
Le test le plus informatif suivant consiste à recueillir de nouvelles données spécifiquement pour cette hypothèse.
Si le deuxième travail la confirme, nous avons franchi une étape importante.
Si plusieurs études indépendantes le font, davantage encore.
L’erreur consiste à attribuer dès le premier résultat exploratoire le niveau de preuve que seule cette séquence ultérieure pourra fournir.
Les connaissances scientifiques possèdent donc une histoire
Un résultat ne reçoit pas instantanément un statut définitif.
Il peut commencer comme :
observation intrigante,
puis devenir :
hypothèse soutenue par plusieurs études,
puis :
effet reproduit dans différentes populations,
puis :
élément intégré à un modèle plus général.
Ou suivre le chemin inverse :
résultat spectaculaire ;
réplications décevantes ;
identification d’un biais ;
révision de l’effet ;
abandon ou restriction de l’hypothèse.
La science doit donc être comprise dynamiquement.
Un résultat publié aujourd’hui peut être très intéressant sans avoir encore atteint la maturité épistémique d’un fait consolidé.
La littérature publiée elle-même est un échantillon
Nous pourrions imaginer que, même si chaque étude est imparfaite, regarder toutes les publications résout le problème.
Mais une difficulté supplémentaire apparaît :
toutes les études réalisées ne deviennent pas nécessairement visibles de la même manière.
Les résultats statistiquement significatifs ou spectaculaires peuvent être plus susceptibles d’être publiés.
Les résultats négatifs peuvent rester dans des tiroirs.
Des analyses secondaires peuvent être sélectionnées.
Ainsi, même la littérature accessible peut constituer un échantillon biaisé de la recherche réellement menée.
C’est pourquoi une synthèse rigoureuse doit essayer d’identifier les études manquantes, les essais enregistrés et les résultats non publiés.
Nous consacrerons une fiche entière au biais de publication et au problème du fichier tiroir.
La célèbre thèse de Ioannidis doit être comprise avec nuance
En 2005, John Ioannidis publie l’essai devenu célèbre « Why Most Published Research Findings Are False ».
Son modèle attire l’attention sur plusieurs facteurs capables de réduire la probabilité qu’un résultat positif publié corresponde à un véritable phénomène : faible puissance, multiples hypothèses testées, flexibilité analytique, biais et faible proportion initiale d’hypothèses vraies parmi celles examinées.
Il serait cependant incorrect de transformer le titre en loi empirique universelle :
« La science a démontré que plus de la moitié des articles sont faux. »
Le texte de Ioannidis repose sur un modèle comportant des hypothèses particulières, et certaines de ses conclusions les plus générales ont été contestées. Goodman et Greenland ont notamment critiqué l’idée que le modèle constituerait une démonstration mathématique suffisante de la proposition exprimée dans le titre.
La leçon méthodologique reste néanmoins très importante : la fiabilité d’un résultat publié dépend de beaucoup plus que son seuil de significativité.
Il ne faut donc pas tomber dans le cynisme inverse
Découvrir les limites des études individuelles peut produire une réaction excessive :
« Puisque toutes les études peuvent être fausses, on ne peut plus croire aucune recherche. »
Ce raisonnement serait profondément erroné.
La possibilité d’erreur d’une pièce de preuve est précisément la raison pour laquelle la science construit des systèmes d’accumulation et de correction.
Plusieurs études.
Réplications.
Méthodes différentes.
Critique.
Synthèses.
Données accessibles.
Révisions.
Corrections.
Les faiblesses de l’étude individuelle ne détruisent donc pas la fiabilité scientifique.
Elles expliquent pourquoi la science doit être collective et cumulative.
L’état des connaissances n’est pas la moyenne des titres d’articles
Supposons qu’un domaine comporte cinquante études.
Pour comprendre l’état des connaissances, il ne suffit pas de lire cinquante résumés puis d’estimer intuitivement lequel « gagne ».
Les études peuvent différer par :
leur population ;
leur qualité ;
leur précision ;
leur définition de l’exposition ;
leur durée ;
leur risque de biais ;
leurs critères de jugement.
Certaines peuvent même étudier des questions qui semblent proches tout en étant réellement différentes.
Cochrane définit justement la synthèse comme le processus consistant à rassembler les données et caractéristiques d’un ensemble d’études afin de tirer des conclusions sur un corps de preuves, en examinant notamment populations, interventions, comparateurs, résultats, forces et faiblesses avant toute combinaison statistique.
Cette étape précède logiquement la méta-analyse.
Une méta-analyse n’est donc pas simplement « plusieurs études = meilleur »
Nous détaillerons ce point plus tard, mais il est important de l’annoncer ici.
Combiner dix mauvaises études ne produit pas automatiquement une bonne conclusion.
Si toutes partagent le même biais, une moyenne plus précise peut simplement fournir une estimation plus précise du biais commun.
Si les études ne portent pas réellement sur la même question, les combiner peut masquer des différences importantes.
Si les études négatives n’ont pas été publiées, la synthèse des seules publications visibles peut être trompeuse.
La synthèse quantitative est donc puissante seulement lorsqu’elle s’accompagne d’une synthèse méthodologique et critique.
Le meilleur résultat peut parfois être « les preuves sont encore insuffisantes »
Une revue scientifique n’a pas besoin de produire un verdict tranché.
Après examen de toutes les études disponibles, la conclusion peut être :
les résultats suggèrent un effet, mais les études sont trop petites ;
les travaux sont nombreux mais fortement biaisés ;
les effets diffèrent beaucoup selon les populations ;
ou
les données restent trop incertaines pour décider.
Cette conclusion n’est pas un échec.
Elle décrit correctement l’état des connaissances.
Elle peut également indiquer exactement quelle étude serait maintenant la plus informative.
Une étude peut changer la synthèse sans devenir la synthèse
Supposons que vingt petites études aient produit un ensemble incertain.
Un nouvel essai gigantesque et très bien conçu arrive.
Il peut modifier fortement l’estimation globale.
Il peut même conduire à renverser une conclusion précédente.
Cela ne contredit pas notre principe.
La nouvelle étude n’est toujours pas « toute la science ».
Elle constitue simplement une pièce de preuve possédant beaucoup plus de poids que les précédentes.
L’accumulation des connaissances n’implique donc pas que chaque étude reçoive la même importance.
Elle implique que la conclusion finale tienne compte de toutes les preuves pertinentes avec un poids approprié.
Une synthèse doit également rester révisable
Même une revue systématique ou une méta-analyse n’est pas un verdict définitif.
De nouvelles études peuvent apparaître.
Des erreurs peuvent être découvertes dans des publications anciennes.
Des analyses peuvent être corrigées.
De nouvelles méthodes peuvent modifier l’évaluation du risque de biais.
La question scientifique peut être reformulée.
Cochrane prévoit d’ailleurs explicitement la mise à jour des revues lorsque de nouvelles preuves pertinentes deviennent disponibles.
La connaissance synthétique possède donc elle aussi une histoire et une incertitude.
Pourquoi les titres médiatiques déforment souvent ce processus
Le cycle médiatique privilégie naturellement la nouveauté.
« Vingt années de résultats convergents renforcent légèrement une estimation déjà connue » est moins spectaculaire que :
« Une nouvelle étude révèle que… »
Cela produit une distorsion.
Le public voit surtout les fluctuations de la frontière de recherche, précisément là où l’incertitude est souvent la plus importante.
Il voit beaucoup moins les connaissances devenues suffisamment robustes pour ne plus produire chaque semaine de nouveaux titres contradictoires.
On peut alors avoir l’impression que toute la science est instable alors que l’instabilité visible concerne souvent les questions encore ouvertes.
C’est une distinction essentielle pour comprendre la recherche.
La frontière scientifique est naturellement plus instable que le cœur des connaissances
Sur certaines questions, les preuves sont abondantes, convergentes et accumulées depuis des décennies.
Sur d’autres, trois petites études viennent seulement d’être publiées.
Traiter ces deux situations comme équivalentes serait absurde.
Une nouvelle étude peut profondément modifier la seconde.
Elle aura probablement beaucoup moins d’impact sur la première, sauf si elle apporte des preuves exceptionnellement fortes.
Nous pouvons donc imaginer un continuum allant de :
hypothèse nouvelle et fragile
à
résultat plusieurs fois reproduit
puis
conclusion intégrée à un vaste réseau de connaissances convergentes.
Le degré de confiance doit refléter la position de l’affirmation sur ce continuum, pas uniquement l’existence d’une publication récente.
Le consensus émerge généralement de cette accumulation
Lorsqu’une communauté scientifique converge progressivement vers une conclusion, cela ne signifie pas nécessairement qu’elle a voté.
Le consensus peut émerger parce que :
plusieurs méthodes convergent ;
les principales alternatives échouent ;
les estimations deviennent plus précises ;
les résultats sont reproduits ;
des synthèses indépendantes aboutissent à des conclusions compatibles.
Le consensus scientifique sérieux est donc idéalement la conséquence sociale d’une convergence épistémique, même si les institutions scientifiques réelles peuvent évidemment connaître biais, effets de mode ou conflits.
Nous consacrerons plus loin deux fiches distinctes à l’expertise et au consensus.
Comment lire intelligemment « une nouvelle étude montre que… »
Lorsqu’un résultat nouveau apparaît, plusieurs questions permettent de lui donner immédiatement un statut plus raisonnable.
Que mesure exactement l’étude ?
Son dessin permet-il réellement la conclusion proposée ?
Quelle est l’ampleur de l’effet et son incertitude ?
L’analyse était-elle confirmatoire ou exploratoire ?
Existe-t-il déjà d’autres études sur la même question ?
Le nouveau résultat est-il compatible avec elles ?
Utilisent-elles des méthodes réellement indépendantes ?
Une revue systématique existe-t-elle ?
Enfin, le titre médiatique correspond-il à la conclusion réellement défendue par les auteurs ?
Ces questions déplacent l’attention depuis la nouveauté de l’étude vers sa valeur dans l’architecture des preuves.
De « cette étude dit » à « l’ensemble des preuves suggère »
La maturité scientifique d’une affirmation se reconnaît souvent au changement de vocabulaire.
Au début :
« Une étude observe une association. »
Puis :
« Plusieurs études retrouvent une association similaire. »
Puis éventuellement :
« Des études utilisant des méthodes différentes convergent. »
Enfin :
« L’ensemble des preuves soutient fortement une relation causale dans telles conditions. »
Ces phrases ne sont pas interchangeables.
Elles représentent des niveaux différents d’accumulation et de contrôle.
La prudence consiste donc moins à ajouter systématiquement « peut-être » qu’à dire précisément quel niveau de preuve nous avons réellement atteint.
La science n’est pas une collection d’articles
Cette fiche nous ramène finalement à la définition donnée au début de la catégorie.
La science n’est pas une machine qui transforme automatiquement chaque publication en fait.
Elle est un système collectif permettant de produire, confronter, corriger et intégrer des résultats faillibles.
Une étude fournit une observation organisée.
Une réplication vérifie si certaines parties du résultat résistent.
Une autre méthode teste une vulnérabilité différente.
Une revue systématique organise le corpus.
Une méta-analyse peut quantifier certaines tendances.
La critique identifie les biais.
Les nouvelles données corrigent les estimations.
C’est l’ensemble de ce processus qui construit progressivement un état des connaissances.
La bonne unité de pensée est donc le corps de preuves
Devant une affirmation scientifique importante, la question la plus utile n’est finalement pas :
« Existe-t-il une étude qui montre cela ? »
Pour presque n’importe quelle question suffisamment étudiée, on peut finir par trouver une étude soutenant une position particulière.
La question beaucoup plus exigeante est :
« Que montre l’ensemble des études pertinentes lorsqu’on tient compte de leur qualité, de leur indépendance, de leurs différences et des résultats qui pourraient manquer ? »
C’est précisément ce passage de l’étude individuelle au corps de preuves qui constitue l’étape suivante de la méthode scientifique.
À retenir
Une étude scientifique est une pièce de preuve, pas l’équivalent de « la science ». Elle répond à une question limitée avec une population, des mesures et une méthode particulières. Même une excellente étude reste susceptible de fluctuations, d’erreurs de mesure, de biais ou de limitations de généralisation.
Il faut également distinguer publication et étude : plusieurs articles peuvent provenir de la même étude, et un article peut contenir plusieurs études. Cochrane exige précisément de relier les multiples rapports provenant d’un même travail afin de ne pas traiter comme indépendantes des données qui ne le sont pas.
L’état des connaissances dépend donc d’un corps de preuves. Cochrane définit la synthèse comme le rassemblement et l’examen d’un ensemble d’études afin d’en évaluer les résultats, mais aussi les populations, interventions, comparateurs, caractéristiques et faiblesses méthodologiques. Une synthèse n’est pas un simple comptage des études positives et négatives.
Une seule étude peut néanmoins être très informative si elle constitue un test puissant et discriminant. L’erreur serait donc aussi bien de croire immédiatement toute nouvelle publication que d’imposer arbitrairement un nombre minimal de réplications avant de modifier une croyance.
Enfin, l’essai célèbre de John Ioannidis de 2005 a utilement montré comment faible puissance, biais, multiplicité et flexibilité analytique peuvent réduire la fiabilité de certains résultats publiés. Son titre, « Why Most Published Research Findings Are False », ne doit toutefois pas être transformé en résultat empirique universel démontrant que « la majorité des articles scientifiques sont faux » : certaines conclusions générales de son modèle ont elles-mêmes fait l’objet de critiques méthodologiques.
La bonne question n’est donc pas :
« Puis-je trouver une étude qui soutient cette affirmation ? »
mais :
« Quelle conclusion résiste le mieux lorsque l’on examine l’ensemble des preuves pertinentes et les différentes manières dont elles pourraient se tromper ? »
Sources et références
- National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019, DOI 10.17226/25303.
- Higgins, Julian P. T., Thomas, James et al. (dir.), Cochrane Handbook for Systematic Reviews of Interventions, version 6.5, Cochrane, 2024.
- McKenzie, Joanne E. et al., « Summarizing study characteristics and preparing for synthesis », chapitre 9 du *Cochrane Handbook*, sur le passage des études individuelles au corps de preuves.
- Li, Tianjing, Higgins, Julian P. T. & Deeks, Jonathan J., « Collecting data », chapitre 5 du *Cochrane Handbook*, notamment sur l’identification des différents rapports provenant d’une même étude.
- Ioannidis, John P. A., « Why Most Published Research Findings Are False », *PLOS Medicine*, 2005, 2(8):e124, DOI 10.1371/journal.pmed.0020124.
- Goodman, Steven & Greenland, Sander, « Why Most Published Research Findings Are False: Problems in the Analysis », *PLOS Medicine*, 2007, critique de certaines conclusions générales tirées du modèle d’Ioannidis.