Pourquoi une étude peut être statistiquement correcte et pourtant trompeuse

Une étude peut utiliser les bonnes formules, produire des intervalles de confiance exacts, appliquer correctement un modèle statistique et présenter des valeurs p impeccablement calculées… tout en conduisant malgré tout à une conclusion trompeuse.

La raison est simple : les statistiques ne peuvent pas réparer une mauvaise question, une mauvaise comparaison, une mauvaise mesure ou un raisonnement causal incorrect.

La validité scientifique d’une étude ne dépend donc pas seulement de la qualité des calculs. Elle dépend de toute la chaîne qui relie le phénomène réel aux données, puis les données à l’interprétation.

Un calcul correct peut répondre à la mauvaise question

Supposons qu’une étude cherche à savoir si un traitement améliore la survie.

Elle compare :

  • les patients ayant reçu le traitement ;
  • les patients ne l’ayant pas reçu.

Le calcul du risque relatif peut être parfaitement correct.

Mais si les médecins réservent le traitement aux patients les moins graves, la comparaison ne répond pas directement à :

« Quel est l’effet du traitement ? »

Elle répond davantage à :

« Quel est le pronostic des personnes qui ont reçu le traitement comparativement à celles qui ne l’ont pas reçu ? »

Les deux questions ne sont pas équivalentes.

La statistique décrit les données qu’on lui donne

Un modèle statistique ne sait pas spontanément :

  • pourquoi les personnes ont été sélectionnées ;
  • si une variable a été mal mesurée ;
  • si un facteur important manque ;
  • si une exposition a réellement précédé la maladie.

Il travaille avec les informations disponibles.

Si les données représentent mal le phénomène réel, le résultat peut être mathématiquement exact mais scientifiquement faux.

« Garbage in, garbage out »

Le principe informatique garbage in, garbage out s’applique parfaitement à l’épidémiologie.

Des données biaisées analysées avec un modèle sophistiqué restent biaisées.

Une régression comprenant cinquante covariables ne transforme pas automatiquement une comparaison mal construite en expérience causale.

Exemple : énorme base de données

Supposons qu’une base contienne dix millions de patients.

On trouve :

RR = 1,08 ; IC 95 % [1,07–1,09] ; p < 0,000001.

La précision est extraordinaire.

Mais si les groupes comparés diffèrent fortement sur un facteur de confusion non mesuré, l’effet réel peut être :

  • plus petit ;
  • nul ;
  • voire opposé.

L’immense échantillon garantit surtout que l’association observée est estimée précisément.

Il ne garantit pas qu’elle soit causale.

Précision n’est pas validité

Cette distinction est fondamentale.

Une estimation peut être :

très précise mais biaisée.

À l’inverse, une petite étude bien conçue peut être :

peu précise mais globalement valide.

Le premier problème demande un meilleur design.

Le second peut parfois être amélioré en collectant davantage de données.

Le modèle ne sait pas si les groupes étaient comparables

Supposons une étude sur l’effet de l’activité physique sur la mortalité.

Les personnes très actives peuvent aussi :

  • fumer moins ;
  • manger différemment ;
  • être plus diplômées ;
  • consulter davantage.

Un modèle peut ajuster les variables mesurées.

Mais il ne peut pas automatiquement ajuster ce qui n’a jamais été enregistré.

Le facteur de confusion résiduel reste possible.

Une association statistique peut être parfaitement réelle

C’est important : dire qu’une étude est trompeuse ne signifie pas nécessairement que les chiffres sont faux.

Supposons que les utilisateurs d’un médicament meurent moins souvent.

Cette association peut être parfaitement réelle dans les données.

La question est :

« Pourquoi cette association existe-t-elle ? »

Elle peut venir :

  • du médicament ;
  • de caractéristiques différentes des utilisateurs ;
  • de sélection ;
  • d’un mélange de plusieurs mécanismes.

La statistique établit l’association observée. L’interprétation causale demande davantage.

Corrélation et causalité

Un coefficient de corrélation peut être calculé exactement.

Supposons :

r = 0,70.

Cette forte corrélation ne dit pas si :

X cause Y

Y cause X

ou

Z cause X et Y.

Le calcul mesure une structure statistique, pas directement un mécanisme causal.

La causalité inverse

Supposons qu’une étude trouve que les personnes dormant longtemps ont davantage de maladies.

On pourrait conclure :

« dormir longtemps rend malade ».

Mais certaines maladies provoquent :

  • fatigue ;
  • augmentation du temps passé au lit.

La relation statistique est correcte, mais l’interprétation causale peut être inversée.

La temporalité est essentielle

Un modèle complexe ne peut pas remplacer la chronologie.

Avant de considérer X comme cause possible de Y, il faut généralement établir que X précède Y.

Dans une étude transversale où exposition et maladie sont mesurées simultanément, cette temporalité peut être impossible à déterminer.

Une mauvaise mesure peut produire une belle analyse

Supposons qu’on étudie la consommation d’alcool à partir d’une question :

« Buvez-vous régulièrement ? Oui / Non. »

Une analyse statistique extrêmement sophistiquée peut ensuite être réalisée.

Mais la variable originale est très pauvre.

Elle ne distingue pas :

  • quantité ;
  • fréquence ;
  • ancien buveur ;
  • abstinent à vie ;
  • consommation occasionnelle.

Le problème principal se trouve dans la mesure, pas dans le modèle.

Mauvaise classification

Si beaucoup de personnes sont classées dans le mauvais groupe, l’association obtenue peut être déformée.

Les intervalles de confiance peuvent rester parfaitement calculés autour de cette estimation biaisée.

Autrement dit :

une incertitude statistique correctement mesurée autour d’une mauvaise valeur reste une mauvaise estimation.

Le résultat dépend du dénominateur

Supposons que deux hôpitaux comptent chacun 100 décès.

Les chiffres sont exacts.

Mais :

  • hôpital A : 100 décès sur 2 000 patients ;
  • hôpital B : 100 sur 20 000.

Le nombre brut est identique mais l’interprétation totalement différente.

Même un chiffre vrai peut donc être trompeur lorsqu’il est présenté avec le mauvais dénominateur.

Risque relatif sans risque absolu

Supposons qu’un médicament double le risque d’un événement rare.

Cela peut signifier :

1 cas sur 1 000 000 → 2 sur 1 000 000.

Dire uniquement :

« le risque est multiplié par deux »

est statistiquement correct.

Mais l’information est incomplète et peut donner une impression disproportionnée.

Il faut examiner le risque absolu.

L’inverse existe aussi

Supposons qu’un traitement réduise le risque relatif de 50 %.

Cela peut signifier :

2 % → 1 %.

Ou :

60 % → 30 %.

La réduction relative est identique.

L’importance clinique ne l’est absolument pas.

Une présentation statistiquement correcte peut donc être trompeuse par cadrage.

Significatif ne signifie pas important

Avec suffisamment de participants, une différence minuscule peut devenir statistiquement significative.

Supposons :

  • groupe A : pression moyenne 130,0 ;
  • groupe B : 129,7.

Avec un million de participants, la différence de 0,3 mmHg peut produire une p-value extrêmement faible.

Cela ne signifie pas que l’effet ait une importance clinique.

Important mais non significatif

À l’inverse, une petite étude peut trouver :

réduction absolue du risque de 8 points

mais avec un intervalle de confiance très large.

L’effet potentiel est cliniquement important, mais la preuve reste trop imprécise.

Statistique et importance clinique doivent donc être examinées séparément.

p < 0,05 ne signifie pas « vrai »

Une valeur p faible ne répond pas à :

« Quelle est la probabilité que l’hypothèse soit vraie ? »

Elle dépend :

  • du modèle statistique ;
  • de l’hypothèse nulle ;
  • des données observées.

Elle ne mesure pas directement :

  • risque de biais ;
  • plausibilité causale ;
  • qualité de la mesure ;
  • multiplicité des analyses.

Le problème des hypothèses du modèle

Tous les modèles statistiques reposent sur des hypothèses.

Par exemple :

  • indépendance des observations ;
  • forme de la relation ;
  • distribution des erreurs ;
  • proportionnalité des risques.

Si ces hypothèses sont gravement violées, le calcul peut devenir inadapté.

Une analyse peut être correctement programmée mais reposer sur un mauvais modèle de la réalité.

Exemple de linéarité

Supposons que l’effet réel d’une exposition soit en U :

  • risque élevé à faible exposition ;
  • faible au niveau intermédiaire ;
  • élevé à forte exposition.

Un modèle supposant une relation linéaire unique peut conclure qu’il n’existe presque aucune association.

Le calcul peut être exact pour le modèle choisi.

Le modèle est simplement mal adapté à la structure réelle.

Agréger peut masquer l’essentiel

Une moyenne globale peut également dissimuler des groupes très différents.

Supposons qu’un traitement :

  • réduise fortement la mortalité dans le groupe A ;
  • augmente fortement la mortalité dans le groupe B.

L’effet moyen peut être proche de zéro.

Conclure :

« le traitement n’a aucun effet »

serait statistiquement compatible avec la moyenne mais scientifiquement trompeur.

Le paradoxe de Simpson

Une association observée globalement peut même s’inverser après stratification sur une variable importante.

Par exemple, un traitement peut sembler moins efficace dans l’ensemble parce qu’il est plus souvent administré aux patients les plus graves.

À l’intérieur de chaque niveau de gravité, il peut pourtant être bénéfique.

L’agrégation masque alors la véritable structure.

Mais stratifier n’est pas toujours la solution

Si l’on découpe les données dans des dizaines de sous-groupes après coup, on augmente le risque de faux positifs.

Le même outil peut donc :

  • révéler une hétérogénéité réelle ;
  • ou fabriquer une différence aléatoire.

La qualité dépend du raisonnement, pas seulement de la technique.

Sélection des participants

Une étude peut correctement calculer la prévalence chez ses participants.

Supposons une enquête en ligne sur l’anxiété où les personnes intéressées par la santé mentale participent davantage.

La prévalence obtenue peut être parfaitement correcte dans cet échantillon.

Mais généraliser directement à toute la population devient douteux.

La question du « chez qui ? »

Chaque résultat devrait implicitement préciser :

chez quelle population ?

Un effet observé chez :

  • hommes de 40 à 60 ans ;
  • hospitalisés ;
  • volontaires ;

ne s’applique pas automatiquement :

  • aux femmes ;
  • aux enfants ;
  • à la population générale.

La statistique n’autorise pas automatiquement l’extrapolation.

Validité interne et externe

Une étude peut avoir une excellente validité interne mais une généralisation limitée.

Un essai très contrôlé peut prouver qu’un traitement fonctionne dans une population sélectionnée.

Il reste ensuite à déterminer son effet :

  • chez les personnes âgées ;
  • en médecine courante ;
  • avec moins d’observance.

La validité externe est une autre question.

Une étude peut être exacte sur un indicateur mais trompeuse sur le phénomène

Supposons qu’une campagne augmente massivement le dépistage.

Le nombre de diagnostics augmente de 40 %.

C’est un chiffre réel.

Mais cela ne signifie pas nécessairement que l’incidence biologique de la maladie a augmenté de 40 %.

Une partie peut venir de la détection.

La variable mesurée est :

diagnostics observés

et non directement :

maladies réellement apparues.

Positivité des tests

Supposons que le taux de positivité passe de 5 % à 10 %.

Cela peut refléter une circulation accrue.

Mais aussi un changement dans :

  • population testée ;
  • indications de test ;
  • accès au dépistage.

Un indicateur peut être statistiquement exact tout en changeant de signification lorsque la stratégie de collecte évolue.

Changement de définition

Supposons qu’une maladie soit redéfinie en cours de surveillance.

Le nombre de cas augmente brusquement.

La série statistique est correctement enregistrée.

Mais comparer avant et après comme si la définition était identique devient trompeur.

Les ruptures méthodologiques doivent être distinguées des changements biologiques.

Le choix du début et de la fin

Une série temporelle peut être présentée honnêtement mais de manière sélective.

Supposons qu’un indicateur varie :

100 → 130 → 90 → 120 → 95.

Présenter seulement :

130 → 95

donne l’impression d’une forte amélioration.

Présenter :

90 → 120

suggère l’inverse.

Les deux comparaisons sont exactes.

Le choix de la période peut néanmoins orienter l’interprétation.

Cherry-picking

Le cherry-picking consiste à sélectionner les données favorables à une conclusion.

Cela peut concerner :

  • périodes ;
  • pays ;
  • études ;
  • sous-groupes ;
  • critères de jugement.

Les chiffres sélectionnés peuvent être vrais.

Le biais vient de ce qu’on laisse de côté.

Le choix du groupe de comparaison

Une étude peut annoncer :

« mortalité 30 % plus faible chez les utilisateurs du traitement ».

Mais comparés à qui ?

  • population générale ?
  • patients non traités ?
  • patients éligibles au même traitement ?
  • patients de même gravité ?

Un résultat n’a de sens qu’en relation avec un comparateur pertinent.

Mauvais groupe contrôle

Supposons qu’un nouveau traitement soit donné aux patients suffisamment stables pour attendre une consultation spécialisée.

Le groupe contrôle comprend tous les autres patients, y compris les plus graves.

Même avec un modèle impeccable, la comparaison initiale peut être fondamentalement déséquilibrée.

Un ajustement ne garantit pas l’équilibre

On peut ajuster statistiquement sur :

  • âge ;
  • sexe ;
  • diabète ;
  • gravité.

Mais si certaines différences importantes ne sont pas mesurées, elles restent présentes.

Le résultat ajusté n’est pas automatiquement « corrigé de tous les biais ».

« Ajusté sur les facteurs de confusion » ne veut pas dire « causal »

Cette formule est souvent utilisée dans les articles.

Elle signifie généralement :

« nous avons ajusté sur les facteurs que nous avons choisis et mesurés ».

Elle ne prouve pas qu’aucun facteur de confusion important ne subsiste.

La prudence est particulièrement importante pour les associations modestes.

Surajustement

À l’inverse, ajuster sur trop de variables peut aussi poser problème.

Si une variable est un médiateur, l’ajustement peut supprimer une partie réelle de l’effet.

Si elle est un collider, il peut créer une association artificielle.

Le choix des variables doit donc reposer sur un modèle causal, pas sur l’idée que « plus d’ajustement = meilleure étude ».

Exemple du médiateur

Supposons :

activité physique → baisse de la pression → moins d’AVC.

Si l’on cherche l’effet total de l’activité physique mais qu’on ajuste sur la pression artérielle mesurée après l’exposition, on bloque une partie du mécanisme causal.

L’effet estimé peut devenir artificiellement plus faible.

Exemple du collider

Supposons :

tabagisme → hospitalisation ← autre maladie.

Si l’on étudie uniquement les personnes hospitalisées, tabagisme et autre maladie peuvent devenir artificiellement associés.

L’ajustement ou la sélection sur une conséquence commune peut donc créer un biais.

Une grande sophistication peut masquer une fragilité conceptuelle

Un article peut utiliser :

  • modèles multiniveaux ;
  • pondérations ;
  • splines ;
  • méthodes bayésiennes ;
  • apprentissage automatique.

Ces outils peuvent être excellents.

Mais la complexité technique ne garantit pas que la question soit bien posée.

Il est parfois plus important de comprendre :

qui est comparé à qui, et pourquoi

que de connaître le nom du modèle.

Complexité et impression d’autorité

Plus une analyse est difficile à comprendre, plus le lecteur peut être tenté de faire confiance à l’expertise technique.

C’est parfois justifié.

Mais cela crée aussi un risque d’argument d’autorité statistique.

Une formule complexe ne transforme pas une hypothèse causale fragile en preuve solide.

Big data

L’immensité des bases modernes accentue ce problème.

Avec des millions de personnes, presque toute petite différence peut devenir statistiquement significative.

Le défi principal se déplace alors de :

« avons-nous assez de données ? »

vers :

« comparons-nous réellement des situations comparables ? »

Machine learning et prédiction

Un modèle d’apprentissage automatique peut prédire très efficacement une maladie.

Cela ne signifie pas que les variables utilisées soient des causes.

Supposons que le modèle découvre que :

nombre d’examens prescrits

prédit fortement la mortalité.

Cela peut simplement refléter le fait que les médecins prescrivent davantage d’examens aux personnes gravement malades.

Prescrire moins d’examens ne réduirait pas la mortalité.

Prédiction ≠ intervention

Cette distinction est fondamentale.

Pour prédire, il suffit qu’une variable contienne de l’information sur le résultat.

Pour décider d’une intervention, il faut savoir :

« Si je modifie cette variable, est-ce que le résultat changera ? »

C’est une question causale différente.

Performance sur les données d’entraînement

Un modèle peut être extrêmement performant sur les données utilisées pour le construire.

S’il a appris leurs particularités et leur bruit, il peut échouer sur de nouvelles données.

C’est le surapprentissage.

Une validation externe est nécessaire pour savoir si la performance se généralise.

Signification statistique et multiplicité

Un résultat p < 0,05 peut être parfaitement calculé.

Mais si 100 tests ont été réalisés, il n’est plus aussi surprenant.

Le calcul isolé ne reflète pas nécessairement le processus complet ayant conduit au choix du résultat.

P-hacking

De même, une p-value peut être exacte pour l’analyse finalement publiée tout en étant trompeuse si cette analyse a été sélectionnée parmi :

  • nombreux modèles ;
  • seuils ;
  • exclusions ;
  • périodes.

Le problème est dans la procédure de sélection, pas dans l’opération mathématique finale.

Biais de publication

Une méta-analyse peut être statistiquement impeccable.

Mais si seules les études positives ont été publiées, le résultat combiné peut être biaisé.

La statistique analyse alors correctement une littérature sélectionnée.

Le problème se situe en amont.

Plusieurs erreurs peuvent s’additionner

Une étude réelle peut cumuler :

  • biais de sélection ;
  • erreur de mesure ;
  • confusion ;
  • données manquantes ;
  • multiplicité ;
  • publication sélective.

Aucun biais n’a besoin d’être énorme.

Plusieurs petits biais orientés dans la même direction peuvent produire une association convaincante mais trompeuse.

Les biais peuvent aussi se compenser

À l’inverse, deux biais peuvent agir dans des directions opposées.

Le résultat final peut être proche de la vraie valeur par hasard.

Cela ne signifie pas que la méthode était bonne.

Une estimation correcte pour de mauvaises raisons reste fragile.

Une autre population ou période pourrait produire une erreur importante.

Robustesse statistique

On parle souvent de résultat robuste lorsqu’il reste similaire sous plusieurs spécifications.

Par exemple :

  • différents ajustements ;
  • différentes exclusions ;
  • plusieurs définitions.

C’est rassurant.

Mais cela montre surtout que le résultat est robuste à ces choix-là.

Il peut encore être vulnérable à un biais partagé par toutes les analyses.

Triangulation

Une meilleure stratégie consiste à comparer des méthodes ayant des biais différents.

Supposons qu’une relation apparaisse dans :

  • cohorte ;
  • étude cas-témoins ;
  • expérience naturelle ;
  • essai lorsque possible.

Pour expliquer toute la relation par le biais, il faut alors invoquer plusieurs mécanismes différents convergeant vers la même conclusion.

Cette triangulation augmente la confiance.

Réplication

Une réplication indépendante est également importante.

Si une association disparaît systématiquement lorsqu’une autre équipe l’étudie avec un protocole pré-spécifié, la découverte initiale devient moins crédible.

À l’inverse, une relation répétée dans plusieurs contextes gagne en solidité.

Le rôle des mécanismes

Les preuves mécanistiques peuvent compléter les données épidémiologiques.

Si une exposition :

  • précède la maladie ;
  • produit une forte association ;
  • montre une relation dose-réponse ;
  • possède un mécanisme biologique cohérent,

la causalité devient plus plausible.

Mais un mécanisme plausible seul ne suffit pas non plus.

Un récit plausible peut être faux

Après avoir observé une association, il est souvent facile d’imaginer un mécanisme biologique.

C’est une forme de reconstruction narrative.

Le mécanisme est plus convaincant lorsqu’il est soutenu par des données indépendantes plutôt que conçu uniquement pour expliquer l’association observée.

Une étude n’est pas « vraie » ou « fausse »

Il est souvent plus utile de demander :

« Quelle quantité d’information cette étude apporte-t-elle ? »

Une étude avec certaines limites peut quand même apporter un signal utile.

Elle n’a pas besoin d’être parfaite pour contribuer à la connaissance.

La science repose sur l’accumulation de preuves imparfaites mais évaluables.

Éviter le relativisme

Reconnaître les biais ne signifie donc pas :

« on peut faire dire n’importe quoi aux statistiques ».

Ce serait une conclusion excessive.

Certaines études sont clairement plus robustes que d’autres.

Les méthodes :

  • randomisation ;
  • contrôle ;
  • standardisation ;
  • pré-enregistrement ;
  • réplication

réduisent réellement certains risques d’erreur.

La critique méthodologique sert à hiérarchiser la confiance, pas à nier la possibilité de connaître.

Éviter également le scientisme naïf

L’erreur inverse serait :

« c’est publié et statistiquement significatif, donc c’est vrai ».

La méthode scientifique ne fonctionne pas comme un label automatique.

Chaque étude constitue un argument dont la force dépend :

  • de son design ;
  • de ses données ;
  • de ses biais ;
  • de sa cohérence avec le reste des preuves.

La bonne question face à une étude

Au lieu de demander seulement :

« Est-ce significatif ? »

il faut construire une chaîne de questions.

Quelle était la question ?

Quelle population ?

Quel groupe de comparaison ?

Comment l’exposition a-t-elle été mesurée ?

Comment le résultat a-t-il été mesuré ?

Quels biais sont plausibles ?

Quels facteurs de confusion ?

Quelle est l’ampleur absolue de l’effet ?

Combien d’analyses ont été réalisées ?

Le résultat a-t-il été reproduit ?

C’est cette chaîne qui transforme une lecture statistique en lecture scientifique.

Exemple de synthèse

Supposons qu’un article rapporte :

RR = 1,40 ; IC 95 % [1,20–1,63].

Pris isolément, cela semble être une association assez nette.

Mais imaginons ensuite que l’on découvre :

  • étude observationnelle ;
  • exposition auto-déclarée dix ans après ;
  • forte perte de suivi ;
  • vingt sous-groupes explorés ;
  • association présente dans un seul sous-groupe.

La confiance baisse fortement.

Les chiffres n’ont pas changé.

Le contexte méthodologique a changé leur signification.

Exemple inverse

Supposons :

RR = 0,82 ; IC 95 % [0,69–0,98].

L’effet paraît plus modeste.

Mais l’étude possède :

  • randomisation correcte ;
  • critère pré-spécifié ;
  • très peu de perdus de vue ;
  • résultat cohérent avec plusieurs essais ;
  • bénéfice absolu cliniquement important.

Ce résultat peut être beaucoup plus convaincant que l’association spectaculaire précédente.

La force d’une preuve n’est pas proportionnelle au nombre de décimales

Un tableau détaillé et une p-value extrêmement faible peuvent donner une impression de rigueur.

Mais la véritable force de la preuve dépend surtout de la qualité de la comparaison contrefactuelle.

Autrement dit :

« Que se serait-il passé chez ces mêmes personnes si l’exposition avait été différente ? »

Toutes les méthodes épidémiologiques cherchent, directement ou indirectement, à approcher cette question.

Une leçon d’esprit critique

L’un des meilleurs réflexes consiste à séparer trois niveaux :

1. Les données

Qu’a-t-on réellement observé ?

2. L’analyse statistique

Quelle association ou différence a-t-on calculée ?

3. L’interprétation

Que prétend-on que cette association signifie ?

Une étude peut être excellente au niveau 2 et fragile au niveau 3.

Beaucoup de controverses scientifiques viennent précisément du passage trop rapide de :

association observée

à

cause affirmée.

Checklist rapide

Lorsqu’une étude semble impressionnante, vérifiez :

QuestionPourquoi ?
La population est-elle adaptée ?Évite les problèmes de sélection et de généralisation
Le comparateur est-il pertinent ?Condition essentielle à l’inférence causale
Les variables sont-elles bien mesurées ?Limite les biais d’information
La temporalité est-elle claire ?Réduit la causalité inverse
Les facteurs de confusion sont-ils maîtrisés ?Évite les associations non causales
L’effet absolu est-il important ?Distingue significativité et pertinence
Combien d’analyses ont été réalisées ?Évalue multiplicité et p-hacking
Le résultat a-t-il été reproduit ?Réduit la probabilité d’un résultat fortuit
Les autres études convergent-elles ?Replace l’étude dans l’ensemble des preuves

Aucune case ne suffit à elle seule.

C’est leur combinaison qui détermine le niveau de confiance.

À retenir

Une étude peut être statistiquement correcte et pourtant trompeuse parce que l’exactitude d’un calcul ne garantit pas la validité du raisonnement scientifique.

Les principaux problèmes peuvent se situer :

  • avant l’analyse, dans la sélection des participants ;
  • dans la mesure des variables ;
  • dans la construction du groupe de comparaison ;
  • dans les facteurs de confusion ;
  • dans le choix des analyses ;
  • dans l’interprétation causale.

Les statistiques permettent de quantifier ce qui a été observé sous certaines hypothèses.

Elles ne peuvent pas, à elles seules, déterminer si :

la population était bien choisie, les variables correctement mesurées, le contrefactuel crédible et l’interprétation causale justifiée.

Le principe fondamental de ce chapitre peut donc se résumer ainsi :

un calcul exact n’est qu’une étape de la preuve.

Pour savoir si une étude mérite d’être crue, il faut examiner toute la chaîne :

question → design → sélection → mesure → analyse → interprétation → réplication.

C’est cette chaîne, bien plus que la présence d’une p-value ou d’un modèle sophistiqué, qui détermine la solidité réelle d’une conclusion épidémiologique.

Pour aller plus loin

Kenneth J. Rothman, Sander Greenland et Timothy L. Lash — Modern Epidemiology. Une référence centrale pour comprendre pourquoi biais, confusion et mauvaise définition de la population peuvent invalider une estimation statistiquement correcte.

Miguel Hernán et James Robins — Causal Inference: What If. Une référence majeure pour comprendre la différence entre association statistique, comparaison causale et raisonnement contrefactuel.

David Spiegelhalter — The Art of Statistics. Une excellente introduction à l’interprétation des données, des risques et des résultats statistiques dans leur contexte.

John Ioannidis — travaux sur la fiabilité des résultats publiés. Ils montrent notamment comment faible puissance, multiplicité, flexibilité analytique et biais de publication peuvent produire des résultats apparemment convaincants mais fragiles.