Significativité statistique, taille d’effet et incertitude
Une étude compare deux traitements et obtient p = 0,03. Une autre obtient p = 0,08. Il est extrêmement tentant de résumer la situation ainsi : la première a démontré un effet, la seconde n’en a pas trouvé.
Cette manière de lire les résultats est profondément trompeuse.
Une valeur *p* ne mesure ni l’importance d’un effet, ni la probabilité qu’une hypothèse soit vraie, ni la probabilité que le résultat soit « dû au hasard ». Le seuil conventionnel de 0,05 ne trace pas une frontière naturelle entre découvertes réelles et résultats faux. Enfin, un résultat statistiquement significatif peut être minuscule et sans intérêt pratique, tandis qu’un résultat non significatif peut correspondre à un effet potentiellement important mais encore très incertain.
Ces confusions sont suffisamment fréquentes pour que l’American Statistical Association ait publié en 2016 une déclaration spécifiquement consacrée aux valeurs *p*. Elle y rappelle notamment qu’elles ne mesurent pas la probabilité qu’une hypothèse soit vraie, que les décisions scientifiques ne devraient pas dépendre uniquement du franchissement d’un seuil et qu’une valeur *p* ne mesure ni la taille ni l’importance d’un effet.
Pour interpréter correctement un résultat quantitatif, il faut donc distinguer au moins trois questions :
Existe-t-il une incompatibilité notable entre les données et un modèle statistique particulier ? Quelle est l’ampleur de l’effet estimé ? Avec quelle incertitude cette ampleur est-elle connue ?
La significativité statistique ne répond qu’imparfaitement à la première. Elle ne suffit jamais à répondre aux deux autres.
Pourquoi avons-nous besoin de statistiques ?
Supposons que l’on compare deux traitements chez deux groupes de patients.
Dans le premier groupe, 48 % s’améliorent.
Dans le second, 52 %.
Même si les traitements avaient exactement le même effet dans la population, deux échantillons finis ne donneraient presque jamais exactement le même résultat.
Le hasard de l’échantillonnage produit des fluctuations.
La statistique cherche notamment à distinguer les différences compatibles avec cette variabilité ordinaire de celles qui seraient plus difficiles à obtenir sous certaines hypothèses.
Mais cette question statistique n’est qu’une partie du raisonnement scientifique.
Avant tout calcul, il faut déjà se demander si les groupes sont comparables, si le résultat a été correctement mesuré, si l’étude a été bien conduite et si l’analyse correspondait à ce qui avait été prévu.
Une valeur *p* calculée avec une précision parfaite sur une étude biaisée reste une mesure précise appliquée à un mauvais modèle du problème.
Qu’est-ce qu’une hypothèse nulle ?
Les tests statistiques traditionnels commencent souvent par définir une hypothèse nulle, notée H₀.
Dans l’exemple le plus simple, H₀ peut être :
« Il n’existe aucune différence moyenne entre les deux traitements dans la population considérée. »
Mais une hypothèse nulle n’est pas obligatoirement « aucun effet ».
On peut tester qu’une différence vaut 5 unités, qu’un rapport de risques vaut 1, qu’un coefficient possède une certaine valeur ou qu’un ensemble de données suit un modèle particulier.
Le test statistique demande ensuite :
si cette hypothèse et les autres suppositions du modèle étaient correctes, à quel point les données que nous avons observées seraient-elles inhabituelles ?
C’est dans ce cadre qu’intervient la valeur *p*.
Ce qu’est réellement une valeur p
Une formulation simplifiée mais correcte est la suivante :
la valeur p mesure, sous l’hypothèse testée et les autres hypothèses statistiques utilisées, la probabilité d’obtenir un résultat au moins aussi incompatible avec cette hypothèse que celui effectivement observé.
Le terme « au moins aussi extrême » dépend du test utilisé.
Si *p* = 0,03, cela signifie donc approximativement que si le modèle testé était correct, des données produisant un écart au moins aussi important selon le critère statistique choisi apparaîtraient avec une probabilité de l’ordre de 3 %.
La direction du raisonnement est essentielle :
on suppose H₀ et on examine les données.
On ne calcule pas directement :
la probabilité de H₀ sachant les données.
Greenland et ses collègues insistent précisément sur cette distinction dans leur revue de vingt-cinq interprétations statistiques erronées fréquemment rencontrées dans la littérature.
p = 0,03 ne signifie pas « 3 % de chances que l’hypothèse nulle soit vraie »
C’est probablement le contresens le plus fréquent.
Si *p* = 0,03, on ne peut pas conclure :
« Il n’y a que 3 % de chances que l’absence d’effet soit vraie. »
La valeur *p* ne fournit pas directement P(H₀ | données).
Elle porte sur la distribution attendue des données en supposant H₀ et le modèle statistique, ce qui est une probabilité d’une autre nature.
Pour obtenir une probabilité attribuée directement à une hypothèse ou à un paramètre, il faudrait introduire un autre cadre inférentiel, par exemple certaines analyses bayésiennes, ainsi que les hypothèses supplémentaires qu’elles requièrent.
Ces distinctions ont déjà été développées dans la catégorie consacrée au raisonnement bayésien ; il suffit ici de retenir que P(données | hypothèse) et P(hypothèse | données) ne sont pas interchangeables.
p = 0,03 ne signifie pas non plus « 3 % de chances que le résultat soit dû au hasard »
Cette formulation est elle aussi très répandue.
Mais « dû au hasard » n’est pas l’événement dont la valeur *p* calcule la probabilité.
Tous les échantillons sont soumis à une part de variabilité aléatoire, y compris lorsqu’un véritable effet existe.
La question du test porte sur la compatibilité des données avec un modèle statistique donné, pas sur une opposition simple entre :
effet réel
et
hasard.
L’ASA avertit explicitement que les valeurs *p* ne mesurent ni la probabilité que l’hypothèse étudiée soit vraie ni celle que les données aient été produites « par hasard seulement ».
Cette correction peut sembler subtile, mais elle change profondément la manière de lire les résultats.
Pourquoi 0,05 ?
Le seuil de 5 % possède une histoire conventionnelle.
Il est devenu extrêmement courant de décider à l’avance que :
*p* < 0,05 = « statistiquement significatif » ;
*p* ≥ 0,05 = « non significatif ».
Cette convention peut avoir une utilité pratique dans certains cadres de décision strictement définis.
Mais rien dans la nature ne change brutalement lorsque *p* passe de 0,051 à 0,049.
Les deux résultats contiennent pratiquement la même information.
Pourtant, une utilisation mécanique du seuil pourrait conduire à publier :
« aucune association »
dans le premier cas et :
« association significative »
dans le second.
L’ASA a précisément dénoncé cette dichotomisation excessive, et le numéro spécial de *The American Statistician* publié en 2019 a appelé à dépasser les conclusions reposant uniquement sur p < 0,05.
Une frontière conventionnelle peut créer une illusion de rupture
Imaginons deux études presque identiques.
La première estime un effet de 10 unités avec *p* = 0,049.
La seconde estime un effet de 9,8 unités avec *p* = 0,051.
Il serait absurde de présenter la première comme une découverte et la seconde comme une absence de résultat.
Leur différence statistique est minuscule.
Pourtant, la culture du seuil peut créer une rupture catégorique là où les preuves évoluent continûment.
Cette manière de raisonner transforme une mesure graduelle en feu vert ou rouge.
Elle favorise également des comportements problématiques : multiplier les analyses jusqu’à passer juste sous le seuil, privilégier les résultats « significatifs » ou présenter comme radicalement différents des effets dont les estimations sont presque identiques.
Nous examinerons ces problèmes plus directement avec les analyses multiples et le *p-hacking*.
Une valeur p très petite n’indique pas nécessairement un effet important
Supposons qu’un médicament réduise en moyenne la pression artérielle de 0,3 mmHg.
Avec vingt participants, cette différence serait probablement difficile à distinguer de la variabilité.
Avec plusieurs millions de participants et des mesures très précises, elle pourrait produire une valeur *p* extrêmement faible.
Nous aurions alors de bonnes raisons de penser que la différence exacte n’est probablement pas zéro dans le modèle utilisé.
Mais son importance médicale pourrait rester pratiquement nulle.
C’est pourquoi il faut distinguer significativité statistique et importance substantielle.
Sullivan et Feinn résument ce problème en rappelant qu’une valeur *p* dépend à la fois de l’ampleur de l’effet et de la taille de l’échantillon : un très grand échantillon peut rendre statistiquement détectable une différence minuscule.
La bonne question n’est donc pas seulement :
« l’effet est-il différent de zéro ? »
mais :
« de combien ? »
La taille d’effet répond à la question « combien ? »
La taille d’effet désigne l’ampleur de la différence ou de la relation observée.
Elle peut être exprimée de nombreuses manières selon la question.
Une différence moyenne peut être donnée directement dans l’unité de mesure :
−5 mmHg de pression artérielle.
Un risque peut être décrit par une différence absolue de risque :
10 % contre 8 %, soit −2 points de pourcentage.
On peut utiliser un risque relatif :
8 % / 10 % = 0,80, soit une réduction relative de 20 %.
D’autres contextes utilisent des différences standardisées, des coefficients de corrélation, des rapports de cotes, des rapports de taux ou d’autres mesures.
Il n’existe donc pas une unique taille d’effet.
Le choix doit refléter la question scientifique et ce que le lecteur a besoin de comprendre.
Effet relatif et effet absolu peuvent raconter des histoires très différentes
Supposons qu’un traitement réduise un risque de moitié.
Dans une population A, le risque sans traitement est de 2 % et devient 1 %.
La réduction relative est de 50 %, mais la réduction absolue n’est que de 1 point de pourcentage.
Dans une population B, le risque passe de 40 % à 20 %.
La réduction relative est toujours de 50 %, mais la réduction absolue atteint 20 points.
Le même « 50 % de réduction » ne possède donc pas la même importance pratique.
Lorsque la question concerne une décision médicale ou une politique publique, il est souvent particulièrement utile de disposer à la fois de mesures relatives et absolues.
Le risque initial de la population change le bénéfice concret attendu.
Le nombre nécessaire à traiter est une autre traduction possible
Dans l’exemple précédent, si un traitement fait passer un risque de 2 % à 1 %, la différence absolue est de 1 point de pourcentage.
Sous les hypothèses appropriées, cela correspond à un nombre nécessaire à traiter d’environ 100 : il faudrait traiter environ cent personnes pendant la période considérée pour éviter en moyenne un événement supplémentaire.
Si le risque passe de 40 % à 20 %, la différence absolue est de 20 points et le nombre nécessaire à traiter est d’environ 5.
Ces indicateurs peuvent rendre l’effet beaucoup plus intuitif.
Mais ils ne doivent pas davantage devenir des nombres magiques : ils dépendent de la durée de suivi, de la population et du risque de base.
La taille d’effet doit toujours rester attachée au contexte dans lequel elle a été estimée.
Une taille d’effet standardisée peut aider à comparer — mais peut aussi obscurcir
Lorsque plusieurs études utilisent des échelles différentes, il peut être pratique de diviser une différence par une mesure de dispersion afin d’obtenir une taille d’effet standardisée, comme le *d* de Cohen.
Cela permet certaines comparaisons et facilite les méta-analyses.
Mais la standardisation retire également l’unité concrète.
Dire qu’un effet vaut 0,4 écart-type peut être utile pour comparer plusieurs instruments, mais moins intuitif que :
« la douleur diminue de 1 point sur une échelle de 0 à 10 ».
Sullivan et Feinn distinguent précisément les tailles d’effet exprimées dans les unités originales et les mesures standardisées utilisées lorsque les échelles diffèrent.
L’indicateur le plus sophistiqué n’est donc pas nécessairement le plus informatif pour le lecteur.
Une taille d’effet n’est pas automatiquement importante
Supposons qu’une étude très précise estime une diminution moyenne de 0,2 point sur une échelle de douleur de 0 à 10.
Le résultat peut être parfaitement réel.
Mais est-il perceptible pour les patients ?
Justifie-t-il le coût du traitement ?
Compense-t-il ses effets indésirables ?
Ces questions ne sont pas statistiques au sens étroit.
Elles concernent l’importance clinique, pratique, économique ou sociale de l’effet.
Une valeur *p* ne peut pas décider à notre place quelle amélioration mérite une intervention.
Il faut définir ce qui constitue un changement suffisamment important dans le contexte concerné.
Significatif statistiquement n’est donc pas synonyme de significatif tout court
Le mot français significatif aggrave probablement la confusion.
Dans la langue ordinaire, un effet significatif est important, notable ou porteur de sens.
En statistique, « statistiquement significatif » signifie traditionnellement seulement qu’un résultat a franchi un seuil de décision défini relativement à un test.
Un effet peut donc être :
statistiquement significatif mais pratiquement négligeable ;
ou
pratiquement important mais statistiquement très incertain.
Ces situations ne sont pas paradoxales.
Elles montrent simplement que importance et incertitude sont deux dimensions différentes.
Une estimation seule ne suffit pas : il faut connaître son incertitude
Supposons qu’un essai estime qu’un traitement réduit la durée moyenne d’une maladie de trois jours.
Cette estimation semble intéressante.
Mais elle peut provenir de 10 000 participants ou de 12 patients.
Dans le premier cas, la précision peut être importante.
Dans le second, la véritable valeur compatible avec les données peut couvrir une plage beaucoup plus vaste.
Une estimation ponctuelle sans information sur son incertitude donne donc une illusion de précision.
C’est l’une des fonctions principales des intervalles de confiance.
Un intervalle de confiance ne signifie pas exactement ce que son nom suggère
Supposons qu’une étude estime un effet de −5 avec un intervalle de confiance à 95 % allant de −8 à −2.
Une interprétation fréquente est :
« Il y a 95 % de chances que la vraie valeur se trouve entre −8 et −2. »
Dans l’interprétation fréquentiste classique, cette phrase n’est pas correcte.
Une fois l’intervalle calculé, le paramètre est considéré comme fixe : il n’est pas doté d’une probabilité de 95 % de se trouver quelque part.
La propriété des 95 % concerne la procédure : si l’on répétait indéfiniment le même processus d’échantillonnage et de calcul dans des conditions où le modèle est valide, environ 95 % des intervalles ainsi construits contiendraient la véritable valeur.
Greenland et ses collègues insistent particulièrement sur cette distinction, car l’interprétation probabiliste directe de l’intervalle de confiance figure elle aussi parmi les erreurs statistiques les plus fréquentes.
Un intervalle crédible bayésien répond à une question différente et a déjà été traité dans la catégorie consacrée au raisonnement bayésien.
Une manière plus utile de lire l’intervalle
Sans entrer dans tous les débats statistiques, on peut utiliser l’intervalle comme une indication de l’incertitude autour de l’estimation.
Un intervalle étroit signifie que les données et le modèle permettent une estimation relativement précise.
Un intervalle large indique que de nombreuses valeurs restent compatibles avec les données.
Considérons :
effet estimé : −5 ; IC 95 % : −5,5 à −4,5.
L’effet est estimé avec précision.
Comparons :
effet estimé : −5 ; IC 95 % : −20 à +10.
L’estimation ponctuelle est identique, mais notre connaissance est radicalement différente.
La deuxième étude reste compatible avec un bénéfice important, un effet faible ou même un effet allant dans l’autre sens.
L’intervalle révèle cette incertitude beaucoup mieux qu’un seul chiffre central.
Un intervalle de confiance n’est pas une zone séparant automatiquement valeurs plausibles et impossibles
Il faut néanmoins éviter de recréer avec l’intervalle le même problème qu’avec *p* = 0,05.
Si l’intervalle va de −10 à −0,1, on pourrait dire :
« il exclut zéro : effet certain ».
S’il va de −10 à +0,1 :
« il inclut zéro : aucun effet ».
Encore une fois, les deux résultats sont presque identiques.
Les frontières d’un intervalle ne constituent pas des murs épistémiques.
Des valeurs juste à l’intérieur et juste à l’extérieur ne possèdent pas soudainement des statuts radicalement différents.
Greenland et ses collègues recommandent justement de considérer simultanément les estimations, les limites de l’intervalle et les valeurs p précises, plutôt que de convertir chacune de ces statistiques en simple décision binaire.
L’intervalle permet surtout d’examiner quelles tailles d’effet restent compatibles
Cette lecture devient particulièrement utile lorsque l’on connaît l’ordre de grandeur d’un effet qui serait réellement important.
Supposons qu’un nouveau traitement ne mérite d’être utilisé que s’il diminue un risque d’au moins 5 points de pourcentage.
Une étude estime une diminution de 3 points avec un intervalle allant de 1 à 5.
Même si le résultat est statistiquement significatif, l’intervalle suggère que l’effet réel pourrait être inférieur au bénéfice considéré comme cliniquement important.
À l’inverse, une étude estime une diminution de 6 points avec un intervalle de −1 à 13.
Elle n’est peut-être pas statistiquement significative, mais les données restent compatibles avec un bénéfice très important comme avec l’absence d’effet.
La conclusion correcte n’est pas « ça ne marche pas ».
Elle est :
« l’étude est trop incertaine pour déterminer correctement l’ampleur de l’effet ».
Non significatif ne signifie pas « absence d’effet »
Cette erreur est si importante qu’elle mérite d’être répétée.
Si *p* = 0,12, nous ne pouvons pas automatiquement conclure :
« il n’y a aucun effet ».
Le résultat indique seulement que les données n’ont pas produit une incompatibilité suffisamment forte avec l’hypothèse testée selon le seuil choisi.
Cela peut se produire parce que l’effet est effectivement très faible ou nul.
Mais aussi parce que l’échantillon est petit.
Parce que les mesures sont très variables.
Parce que l’effet réel est modéré mais estimé avec beaucoup d’incertitude.
Greenland et ses collègues classent explicitement parmi les erreurs fréquentes le fait d’interpréter une valeur *p* supérieure à 0,05 comme une preuve que l’hypothèse nulle est vraie.
Nous approfondirons ce problème dans la fiche suivante consacrée à la puissance, la taille d’échantillon et l’absence de preuve.
Une étude gigantesque peut rendre tout « significatif »
La situation inverse est tout aussi importante.
Considérons une différence réelle extrêmement petite.
À mesure que la taille de l’échantillon augmente, l’erreur standard diminue.
La même différence devient alors plus facile à distinguer statistiquement de zéro.
Avec un échantillon immense, un effet pratiquement insignifiant peut donc produire :
p < 0,000001.
Ce résultat n’est pas nécessairement faux.
Il peut au contraire montrer très précisément que l’effet n’est pas exactement zéro.
Mais la question pratique reste entièrement ouverte :
qui se soucie d’une différence de cette taille ?
C’est pourquoi Sullivan et Feinn insistent sur l’importance de rapporter les tailles d’effet : la significativité statistique dépend de la taille de l’échantillon autant que de l’ampleur du phénomène.
Une étude précise peut précisément montrer qu’un effet est négligeable
Cette remarque permet d’inverser utilement la perspective.
On pense souvent qu’une étude réussie doit obtenir un effet « significatif ».
Mais une excellente étude peut montrer avec beaucoup de précision qu’aucun effet suffisamment important pour être intéressant n’est compatible avec les données.
Supposons qu’un traitement estime une amélioration de 0,1 point avec un intervalle de −0,1 à +0,3, tandis qu’une amélioration minimale de 2 points serait nécessaire pour avoir un intérêt clinique.
L’étude fournit une information importante.
Elle ne se contente pas de « ne pas trouver de différence ».
Elle montre avec une assez bonne précision que les effets importants recherchés sont fortement incompatibles avec les données, sous les hypothèses du modèle.
Cette situation est très différente d’une étude minuscule dont l’intervalle va de −10 à +10.
L’absence d’effet intéressant peut elle-même être une hypothèse scientifique
Cette idée conduit aux études d’équivalence et de non-infériorité.
Dans certaines situations, on ne cherche pas à démontrer qu’un nouveau traitement est meilleur.
On cherche à savoir s’il n’est pas substantiellement moins bon qu’un traitement existant, peut-être parce qu’il est moins cher, plus simple ou possède moins d’effets indésirables.
Il faut alors définir à l’avance une marge cliniquement pertinente.
La question n’est plus :
« la différence est-elle statistiquement différente de zéro ? »
mais :
« pouvons-nous exclure avec suffisamment de précision des différences considérées comme trop importantes ? »
Cela illustre parfaitement pourquoi le seuil de significativité ne peut pas constituer toute la logique de l’inférence.
L’incertitude statistique n’est qu’une partie de l’incertitude scientifique
Un intervalle de confiance peut être extraordinairement étroit.
Cela ne signifie pas que la conclusion scientifique globale soit aussi certaine.
Supposons qu’une étude compte un million de participants mais mesure très mal l’exposition.
L’erreur d’échantillonnage devient minuscule.
Le biais de mesure demeure.
Supposons que deux groupes soient très différents à cause d’une confusion non contrôlée.
L’intervalle peut entourer très précisément une estimation biaisée.
La plupart des intervalles statistiques classiques quantifient principalement certaines sources d’incertitude à l’intérieur du modèle utilisé.
Ils n’intègrent pas automatiquement toutes les possibilités :
erreur de mesure ;
biais de sélection ;
confusion non mesurée ;
choix analytique ;
mauvaise spécification du modèle ;
fraude ;
erreur de codage.
Greenland et ses collègues soulignent justement que tests, valeurs *p* et intervalles dépendent d’un ensemble de suppositions concernant la collecte, l’analyse et la sélection des résultats.
Un intervalle étroit n’est donc pas un certificat de vérité.
Une valeur p dépend elle aussi de toutes les hypothèses du modèle
La présentation habituelle parle souvent de la valeur *p* comme si elle était calculée uniquement « sous l’hypothèse nulle ».
En réalité, le calcul repose également sur d’autres hypothèses.
Selon le test, il peut être nécessaire de supposer :
une certaine structure des erreurs ;
l’indépendance de certaines observations ;
une distribution particulière ;
une procédure d’échantillonnage ;
un modèle correctement spécifié ;
et une analyse choisie indépendamment des résultats observés.
Greenland et ses collègues proposent ainsi de considérer la valeur *p* comme une mesure de compatibilité entre les données et l’ensemble du modèle statistique, plutôt que comme un détecteur isolé de la fausseté de H₀.
Une petite valeur *p* peut donc signaler un conflit avec l’hypothèse scientifique testée, mais aussi avec une autre supposition utilisée pour réaliser le calcul.
Nous retrouvons ici, sous forme statistique, le problème de Duhem-Quine.
p petit ne nous dit pas nécessairement pourquoi le modèle échoue
Supposons qu’un test fournisse *p* < 0,001.
Plusieurs possibilités existent.
L’hypothèse nulle peut être fausse.
La distribution supposée peut être inadéquate.
Les observations peuvent ne pas être indépendantes.
Une valeur aberrante peut peser fortement sur le résultat.
Une sélection des analyses peut avoir produit artificiellement une petite valeur *p*.
Les données peuvent encore contenir un biais que le modèle ne représente pas.
Le test indique donc parfois :
« quelque chose dans ce modèle et ces données ne s’accorde pas bien ».
Il ne fournit pas automatiquement le diagnostic causal de cette incompatibilité.
La sélection des analyses modifie profondément l’interprétation
Supposons qu’un chercheur teste une seule hypothèse définie à l’avance et obtienne *p* = 0,02.
Comparons cette situation à celle où il a exploré deux cents analyses différentes puis publié uniquement celle qui donne *p* = 0,02.
Le nombre affiché est identique.
La force probante ne l’est pas.
Les procédures statistiques classiques supposent généralement que le processus ayant conduit au test est correctement pris en compte. Si l’analyse est choisie parce qu’elle produit une petite valeur *p*, son interprétation nominale devient trompeuse.
Greenland et ses collègues insistent précisément sur les violations des protocoles d’analyse, notamment la sélection des résultats selon les valeurs *p* obtenues.
Nous examinerons en détail ces analyses multiples dans la fiche 21, puis le *p-hacking* dans la partie consacrée aux pratiques de recherche discutables.
« Très significatif » peut être une expression dangereuse
Il est fréquent de rencontrer :
p < 0,05 : significatif
p < 0,01 : très significatif
p < 0,001 : hautement significatif
Une valeur *p* plus petite peut effectivement représenter une plus grande incompatibilité des données avec le modèle testé, toutes choses égales par ailleurs.
Mais elle ne signifie pas nécessairement :
effet plus grand ;
résultat plus important ;
étude de meilleure qualité ;
hypothèse beaucoup plus probablement vraie.
Une étude gigantesque sur un effet minuscule peut produire *p* < 10⁻¹⁰, tandis qu’une petite étude sur un effet important peut produire *p* = 0,07.
Comparer uniquement les valeurs *p* risque donc de comparer précision et taille d’échantillon autant que contenu scientifique.
Deux études peuvent estimer le même effet et recevoir des étiquettes opposées
Supposons :
Étude A : effet = 10 ; IC 95 % = 1 à 19 ; p = 0,03.
Étude B : effet = 10 ; IC 95 % = −1 à 21 ; p = 0,07.
La meilleure synthèse n’est pas :
A trouve un effet ; B ne trouve aucun effet.
Les deux études produisent exactement la même estimation ponctuelle : 10.
La seconde est simplement plus incertaine.
Cette distinction paraît évidente lorsqu’on regarde les intervalles.
Elle disparaît lorsqu’on transforme les résultats en cases :
significatif / non significatif.
C’est l’une des raisons principales de privilégier les estimations accompagnées de leur incertitude.
« Significatif dans un groupe, non significatif dans l’autre » ne prouve pas une différence entre groupes
Supposons qu’un traitement soit étudié séparément chez les hommes et chez les femmes.
Chez les hommes :
*p* = 0,03.
Chez les femmes :
*p* = 0,08.
Il est tentant de conclure :
« Le traitement fonctionne chez les hommes mais pas chez les femmes. »
Cette conclusion ne suit pas.
Pour établir que l’effet diffère entre les deux groupes, il faut tester directement la différence entre leurs effets, par exemple à travers une interaction appropriée.
Le fait qu’un résultat franchisse 0,05 et l’autre non peut simplement provenir de tailles d’échantillon ou de variabilités différentes.
Cette erreur constitue une autre conséquence importante de la pensée dichotomique autour du seuil.
Les intervalles rendent visibles certaines de ces erreurs
Considérons deux sous-groupes :
groupe A : effet 5, IC 95 % de 1 à 9 ;
groupe B : effet 4, IC 95 % de −1 à 9.
La lecture « A fonctionne, B ne fonctionne pas » devient immédiatement peu crédible.
Les estimations sont très proches.
La différence principale réside dans leur précision.
L’intervalle ne résout pas tout, mais il oblige davantage à regarder la continuité des estimations plutôt qu’un verdict binaire.
Une valeur p n’est pas un facteur de preuve universel
Deux études obtenant toutes deux *p* = 0,01 ne produisent pas nécessairement la même quantité de preuve scientifique.
L’une peut être un essai préenregistré, très bien contrôlé, visant une hypothèse précise.
L’autre peut être une analyse exploratoire choisie parmi des centaines.
L’une peut mesurer directement le phénomène.
L’autre utiliser un indicateur très indirect.
L’une peut reproduire un résultat déjà obtenu par plusieurs équipes.
L’autre peut constituer une observation isolée et inattendue.
Une même valeur numérique ne résume donc pas la qualité du dessin, la plausibilité des alternatives, les biais, la réplication ou les connaissances antérieures.
Le raisonnement scientifique ne peut pas être sous-traité à un seuil statistique.
Faut-il alors supprimer les valeurs p ?
Le débat contemporain est plus nuancé.
La critique de l’usage mécanique du seuil de 0,05 a conduit certains chercheurs à proposer l’abandon de l’expression « statistiquement significatif » et à privilégier davantage les estimations, intervalles, analyses de sensibilité et contexte scientifique.
L’éditorial de Wasserstein, Schirm et Lazar de 2019 défend fortement ce dépassement des décisions fondées uniquement sur *p* < 0,05.
Mais il ne faut pas transformer cette critique en nouveau dogme :
« les valeurs p sont inutiles et doivent être interdites ».
Le même débat statistique contient des positions différentes, et l’ASA a explicitement précisé que l’objectif n’était pas nécessairement d’abandonner tout calcul de valeur *p*, mais de cesser de lui attribuer une autorité qu’elle ne possède pas.
Le problème central n’est pas le nombre lui-même.
C’est la manière dont il est utilisé.
Une bonne présentation doit montrer plusieurs dimensions à la fois
Au lieu de publier seulement :
p = 0,03
une présentation beaucoup plus informative indiquera par exemple :
différence moyenne : −4,2 points ; IC 95 % : −7,0 à −1,4 ; p = 0,004 ; seuil d’importance clinique préspécifié : −3 points.
Le lecteur peut alors examiner :
l’ampleur estimée ;
la direction ;
la précision ;
la compatibilité avec l’absence d’effet ;
et la compatibilité avec des effets considérés comme pratiquement importants.
Le résultat devient une quantité à interpréter, plus seulement une case à cocher.
L’effet doit être interprété dans son contexte
Une réduction de pression artérielle de 3 mmHg peut être faible pour un individu et pourtant avoir un intérêt à l’échelle d’une population.
Une réduction absolue de risque de 1 % peut être peu intéressante si le traitement est coûteux et dangereux, mais très intéressante s’il est presque gratuit et sans effet indésirable.
Une augmentation moyenne de 0,2 année de scolarité peut représenter quelque chose de substantiel dans une politique appliquée à plusieurs millions de personnes.
La statistique ne décide donc pas seule ce qui compte.
Il faut intégrer coûts, risques, valeurs, alternatives et conséquences.
La taille d’effet est nécessaire à cette discussion, mais elle n’en fournit pas le verdict moral ou politique.
L’incertitude elle-même peut être le résultat principal
La science ne produit pas toujours :
« oui »
ou
« non ».
Elle produit souvent :
« l’effet est probablement dans cette région, mais nous ne pouvons pas encore distinguer correctement plusieurs possibilités importantes ».
Cette réponse peut sembler moins satisfaisante.
Elle est pourtant beaucoup plus honnête qu’un verdict artificiel produit par le seuil de 0,05.
Une étude dont l’intervalle couvre à la fois un bénéfice important et un dommage important n’a pas établi « aucune différence ».
Elle a établi une forte incertitude.
Cette incertitude constitue une information scientifique à part entière.
La statistique quantifie certaines incertitudes ; elle ne supprime pas le jugement scientifique
La bonne utilisation des statistiques ne remplace donc pas l’interprétation.
Elle la discipline.
Les tests permettent de mesurer certaines incompatibilités.
Les tailles d’effet permettent de quantifier certaines différences.
Les intervalles permettent de représenter certaines incertitudes.
Mais il reste à examiner :
la qualité du dessin ;
la mesure ;
les biais ;
les hypothèses du modèle ;
les analyses effectuées ;
la plausibilité causale ;
les autres études ;
et l’importance réelle de l’effet.
C’est exactement le message général de Greenland et de ses collègues : aucune statistique unique ne doit constituer la seule base d’une inférence ou d’une décision scientifique.
De « est-ce significatif ? » à trois meilleures questions
Face à un résultat, une bonne habitude consiste donc à remplacer :
« Est-ce statistiquement significatif ? »
par trois questions.
Quel effet a été estimé ?
Une différence moyenne ? Une réduction absolue du risque ? Un risque relatif ? Une corrélation ?
Quelle est l’ampleur de cet effet et a-t-elle une importance pratique ?
Un effet détectable peut être négligeable ; un effet utile dépend du contexte.
Quelle est l’incertitude autour de cette estimation ?
L’étude permet-elle de distinguer un effet important d’un effet faible ou nul ?
Cette manière de lire les résultats ne rend pas la statistique plus compliquée.
Elle la rend scientifiquement plus pertinente.
À retenir
Une valeur p n’est ni la probabilité que l’hypothèse nulle soit vraie, ni la probabilité que le résultat soit « dû au hasard ». Elle mesure, sous l’hypothèse testée et les autres suppositions statistiques, à quel point des données au moins aussi incompatibles avec le modèle seraient attendues. L’American Statistical Association a explicitement identifié ces confusions parmi les principales erreurs d’interprétation des valeurs *p*.
Le seuil p < 0,05 est une convention et non une frontière naturelle entre vérité et erreur. Des résultats à *p* = 0,049 et *p* = 0,051 contiennent pratiquement la même information. Les recommandations statistiques contemporaines déconseillent donc fortement de fonder les conclusions scientifiques uniquement sur cette dichotomie.
La taille d’effet répond à une autre question : quelle est l’ampleur du phénomène ? Un effet minuscule peut devenir statistiquement significatif dans un très grand échantillon, tandis qu’un effet potentiellement important peut rester non significatif dans une étude trop imprécise.
Les intervalles de confiance permettent de rendre visible une partie de cette incertitude. Dans leur interprétation fréquentiste classique, un intervalle à 95 % ne signifie cependant pas qu’il existe 95 % de probabilité que le paramètre véritable se situe à l’intérieur de l’intervalle obtenu. La propriété des 95 % concerne la couverture à long terme de la procédure utilisée pour construire les intervalles.
Enfin, ni une petite valeur *p* ni un intervalle étroit ne corrigent un mauvais dessin d’étude, une mauvaise mesure ou un biais systématique. La précision statistique ne doit jamais être confondue avec la validité scientifique.
La meilleure question n’est donc plus :
« Le résultat est-il significatif ? »
mais :
« Quel effet est estimé, quelle importance aurait-il réellement, et avec quelle précision les données permettent-elles de le connaître ? »
Sources et références
- Wasserstein, Ronald L. & Lazar, Nicole A., « The ASA Statement on p-Values: Context, Process, and Purpose », *The American Statistician*, 2016, 70(2):129–133, DOI 10.1080/00031305.2016.1154108.
- Greenland, Sander et al., « Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations », *European Journal of Epidemiology*, 2016, 31:337–350, DOI 10.1007/s10654-016-0149-3.
- Wasserstein, Ronald L., Schirm, Allen L. & Lazar, Nicole A., « Moving to a World Beyond “p < 0.05” », *The American Statistician*, 2019, 73:sup1, 1–19, DOI 10.1080/00031305.2019.1583913.
- Sullivan, Gail M. & Feinn, Richard, « Using Effect Size—or Why the P Value Is Not Enough », *Journal of Graduate Medical Education*, 2012, 4(3):279–282, DOI 10.4300/JGME-D-12-00156.1.