Significativité statistique, taille d’effet et incertitude : que nous apprend réellement un résultat chiffré ?
Un résultat chiffré ne parle jamais seul
Une étude compare deux traitements, deux groupes ou deux périodes. Elle obtient une différence et annonce :
« Le résultat est statistiquement significatif. »
Cette formule est souvent comprise comme :
- l’effet est important ;
- l’hypothèse est probablement vraie ;
- le résultat a peu de chances d’être dû au hasard ;
- l’étude prouve que l’intervention fonctionne.
Aucune de ces interprétations n’est automatiquement correcte.
La significativité statistique répond à une question limitée, à l’intérieur d’un modèle et sous plusieurs hypothèses. Elle ne mesure pas directement :
- l’importance de l’effet ;
- sa probabilité d’être réel ;
- sa pertinence pratique ;
- sa reproductibilité ;
- la qualité générale de l’étude.
Une différence minuscule peut devenir statistiquement significative dans un très grand échantillon. Une différence importante peut ne pas atteindre le seuil conventionnel dans une petite étude imprécise. Deux résultats presque identiques peuvent être séparés artificiellement par la frontière entre « significatif » et « non significatif ».
Pour comprendre un résultat chiffré, il faut examiner au minimum :
- l’estimation de l’effet ;
- son incertitude ;
- la taille de l’échantillon ;
- la qualité de la mesure ;
- les hypothèses statistiques ;
- les analyses effectuées ;
- la pertinence pratique de la différence.
La question centrale n’est donc pas seulement :
« La valeur de *p* est-elle inférieure à 0,05 ? »
mais :
« Quelle différence a été estimée, avec quelle précision, selon quelles hypothèses, et quelles conclusions cette estimation permet-elle réellement de soutenir ? »
De l’échantillon à la population
Une étude observe rarement l’ensemble de la population qui nous intéresse. Elle travaille sur un échantillon :
- un groupe de patients ;
- un ensemble d’électeurs interrogés ;
- des mesures réalisées dans plusieurs laboratoires ;
- une sélection d’entreprises ;
- des participants à une expérience.
Les valeurs observées dans l’échantillon varient d’un prélèvement à l’autre. Supposons qu’un traitement réduise réellement une douleur moyenne de deux points dans une population. Deux études tirant des participants différents pourraient estimer :
- une réduction de 1,4 point ;
- une réduction de 2,3 points ;
- une réduction de 2,8 points.
Ces différences ne signifient pas nécessairement que l’effet réel change. Elles peuvent provenir de la variabilité d’échantillonnage.
La statistique inférentielle cherche à raisonner à partir de cette variation. Elle tente de distinguer :
- le signal correspondant au phénomène ;
- le bruit produit par les observations particulières.
Mais cette distinction reste probabiliste. Une étude ne révèle pas directement la valeur exacte présente dans la population.
Le paramètre et son estimation
Un paramètre est une caractéristique de la population que nous cherchons à connaître. Il peut s’agir :
- d’une moyenne ;
- d’une proportion ;
- d’une différence ;
- d’une corrélation ;
- d’un risque relatif ;
- d’un effet causal.
L’étude produit une estimation de ce paramètre. Par exemple :
La différence moyenne observée entre les deux groupes est de 3,2 points.
Cette estimation est appelée estimation ponctuelle. Elle fournit une valeur centrale. Mais elle ne montre pas à elle seule la précision de l’étude.
Deux recherches peuvent estimer exactement la même différence de 3,2 points :
- la première avec une grande incertitude ;
- la seconde avec une estimation beaucoup plus précise.
L’incertitude doit donc accompagner la valeur centrale.
L’erreur standard
L’erreur standard représente la variabilité attendue d’une estimation entre plusieurs échantillons comparables. Elle dépend notamment :
- de la dispersion des observations ;
- de la taille de l’échantillon ;
- du modèle statistique.
Plus l’échantillon est grand, plus l’erreur standard tend généralement à diminuer. Cela signifie qu’une étude portant sur de nombreuses observations peut estimer très précisément une différence minuscule. Cette propriété explique une partie du décalage possible entre :
- significativité statistique ;
- importance pratique.
Une précision élevée ne transforme pas un petit effet en effet important. Elle permet seulement d’affirmer avec davantage de confiance que le petit effet n’est probablement pas exactement nul dans le modèle utilisé.
L’hypothèse nulle
De nombreux tests statistiques commencent par une hypothèse nulle. Elle peut affirmer :
- absence de différence entre deux groupes ;
- absence de corrélation ;
- absence d’effet du traitement ;
- égalité d’un paramètre à une valeur déterminée.
Par exemple :
L’effet moyen du traitement est exactement nul.
Le test examine ensuite la compatibilité des données avec cette hypothèse, en tenant compte du modèle statistique. L’hypothèse nulle constitue une référence. Elle n’est pas toujours la seule hypothèse intéressante. Dans de nombreux problèmes réels, une absence parfaitement exacte d’effet est peu plausible. La question importante peut être :
- l’effet est-il assez grand pour être utile ?
- est-il plus petit qu’un seuil négligeable ?
- quelle amplitude les données permettent-elles encore ?
- quelle hypothèse explique le mieux les observations ?
La valeur de *p*
La valeur de *p* est souvent mal comprise.
Dans une formulation simplifiée, elle indique :
La probabilité, en supposant l’hypothèse nulle et les autres hypothèses du modèle, d’obtenir un résultat au moins aussi incompatible avec cette hypothèse que celui observé.
Elle prend donc la forme :
P(données aussi extrêmes ou davantage | hypothèse nulle et modèle)
Elle ne représente pas directement :
P(hypothèse nulle | données)
La différence est fondamentale.
La valeur de *p* ne donne pas la probabilité que l’hypothèse nulle soit vraie. Elle mesure la compatibilité de certaines données avec un ensemble d’hypothèses statistiques.
Ce que signifie une petite valeur de *p*
Une petite valeur de *p* indique que les données observées seraient relativement inhabituelles si :
- l’hypothèse nulle était vraie ;
- le modèle était correctement spécifié ;
- les données avaient été recueillies et analysées selon la procédure annoncée.
Cela peut constituer une raison de remettre en cause l’hypothèse nulle. Mais plusieurs autres explications restent possibles :
- effet réel ;
- biais de sélection ;
- erreur de mesure ;
- modèle incorrect ;
- analyse choisie après observation ;
- multiplicité des tests ;
- hasard rare mais possible.
Une petite valeur de *p* ne désigne donc pas automatiquement la cause de l’incompatibilité.
Ce que la valeur de *p* ne signifie pas
Une valeur de *p* de 0,03 ne signifie pas :
- qu’il existe 3 % de chances que l’hypothèse nulle soit vraie ;
- que le résultat possède 97 % de chances d’être reproduit ;
- que l’effet a 97 % de chances d’exister ;
- que seulement 3 % du résultat sont dus au hasard ;
- que l’étude possède 97 % de fiabilité ;
- que l’effet est important.
Ces interprétations inversent ou déforment le raisonnement conditionnel.
Une faible valeur de *p* peut accompagner :
- un effet important ;
- un effet minuscule ;
- une étude biaisée ;
- une fluctuation rare ;
- une analyse sélectionnée.
Elle doit être interprétée avec l’ensemble du protocole.
« Dû au hasard »
L’expression « le résultat n’est probablement pas dû au hasard » est trompeuse. Le hasard ne constitue pas une cause unique opposée à l’effet réel. La valeur de *p* utilise un modèle de variation aléatoire pour évaluer la compatibilité des données avec une hypothèse. Elle ne sépare pas directement :
- résultat réel ;
- résultat dû au hasard.
Même en présence d’un effet réel, les observations comportent une variation aléatoire. Même sous l’hypothèse nulle, un résultat très inhabituel reste possible. La statistique ne supprime donc pas le hasard. Elle quantifie certains aspects de l’incertitude selon un modèle.
Le seuil de 0,05
Le seuil de 0,05 est devenu une convention très fréquente.
Un résultat est souvent appelé :
- statistiquement significatif si *p* < 0,05 ;
- non significatif si *p* ≥ 0,05.
Mais ce seuil n’est pas une frontière naturelle. Un résultat avec *p* = 0,049 et un résultat avec *p* = 0,051 apportent presque la même information. Les traiter comme appartenant à deux mondes radicalement différents est artificiel. Le seuil peut être utile pour certaines procédures de décision. Il devient problématique lorsqu’il transforme une mesure continue de compatibilité en verdict absolu.
L’origine conventionnelle du seuil
Ronald Fisher a popularisé l’usage de seuils comme 0,05 pour identifier des résultats méritant une attention supplémentaire. Dans son approche, la valeur de *p* pouvait contribuer à mesurer la force d’une incompatibilité avec l’hypothèse nulle. Jerzy Neyman et Egon Pearson ont développé une autre logique, fondée sur :
- des hypothèses alternatives ;
- des taux d’erreur à long terme ;
- des règles de décision fixées avant l’expérience.
La pratique actuelle mélange souvent ces deux traditions. Elle utilise la valeur de *p* comme mesure de preuve tout en appliquant un seuil comme règle de décision.
Ce mélange peut rendre l’interprétation confuse.
Fisher et Neyman-Pearson
Dans une approche inspirée de Fisher, la valeur de *p* constitue un indice à interpréter avec les autres éléments de l’étude. Elle ne produit pas nécessairement une décision binaire définitive.
Dans l’approche de Neyman-Pearson, le chercheur définit avant l’étude :
- une hypothèse nulle ;
- une hypothèse alternative ;
- un seuil d’erreur de type I ;
- une puissance recherchée ;
- une règle de décision.
Cette procédure vise à contrôler les erreurs répétées à long terme. Les deux cadres répondent à des questions légèrement différentes. La confusion apparaît lorsque l’on utilise un seuil de décision tout en présentant son franchissement comme la probabilité que l’hypothèse soit vraie.
L’erreur de type I
Une erreur de type I consiste à rejeter l’hypothèse nulle alors qu’elle est vraie dans le cadre du modèle. Elle correspond à un faux positif.
Le seuil α, souvent fixé à 0,05, contrôle la probabilité d’une telle décision dans une procédure correctement définie et répétée sous l’hypothèse nulle. Mais ce contrôle suppose notamment que :
- le test a été choisi avant l’observation ;
- les règles d’exclusion sont fixées ;
- le nombre d’analyses est pris en compte ;
- le modèle est valide.
Si les chercheurs essaient de nombreuses analyses et ne publient que celle qui réussit, le taux réel de faux positifs peut être bien supérieur à 5 %.
L’erreur de type II
Une erreur de type II consiste à ne pas rejeter l’hypothèse nulle alors qu’un effet pertinent existe. Elle correspond à un faux négatif. Sa probabilité est souvent notée β. La puissance statistique est égale à :
1 − β
Une étude peu puissante peut manquer fréquemment des effets réels.
Un résultat non significatif ne prouve donc pas automatiquement l’absence d’effet. Il peut refléter :
- un effet nul ;
- un effet faible ;
- une grande variabilité ;
- un échantillon insuffisant ;
- une mesure imprécise.
La puissance statistique
La puissance désigne la probabilité qu’une procédure détecte un effet d’une certaine taille lorsque cet effet existe réellement selon les hypothèses retenues. Elle dépend notamment :
- de la taille de l’effet ;
- du nombre de participants ;
- de la variabilité ;
- de la qualité de la mesure ;
- du seuil statistique ;
- du dessin de l’étude.
Un effet important est plus facile à détecter qu’un effet faible. Un grand échantillon augmente généralement la puissance. Une mesure plus fiable réduit le bruit et améliore également la détection.
La puissance n’est pas une propriété absolue
Une étude n’est pas simplement « puissante » ou « non puissante ». Sa puissance dépend de la taille d’effet considérée. Une étude peut posséder :
- une bonne puissance pour détecter un effet important ;
- une faible puissance pour détecter un effet modéré ;
- presque aucune puissance pour détecter un effet minuscule.
La question correcte est :
Quelle amplitude l’étude était-elle capable de détecter avec une probabilité raisonnable ?
Cette amplitude doit être reliée à l’importance scientifique ou pratique.
Les études de petite taille
Une petite étude produit généralement des estimations plus variables. Elle peut :
- manquer un effet réel ;
- surestimer l’amplitude d’un effet détecté ;
- produire un résultat extrême par hasard ;
- être très sensible à quelques observations.
Lorsqu’une petite étude obtient un résultat significatif, l’effet estimé est souvent plus grand que l’effet réel moyen. Ce phénomène est lié à la sélection des seuls résultats ayant franchi le seuil. Les petites études significatives peuvent donc donner une image exagérée.
Le biais du gagnant
Le biais du gagnant décrit la tendance des effets sélectionnés parce qu’ils dépassent un seuil à être surestimés. Supposons qu’un effet réel soit modeste.
Plusieurs petites études produisent des estimations variables :
- certaines proches de zéro ;
- certaines modérées ;
- quelques-unes très élevées.
Les estimations les plus élevées ont davantage de chances d’atteindre la significativité et d’être publiées. La littérature visible surestime alors l’effet réel. La réplication avec un échantillon plus important produit souvent une estimation plus faible.
La taille d’effet
La taille d’effet décrit l’amplitude du phénomène observé ou estimé. Elle peut être exprimée sous plusieurs formes :
- différence moyenne ;
- différence de proportions ;
- risque relatif ;
- réduction absolue du risque ;
- corrélation ;
- rapport de chances ;
- coefficient standardisé.
Contrairement à la valeur de *p*, elle répond directement à une question comme :
Quelle est l’ampleur estimée de la différence ?
Mais une taille d’effet ne doit pas non plus être interprétée isolément. Elle doit être accompagnée de :
- son unité ;
- son incertitude ;
- son contexte ;
- sa pertinence pratique.
Les différences dans l’unité d’origine
Une différence exprimée dans l’unité réelle est souvent la plus facile à comprendre. Par exemple :
- diminution moyenne de 4 mmHg ;
- réduction de la douleur de 1,2 point sur 10 ;
- gain de 8 minutes ;
- hausse de 3 points de pourcentage.
Ces valeurs permettent une interprétation concrète. Mais leur importance dépend du domaine.
Une différence de 1 point peut être :
- négligeable sur une échelle ;
- importante sur une autre.
Il faut donc connaître la signification de l’unité et les variations habituelles.
Les tailles d’effet standardisées
Une taille d’effet standardisée exprime la différence relativement à la dispersion des données. Le *d* de Cohen, par exemple, compare une différence moyenne à un écart-type. Cette standardisation facilite certaines comparaisons entre études utilisant des échelles différentes. Mais elle possède des limites. La valeur dépend de la variabilité de la population. La même différence concrète peut produire un effet standardisé différent dans une population homogène ou hétérogène.
Une taille standardisée est donc une transformation utile, pas une mesure universelle de l’importance.
Les repères de Cohen
Jacob Cohen a proposé des repères conventionnels souvent interprétés comme :
- petit ;
- moyen ;
- grand.
Ces seuils ne doivent pas être utilisés mécaniquement.
Un effet statistiquement « petit » peut être important lorsqu’il :
- concerne des millions de personnes ;
- s’accumule dans le temps ;
- porte sur un risque grave ;
- nécessite une intervention très peu coûteuse.
Un effet « grand » peut être sans intérêt si :
- la mesure est artificielle ;
- l’intervention est dangereuse ;
- l’effet ne dure que quelques minutes ;
- il ne se généralise pas.
L’importance dépend du contexte, non d’une table universelle.
Risque relatif et risque absolu
Les effets médicaux ou sociaux sont souvent présentés en risque relatif. Supposons qu’un risque passe :
- de 2 cas sur 10 000 ;
- à 1 cas sur 10 000.
La réduction relative est de 50 %. La réduction absolue est de 1 cas sur 10 000. Les deux descriptions sont correctes. Mais elles produisent des impressions différentes. Le risque relatif montre la proportion de réduction. Le risque absolu montre l’impact concret dans la population.
Une communication honnête devrait souvent présenter les deux.
Le nombre nécessaire à traiter
Le nombre nécessaire à traiter indique combien de personnes doivent recevoir une intervention pour éviter un événement supplémentaire pendant une période donnée.
Il dépend de la réduction absolue du risque. Cet indicateur peut faciliter l’interprétation pratique. Mais il doit préciser :
- la durée ;
- la population ;
- l’événement ;
- l’incertitude.
Il ne doit pas être traité comme une constante universelle du traitement.
Sa valeur change lorsque le risque de départ change.
Le rapport de chances
Le rapport de chances, ou *odds ratio*, est fréquemment utilisé dans certaines analyses. Il ne correspond pas exactement au risque relatif. Lorsque l’événement est rare, les deux peuvent être proches. Lorsque l’événement est fréquent, le rapport de chances peut donner une impression d’effet plus important. Une présentation destinée au public devrait éviter de laisser croire qu’un rapport de chances constitue directement une multiplication du risque. La traduction dans une mesure absolue est souvent plus informative.
La corrélation
Une corrélation mesure la force d’une relation entre deux variables. Une corrélation proche de zéro indique une faible relation linéaire. Une corrélation élevée indique une association plus forte. Mais son importance dépend :
- de la fiabilité des mesures ;
- de la plage des valeurs ;
- de la population ;
- de la forme de la relation ;
- de la question.
Une corrélation modeste peut avoir une grande importance théorique.
Une corrélation élevée peut provenir d’une cause commune ou d’un biais. Elle ne constitue pas une mesure directe de causalité.
Variance expliquée
Le carré d’une corrélation est parfois interprété comme une proportion de variance expliquée dans un modèle simple. Cette formule peut être utile. Mais le mot « expliquée » doit être pris au sens statistique. Il signifie que le modèle rend compte d’une partie de la variation observée. Il ne démontre pas nécessairement un mécanisme causal.
Une faible proportion de variance expliquée peut néanmoins accompagner un effet important dans certains contextes.
Significativité statistique et importance pratique
Un résultat statistiquement significatif peut être pratiquement négligeable. Supposons qu’une intervention réduise en moyenne un temps d’attente de huit secondes dans un très grand échantillon. La différence peut être estimée avec une grande précision et produire une très petite valeur de *p*. Mais son intérêt opérationnel peut être presque nul. Inversement, une réduction importante d’un risque rare peut ne pas atteindre la significativité dans une étude limitée. Il faut donc distinguer :
- existence statistiquement détectable ;
- importance scientifique ;
- utilité clinique ;
- pertinence sociale ;
- rapport entre coûts et bénéfices.
La différence minimale importante
Dans certains domaines, les chercheurs définissent une différence minimale cliniquement importante ou pratiquement pertinente. Elle représente l’amplitude minimale considérée comme suffisamment importante pour modifier le bien-être, la décision, le traitement et la politique.
Ce seuil ne vient pas uniquement des statistiques. Il peut dépendre :
- de l’expérience des patients ;
- des effets secondaires ;
- des coûts ;
- des alternatives ;
- des valeurs.
Une étude devrait idéalement être conçue pour estimer si l’effet dépasse ce seuil, et pas seulement s’il diffère exactement de zéro.
L’intervalle de confiance
Un intervalle de confiance fournit un ensemble de valeurs compatibles avec les données selon une procédure statistique.
Un intervalle à 95 % est souvent interprété trop simplement comme :
Il existe 95 % de chances que la vraie valeur soit dans cet intervalle.
Dans l’interprétation fréquentiste stricte, le paramètre est considéré comme fixe et l’intervalle varie d’un échantillon à l’autre. La procédure produit des intervalles contenant le paramètre dans 95 % des répétitions conformes au modèle. Après le calcul d’un intervalle particulier, la procédure l’a soit couvert, soit manqué. Cette distinction est conceptuellement importante, même si l’intervalle reste un outil pratique pour représenter l’incertitude.
Ce que montre un intervalle
Un intervalle permet d’examiner :
- la valeur centrale ;
- la précision ;
- les amplitudes encore compatibles avec les données ;
- la présence de valeurs nulles ou négligeables ;
- la possibilité d’effets importants.
Supposons une différence estimée à 4 points avec un intervalle de 1 à 7.
Les données sont compatibles avec :
- un effet faible ;
- un effet modéré ;
- un effet plus important.
Supposons maintenant un intervalle de −2 à 10.
L’étude reste compatible avec :
- un effet défavorable ;
- une absence approximative d’effet ;
- un bénéfice important.
La conclusion doit alors rester prudente.
L’intervalle n’est pas une frontière absolue
Les valeurs situées juste à l’intérieur de l’intervalle ne sont pas radicalement plus plausibles que celles situées juste à l’extérieur.
L’intervalle dépend d’un niveau conventionnel, souvent 95 %. Il ne doit pas être interprété comme :
- toutes les valeurs internes sont également probables ;
- toutes les valeurs externes sont impossibles.
Il fournit une représentation de la précision selon un cadre déterminé.
La forme complète de l’incertitude contient davantage d’information qu’une simple inclusion ou exclusion de zéro.
Intervalle de confiance et significativité
Dans de nombreux tests bilatéraux standards, un résultat est significatif au seuil de 5 % lorsque l’intervalle de confiance à 95 % exclut la valeur nulle. Cette correspondance peut être utile. Mais elle ne doit pas transformer l’intervalle en simple autre manière de rechercher la significativité.
Son intérêt principal est de montrer :
- l’amplitude estimée ;
- la précision ;
- les valeurs compatibles.
Un intervalle large révèle une grande incertitude, même s’il exclut de peu la valeur nulle.
Le résultat « non significatif »
Un résultat non significatif ne démontre pas l’absence d’effet. Il indique que les données n’ont pas produit une incompatibilité suffisante avec l’hypothèse nulle selon le seuil et le modèle retenus. Plusieurs situations sont possibles :
- l’effet est réellement nul ou négligeable ;
- un effet existe, mais l’étude manque de puissance ;
- la mesure est trop bruyante ;
- l’échantillon est trop petit ;
- l’effet varie selon les groupes ;
- le modèle statistique est mal adapté.
La largeur de l’intervalle aide à distinguer certaines de ces situations.
Absence de preuve et preuve d’absence
Une absence de résultat significatif constitue seulement une absence de preuve forte lorsque l’étude est trop imprécise. Elle peut devenir une preuve d’absence pratique si l’étude exclut avec une précision suffisante les effets jugés importants. Supposons que l’intervalle indique que l’effet se situe probablement entre −0,1 et 0,2 point, alors qu’un changement d’au moins 2 points serait nécessaire pour avoir un intérêt.
L’étude soutient alors l’idée que l’effet utile est absent ou extrêmement improbable dans le cadre du modèle. La question n’est pas seulement de savoir si zéro est inclus. Il faut examiner si les valeurs importantes restent compatibles.
Les tests d’équivalence
Un test classique cherche souvent à détecter une différence par rapport à zéro.
Un test d’équivalence examine une autre question :
Les données permettent-elles de conclure que l’effet est suffisamment proche de zéro pour être considéré comme négligeable ?
Il faut définir une zone d’équivalence :
- par exemple entre −δ et +δ.
Si l’intervalle est entièrement contenu dans cette zone, l’effet peut être considéré comme pratiquement équivalent à zéro selon le seuil choisi. Cette méthode permet de produire une preuve positive d’absence d’effet important, au lieu de s’appuyer sur un simple résultat non significatif.
Les tests de non-infériorité
Un test de non-infériorité cherche à déterminer si une nouvelle intervention n’est pas moins efficace qu’une référence au-delà d’une marge acceptable. Cette question est pertinente lorsqu’un nouveau traitement possède d’autres avantages :
- moins d’effets secondaires ;
- coût inférieur ;
- administration plus simple ;
- meilleure accessibilité.
La marge doit être définie avant l’étude et justifiée cliniquement.
Une mauvaise conception peut rendre la non-infériorité trop facile à conclure.
L’estimation plutôt que le verdict
Une approche centrée sur l’estimation privilégie :
- la taille d’effet ;
- l’intervalle d’incertitude ;
- la distribution des données ;
- la comparaison avec des seuils substantiels.
Elle évite de réduire le résultat à :
- significatif ;
- non significatif.
Cette approche ne supprime pas le besoin de décisions. Elle sépare mieux :
- l’information empirique ;
- le seuil institutionnel ou pratique.
Le résultat statistique devient une estimation à interpréter plutôt qu’un verdict automatique.
La dichotomisation des résultats
Transformer une valeur continue en deux catégories entraîne une perte d’information.
Les résultats avec :
- *p* = 0,049 ;
- *p* = 0,051,
sont presque identiques. Pourtant, la convention peut produire :
- publication pour le premier ;
- oubli pour le second ;
- conclusion positive dans un cas ;
- conclusion négative dans l’autre.
Cette dichotomisation favorise :
- l’exagération ;
- l’instabilité ;
- les contradictions apparentes ;
- la sélection des résultats.
Une interprétation graduelle est généralement plus fidèle.
« Significatif » et « non significatif » ne sont pas significativement différents
Une erreur fréquente consiste à comparer deux résultats ainsi :
- l’effet est significatif dans le groupe A ;
- il n’est pas significatif dans le groupe B ;
- donc l’effet diffère entre A et B.
Cette conclusion est invalide sans test direct de la différence entre les groupes.
Un résultat peut être :
- légèrement plus précis dans un groupe ;
- légèrement moins précis dans l’autre,
sans que les effets estimés diffèrent réellement.
Pour établir une interaction, il faut tester directement l’écart entre les effets.
Comparer les estimations
Supposons que l’effet estimé soit :
- 5 unités dans le groupe A ;
- 4 unités dans le groupe B.
Le premier est significatif, le second ne l’est pas. La différence entre 5 et 4 peut pourtant être très faible. Le statut significatif dépend aussi de :
- la taille de l’échantillon ;
- la variabilité ;
- la précision.
Comparer les étiquettes ne remplace jamais la comparaison des estimations.
Les analyses multiples
Une étude peut examiner :
- plusieurs variables ;
- plusieurs groupes ;
- plusieurs moments ;
- plusieurs modèles ;
- plusieurs seuils ;
- plusieurs exclusions.
Chaque test supplémentaire augmente la possibilité d’obtenir au moins un résultat favorable par fluctuation. Si vingt hypothèses nulles indépendantes sont testées au seuil de 5 %, la probabilité d’obtenir au moins un faux positif devient importante. Il faut donc tenir compte de la multiplicité.
Les corrections pour comparaisons multiples
Plusieurs méthodes peuvent ajuster le risque d’erreur :
- Bonferroni ;
- Holm ;
- contrôle du taux de fausses découvertes ;
- modèles hiérarchiques ;
- tests globaux.
Ces corrections possèdent des objectifs différents.
Certaines contrôlent strictement la probabilité d’au moins un faux positif.
D’autres contrôlent la proportion attendue de fausses découvertes parmi les résultats retenus.
Le bon choix dépend :
- du nombre de tests ;
- du domaine ;
- du caractère exploratoire ou confirmatoire ;
- du coût des erreurs.
Le *p*-hacking
Le *p*-hacking regroupe les pratiques consistant à multiplier ou modifier les analyses jusqu’à obtenir un résultat significatif. Cela peut inclure :
- arrêter la collecte dès que *p* < 0,05 ;
- essayer plusieurs exclusions ;
- choisir différentes variables ;
- tester plusieurs sous-groupes ;
- modifier le modèle ;
- publier seulement l’analyse favorable.
Ces pratiques peuvent être conscientes ou résulter d’une exploration insuffisamment distinguée de la confirmation. Elles augmentent fortement le risque de faux positifs et d’effets exagérés.
La flexibilité analytique
Une analyse comporte souvent plusieurs choix raisonnables. Par exemple :
- transformation des données ;
- traitement des valeurs manquantes ;
- choix des covariables ;
- définition de l’échantillon ;
- mesure du résultat.
Cette flexibilité n’est pas nécessairement une fraude. Elle devient problématique lorsque les choix dépendent silencieusement du résultat.
Une conclusion robuste devrait persister sous plusieurs décisions raisonnables ou expliquer clairement pourquoi une analyse particulière est la plus pertinente.
L’analyse multivers
Une analyse multivers examine de nombreuses spécifications plausibles. Elle permet de voir si la conclusion :
- reste stable ;
- varie modérément ;
- dépend d’un choix particulier ;
- change complètement.
Cette méthode ne signifie pas que toutes les analyses sont également valides. Elle rend visible la sensibilité aux décisions méthodologiques.
Un effet apparaissant uniquement dans une petite fraction des modèles doit être interprété avec prudence.
La recherche de sous-groupes
Après un résultat global décevant, les chercheurs peuvent examiner de nombreux sous-groupes. Un effet significatif peut apparaître dans l’un d’entre eux par hasard. L’analyse peut néanmoins révéler une véritable hétérogénéité. La distinction dépend de :
- justification théorique ;
- nombre de sous-groupes ;
- interaction directe ;
- préenregistrement ;
- réplication indépendante.
Un sous-groupe découvert après coup constitue une hypothèse à tester, non une conclusion définitive.
L’arrêt facultatif
Dans une procédure classique, la décision de continuer ou d’arrêter la collecte selon les résultats intermédiaires modifie les propriétés du test. Regarder régulièrement la valeur de *p* et arrêter dès qu’elle franchit 0,05 augmente le taux de faux positifs si cette stratégie n’est pas intégrée au plan statistique. Des méthodes séquentielles permettent d’examiner les données progressivement tout en contrôlant les erreurs. Le problème n’est pas l’observation intermédiaire en elle-même. Il est d’utiliser une procédure différente de celle supposée par le test.
L’exclusion des données
L’exclusion de participants ou d’observations peut être justifiée lorsque :
- l’appareil a dysfonctionné ;
- le protocole n’a pas été suivi ;
- les données sont impossibles ;
- le critère était défini à l’avance.
Mais les exclusions peuvent modifier fortement le résultat.
Une règle choisie après avoir vu les données peut favoriser la conclusion souhaitée. Il est utile de présenter :
- la justification ;
- le nombre de cas exclus ;
- l’analyse avec et sans exclusion ;
- les règles fixées avant l’étude.
Le biais de publication
Les études obtenant des résultats significatifs sont souvent plus faciles à publier que les résultats nuls. Les chercheurs peuvent également abandonner certains projets non concluants. La littérature visible contient alors une proportion excessive de résultats positifs. Ce biais peut produire l’impression d’un effet plus fréquent, d’une taille d’effet plus grande ou d’un consensus plus fort. L’ensemble publié ne représente pas nécessairement l’ensemble des études réalisées.
Le tiroir à fichiers
Le problème du tiroir à fichiers désigne les études non publiées restant invisibles. Supposons que vingt petites études soient menées sur un effet nul.
Par hasard, l’une obtient un résultat significatif. Si cette étude seule est publiée, la littérature donne l’impression d’un effet réel. La transparence sur les études commencées et leurs résultats réduit ce problème. Les registres, préenregistrements et rapports enregistrés contribuent à rendre visibles les recherches négatives.
Le biais de sélection des résultats
Même lorsqu’une étude est publiée, elle peut ne présenter qu’une partie des résultats mesurés.
Les auteurs peuvent rapporter :
- l’échelle favorable ;
- le moment favorable ;
- le groupe favorable ;
et omettre les autres analyses. Cette sélection transforme la publication en sous-échantillon des résultats.
Comparer le rapport final au protocole initial permet d’identifier certaines omissions.
La réplication
Une réplication examine si un résultat peut être retrouvé dans une nouvelle étude. Elle fournit une information importante sur :
- la stabilité ;
- la précision ;
- la généralisation ;
- les biais initiaux.
Une réplication non significative ne réfute pas automatiquement l’étude originale.
Il faut comparer :
- tailles d’effet ;
- intervalles ;
- puissance ;
- méthodes ;
- populations.
Deux études peuvent être compatibles malgré des étiquettes statistiques différentes.
La réplication et la diminution de l’effet
Les réplications estiment fréquemment un effet plus faible que l’étude initiale.
Plusieurs raisons sont possibles :
- biais du gagnant ;
- publication sélective ;
- échantillon initial atypique ;
- méthode plus stricte ;
- différence réelle de contexte.
La diminution ne prouve pas nécessairement que l’effet est inexistant. Elle montre que l’estimation initiale était peut-être trop optimiste.
La méta-analyse
Une méta-analyse combine les résultats de plusieurs études. Elle peut améliorer :
- la précision ;
- l’estimation moyenne ;
- l’étude de l’hétérogénéité ;
- la comparaison des contextes.
Mais elle dépend de la qualité des études incluses. Combiner plusieurs études biaisées peut produire une estimation précise d’un effet erroné. La méta-analyse ne transforme pas automatiquement une mauvaise littérature en preuve solide.
L’hétérogénéité entre études
Les études peuvent estimer des effets différents parce qu’elles portent sur :
- des populations différentes ;
- des mesures différentes ;
- des interventions différentes ;
- des contextes différents ;
- des biais différents.
Une moyenne globale peut cacher cette diversité.
Il faut examiner :
- la dispersion ;
- les modérateurs ;
- les intervalles de prédiction ;
- les sous-groupes justifiés.
L’hétérogénéité peut être un problème méthodologique ou une découverte scientifique sur les conditions de l’effet.
L’intervalle de prédiction
Dans une méta-analyse, l’intervalle de confiance autour de l’effet moyen indique l’incertitude sur cette moyenne. L’intervalle de prédiction cherche plutôt à représenter la plage dans laquelle pourrait se situer l’effet d’une nouvelle étude comparable. Lorsque l’hétérogénéité est forte, l’effet moyen peut être positif alors que certains contextes produisent un effet nul ou inverse. L’intervalle de prédiction est alors particulièrement informatif pour l’application pratique.
Les modèles à effets fixes et aléatoires
Un modèle à effet fixe suppose généralement qu’un même effet sous-jacent est estimé par toutes les études. Les différences viennent principalement de l’erreur d’échantillonnage. Un modèle à effets aléatoires autorise une variation réelle des effets entre études. Le choix doit correspondre à la question et aux données. Un modèle à effets aléatoires ne résout pas automatiquement l’hétérogénéité. Il la représente statistiquement sans nécessairement l’expliquer.
La qualité compte davantage que le nombre
Dix études faibles ne valent pas nécessairement mieux qu’une étude rigoureuse. Elles peuvent partager :
- le même biais ;
- la même mauvaise mesure ;
- la même sélection ;
- la même analyse flexible.
L’indépendance et la qualité des méthodes comptent.
Une accumulation de valeurs de *p* ne remplace pas l’examen de l’architecture des preuves.
Le préenregistrement
Le préenregistrement documente avant l’observation des résultats :
- hypothèses ;
- critères principaux ;
- taille d’échantillon ;
- exclusions ;
- analyses.
Il réduit la possibilité de présenter des décisions rétrospectives comme si elles avaient été prévues. Mais il ne garantit pas :
- une bonne mesure ;
- un bon modèle ;
- une hypothèse pertinente ;
- une analyse correctement exécutée.
Le préenregistrement améliore la transparence de la chaîne d’inférence. Il ne transforme pas automatiquement une étude faible en étude forte.
Les rapports enregistrés
Dans un rapport enregistré, la question et la méthode sont évaluées avant la collecte ou avant l’accès aux résultats.
La publication dépend moins du caractère positif ou négatif du résultat. Cette procédure réduit :
- le biais de publication ;
- le déplacement des critères ;
- la sélection des analyses ;
- l’exagération rétrospective.
Elle permet aussi d’accorder une valeur scientifique aux résultats nuls lorsqu’ils proviennent d’une étude précise et bien conçue.
Les analyses exploratoires
L’exploration est indispensable à la science. Elle permet :
- de découvrir des structures ;
- de générer des hypothèses ;
- de repérer des anomalies ;
- d’améliorer les modèles.
Le problème n’est pas d’explorer. Il est de présenter une découverte exploratoire comme une confirmation indépendante. Les mêmes données ont servi à produire l’hypothèse. La conclusion doit donc être testée sur :
- un nouvel échantillon ;
- une nouvelle étude ;
- une réplication préenregistrée.
Les degrés de liberté du chercheur
Les degrés de liberté du chercheur désignent l’ensemble des décisions pouvant influencer le résultat.
Ils comprennent :
- variables ;
- moments de mesure ;
- transformations ;
- exclusions ;
- covariables ;
- sous-groupes ;
- modèles.
Plus ces choix sont nombreux et invisibles, plus la valeur de *p* finale devient difficile à interpréter.
La transparence sur l’ensemble des décisions est donc essentielle.
La robustesse
Un résultat est robuste s’il persiste sous plusieurs analyses raisonnables.
La robustesse peut concerner :
- définition de la variable ;
- traitement des données ;
- modèle statistique ;
- exclusions ;
- population.
Un résultat disparaissant après une légère modification n’est pas nécessairement faux. Il est fragile. Cette fragilité doit réduire le degré de confiance et conduire à rechercher les raisons de la sensibilité.
Les hypothèses du modèle
Un test statistique repose sur des hypothèses comme :
- indépendance des observations ;
- forme de la distribution ;
- homogénéité de la variance ;
- relation linéaire ;
- absence de dépendance non modélisée ;
- échantillonnage approprié.
Une valeur de *p* calculée correctement dans un modèle mal adapté peut être trompeuse.
Il faut donc examiner :
- diagnostic des résidus ;
- structure des données ;
- regroupements ;
- dépendance temporelle ;
- données manquantes.
Les logiciels produisent facilement un nombre. Ils ne garantissent pas la pertinence du modèle.
L’indépendance des observations
De nombreux tests supposent que les observations sont indépendantes. Mais des données peuvent être regroupées :
- élèves dans une classe ;
- patients dans un hôpital ;
- mesures répétées chez la même personne ;
- électeurs dans une région ;
- publications d’une même équipe.
Traiter ces observations comme indépendantes sous-estime souvent l’incertitude.
Le nombre apparent de données peut être bien supérieur à la quantité réelle d’information indépendante.
La pseudoréplication
La pseudoréplication consiste à traiter plusieurs mesures d’une même unité comme si elles constituaient plusieurs unités indépendantes. Par exemple, mesurer cent cellules provenant d’un seul animal ne produit pas nécessairement un échantillon de cent animaux.
L’unité pertinente peut être :
- l’animal ;
- le laboratoire ;
- la classe ;
- l’établissement.
Une erreur sur l’unité d’analyse peut produire des valeurs de *p* artificiellement faibles.
Les données répétées
Lorsqu’une même personne est mesurée plusieurs fois, les observations sont corrélées.
Des modèles adaptés peuvent représenter :
- variation individuelle ;
- évolution temporelle ;
- regroupement ;
- dépendance.
Ignorer cette structure peut :
- surestimer la précision ;
- masquer l’hétérogénéité ;
- produire des conclusions incorrectes.
Le dessin de l’étude doit être intégré à l’analyse.
Les covariables
Ajouter des covariables peut améliorer la précision ou réduire certains biais. Mais leur choix doit être justifié.
Contrôler une variable peut être problématique si elle est :
- une conséquence du traitement ;
- un médiateur ;
- un collidant ;
- fortement mesurée avec erreur.
L’analyse statistique ne remplace pas le raisonnement causal.
Un modèle avec davantage de variables n’est pas automatiquement plus fiable.
La transformation des données
Les chercheurs transforment parfois les variables pour :
- stabiliser la variance ;
- réduire l’influence des valeurs extrêmes ;
- rendre une relation plus linéaire ;
- respecter un modèle.
Ces transformations peuvent être légitimes. Mais elles modifient l’échelle d’interprétation. Le résultat doit être traduit clairement dans des unités compréhensibles lorsque cela est possible. Choisir après coup la transformation donnant le meilleur résultat augmente la flexibilité analytique.
Les tests non paramétriques
Les tests non paramétriques sont parfois présentés comme ne reposant sur aucune hypothèse. C’est faux.
Ils reposent généralement sur d’autres hypothèses concernant :
- indépendance ;
- ordre ;
- forme relative des distributions ;
- échangeabilité.
Ils peuvent être plus robustes dans certaines situations. Ils ne dispensent pas d’examiner le dessin de l’étude et la question scientifique.
Les grands échantillons
Un grand échantillon possède plusieurs avantages :
- meilleure précision ;
- capacité à étudier des effets faibles ;
- analyse de sous-groupes ;
- stabilité accrue.
Mais il ne corrige pas automatiquement :
- biais de sélection ;
- mauvaise mesure ;
- confusion causale ;
- mauvaise définition ;
- données non indépendantes.
Une très grande étude peut produire une estimation extrêmement précise d’une relation biaisée.
La taille ne remplace pas la validité.
Les petits effets dans de grandes populations
Un effet individuel faible peut produire un impact collectif important. Par exemple, une petite variation moyenne peut concerner des millions de personnes, un événement fréquent, une exposition répétée et un coût cumulatif. Il ne faut donc pas rejeter automatiquement les petits effets.
Il faut examiner :
- leur stabilité ;
- leur durée ;
- leur coût ;
- leur distribution ;
- leur conséquence populationnelle.
La taille statistique et l’importance sociale ne coïncident pas toujours.
La durée de l’effet
Une intervention peut produire un effet immédiatement après son application, puis disparaître rapidement. Une taille d’effet importante à court terme peut donc avoir peu d’intérêt durable. Il faut préciser :
- moment de mesure ;
- persistance ;
- adaptation ;
- effet cumulatif.
Une seule mesure temporelle peut donner une image incomplète.
Les mesures intermédiaires
Une étude peut montrer un effet sur un marqueur intermédiaire sans démontrer un bénéfice final. Par exemple, une intervention peut améliorer un score biologique, une performance de laboratoire et une attitude déclarée. Mais la question importante peut porter sur :
- mortalité ;
- qualité de vie ;
- comportement réel ;
- réussite durable.
Une différence significative sur une mesure intermédiaire ne garantit pas un effet pertinent sur l’objectif final.
Les critères de substitution
Un critère de substitution remplace un résultat difficile ou long à observer par une mesure plus accessible. Il peut accélérer la recherche. Mais il doit être validé. Une intervention peut améliorer le marqueur sans améliorer l’état réel, voire produire d’autres dommages. La significativité du critère de substitution ne suffit pas. Il faut établir que sa modification représente correctement la conséquence importante.
Les données subjectives
Les scores de douleur, de satisfaction ou de qualité de vie sont parfois considérés comme moins scientifiques parce qu’ils sont subjectifs. Ils peuvent pourtant mesurer précisément une expérience qui ne se réduit pas à un indicateur biologique.
La difficulté porte sur :
- fiabilité ;
- formulation ;
- attentes ;
- comparabilité ;
- interprétation des échelles.
La statistique ne rend pas automatiquement objective une mesure subjective, mais une procédure rigoureuse peut produire une information valide.
L’erreur de mesure réduit les effets
Une mesure imprécise peut atténuer les associations. Si une variable est mesurée avec beaucoup de bruit, la relation estimée peut paraître plus faible. Mais l’erreur peut aussi produire des biais plus complexes selon la variable concernée, le dessin ou la dépendance de l’erreur au résultat. Une faible valeur de *p* ne compense pas une mauvaise mesure. Une taille d’effet doit être interprétée relativement à la fiabilité de l’instrument.
L’incertitude ne vient pas seulement de l’échantillonnage
Les intervalles statistiques représentent souvent principalement l’incertitude liée à l’échantillonnage selon le modèle. Ils ne capturent pas automatiquement :
- biais de sélection ;
- erreur systématique ;
- définition contestable ;
- mauvaise mesure ;
- données manquantes non aléatoires ;
- modèle causal incorrect ;
- choix analytiques.
Un intervalle très étroit peut donc sous-estimer l’incertitude totale.
La précision statistique ne doit pas être confondue avec la certitude scientifique globale.
L’incertitude structurelle
Plusieurs modèles raisonnables peuvent produire des estimations différentes. Cette variation représente une incertitude structurelle :
- quelles variables inclure ;
- quelle forme choisir ;
- quelle population cibler ;
- quel mécanisme supposer.
Elle est souvent plus difficile à quantifier que l’erreur standard.
Présenter un seul modèle comme s’il était imposé par les données peut masquer cette dimension.
Les intervalles bayésiens
Dans une approche bayésienne, les paramètres sont représentés par une distribution de probabilité après prise en compte :
- des données ;
- d’une distribution antérieure ;
- du modèle.
Un intervalle de crédibilité à 95 % peut être interprété comme contenant 95 % de la probabilité postérieure du paramètre, selon le modèle. Cette interprétation est plus proche de ce que de nombreuses personnes attribuent intuitivement à l’intervalle de confiance. Mais le résultat dépend :
- du choix des probabilités antérieures ;
- de la vraisemblance ;
- de la validité du modèle.
Les probabilités antérieures
Une probabilité antérieure représente l’information ou les attentes avant les nouvelles données. Elle peut être :
- faiblement informative ;
- fondée sur des études précédentes ;
- issue de contraintes théoriques ;
- explicitement sceptique.
L’utilisation d’un antérieur ne rend pas automatiquement l’analyse subjective au sens arbitraire. Les choix doivent être justifiés et soumis à des analyses de sensibilité. L’approche fréquentiste contient elle aussi des décisions conventionnelles et des hypothèses.
Le facteur de Bayes
Un facteur de Bayes compare la capacité de deux hypothèses à expliquer les données. Il indique dans quelle mesure les données favorisent l’une par rapport à l’autre. Contrairement à un test classique, il peut parfois distinguer :
- preuve en faveur d’un effet ;
- preuve en faveur de l’absence ;
- données insuffisamment informatives.
Mais son interprétation dépend fortement de la formulation des hypothèses et des distributions antérieures. Il ne constitue pas une solution automatique à toutes les difficultés.
Les décisions exigent des valeurs
La statistique peut estimer :
- effet ;
- incertitude ;
- risque d’erreur ;
- probabilité.
Elle ne décide pas seule :
- quelle différence est importante ;
- quel risque est acceptable ;
- quel coût doit être supporté ;
- quel seuil doit déclencher une action.
Ces choix contiennent des valeurs. Dans un dépistage, réduire les faux négatifs peut augmenter les faux positifs. La bonne balance dépend :
- de la gravité ;
- du traitement ;
- du coût ;
- de la réversibilité ;
- des préférences des personnes concernées.
Le seuil scientifique et le seuil d’action
Le seuil nécessaire pour agir peut différer du seuil nécessaire pour conclure scientifiquement à un effet bien établi.
Une mesure préventive :
- peu coûteuse ;
- réversible ;
- faiblement risquée,
peut être raisonnable avec une preuve encore limitée.
Une intervention :
- dangereuse ;
- irréversible ;
- privative de droits,
demande une preuve plus forte.
Il faut distinguer :
- niveau de confiance empirique ;
- décision pratique ;
- conséquences de l’erreur.
Le risque inductif
Toute conclusion statistique expose à deux erreurs :
- conclure à un effet inexistant ;
- manquer un effet réel.
Le choix du seuil distribue ce risque. Mais les deux erreurs n’ont pas toujours le même coût.
Les valeurs interviennent donc dans la conception de l’étude et dans la règle de décision. Elles ne déterminent pas arbitrairement le résultat, mais elles influencent le niveau de preuve demandé.
Les résultats surprenants
Un résultat statistiquement significatif mais très surprenant au regard des connaissances antérieures doit être examiné avec prudence.
Plusieurs explications sont possibles :
- découverte réelle ;
- erreur ;
- biais ;
- analyse flexible ;
- fluctuation rare.
Une petite valeur de *p* ne prend pas directement en compte la plausibilité antérieure de l’hypothèse.
Un résultat extraordinaire demande généralement :
- une méthode solide ;
- une estimation précise ;
- une réplication ;
- des preuves indépendantes.
Les faibles taux de base
Lorsque les hypothèses vraies sont rares dans un domaine exploratoire, une proportion importante des résultats significatifs peut être fausse, même avec un seuil de 5 %.
La valeur prédictive d’une découverte dépend de :
- la proportion d’hypothèses plausibles ;
- la puissance ;
- le seuil ;
- les biais ;
- la sélection.
Un test de laboratoire performant peut produire beaucoup de faux positifs lorsqu’il cherche une condition très rare.
Une logique comparable s’applique aux découvertes scientifiques.
La probabilité qu’un résultat soit vrai
La valeur de *p* ne suffit pas à calculer la probabilité qu’un résultat soit vrai.
Il faut au minimum considérer :
- plausibilité antérieure ;
- puissance ;
- taux de faux positifs ;
- biais de publication ;
- qualité du modèle ;
- réplication.
Un résultat significatif dans une étude exploratoire faible n’a pas le même poids qu’un résultat préenregistré, précis et reproduit.
La même valeur de *p* peut donc correspondre à des niveaux de crédibilité très différents.
L’échelle logarithmique et les transformations
Certains effets sont présentés sur une échelle logarithmique ou sous forme de rapports.
La valeur nulle de référence change alors :
- différence : zéro ;
- ratio : un.
Un intervalle de risque relatif contenant 1 indique une compatibilité avec l’absence de différence relative. L’interprétation doit respecter l’échelle. Revenir à des valeurs absolues facilite souvent la compréhension.
Les graphiques en forêt
Un graphique en forêt présente généralement :
- l’estimation de chaque étude ;
- son intervalle ;
- parfois une estimation combinée.
Il permet de voir :
- précision ;
- direction ;
- hétérogénéité ;
- poids des études.
Mais la forme visuelle peut être trompeuse si :
- les études biaisées dominent ;
- les axes sont tronqués ;
- les unités diffèrent ;
- la sélection des études est incomplète.
Le graphique résume les données incluses, pas nécessairement toutes les preuves existantes.
Les graphiques en volcan et cartes de chaleur
Dans les recherches examinant des milliers de variables, les graphiques peuvent mettre en avant les résultats combinant :
- faible valeur de *p* ;
- grande taille d’effet.
Cette présentation aide à distinguer les résultats statistiquement détectables mais minuscules. Mais la sélection visuelle ne remplace pas :
- correction de multiplicité ;
- validation indépendante ;
- interprétation biologique ou substantielle.
Plus le nombre de possibilités est grand, plus la réplication devient essentielle.
La visualisation des données brutes
Présenter les observations individuelles peut révéler des structures cachées par la moyenne.
Deux groupes peuvent avoir la même moyenne mais :
- des dispersions différentes ;
- des sous-groupes ;
- des valeurs extrêmes ;
- des distributions asymétriques.
Des graphiques montrant :
- points ;
- densités ;
- quantiles ;
- trajectoires individuelles,
apportent souvent davantage d’information qu’une barre avec une étoile de significativité.
Les barres d’erreur
Une barre d’erreur peut représenter :
- écart-type ;
- erreur standard ;
- intervalle de confiance ;
- intervalle de crédibilité.
Ces mesures ne sont pas interchangeables. Un graphique doit préciser ce qui est affiché. L’écart-type décrit la dispersion des observations. L’erreur standard décrit la précision de l’estimation. Un intervalle représente une incertitude selon une procédure particulière. L’absence de légende claire rend le graphique difficile à interpréter.
La précision excessive des nombres
Une estimation peut être affichée avec plusieurs décimales alors que les données et le modèle ne justifient pas cette précision. Une différence annoncée comme 2,4738 peut donner une illusion d’exactitude. Le nombre de chiffres devrait correspondre :
- à la résolution de la mesure ;
- à l’incertitude ;
- à l’usage.
Arrondir raisonnablement améliore souvent l’honnêteté de la présentation.
L’effet de cadrage
Le même résultat peut être présenté comme :
- 90 % de survie ;
- 10 % de mortalité.
Les deux formulations sont mathématiquement équivalentes. Elles peuvent pourtant influencer la perception.
La communication statistique doit examiner :
- dénominateur ;
- période ;
- risque initial ;
- valeur absolue ;
- comparaison pertinente.
Une présentation techniquement vraie peut rester manipulatrice si elle sélectionne systématiquement le cadrage le plus impressionnant.
Le dénominateur
Un nombre brut sans dénominateur est souvent peu informatif.
Dire qu’une ville compte 1 000 événements ne permet pas de comparer correctement si l’on ignore :
- la population ;
- la durée ;
- le nombre d’expositions ;
- la méthode de comptage.
Le taux doit lui-même être interprété selon le dénominateur approprié.
Un taux par habitant ne répond pas toujours à la même question qu’un taux par heure d’exposition ou par acte réalisé.
Les pourcentages relatifs
Annoncer qu’un risque a augmenté de 200 % peut sembler spectaculaire. Il peut être passé :
- de 1 cas à 3 cas sur un million.
La hausse relative est réelle. L’augmentation absolue reste très faible. À l’inverse, une petite hausse relative d’un événement fréquent peut avoir un impact considérable. Les deux mesures sont nécessaires pour éviter un cadrage trompeur.
Le résultat statistique dans le contexte scientifique
Une valeur de *p* n’est qu’un élément parmi d’autres.
La crédibilité dépend également :
- de la théorie ;
- de la mesure ;
- du dessin de recherche ;
- de la causalité ;
- de la réplication ;
- de la convergence ;
- des biais possibles.
Un résultat statistique fort dans une étude mal conçue reste faible scientifiquement.
Une estimation modérément précise peut devenir convaincante si elle s’intègre à un ensemble indépendant de preuves.
La cohérence avec les autres connaissances
Un résultat peut être comparé à :
- études précédentes ;
- mécanismes connus ;
- données voisines ;
- prédictions indépendantes.
Une incohérence ne suffit pas à rejeter la nouveauté. Elle augmente la nécessité de vérifier :
- méthode ;
- données ;
- analyse ;
- réplication.
Une découverte réellement révolutionnaire doit expliquer pourquoi les résultats antérieurs semblaient différents.
La convergence
La confiance augmente lorsque plusieurs méthodes indiquent une conclusion similaire :
- expérience ;
- observation ;
- mécanisme ;
- données historiques ;
- intervention ;
- réplication.
Une même valeur de *p* répétée par des analyses dépendantes n’apporte pas autant qu’une convergence indépendante.
La structure globale de la preuve compte davantage qu’un seuil isolé.
Une méthode pratique de lecture d’un résultat
Identifier la question
Quel paramètre ou quelle différence l’étude cherche-t-elle à estimer ?
Lire l’effet
Quelle est l’amplitude observée dans une unité compréhensible ?
Examiner l’incertitude
L’intervalle est-il étroit ou large ? Quelles valeurs restent compatibles ?
Comparer à un seuil pertinent
L’effet dépasse-t-il une différence cliniquement, socialement ou scientifiquement importante ?
Vérifier le dessin
La comparaison permet-elle une interprétation causale ou seulement associative ?
Examiner la puissance
L’étude pouvait-elle détecter les effets importants ?
Rechercher la multiplicité
Combien de variables, groupes et analyses ont été examinés ?
Vérifier la transparence
L’analyse était-elle préenregistrée ? Les exclusions sont-elles documentées ?
Examiner la robustesse
La conclusion persiste-t-elle sous plusieurs choix raisonnables ?
Rechercher la réplication
Le résultat a-t-il été retrouvé dans de nouvelles données ?
Questions pour examiner un résultat statistique
- Quel paramètre est estimé ?
- Quelle est la taille de l’effet ?
- Dans quelle unité est-elle exprimée ?
- Quelle est son importance pratique ?
- Quel est le risque de départ ?
- Le résultat est-il présenté en valeur absolue et relative ?
- Quel intervalle accompagne l’estimation ?
- L’intervalle est-il assez précis pour répondre à la question ?
- Quelles tailles d’effet restent compatibles avec les données ?
- Le résultat exclut-il réellement les effets négligeables ?
- Une absence de significativité est-elle confondue avec une absence d’effet ?
- L’étude possède-t-elle une puissance suffisante pour les effets importants ?
- La taille d’échantillon a-t-elle été fixée avant l’analyse ?
- Le test était-il prévu à l’avance ?
- Combien de tests ont été réalisés ?
- Une correction de multiplicité était-elle nécessaire ?
- Des sous-groupes ont-ils été explorés après coup ?
- L’interaction entre groupes a-t-elle été testée directement ?
- Les exclusions étaient-elles préspécifiées ?
- Les résultats sont-ils robustes à d’autres analyses raisonnables ?
- Les observations sont-elles réellement indépendantes ?
- Existe-t-il une pseudoréplication ?
- Les hypothèses du modèle sont-elles adaptées ?
- Une mauvaise mesure pourrait-elle biaiser l’effet ?
- L’incertitude statistique reflète-t-elle aussi les biais possibles ?
- Le résultat porte-t-il sur une mesure intermédiaire ou sur l’issue réellement importante ?
- La différence dure-t-elle dans le temps ?
- Le résultat a-t-il été reproduit ?
- Les études non publiées pourraient-elles modifier la conclusion ?
- Une méta-analyse tient-elle compte de l’hétérogénéité ?
- Le résultat est-il cohérent avec les mécanismes et les autres données ?
- Quel degré de confiance l’ensemble des preuves justifie-t-il ?
Erreurs fréquentes
Interpréter *p* comme la probabilité que l’hypothèse nulle soit vraie
La valeur de *p* conditionne sur l’hypothèse nulle ; elle ne calcule pas directement sa probabilité après les données.
Dire qu’un résultat significatif n’est pas dû au hasard
Le test modélise une variation aléatoire ; il ne sépare pas simplement hasard et réalité.
Confondre significativité et importance
Un effet minuscule peut être très significatif dans un grand échantillon.
Confondre non-significativité et absence
Une étude imprécise peut manquer un effet important.
Traiter 0,049 et 0,051 comme radicalement différents
Le seuil est conventionnel et la preuve varie continuellement.
Comparer un résultat significatif à un résultat non significatif
Il faut tester directement la différence entre les effets.
Présenter uniquement la valeur de *p*
L’effet et son intervalle sont nécessaires à l’interprétation.
Utiliser des tailles d’effet standardisées comme des seuils universels
Le contexte détermine l’importance.
Présenter seulement le risque relatif
Le risque absolu peut donner une image très différente.
Ignorer le taux de base
L’impact d’un effet dépend de la fréquence initiale.
Multiplier les analyses sans correction
Le risque de faux positif augmente avec le nombre de tests.
Sélectionner les sous-groupes favorables
Une interaction découverte après coup doit être répliquée.
Arrêter la collecte lorsque le seuil est franchi
La procédure modifie le taux d’erreur si elle n’est pas planifiée.
Confondre grand échantillon et bonne étude
La taille ne corrige pas les biais systématiques.
Négliger la dépendance entre observations
Le nombre apparent de données peut surestimer l’information réelle.
Croire qu’un intervalle étroit capture toute l’incertitude
Les biais de mesure, de sélection et de modèle peuvent rester invisibles.
Combiner des études faibles sans examiner leur qualité
Une méta-analyse précise peut encore être biaisée.
Confondre exploration et confirmation
Une relation découverte dans les données demande un nouveau test.
À retenir
Une étude produit une estimation, non une révélation directe de la valeur exacte dans la population.
La valeur de *p* mesure la compatibilité de certaines données avec une hypothèse nulle et un modèle.
Elle ne donne pas directement la probabilité que l’hypothèse soit vraie ou fausse.
Un résultat statistiquement significatif n’est pas nécessairement important, causal, robuste ou reproductible.
Le seuil de 0,05 est une convention, pas une frontière naturelle entre vérité et erreur.
Une erreur de type I correspond à un faux positif. Une erreur de type II correspond à un faux négatif.
La puissance dépend de la taille d’effet que l’étude cherche à détecter.
Une étude peu puissante peut manquer des effets réels et surestimer les effets qu’elle détecte.
La taille d’effet indique l’amplitude estimée du phénomène.
Elle doit être présentée dans une unité interprétable et accompagnée de son incertitude.
Les tailles d’effet standardisées facilitent certaines comparaisons mais ne possèdent pas une importance universelle.
Le risque relatif et le risque absolu décrivent des aspects différents du même résultat.
Une communication honnête devrait souvent présenter les deux.
L’intervalle d’incertitude est plus informatif qu’un simple verdict significatif ou non significatif.
Il permet d’examiner les effets faibles, importants, nuls ou défavorables encore compatibles avec les données.
Un résultat non significatif ne constitue une preuve d’absence pratique que si l’étude exclut avec assez de précision les effets importants.
Les tests d’équivalence permettent d’évaluer directement si l’effet est suffisamment proche de zéro.
La multiplicité des tests augmente le risque de faux positifs.
Le *p*-hacking, la sélection de sous-groupes et l’arrêt facultatif rendent les valeurs de *p* conventionnelles trompeuses lorsqu’ils ne sont pas pris en compte.
Le préenregistrement et les rapports enregistrés améliorent la transparence sans garantir à eux seuls la qualité scientifique.
La réplication permet d’évaluer la stabilité et de corriger les effets initialement surestimés.
La méta-analyse améliore parfois la précision, mais reste dépendante de la qualité et de la sélection des études.
Un grand échantillon réduit certaines incertitudes aléatoires. Il ne corrige pas automatiquement une mauvaise mesure, un biais de sélection ou une erreur causale.
L’incertitude scientifique dépasse l’erreur standard. Elle comprend aussi les choix de modèle, les biais et les limites de généralisation.
La décision pratique demande de comparer l’effet et son incertitude à des seuils de pertinence, à des coûts et à des conséquences.
La question centrale n’est donc pas seulement :
« Le résultat franchit-il le seuil de significativité ? »
mais :
« Quelle amplitude les données indiquent-elles, quelles valeurs restent plausibles, quels biais pourraient modifier l’estimation et l’effet est-il assez important et assez robuste pour changer rationnellement notre jugement ou notre action ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Que signifie réellement une valeur de *p* ?
- Pourquoi *p* = 0,03 ne signifie-t-il pas que l’hypothèse nulle possède 3 % de chances d’être vraie ?
- D’où vient le seuil de 0,05 ?
- Quelle différence existe entre les approches de Fisher et de Neyman-Pearson ?
- Qu’est-ce qu’une erreur de type I ou de type II ?
- Comment définir la puissance statistique ?
- Pourquoi les petites études peuvent-elles exagérer les effets ?
- Quelle différence existe entre significativité statistique et importance pratique ?
- Comment interpréter une taille d’effet ?
- Pourquoi faut-il distinguer risque relatif et risque absolu ?
- Que représente un intervalle de confiance ?
- Pourquoi un résultat non significatif ne prouve-t-il pas l’absence d’effet ?
- À quoi servent les tests d’équivalence ?
- Qu’est-ce que le *p*-hacking ?
- Pourquoi les analyses multiples augmentent-elles les faux positifs ?
- Quelle différence existe entre exploration et confirmation ?
- Comment interpréter une méta-analyse hétérogène ?
- Pourquoi un grand échantillon ne garantit-il pas une bonne conclusion ?
- Comment lire un résultat statistique sans le réduire à une étoile de significativité ?
Quelques références
- Ronald Fisher, *Statistical Methods for Research Workers*.
- Jerzy Neyman et Egon Pearson, travaux sur les tests d’hypothèses et les erreurs de décision.
- Jacob Cohen, *Statistical Power Analysis for the Behavioral Sciences*.
- Geoffrey Cumming, *Understanding the New Statistics*.
- David Spiegelhalter, *The Art of Statistics*.
- Andrew Gelman, travaux sur l’inférence, les comparaisons multiples et les erreurs de type M et S.
- Deborah Mayo, *Statistical Inference as Severe Testing*.
- Stephen Senn, travaux sur les essais cliniques et l’interprétation statistique.
- Frank Harrell, *Regression Modeling Strategies*.
- Douglas Altman, travaux sur la statistique médicale et les erreurs de publication.
- John Ioannidis, travaux sur la crédibilité des résultats publiés.
- Brian Nosek et ses collaborateurs, travaux sur la transparence et la réplication.
- Joseph Simmons, Leif Nelson et Uri Simonsohn, travaux sur la flexibilité analytique.
- Uri Simonsohn, Leif Nelson et Joseph Simmons, travaux sur la détection des analyses sélectives.
- Daniël Lakens, travaux sur les tests d’équivalence, la puissance et la conception des études.
- Sander Greenland et ses collaborateurs, travaux sur les mauvaises interprétations des tests statistiques.
- Ronald Wasserstein et Nicole Lazar, déclaration de l’American Statistical Association sur les valeurs de *p*.
- Valentin Amrhein, Sander Greenland et Blake McShane, travaux contre la dichotomisation « significatif/non significatif ».
- Gerd Gigerenzer, travaux critiques sur les rituels de significativité.
- Katherine Button et ses collaborateurs, travaux sur la faible puissance et l’exagération des effets.