Significativité statistique

La significativité statistique désigne le fait qu’un résultat est suffisamment incompatible avec une hypothèse statistique de référence — généralement l’hypothèse nulle — pour franchir un seuil choisi à l’avance.

Dans de nombreuses études biomédicales, ce seuil est fixé à :

p < 0,05.

Cette convention est tellement répandue qu’elle structure parfois toute la lecture d’un article :

p < 0,05 → “positif”

p ≥ 0,05 → “négatif”.

Cette lecture est beaucoup trop simpliste.

L’hypothèse nulle

L’hypothèse nulle, notée souvent H₀, représente généralement l’absence de différence ou d’association selon le modèle testé.

Par exemple :

H₀ : le traitement et le placebo ont le même effet moyen.

Ou :

H₀ : RR = 1.

Le test statistique cherche alors à évaluer à quel point les données observées sont compatibles avec cette hypothèse.

La p-value

La p-value mesure, sous l’hypothèse nulle et les hypothèses du modèle statistique, la probabilité d’obtenir des données au moins aussi incompatibles avec H₀ que celles observées.

Cette définition est importante.

La p-value est calculée en supposant H₀ vraie.

Elle ne donne pas directement la probabilité que H₀ soit vraie.

Exemple

Une étude obtient :

p = 0,03.

Cela signifie approximativement :

si l’hypothèse nulle et le modèle étaient corrects, des résultats au moins aussi extrêmes que ceux observés apparaîtraient environ 3 % du temps lors de répétitions comparables.

Cela ne signifie pas :

« il y a 3 % de chances que l’hypothèse nulle soit vraie ».

Erreur classique

On lit parfois :

« p = 0,03, donc il y a 97 % de chances que le traitement fonctionne ».

C’est faux.

La p-value ne fournit pas :

P(hypothèse vraie | données).

Elle concerne plutôt :

P(données au moins aussi extrêmes | hypothèse nulle et modèle).

Ce sont deux probabilités différentes.

Une inversion conditionnelle

C’est le même type d’erreur que dans les tests diagnostiques.

Connaître :

P(test positif | maladie)

ne donne pas directement :

P(maladie | test positif).

De même :

P(données | H₀)

ne donne pas directement :

P(H₀ | données).

Le théorème de Bayes rappelle que les deux directions ne sont pas interchangeables.

Le seuil de 0,05

Pourquoi 0,05 ?

Il n’existe aucune loi naturelle imposant ce chiffre.

Le seuil est en grande partie une convention historique.

On aurait pu choisir :

  • 0,10 ;
  • 0,01 ;
  • 0,005.

Différents domaines utilisent d’ailleurs parfois des seuils différents.

Le seuil ne crée pas une frontière dans la réalité

Supposons deux études.

Étude A

p = 0,049.

Étude B

p = 0,051.

Il serait absurde de considérer :

A = preuve solide

et

B = aucune preuve.

Les résultats sont pratiquement identiques.

Pourtant, la littérature peut les traiter différemment

L’étude A sera souvent décrite comme :

« statistiquement significative ».

L’étude B comme :

« non significative ».

Cette dichotomie artificielle peut donner l’impression d’un changement brutal de certitude alors qu’il n’existe qu’une différence minuscule.

La p-value est continue

Une p-value de :

0,049

n’est pas qualitativement différente de :

0,051.

Elle doit être interprétée comme une quantité continue parmi d’autres éléments de preuve, pas comme un interrupteur :

vrai / faux.

Significatif ne signifie pas important

Supposons qu’un médicament réduise la pression artérielle moyenne de :

0,5 mmHg.

Avec plusieurs centaines de milliers de participants, on peut obtenir :

p < 0,000001.

Le résultat est extrêmement significatif statistiquement.

Mais le bénéfice clinique peut être minuscule.

Pourquoi ?

Parce que la significativité dépend à la fois :

  • de la taille de l’effet ;
  • de la taille de l’échantillon ;
  • de la variabilité.

Une très grande étude peut détecter des différences minuscules.

Exemple

Étude A

Différence :

10 points.

Échantillon petit.

p = 0,08.

Étude B

Différence :

0,2 point.

Échantillon immense.

p < 0,001.

L’étude B est plus « significative » statistiquement.

Cela ne signifie pas que son effet est plus important.

Pertinence clinique

La bonne question est :

« la taille de l’effet est-elle suffisamment importante pour avoir une conséquence réelle pour le patient ? »

Cette question est différente de :

« p est-elle inférieure à 0,05 ? »

Significativité ≠ causalité

Une association peut être statistiquement extrêmement significative et complètement non causale.

Supposons une étude observationnelle trouvant :

p < 10⁻¹⁰.

Si l’association est due à un facteur de confusion, la très petite p-value ne corrige rien.

Elle indique seulement que l’association observée est très difficile à expliquer par la fluctuation aléatoire sous le modèle testé.

Exemple

Une exposition est fortement associée à une maladie.

Mais l’exposition est elle-même liée à :

âge.

Et l’âge cause fortement la maladie.

Avec un énorme échantillon, l’association brute peut être extraordinairement significative.

Elle peut pourtant disparaître ou se réduire après une analyse causale appropriée.

Une p-value ne détecte pas les biais

Elle ne sait pas si l’étude souffre de :

  • biais de sélection ;
  • erreur de mesure ;
  • confusion ;
  • mauvais comparateur ;
  • mauvaise définition du critère.

Un modèle statistique peut produire une p-value parfaitement calculée à partir de données méthodologiquement mauvaises.

« Statistiquement correct » ne signifie donc pas « scientifiquement correct »

La p-value répond à une question très étroite.

La validité scientifique repose aussi sur :

  • design ;
  • mesure ;
  • causalité ;
  • reproductibilité.

Significativité ≠ reproductibilité

Un résultat avec :

p = 0,04

peut ne pas être reproduit.

Cela n’a rien de paradoxal.

Même si l’effet existe, les résultats fluctuent d’un échantillon à l’autre.

Et si l’effet initial a été sélectionné parce qu’il était particulièrement spectaculaire, la réplication peut être plus modeste.

Winner’s curse

Supposons que 100 chercheurs testent indépendamment un petit effet.

Les études obtenant par hasard les estimations les plus fortes ont plus de chances de franchir :

p < 0,05

et d’être publiées.

L’effet publié initialement est alors souvent surestimé.

Les réplications peuvent produire des résultats plus proches de l’effet réel.

Significativité et faux positifs

Si l’hypothèse nulle est vraie et que l’on utilise un seuil :

α = 0,05,

un test bien calibré produira un faux positif environ 5 % du temps dans des répétitions idéales.

C’est l’erreur de type I.

Attention

Cela ne signifie toujours pas :

« parmi les résultats significatifs, 5 % sont faux ».

Cette proportion dépend aussi :

  • du nombre d’hypothèses réellement vraies ou fausses ;
  • de la puissance ;
  • des biais ;
  • de la sélection des résultats.

Exemple conceptuel

Supposons 1 000 hypothèses testées.

900 sont réellement nulles.

100 correspondent à un effet réel.

Parmi les 900 nulles :

avec α = 5 %, environ 45 faux positifs peuvent apparaître.

Parmi les 100 effets réels :

si la puissance est 80 %, environ 80 vrais positifs sont détectés.

On obtient donc environ :

  • 80 vrais positifs ;
  • 45 faux positifs.

Parmi les résultats significatifs :

45 / 125 = 36 %

sont des faux positifs dans cet exemple.

Bien plus que 5 %.

Le contexte préalable compte

Si l’on teste des hypothèses très improbables en grand nombre, une proportion importante des résultats significatifs peut être fausse.

C’est une intuition très bayésienne.

Le seuil p < 0,05 ne remplace pas la plausibilité préalable et la réplication.

Puissance statistique

La puissance est la probabilité de détecter statistiquement un effet d’une certaine taille lorsque cet effet existe réellement, selon les hypothèses du calcul.

On vise souvent :

80 % ou 90 %.

Erreur de type II

Ne pas détecter un effet réel correspond à une erreur de type II.

Sa probabilité est souvent notée :

β.

La puissance vaut :

1 − β.

Exemple

Une étude avec puissance 80 % pour un effet donné a encore environ :

20 % de risque de ne pas franchir le seuil statistique

même si cet effet existe réellement, sous les hypothèses prévues.

Un résultat non significatif n’est donc pas automatiquement une réfutation.

Les petites études

Elles ont souvent :

  • faible puissance ;
  • intervalles larges.

Elles peuvent produire :

  • beaucoup de faux négatifs ;
  • mais aussi des effets publiés exagérés parmi les résultats significatifs.

Paradoxe apparent

On pourrait penser :

« une petite étude est simplement moins précise ».

C’est vrai.

Mais si seules les petites études ayant obtenu des effets spectaculaires sont publiées, la littérature peut aussi surestimer les effets.

Étude négative et puissance

Une étude trouve :

p = 0,20.

Sans connaître :

  • taille de l’effet ;
  • intervalle de confiance ;
  • puissance,

on ne peut pas conclure grand-chose.

Exemple

Traitement :

RR = 0,70.

IC :

0,40–1,20.

p > 0,05.

Un bénéfice important reste possible.

L’étude est surtout imprécise.

Autre situation

RR = 1,00.

IC :

0,98–1,02.

p très élevée.

Cette étude exclut beaucoup plus clairement un effet important.

Le même mot :

« non significatif »

cache deux situations radicalement différentes.

C’est pourquoi l’intervalle de confiance est central

La p-value répond à une question de compatibilité avec H₀.

L’intervalle permet de voir les tailles d’effet compatibles avec les données.

Pour l’interprétation scientifique, l’intervalle est souvent plus informatif.

Significativité et multiplicité

Supposons qu’un chercheur teste :

20 critères indépendants

au seuil de 5 %.

Même si aucun effet réel n’existe, la probabilité d’obtenir au moins un résultat significatif est supérieure à 5 %.

Calcul approximatif

Probabilité qu’aucun des 20 tests ne soit significatif sous H₀ :

0,95²⁰ ≈ 0,36.

Donc probabilité d’au moins un faux positif :

1 − 0,36 ≈ 64 %.

C’est énorme.

Pourquoi la multiplicité est dangereuse

Plus on teste :

  • variables ;
  • sous-groupes ;
  • périodes ;
  • modèles,

plus on augmente les chances de trouver quelque chose qui franchit p < 0,05 par hasard.

C’est le terrain du p-hacking

On peut essayer :

  • plusieurs critères ;
  • plusieurs ajustements ;
  • plusieurs sous-groupes.

Puis ne publier que la combinaison donnant :

p < 0,05.

Le résultat final semble conventionnellement significatif, mais le risque réel de faux positif a été fortement augmenté.

Préspécification

Définir avant l’analyse :

  • critère principal ;
  • hypothèses ;
  • modèle

réduit cette liberté analytique.

C’est une raison majeure de l’enregistrement préalable des essais.

Critère principal

Un essai doit généralement désigner un critère principal.

C’est sur ce résultat que repose principalement le test de l’hypothèse centrale.

Les nombreux critères secondaires doivent être interprétés avec plus de prudence.

Ajustements pour multiplicité

Des méthodes existent :

  • Bonferroni ;
  • Holm ;
  • contrôle du FDR.

Elles réduisent le risque de faux positifs mais diminuent généralement la puissance.

Il existe donc un compromis.

Le seuil dépend du coût des erreurs

Le seuil p < 0,05 n’est pas nécessairement optimal dans toutes les situations.

Si un faux positif serait extrêmement coûteux, on peut exiger des preuves beaucoup plus fortes.

Exemple

Une découverte scientifique extraordinaire qui modifierait radicalement la théorie peut nécessiter :

  • réplication ;
  • seuil statistique beaucoup plus sévère.

Dans certains domaines comme la génétique, où des millions d’associations sont testées, les seuils sont bien plus stricts que 0,05.

Genome-wide association studies

Dans les études d’association pangénomique, on rencontre des seuils autour de :

5 × 10⁻⁸.

Pourquoi ?

Parce que des centaines de milliers ou millions de comparaisons sont réalisées.

Avec p < 0,05, les faux positifs seraient innombrables.

Significativité et arrêt précoce

Supposons qu’un chercheur regarde les résultats tous les dix patients.

Dès que :

p < 0,05,

il arrête l’étude.

Cette stratégie augmente le taux de faux positifs si elle n’est pas corrigée.

Analyses séquentielles

Les essais comportant des analyses intermédiaires utilisent des méthodes spécifiques pour maintenir un taux d’erreur contrôlé.

Le calendrier des analyses doit être prévu à l’avance.

« Ajouter quelques participants »

Autre pratique problématique :

une étude obtient :

p = 0,07.

On ajoute 20 participants.

Puis on reteste.

Si l’on répète ce processus jusqu’à obtenir p < 0,05 sans correction, le risque de faux positif augmente.

P-value et taille de l’effet

Une façon utile de réfléchir est :

effet estimé + intervalle + p-value.

Pas :

p-value seule.

Exemple

Étude A :

RR = 0,50

IC 0,30–0,85

p = 0,01.

Étude B :

RR = 0,98

IC 0,97–0,99

p < 0,001.

La seconde a la plus petite p-value.

La première a de loin le plus grand effet relatif.

Significativité et bénéfice absolu

Même un grand effet relatif significatif peut correspondre à un petit bénéfice absolu.

Supposons :

risque :

0,02 % → 0,01 %.

RR = 0,50.

Avec un immense échantillon :

p < 0,001.

La réduction relative est 50 %, mais la réduction absolue est :

0,01 point.

À l’inverse

Un bénéfice absolu important peut manquer le seuil de significativité si l’étude est petite.

Supposons :

40 % → 25 %.

Différence :

15 points.

Mais seulement 20 patients par groupe.

L’incertitude peut être telle que p > 0,05.

Il serait incorrect de conclure que :

15 points ne sont pas cliniquement importants.

Le problème est la précision.

Significatif n’est pas synonyme de « réel »

Une p-value faible réduit la compatibilité avec une hypothèse nulle particulière.

Mais un résultat peut être significatif à cause de :

  • biais ;
  • erreur systématique ;
  • fraude ;
  • mauvais modèle.

La significativité est seulement un élément.

Non significatif n’est pas synonyme de « nul »

De même, p > 0,05 peut correspondre à :

  • véritable absence d’effet ;
  • étude trop petite ;
  • mesure trop bruitée.

Il faut regarder l’ensemble des données.

Le langage lui-même est dangereux

Les mots :

« significatif »

et

« non significatif »

ont un sens statistique particulier.

Dans le langage courant, « significatif » signifie :

important, notable, meaningful.

Cela favorise la confusion.

Une différence « statistiquement significative » peut être insignifiante cliniquement

Et une différence non significative peut être :

potentiellement très importante mais mal estimée.

Il faut distinguer ces deux usages du mot.

Le problème du « tendance vers la significativité »

On lit parfois :

p = 0,07, tendance vers la significativité.

Cette formulation peut être utilisée pour rendre un résultat plus favorable qu’il ne l’est.

Pourquoi c’est problématique

Si le seuil choisi est 0,05, le résultat ne l’a pas franchi.

Mais surtout, penser en termes de « presque significatif » perpétue la dichotomie artificielle.

Il vaut mieux rapporter :

estimation + intervalle + p-value

et interpréter directement l’incertitude.

Une p-value de 0,051 n’est pas plus « presque vraie » qu’une p-value de 0,049 n’est « vraie »

Le seuil n’est qu’une convention décisionnelle.

P-values très petites

Une p-value de :

10⁻¹⁰

indique une incompatibilité beaucoup plus forte avec H₀ qu’une p-value de :

0,04,

sous le modèle utilisé.

Mais elle ne prouve toujours pas :

  • causalité ;
  • importance clinique.

Avec de très grands échantillons

Des p-values minuscules deviennent presque inévitables pour des effets minuscules.

Il faut alors surtout examiner :

  • amplitude ;
  • pertinence.

Significativité et modèle faux

Supposons une relation non linéaire analysée avec un mauvais modèle linéaire.

Le test peut donner une p-value très faible.

Mais le paramètre estimé peut mal représenter la relation réelle.

La p-value ne vérifie pas que le modèle choisi est approprié.

Hypothèses statistiques

Les tests peuvent supposer :

  • indépendance ;
  • distribution ;
  • variance.

Si ces hypothèses sont fortement violées, la p-value peut être mal calibrée.

Corrélation entre observations

Supposons 10 000 mesures mais seulement 100 patients, chacun mesuré 100 fois.

Traiter les 10 000 observations comme indépendantes peut produire :

  • erreurs standards artificiellement faibles ;
  • p-values minuscules.

Il faut utiliser un modèle adapté aux données répétées.

Pseudo-réplication

C’est un problème fréquent dans plusieurs domaines expérimentaux.

Le nombre de mesures ne doit pas être confondu avec le nombre d’unités indépendantes.

Significativité et clustering

Dans les essais en grappes, ignorer la corrélation entre participants d’une même école ou d’un même hôpital conduit à surestimer la précision.

La p-value peut alors sembler plus impressionnante qu’elle ne devrait.

Les degrés de liberté analytiques

Une étude peut produire des centaines de résultats possibles selon :

  • inclusion/exclusion ;
  • transformation ;
  • covariables.

Même sans fraude consciente, les chercheurs peuvent privilégier les analyses donnant les résultats les plus convaincants.

Biais humain

Les chercheurs peuvent être motivés à obtenir :

un résultat clair.

Cela peut influencer inconsciemment des décisions analytiques.

La transparence méthodologique est donc essentielle.

Pré-enregistrement

Le pré-enregistrement consiste à déclarer avant de voir les résultats :

  • hypothèses ;
  • critères ;
  • analyses.

Il aide à distinguer :

analyse confirmatoire

de

exploration.

Les deux sont utiles, mais elles n’ont pas le même statut probatoire.

Exploration

Une analyse exploratoire peut découvrir une hypothèse intéressante.

Le problème apparaît lorsqu’elle est ensuite présentée comme si elle avait été prévue avant l’étude.

C’est le HARKing.

Réplication

Une bonne stratégie consiste alors à tester l’hypothèse dans un nouvel échantillon indépendant.

La réplication transforme une découverte exploratoire en test confirmatoire.

Significativité et publication

Les résultats significatifs ont historiquement eu plus de chances d’être publiés que les résultats nuls.

Cela produit un biais de publication.

File drawer problem

Des études non significatives peuvent rester dans les tiroirs.

La littérature visible contient alors une proportion excessive de résultats positifs.

Conséquence

Une seule étude significative ne doit pas être interprétée indépendamment de :

  • autres études ;
  • méta-analyses ;
  • biais de publication.

L’ensemble du corpus compte davantage.

Une étude isolée peut être significative par hasard

Si suffisamment de chercheurs testent une hypothèse, certains obtiendront p < 0,05 même sans effet réel.

C’est pourquoi la réplication est fondamentale.

Méta-analyse

Une méta-analyse peut synthétiser plusieurs études.

Mais elle peut également hériter :

  • biais de publication ;
  • qualité médiocre.

Une p-value combinée extrêmement petite n’est donc pas une garantie absolue.

Confidence intervals first

Une approche moderne recommande souvent de mettre davantage l’accent sur :

  • estimations ;
  • intervalles ;
  • importance clinique

que sur la simple dichotomie p < 0,05.

Cela ne signifie pas que les tests statistiques sont inutiles.

Cela signifie qu’ils doivent être remis à leur place.

L’American Statistical Association

L’ASA a notamment rappelé plusieurs principes importants :

une p-value ne mesure pas la probabilité que l’hypothèse soit vraie ; les décisions scientifiques ne devraient pas reposer uniquement sur le franchissement d’un seuil ; une p-value ne mesure pas l’importance d’un effet.

Ces rappels répondent précisément aux usages abusifs les plus courants.

Approche bayésienne

Une analyse bayésienne aborde directement la probabilité des hypothèses ou paramètres après observation des données, conditionnellement à un modèle et à un prior.

Elle peut par exemple produire :

P(effet bénéfique | données) = 97 %.

Ce n’est pas ce que fournit une p-value fréquentiste.

Bayes factor

Un facteur de Bayes peut comparer la capacité de deux hypothèses à prédire les données.

Il répond à une question différente de celle de la p-value.

Cela montre qu’il existe plusieurs cadres possibles pour quantifier l’évidence statistique.

Mais aucune méthode ne supprime la nécessité d’un bon design

Une analyse bayésienne très sophistiquée sur des données biaisées reste problématique.

La statistique ne remplace jamais :

  • causalité ;
  • méthodologie.

Significativité et décision médicale

Supposons un traitement :

RR = 0,80 ; p = 0,03.

Cela ne suffit pas pour décider de le prescrire.

Il faut connaître :

  • risque absolu ;
  • NNT ;
  • effets indésirables ;
  • NNH ;
  • coût ;
  • préférences.

Exemple

Risque :

0,5 % → 0,4 %.

p = 0,001.

RAR :

0,1 point.

NNT :

1 000.

Si le traitement est très sûr, cela peut être acceptable.

S’il provoque des complications fréquentes, beaucoup moins.

La p-value ne répond pas à cette balance.

Significativité et santé publique

Même logique à l’échelle collective.

Un effet minuscule mais robuste peut être important s’il concerne :

des millions de personnes.

Il faut calculer l’impact populationnel.

Petit effet individuel, grand effet collectif

Réduction absolue :

0,1 %.

Sur 20 millions de personnes :

environ 20 000 événements potentiellement évités, si l’effet est causal et transportable.

La pertinence dépend donc du contexte.

Grande significativité, petite importance

À l’inverse, une énorme étude peut détecter un changement sans conséquence concrète.

La science doit distinguer :

détectable statistiquement

de

important biologiquement ou cliniquement.

Un exemple complet

Essai de 50 000 personnes.

Contrôle

5 000 événements :

20 %.

Traitement

4 750 événements :

19 %.

Différence absolue :

1 point.

RR :

0,95.

Réduction relative :

5 %.

Avec l’effectif important, le résultat peut être statistiquement significatif.

Il faut ensuite décider si :

1 événement évité pour environ 100 personnes traitées

justifie les risques et coûts du traitement.

Même p-value, autre effet

Une petite étude pourrait observer :

20 % → 8 %

mais obtenir une p-value similaire à cause de la faible taille d’échantillon.

La p-value seule ne permet pas de comparer l’importance des deux résultats.

Une bonne lecture

Face à :

p = 0,02,

demandez :

Quelle est la taille de l’effet ?

Quel est l’intervalle de confiance ?

Quel est le risque absolu ?

Le résultat était-il préspécifié ?

Combien de tests ont été réalisés ?

L’étude est-elle bien conçue ?

Face à p = 0,20

Demandez :

L’intervalle exclut-il un effet important ?

Si non, l’étude peut simplement être non concluante.

Face à p = 0,000001

Demandez encore :

l’effet est-il substantiel ?

le design permet-il une interprétation causale ?

Une très petite p-value ne rend pas ces questions inutiles.

Tableau des erreurs courantes

AffirmationCorrect ?
p = 0,03 signifie 3 % de chances que H₀ soit vraieNon
p < 0,05 prouve que l’effet est importantNon
p > 0,05 prouve qu’il n’y a aucun effetNon
Une petite p-value prouve la causalitéNon
Une p-value dépend de la taille de l’échantillonOui
Multiplication des tests augmente les faux positifsOui
L’intervalle de confiance complète utilement la p-valueOui

Une grille en quatre niveaux

Pour évaluer un résultat, on peut séparer :

1. Association observée : quelle est la taille de l’effet ?

2. Incertitude statistique : quel est l’intervalle de confiance ?

3. Validité : biais et confusion sont-ils maîtrisés ?

4. Pertinence : l’effet est-il suffisamment important pour compter ?

La p-value n’occupe qu’une partie du deuxième niveau.

Significativité et autonomie critique

La fascination pour :

p < 0,05

illustre une tentation plus générale :

transformer une question complexe en une règle binaire simple.

Mais la science fonctionne rarement ainsi.

Elle produit des degrés de preuve, des estimations et des incertitudes.

Changer de vocabulaire mental

Plutôt que :

« significatif = vrai »

et

« non significatif = faux »,

il vaut mieux penser :

« quelle gamme d’effets les données soutiennent-elles, avec quelle qualité méthodologique ? »

C’est une manière beaucoup plus robuste de raisonner.

À retenir

La significativité statistique indique qu’un résultat franchit un seuil conventionnel de compatibilité avec une hypothèse nulle sous un modèle statistique.

La p-value n’est pas :

  • la probabilité que l’hypothèse nulle soit vraie ;
  • la probabilité que le résultat soit dû au hasard ;
  • la taille de l’effet ;
  • une mesure de causalité.

Un résultat peut être :

statistiquement significatif mais cliniquement insignifiant.

Un résultat peut aussi être :

non significatif mais compatible avec un bénéfice important, si l’étude manque de précision.

Le seuil :

p < 0,05

est une convention, pas une frontière naturelle entre vrai et faux.

La significativité dépend :

  • taille de l’effet ;
  • taille de l’échantillon ;
  • variabilité ;
  • nombre de tests.

La multiplicité, le p-hacking et le biais de publication peuvent augmenter fortement le nombre de résultats faussement convaincants.

Le principe fondamental est donc :

la p-value indique à quel point les données sont incompatibles avec une hypothèse statistique particulière ; elle ne dit ni combien l’effet est grand, ni s’il est important, ni s’il est causal, ni s’il se reproduira.

La bonne lecture d’un résultat doit toujours combiner :

taille de l’effet + intervalle de confiance + qualité méthodologique + pertinence clinique.

Autrement dit :

la question scientifique n’est pas “p est-elle inférieure à 0,05 ?”, mais “quelles conclusions les données permettent-elles réellement, avec quelle précision et sous quelles hypothèses ?”

Pour aller plus loin

Ronald Fisher — travaux historiques sur les tests de significativité. Ils permettent de comprendre l’origine de la p-value et son rôle initial, souvent plus nuancé que son usage moderne.

Neyman et Pearson — théorie des tests d’hypothèses. Une autre tradition statistique, centrée sur les erreurs de type I et II et les règles de décision.

American Statistical Association — Statement on Statistical Significance and P-Values. Un texte important rappelant ce que les p-values permettent et ne permettent pas de conclure.

Wasserstein, Schirm et Lazar — travaux sur un monde au-delà de « p < 0,05 ». Ils proposent de déplacer l’attention vers les tailles d’effet, l’incertitude, la transparence et la qualité de l’argument scientifique.

Geoff Cumming — Understanding the New Statistics. Une référence pédagogique pour apprendre à raisonner davantage avec les estimations et intervalles qu’avec la seule significativité statistique.