Multiplicité des tests et faux positifs
Un résultat statistiquement significatif peut apparaître même lorsqu’aucun effet réel n’existe.
C’est précisément pour cela que les tests statistiques utilisent un seuil de risque d’erreur, souvent fixé à 5 %.
Mais ce seuil concerne généralement un test donné.
Lorsque l’on effectue des dizaines, des centaines ou des milliers de tests sur les mêmes données, la probabilité d’obtenir au moins un résultat significatif par hasard augmente fortement.
C’est le problème de la multiplicité des tests.
Un seul test
Supposons qu’une hypothèse soit fausse et qu’on utilise un seuil de significativité de 5 %.
Dans un cadre simplifié, on accepte alors environ 5 % de risque de faux positif pour ce test.
Autrement dit, même si aucun effet réel n’existe, certaines expériences produiront malgré tout :
p < 0,05.
Ce n’est pas une anomalie.
C’est une propriété attendue du test.
Vingt tests
Supposons maintenant que l’on réalise 20 tests indépendants, alors qu’aucun effet réel n’existe.
Pour chaque test, la probabilité de ne pas obtenir de faux positif est :
0,95.
La probabilité que les 20 tests soient tous non significatifs est approximativement :
0,95²⁰ ≈ 0,36.
La probabilité d’obtenir au moins un résultat significatif devient donc :
1 − 0,36 ≈ 64 %.
Avec vingt tests, il devient plus probable qu’improbable d’obtenir au moins un « résultat positif » par hasard.
Cent tests
Avec 100 tests indépendants au seuil de 5 %, on attend en moyenne environ :
5 faux positifs.
Cela ne signifie pas exactement que chaque série de 100 tests produira toujours cinq faux positifs.
Mais sur un grand nombre d’expériences, c’est l’ordre de grandeur attendu.
Le problème est évident si l’on publie ensuite uniquement les cinq résultats significatifs.
Exemple pédagogique
Supposons qu’une étude mesure l’effet d’un complément alimentaire sur :
- cholestérol ;
- glycémie ;
- tension ;
- poids ;
- sommeil ;
- anxiété ;
- mémoire ;
- douleur ;
- fatigue ;
- vingt biomarqueurs sanguins.
Aucun effet réel n’existe.
Mais parmi plusieurs dizaines de comparaisons, quelques résultats peuvent apparaître significatifs par hasard.
L’article peut alors annoncer :
« Le complément améliore significativement le biomarqueur X. »
Si le lecteur ignore toutes les autres analyses réalisées, le résultat paraît beaucoup plus impressionnant qu’il ne l’est réellement.
La question cachée
Lorsqu’on voit :
p = 0,03
il est donc utile de demander :
« Combien d’autres tests ont été réalisés ? »
Un résultat p = 0,03 provenant d’une hypothèse unique définie à l’avance n’a pas le même poids qu’un p = 0,03 sélectionné parmi 200 analyses exploratoires.
Le chiffre est identique.
Le contexte statistique ne l’est pas.
Faux positif
Un faux positif correspond à une conclusion positive alors que l’effet recherché n’existe pas réellement.
Dans le langage des tests statistiques, on parle d’erreur de type I.
On rejette l’hypothèse nulle alors qu’elle était vraie.
Faux négatif
L’erreur inverse est le faux négatif, ou erreur de type II.
Un effet réel existe, mais l’étude ne le détecte pas.
La recherche doit donc trouver un compromis entre :
- éviter trop de faux positifs ;
- conserver suffisamment de puissance pour détecter les vrais effets.
Pourquoi 5 % ?
Le seuil de 5 % est une convention historique, pas une frontière naturelle séparant :
faux
et
vrai.
Un résultat :
p = 0,049
n’est pas radicalement différent d’un résultat :
p = 0,051.
Interpréter le premier comme découverte et le second comme absence totale d’effet crée une frontière artificielle.
Significatif ne signifie pas « 95 % de chances que l’hypothèse soit vraie »
C’est une erreur fréquente.
Un résultat p < 0,05 ne signifie pas :
« il y a 95 % de chances que l’effet soit réel ».
La valeur p mesure la compatibilité des données avec un modèle statistique particulier sous l’hypothèse nulle.
La probabilité que l’hypothèse scientifique soit vraie dépend aussi de :
- plausibilité préalable ;
- qualité de l’étude ;
- nombre d’hypothèses testées ;
- biais de publication ;
- réplication.
Exemple avec des associations absurdes
Supposons que l’on dispose d’une base contenant 1 000 variables.
On recherche toutes les corrélations possibles entre elles.
Le nombre de paires devient gigantesque.
Même si la plupart des variables sont indépendantes, certaines corrélations très fortes apparaîtront simplement par hasard.
On peut alors trouver des associations statistiquement remarquables mais complètement dépourvues de sens.
Plus les données sont riches, plus le risque augmente
Le big data permet d’explorer énormément de relations.
C’est une force scientifique.
Mais cela signifie également qu’on peut tester :
- beaucoup d’expositions ;
- beaucoup de maladies ;
- beaucoup de périodes ;
- beaucoup de sous-groupes.
Sans stratégie adaptée, on peut presque toujours découvrir une association « intéressante ».
Multiplicité explicite
Dans certains cas, la multiplicité est évidente.
Un essai compare 20 critères de jugement.
Le lecteur voit les 20 résultats.
Il peut donc comprendre qu’un ou deux résultats significatifs pourraient apparaître par hasard.
Multiplicité cachée
Le problème est beaucoup plus difficile lorsque l’article ne montre que l’analyse finale.
Avant d’arriver au résultat publié, les chercheurs ont peut-être essayé :
- plusieurs définitions ;
- plusieurs ajustements ;
- plusieurs périodes ;
- plusieurs seuils ;
- plusieurs sous-groupes.
Le lecteur voit alors un seul test, mais la recherche réelle en contenait beaucoup.
C’est une forme de multiplicité cachée.
Exemple de périodes différentes
Supposons qu’on étudie l’effet d’une exposition sur la mortalité.
On peut tester :
- 1 an ;
- 2 ans ;
- 3 ans ;
- 5 ans ;
- 10 ans.
Si seule la fenêtre de trois ans donne p < 0,05 et qu’elle est présentée comme l’analyse principale après coup, le risque de faux positif augmente fortement.
Choisir le seuil qui fonctionne
Supposons qu’on étudie une exposition continue.
On peut définir :
- faible / élevée à 10 unités ;
- faible / élevée à 15 ;
- à 20 ;
- à 25.
Tester plusieurs seuils puis retenir celui produisant la plus forte association revient à effectuer plusieurs analyses.
La p-value finale ne reflète pas nécessairement toute cette recherche.
Choisir les variables d’ajustement
Une association peut également varier selon les variables introduites dans le modèle.
On peut essayer :
- ajustement sur âge ;
- âge + sexe ;
- âge + sexe + revenu ;
- âge + sexe + IMC ;
- etc.
Si l’on sélectionne après coup le modèle donnant le résultat le plus spectaculaire, la multiplicité augmente encore.
Le « jardin des chemins qui bifurquent »
Une manière utile de décrire ce problème est celle du garden of forking paths.
À chaque étape analytique, plusieurs choix raisonnables existent :
- qui inclure ;
- quelle variable utiliser ;
- quel modèle ;
- quelle transformation ;
- quelle période.
Même sans intention frauduleuse, le chercheur peut être influencé par les résultats intermédiaires.
Chaque bifurcation augmente le nombre de résultats possibles.
Comparaisons multiples dans les essais
Les essais cliniques peuvent mesurer plusieurs critères :
- mortalité ;
- hospitalisation ;
- douleur ;
- fonction ;
- biomarqueurs.
Pour cette raison, ils définissent généralement un critère principal à l’avance.
Ce critère porte la question centrale de l’essai.
Les autres critères sont secondaires et doivent être interprétés avec davantage de prudence.
Pourquoi définir un critère principal ?
Supposons qu’un traitement soit testé sur 30 résultats.
Si l’on déclare simplement :
« le traitement fonctionne si au moins un résultat est significatif »,
on augmente fortement le risque de faux positif.
Définir à l’avance un critère principal limite cette flexibilité.
Multiplicité des traitements
Un essai peut également comparer plusieurs doses ou plusieurs médicaments à un placebo.
Supposons :
- dose faible ;
- dose moyenne ;
- dose forte ;
- médicament B ;
- médicament C.
Plus le nombre de comparaisons augmente, plus il faut réfléchir au risque global de faux positifs.
Multiplicité des temps de mesure
On peut mesurer un résultat à :
- 1 mois ;
- 3 mois ;
- 6 mois ;
- 12 mois.
Si le traitement ne montre un effet qu’à 3 mois mais pas aux autres moments, cette découverte mérite davantage de prudence si le temps de mesure n’avait pas été défini comme principal à l’avance.
Multiplicité des sous-groupes
Une étude peut chercher un effet différent selon :
- hommes / femmes ;
- jeunes / âgés ;
- diabétiques / non diabétiques ;
- pays ;
- poids ;
- gravité.
Avec suffisamment de sous-groupes, certains produiront presque inévitablement des différences apparentes.
Une fiche spécifique sera consacrée aux sous-groupes.
Le problème des interactions
Il ne suffit d’ailleurs pas de constater :
« significatif chez les hommes mais pas chez les femmes ».
Cela ne prouve pas que l’effet diffère entre hommes et femmes.
Il faut tester directement l’interaction entre sexe et traitement.
Un groupe peut manquer de puissance alors que l’autre atteint le seuil, même si les effets réels sont identiques.
Correction de Bonferroni
Une méthode simple de correction consiste à ajuster le seuil de significativité en fonction du nombre de tests.
La correction de Bonferroni utilise approximativement :
α corrigé = α / nombre de tests.
Si l’on réalise 10 tests avec α = 0,05 :
0,05 / 10 = 0,005.
Chaque test doit alors atteindre p < 0,005 pour maintenir un risque familial de faux positif d’environ 5 % dans certaines conditions.
Avantage de Bonferroni
La méthode est simple et prudente.
Elle limite efficacement le risque qu’au moins un faux positif apparaisse parmi une famille de tests.
Limite de Bonferroni
Elle peut être très conservatrice lorsque :
- beaucoup de tests sont réalisés ;
- les tests sont corrélés.
Réduire fortement le seuil augmente le risque de manquer des effets réels.
Encore une fois, protéger contre les faux positifs a un coût en puissance.
Holm
La méthode de Holm est une variante séquentielle généralement moins conservatrice que Bonferroni tout en contrôlant le risque familial d’erreur.
Elle classe les p-values puis applique des seuils différents.
L’objectif reste de limiter les faux positifs lorsque plusieurs hypothèses sont testées simultanément.
Family-Wise Error Rate
La FWER, ou Family-Wise Error Rate, correspond au risque d’obtenir au moins un faux positif dans une famille de tests.
Bonferroni et Holm cherchent notamment à contrôler cette probabilité.
Cette approche est particulièrement pertinente lorsqu’un seul faux positif serait problématique.
False Discovery Rate
Dans des domaines comprenant des milliers de tests, comme certaines études génomiques, contrôler strictement toute possibilité de faux positif peut devenir trop sévère.
On peut alors contrôler le False Discovery Rate, ou FDR.
Le FDR cherche à limiter la proportion attendue de faux positifs parmi les résultats déclarés positifs.
Benjamini-Hochberg
La procédure de Benjamini-Hochberg est une méthode classique de contrôle du FDR.
Elle est particulièrement utile lorsque l’objectif est d’identifier un ensemble de signaux potentiels à explorer ensuite.
Cette logique est différente de celle d’un essai clinique confirmatoire où l’on souhaite répondre à une question précise.
Exploration et confirmation
Une distinction fondamentale est donc celle entre :
analyse exploratoire
et
analyse confirmatoire.
Une analyse exploratoire peut tester de nombreuses hypothèses afin de découvrir des pistes.
Ce n’est pas nécessairement un problème.
Le problème apparaît lorsque l’on présente ensuite une association découverte après exploration comme si elle avait été prédite et confirmée à l’avance.
Génération d’hypothèse
Supposons qu’une base contenant 500 variables révèle une association inattendue entre X et Y.
C’est intéressant.
On peut formuler l’hypothèse :
« X pourrait influencer Y. »
Mais la bonne étape suivante est de tester cette hypothèse dans de nouvelles données indépendantes.
Réplication
La réplication est une manière puissante de gérer les découvertes issues d’une exploration.
Dans le premier jeu de données :
on découvre.
Dans un second :
on teste.
Si l’association réapparaît avec une méthode définie à l’avance, le risque qu’elle provienne uniquement de la multiplicité initiale diminue fortement.
Séparer jeu d’entraînement et jeu de validation
Cette logique est également utilisée en apprentissage automatique.
On peut développer un modèle sur un jeu de données puis l’évaluer sur un autre jeu indépendant.
Si l’on évalue uniquement sur les données utilisées pour construire le modèle, on risque le surapprentissage.
Le principe est proche :
ne pas utiliser les mêmes données pour découvrir et confirmer sans tenir compte de cette double utilisation.
P-hacking
La multiplicité devient particulièrement problématique lorsqu’un chercheur essaie consciemment ou inconsciemment de nombreuses analyses jusqu’à obtenir p < 0,05.
Cela peut inclure :
- supprimer certains participants ;
- changer la définition ;
- ajouter ou retirer des covariables ;
- tester plusieurs sous-groupes.
On parle alors de p-hacking.
Une fiche spécifique approfondira ce problème.
« Nous avons testé beaucoup de choses et trouvé cela »
Cette formulation est scientifiquement acceptable si elle est présentée comme exploration.
La bonne interprétation est :
« voici une hypothèse prometteuse ».
Elle devient trompeuse si elle est reformulée :
« notre hypothèse a été confirmée ».
La transparence sur le processus analytique est donc essentielle.
Le rôle du pré-enregistrement
Le pré-enregistrement permet de distinguer les analyses définies avant de voir les résultats de celles ajoutées ensuite.
On peut indiquer à l’avance :
- critère principal ;
- analyses principales ;
- sous-groupes prévus ;
- seuils.
Les analyses exploratoires restent possibles, mais elles sont identifiées comme telles.
Le pré-enregistrement n’interdit pas d’explorer
Ce serait une mauvaise interprétation.
La recherche a besoin d’exploration.
Une découverte imprévue peut être extrêmement importante.
Le pré-enregistrement permet simplement de dire honnêtement :
« ceci était prévu »
ou
« ceci a été découvert après exploration ».
Le niveau de preuve n’est pas le même.
Pourquoi les études observationnelles sont particulièrement flexibles
Une grande base peut permettre des milliers de décisions analytiques.
On peut choisir :
- définition de l’exposition ;
- durée ;
- variables d’ajustement ;
- exclusions ;
- sous-groupes.
Deux équipes utilisant les mêmes données peuvent parfois obtenir des résultats différents simplement parce qu’elles prennent des décisions raisonnables mais différentes.
Multiverse analysis
Une stratégie intéressante consiste à réaliser un multiverse analysis.
On applique plusieurs choix analytiques plausibles plutôt que d’en sélectionner un seul.
On observe ensuite si la conclusion reste stable.
Si l’effet apparaît dans presque toutes les spécifications raisonnables, il est plus robuste.
S’il n’existe que dans une combinaison très particulière, la prudence augmente.
Specification curve
Une approche proche est la specification curve analysis.
On affiche les résultats obtenus avec de nombreuses spécifications plausibles.
Cela rend visible la dépendance de la conclusion aux choix analytiques.
Ces méthodes ne remplacent pas un bon design, mais elles peuvent réduire la sélection opportuniste d’un modèle favorable.
Résultats secondaires
Un résultat secondaire significatif peut être intéressant même si le critère principal est négatif.
Mais il doit souvent être interprété comme :
signal à confirmer
plutôt que preuve définitive.
La distinction évite deux erreurs :
- ignorer toute découverte secondaire ;
- traiter chaque découverte secondaire comme confirmation.
Exemple clinique
Supposons qu’un essai teste un médicament principalement sur la mortalité.
Résultat principal :
aucune réduction claire de mortalité.
Parmi 15 critères secondaires, un marqueur inflammatoire est significativement réduit.
Il serait excessif de conclure :
« le médicament sauve des vies ».
Mais il peut être raisonnable de dire :
« un effet sur ce marqueur mérite d’être étudié davantage ».
Plusieurs études positives peuvent encore venir de multiplicité
Supposons que 100 équipes explorent indépendamment une multitude de corrélations.
Quelques-unes trouvent par hasard la même association.
Si seules les études positives sont publiées, on peut obtenir une apparente réplication.
La multiplicité se combine alors avec le biais de publication.
Multiplicité à l’échelle de la littérature
Il faut donc penser non seulement au nombre de tests dans une étude, mais également au nombre d’études réalisées dans le monde.
Si des milliers d’équipes testent des milliers d’hypothèses, certaines découvertes spectaculaires apparaîtront par hasard.
C’est pourquoi une étude surprenante isolée nécessite particulièrement une réplication.
La plausibilité préalable compte
Supposons qu’on teste deux hypothèses.
Hypothèse A
Un nouveau médicament conçu pour bloquer un mécanisme biologique précis réduit modestement un biomarqueur lié à ce mécanisme.
Hypothèse B
Le mois de naissance prédit fortement la réponse au même médicament sans mécanisme connu.
Même p = 0,04 dans les deux cas ne devrait pas nécessairement produire exactement le même niveau de croyance.
Une découverte très improbable a besoin de preuves plus fortes.
Faux positifs et valeur prédictive
Lorsque la majorité des hypothèses testées sont fausses, même un test relativement spécifique peut produire une proportion importante de faux positifs parmi les résultats significatifs.
Cela ressemble au raisonnement bayésien utilisé pour les tests diagnostiques :
faible probabilité préalable + test imparfait = beaucoup de positifs potentiellement trompeurs.
Le contexte scientifique joue donc un rôle analogue à la prévalence dans un test médical.
Exemple conceptuel
Supposons 1 000 hypothèses :
- 100 correspondent à de vrais effets ;
- 900 sont fausses.
Imaginons un test détectant 80 % des vrais effets et produisant 5 % de faux positifs.
On obtient environ :
- 80 vrais positifs ;
- 45 faux positifs.
Parmi les 125 résultats positifs, environ 36 % seraient faux.
Un seuil p < 0,05 n’implique donc absolument pas un taux de faux résultats de seulement 5 % dans la littérature.
Les domaines exploratoires
Dans certains domaines où l’on teste énormément d’hypothèses peu plausibles a priori, le risque de faux positifs est particulièrement important.
Cela ne signifie pas que ces domaines soient mauvais.
Cela signifie que les résultats initiaux doivent souvent être considérés comme des signaux à répliquer.
Génétique et études d’association
Les études génétiques constituent un bon exemple.
Des millions de variants peuvent être testés.
Un seuil classique de 0,05 serait totalement inadéquat.
Des seuils beaucoup plus stricts sont utilisés afin de tenir compte de l’énorme multiplicité.
Cette situation illustre de manière spectaculaire pourquoi le seuil doit dépendre du contexte analytique.
Corrélations absurdes
Avec suffisamment de séries temporelles, on peut trouver des corrélations impressionnantes entre phénomènes sans lien causal.
Par exemple, deux variables peuvent augmenter ou diminuer parallèlement pendant quelques années.
Le graphique paraît convaincant.
Mais parmi des milliers de séries possibles, certaines coïncidences sont inévitables.
La corrélation isolée ne constitue donc pas une preuve.
Multiplicité et visualisation
Une autre pratique trompeuse consiste à tester de nombreuses analyses puis à montrer uniquement le graphique le plus spectaculaire.
Le lecteur voit une relation extrêmement propre.
Il ne voit pas les 99 autres graphiques sans relation.
La sélection visuelle peut donc jouer le même rôle que la sélection statistique.
Le seuil de signification ne doit pas être le seul critère
Une interprétation scientifique devrait regarder :
- ampleur de l’effet ;
- intervalle de confiance ;
- qualité méthodologique ;
- plausibilité ;
- nombre d’analyses ;
- réplications.
La p-value n’est qu’une partie de l’information.
Un effet cohérent vaut souvent plus qu’un p spectaculaire
Supposons une étude trouvant :
RR = 0,80 ; IC 95 % [0,70–0,91]
sur une hypothèse définie à l’avance et reproduite.
Comparez à :
RR = 0,30 ; p = 0,02
découvert dans un sous-groupe de 25 personnes parmi 40 sous-groupes testés.
Le second résultat paraît plus spectaculaire mais il est méthodologiquement beaucoup plus fragile.
La réplication réduit le risque de chance
Supposons qu’un faux positif ait 5 % de chances d’apparaître dans une première étude.
Si l’on répète ensuite précisément la même hypothèse dans un nouvel échantillon indépendant, la probabilité de retrouver par hasard le même type de résultat diminue fortement.
C’est pourquoi la réplication indépendante est l’un des piliers de la science.
Mais la réplication doit être véritable
Si la seconde étude utilise :
- mêmes données ;
- même biais ;
- mêmes choix post hoc,
elle n’est pas complètement indépendante.
La réplication est plus convaincante lorsqu’elle utilise :
- nouvelle population ;
- autre équipe ;
- protocole pré-spécifié.
Plusieurs comparaisons ne nécessitent pas toujours la même correction
Il n’existe pas une correction universelle applicable à toute recherche.
Tout dépend de la structure des hypothèses.
Par exemple, une analyse exploratoire génomique et un essai confirmatoire avec deux critères co-principaux n’ont pas les mêmes objectifs.
La méthode de contrôle doit être adaptée à la question.
Trop corriger peut aussi être un problème
Si l’on applique une correction extrêmement sévère à toutes les analyses, on augmente les faux négatifs.
Des effets réels peuvent être manqués.
Il faut donc éviter deux extrêmes :
ne jamais corriger
et
corriger mécaniquement toute analyse de manière excessive.
La stratégie doit être planifiée en fonction des objectifs scientifiques.
Une hiérarchie utile
On peut grossièrement distinguer :
hypothèse principale pré-spécifiée → preuve confirmatoire
hypothèses secondaires pré-spécifiées → preuves complémentaires
analyses exploratoires → génération d’hypothèses
Cette hiérarchie n’interdit aucune analyse.
Elle précise simplement le degré de confiance qu’on peut leur accorder.
Une leçon d’esprit critique
Face à une association statistiquement significative, demandez :
Combien de variables ont été étudiées ?
Combien de critères de jugement ?
Combien de sous-groupes ?
Combien de périodes ?
Cette hypothèse avait-elle été définie à l’avance ?
Les analyses négatives sont-elles également présentées ?
Le résultat a-t-il été reproduit dans de nouvelles données ?
Une valeur p isolée ne permet pas de répondre à ces questions.
À retenir
La multiplicité des tests augmente le risque de trouver des résultats statistiquement significatifs simplement par hasard.
Avec un seuil de 5 %, plus le nombre de tests augmente, plus la probabilité d’obtenir au moins un faux positif devient importante.
Le problème peut venir :
- de nombreux critères ;
- de nombreux sous-groupes ;
- de plusieurs périodes ;
- de multiples modèles ;
- de milliers de variables.
Les principales protections comprennent :
- définition d’un critère principal ;
- pré-enregistrement ;
- corrections pour comparaisons multiples ;
- contrôle du FDR ;
- distinction entre exploration et confirmation ;
- réplication indépendante.
Mais la règle la plus importante reste simple :
un résultat devient beaucoup moins surprenant lorsque l’on découvre qu’il a été sélectionné parmi des dizaines ou des centaines de tests.
La bonne question n’est donc pas seulement :
« Le résultat est-il statistiquement significatif ? »
mais aussi :
« Combien d’occasions avions-nous de trouver quelque chose de significatif par hasard ? »
Pour aller plus loin
Yoav Benjamini et Yosef Hochberg — travaux sur le contrôle du False Discovery Rate. Une référence majeure pour l’analyse de grands ensembles de tests.
Sture Holm — travaux sur les procédures séquentielles de comparaisons multiples. Une alternative classique à la correction de Bonferroni.
Andrew Gelman et Eric Loken — travaux sur le garden of forking paths. Une analyse importante de la multiplicité créée par les choix analytiques, même lorsque les chercheurs n’effectuent pas consciemment une longue série de tests.
John Ioannidis — travaux sur les faux positifs et la fiabilité des résultats publiés. Une référence importante pour comprendre comment multiplicité, faible plausibilité préalable et biais de publication peuvent se combiner.