P-hacking et choix analytiques
Le p-hacking désigne l’ensemble des pratiques consistant à multiplier ou ajuster les analyses jusqu’à obtenir un résultat statistiquement significatif.
Cela peut prendre des formes très grossières, mais aussi beaucoup plus subtiles :
- exclure certains participants ;
- changer une définition ;
- tester plusieurs périodes ;
- ajouter ou retirer des variables d’ajustement ;
- choisir un sous-groupe ;
- arrêter l’analyse lorsque le seuil est franchi.
Le problème essentiel est que chaque décision crée une nouvelle occasion d’obtenir un résultat favorable par hasard.
Ce n’est pas nécessairement une fraude
Le p-hacking peut être intentionnel.
Un chercheur peut chercher consciemment une analyse donnant le résultat attendu.
Mais il peut aussi apparaître sans volonté de tromper.
Les chercheurs peuvent sincèrement penser :
« ce modèle paraît plus logique »
après avoir vu qu’il produit un résultat plus convaincant.
La connaissance du résultat influence alors progressivement les décisions méthodologiques.
Une seule base, beaucoup de résultats possibles
Supposons qu’on cherche à savoir si une exposition X est associée à une maladie Y.
On peut prendre plusieurs décisions.
Définition de l’exposition
- exposition actuelle ;
- exposition au cours des 5 dernières années ;
- exposition cumulée ;
- dose élevée seulement.
Population
- tous les participants ;
- seulement les adultes ;
- exclusion des plus de 80 ans ;
- exclusion des personnes ayant une maladie antérieure.
Ajustement
- âge seulement ;
- âge + sexe ;
- âge + sexe + tabagisme ;
- modèle complet.
Temps de suivi
- 1 an ;
- 3 ans ;
- 5 ans ;
- 10 ans.
Quelques choix suffisent pour produire des dizaines, voire des centaines de combinaisons analytiques.
Exemple pédagogique
Supposons que huit décisions binaires soient possibles.
Pour chacune, deux choix raisonnables existent.
Le nombre de combinaisons potentielles est :
2⁸ = 256.
Même si l’effet réel est nul, certaines analyses peuvent produire par hasard :
p < 0,05.
Si l’article ne présente ensuite que cette analyse, le lecteur ignore les 255 autres chemins possibles.
Le résultat final paraît unique
C’est l’une des grandes difficultés.
Un article peut montrer :
RR = 1,32 ; IC 95 % [1,04–1,67] ; p = 0,02.
Le résultat paraît être la conséquence naturelle d’un protocole unique.
Mais il peut être l’aboutissement de nombreux essais analytiques invisibles.
Le chiffre final ne révèle pas le chemin qui y a conduit.
Le « jardin des chemins qui bifurquent »
Cette idée est souvent décrite comme le garden of forking paths.
À chaque étape, plusieurs choix défendables existent.
Par exemple :
Faut-il exclure les participants avec moins de six mois de suivi ?
Les chercheurs testent l’analyse avec et sans eux.
Puis :
Faut-il ajuster sur l’IMC ?
Puis :
Faut-il utiliser une variable continue ou catégorielle ?
Chaque bifurcation ouvre de nouvelles possibilités.
Un choix peut sembler raisonnable après coup
Supposons :
Analyse 1
p = 0,14.
On remarque que certains participants ont une durée de suivi très courte.
On les exclut.
Analyse 2
p = 0,07.
On considère ensuite qu’une variable de confusion importante devrait être ajoutée.
Analyse 3
p = 0,048.
Le chercheur peut sincèrement penser que la troisième analyse est la plus correcte.
Mais le processus a été influencé par les résultats successifs.
Choix de variables d’ajustement
Dans les études observationnelles, le choix des covariables est particulièrement flexible.
Supposons que l’association soit :
| Modèle | RR |
|---|---|
| Brut | 1,10 |
| Ajusté âge | 1,16 |
| Âge + sexe | 1,19 |
| + tabagisme | 1,24 |
| + IMC | 1,28 |
| Modèle différent | 1,05 |
Choisir uniquement le modèle produisant l’association la plus forte peut donner une image trompeuse.
Ajuster davantage n’est pas automatiquement mieux
Une justification fréquente est :
« Nous avons utilisé le modèle le plus ajusté. »
Mais certaines variables ne doivent pas être ajustées.
Elles peuvent être :
- médiateurs ;
- colliders ;
- conséquences de l’exposition.
Ajouter toutes les variables disponibles peut introduire de nouveaux biais.
La sélection des covariables devrait idéalement découler d’un raisonnement causal, pas du résultat statistique.
Choix du seuil
Supposons une variable continue comme l’âge.
On peut tester :
- <50 / ≥50 ;
- <55 / ≥55 ;
- <60 / ≥60 ;
- <65 / ≥65.
Si le seuil à 58 ans donne le résultat le plus spectaculaire et qu’il est choisi après exploration, la p-value associée ne reflète pas tous les seuils essayés.
Dichotomiser une variable
Transformer une variable continue en catégories crée beaucoup de liberté.
Par exemple :
IMC élevé peut signifier :
- ≥25 ;
- ≥27 ;
- ≥30 ;
- quartile supérieur.
Avec suffisamment de découpages, on peut parfois trouver une association particulière.
Cette pratique perd en outre de l’information.
Choisir la période d’analyse
Une exposition peut sembler associée à un résultat sur :
- 30 jours ;
- 90 jours ;
- 1 an ;
- 5 ans.
Si plusieurs fenêtres sont testées puis seule la plus favorable est publiée, on introduit une sélection.
La fenêtre choisie doit avoir une justification scientifique indépendante du résultat si possible.
Exclusions post hoc
Supposons qu’une analyse ne soit pas significative.
On observe que quelques participants ont des valeurs extrêmes.
On les exclut comme « outliers ».
Le résultat devient significatif.
Le problème n’est pas que toute exclusion soit mauvaise.
Certains points peuvent réellement être des erreurs.
Mais le critère d’exclusion doit être défini autant que possible avant de connaître son effet sur le résultat.
Outlier réel ou observation gênante ?
Une valeur très élevée peut être :
- une erreur de saisie ;
- une mesure valide mais rare.
Supprimer automatiquement toute valeur extrême peut éliminer une partie réelle du phénomène étudié.
Si l’exclusion dépend de l’effet qu’elle produit sur le résultat, le risque de p-hacking augmente.
Analyse avec et sans valeurs extrêmes
Une bonne pratique peut être de présenter :
- analyse principale ;
- analyse de sensibilité sans certains points.
Si les deux donnent des conclusions proches, la robustesse augmente.
Si la conclusion dépend entièrement de trois observations, le lecteur doit le savoir.
Arrêter la collecte au bon moment
Une autre forme classique de p-hacking consiste à regarder régulièrement les données pendant le recrutement.
Supposons qu’on teste après :
- 50 participants ;
- 70 ;
- 90 ;
- 110.
Dès que :
p = 0,047
on arrête l’étude.
Cette stratégie augmente la probabilité d’obtenir un faux positif.
Pourquoi ?
Une p-value fluctue au fur et à mesure que de nouvelles données arrivent.
Même si aucun effet réel n’existe, elle peut passer temporairement sous 0,05.
Si l’on continue seulement lorsque le résultat n’est pas significatif et qu’on arrête dès qu’il l’est, on joue statistiquement jusqu’à gagner.
Les analyses séquentielles peuvent être légitimes
Il existe cependant des méthodes rigoureuses permettant d’examiner les résultats en cours d’essai.
Les analyses intermédiaires utilisent des règles statistiques définies à l’avance pour contrôler le risque global d’erreur.
La différence est donc entre :
analyse séquentielle planifiée
et
arrêt opportuniste lorsque le résultat devient favorable.
Ajouter quelques participants
Une pratique proche consiste à obtenir :
p = 0,08
puis à recruter quelques participants supplémentaires.
Si le résultat devient :
p = 0,04
on arrête.
Si ce processus n’était pas prévu à l’avance, le seuil nominal de 5 % ne correspond plus réellement au risque de faux positif.
Tester plusieurs critères
Une étude peut mesurer vingt résultats.
Si le critère initial ne fonctionne pas mais qu’un autre produit :
p = 0,03,
le récit peut se déplacer vers ce second critère.
C’est une combinaison entre :
- multiplicité ;
- selective reporting ;
- p-hacking.
Plusieurs transformations statistiques
Une variable peut être analysée :
- brute ;
- logarithmique ;
- standardisée ;
- catégorisée.
Le choix peut parfois être scientifiquement justifié.
Mais si plusieurs transformations sont testées et seule celle qui donne un résultat significatif est retenue, la probabilité réelle de faux positif augmente.
Plusieurs modèles statistiques
On peut aussi comparer :
- régression linéaire ;
- logistique ;
- modèle de Cox ;
- modèle avec spline ;
- modèle avec interaction.
Il est normal d’examiner la qualité des modèles.
Le problème apparaît lorsque le critère principal de sélection devient implicitement :
« lequel donne le résultat souhaité ? »
Hypothèse principale modifiée
Une étude peut commencer par :
« X influence Y ».
Après des résultats négatifs, l’analyse révèle :
« X influence Y uniquement chez les hommes de moins de 60 ans ».
Cette seconde hypothèse peut être intéressante.
Mais elle est désormais générée par les données.
Elle ne devrait pas être présentée comme la confirmation de l’hypothèse initiale.
P-hacking et HARKing
Les deux phénomènes sont liés.
P-hacking : chercher un résultat significatif parmi plusieurs analyses.
HARKing : construire ou présenter l’hypothèse après avoir vu le résultat.
Ensemble, ils permettent de transformer :
« nous avons exploré beaucoup de possibilités et trouvé ceci »
en :
« notre hypothèse a été confirmée ».
Les chercheurs ne voient parfois pas eux-mêmes le problème
Une motivation importante est le raisonnement motivé.
Lorsqu’un résultat correspond aux attentes, on peut le juger immédiatement convaincant.
Lorsqu’il ne correspond pas, on cherche :
- erreur ;
- sous-groupe ;
- meilleur modèle ;
- exclusion pertinente.
Cette asymétrie peut apparaître sans manipulation consciente.
Flexibilité asymétrique
Supposons qu’une équipe s’attende à un effet positif.
Quand le résultat est positif :
« très bien, publions ».
Quand il est négatif :
« peut-être faut-il ajuster sur davantage de variables ».
Puis :
« peut-être les personnes âgées masquent-elles l’effet ».
Puis :
« essayons une autre définition ».
Le nombre d’occasions de transformer un résultat négatif en résultat positif devient beaucoup plus important.
Confirmation et infirmation ne sont plus traitées symétriquement
C’est un problème épistémologique profond.
Une méthode scientifique robuste doit imposer des contraintes similaires aux résultats :
- favorables ;
- défavorables.
Si le protocole devient flexible uniquement lorsque le résultat ne convient pas, il perd une partie de son pouvoir de test.
P-hacking sans p-value
Le problème ne concerne pas uniquement les analyses fréquentistes.
Même sans p-value, on peut sélectionner :
- modèle ;
- graphique ;
- période ;
- indicateur
pour maximiser l’effet apparent.
Le principe général est la sélection opportuniste parmi de nombreuses analyses possibles.
Choisir le graphique le plus convaincant
Supposons qu’un résultat puisse être représenté :
- en données brutes ;
- en variation relative ;
- sur une période courte ;
- sur une période longue.
On choisit la représentation où la différence paraît maximale.
Même sans falsifier les chiffres, la communication devient sélective.
P-hacking et données épidémiologiques
Les bases épidémiologiques offrent une immense flexibilité.
Par exemple, pour étudier mortalité et exposition, on peut modifier :
- définition de la population ;
- âge minimal ;
- délai après exposition ;
- période calendaire ;
- cause de décès ;
- standardisation ;
- covariables.
Chaque décision peut être raisonnable.
Mais l’ensemble crée un espace analytique très vaste.
Researcher degrees of freedom
On parle parfois de degrés de liberté du chercheur.
Ce ne sont pas les degrés de liberté statistiques classiques.
Le terme désigne la quantité de décisions laissées au chercheur lors :
- collecte ;
- nettoyage ;
- analyse ;
- présentation.
Plus ces décisions sont nombreuses, plus la possibilité de sélectionner un résultat favorable augmente.
Une analyse unique pré-spécifiée
Une stratégie très forte consiste à définir avant l’étude :
- population ;
- exposition ;
- critère principal ;
- modèle ;
- covariables ;
- exclusions ;
- durée.
Le résultat est alors beaucoup moins dépendant des choix après observation des données.
Pré-enregistrement
Le pré-enregistrement formalise ce principe.
Le protocole est déposé avant que les résultats soient connus.
On peut ensuite vérifier :
ce qui était prévu
et
ce qui a été ajouté après.
Cela ne supprime pas toutes les erreurs, mais réduit fortement l’ambiguïté entre confirmation et exploration.
Registered Reports
Une approche encore plus forte est celle des Registered Reports.
La revue scientifique évalue :
- question ;
- méthode ;
- plan d’analyse
avant que les résultats ne soient connus.
L’article peut alors être accepté en principe indépendamment du caractère positif ou négatif du résultat.
Cela réduit directement l’incitation à produire un p < 0,05.
Les analyses exploratoires restent autorisées
Un protocole pré-enregistré ne doit pas devenir une prison.
Si les chercheurs découvrent une structure inattendue, ils peuvent l’étudier.
La bonne pratique est simplement de distinguer clairement :
analyse confirmatoire pré-spécifiée
et
analyse exploratoire post hoc.
Pourquoi cette distinction est essentielle
Supposons une analyse exploratoire donnant :
p = 0,01.
Ce résultat peut être très intéressant.
Mais si des centaines de chemins analytiques ont été explorés, le chiffre ne possède pas la même signification qu’un p = 0,01 provenant d’une hypothèse unique définie avant l’étude.
La transparence permet au lecteur d’ajuster son niveau de confiance.
Réplication indépendante
Une découverte issue de p-hacking potentiel peut être testée dans une nouvelle étude.
Si l’hypothèse devient :
pré-spécifiée
dans une population indépendante et que l’effet réapparaît, la crédibilité augmente fortement.
La réplication transforme progressivement l’exploration en connaissance plus robuste.
Analyse multivers
Une méthode intéressante consiste à ne pas choisir une seule analyse.
On définit plusieurs spécifications considérées comme raisonnables et on calcule le résultat pour chacune.
On peut alors voir :
- combien donnent un effet positif ;
- combien donnent un effet nul ;
- ampleur de la variation.
Cette approche est appelée multiverse analysis.
Exemple
Supposons 100 modèles raisonnables.
Résultats :
- 94 donnent RR entre 1,18 et 1,30 ;
- 6 donnent RR autour de 1,10 ;
- tous sont orientés dans le même sens.
Le résultat semble robuste.
À l’inverse :
- 20 donnent effet positif ;
- 40 aucun effet ;
- 40 effet négatif.
La conclusion dépend énormément des choix analytiques.
Specification curve
La specification curve représente graphiquement les estimations obtenues avec différentes spécifications.
Elle montre de manière transparente à quel point le résultat dépend :
- exclusions ;
- ajustements ;
- définitions.
C’est une manière de remplacer :
« voici le bon modèle »
par :
« voici ce qui se passe sous l’ensemble des choix raisonnables ».
Robustesse ne veut pas dire vérité
Si 100 spécifications donnent la même association, celle-ci est robuste aux choix analytiques testés.
Mais toutes les analyses peuvent encore partager :
- même biais de sélection ;
- même facteur de confusion non mesuré ;
- même mauvaise mesure.
La robustesse statistique ne remplace donc pas la validité causale.
Analyse de sensibilité
Une autre bonne pratique consiste à tester explicitement certaines alternatives :
avec et sans telle exclusion
avec différentes définitions
avec différents ajustements plausibles.
Si la conclusion reste stable, la confiance augmente.
Mais ces analyses doivent être rapportées, pas seulement utilisées en coulisses pour choisir le résultat préféré.
Transparence du code
Partager :
- code ;
- plan d’analyse ;
- décisions de nettoyage
permet à d’autres chercheurs de comprendre comment le résultat a été produit.
Cela réduit l’opacité autour des choix analytiques.
La reproductibilité informatique ne garantit pas que l’analyse soit scientifiquement correcte, mais elle améliore la transparence.
Même données, équipes différentes
Des expériences méthodologiques ont parfois donné les mêmes données à plusieurs équipes avec la même question.
Les résultats pouvaient varier selon :
- modèles ;
- exclusions ;
- définitions.
Cela illustre que la réponse analytique n’est pas toujours unique même lorsque tout le monde travaille de bonne foi.
La solution n’est pas d’interdire les choix
Toute analyse nécessite des décisions.
Il serait impossible de supprimer toute flexibilité.
Le véritable objectif est de :
- justifier les choix ;
- les définir à l’avance lorsque possible ;
- montrer les alternatives importantes ;
- séparer exploration et confirmation.
Une étude peut être trop rigide
Il existe aussi un risque inverse.
Suivre aveuglément un plan devenu manifestement inadapté après une erreur de mesure ou un problème technique n’est pas toujours raisonnable.
Des modifications peuvent être légitimes.
La bonne pratique est de les :
- documenter ;
- justifier ;
- dater ;
- distinguer du plan initial.
Le problème est l’opacité, pas toute adaptation
La méthode scientifique doit pouvoir apprendre en cours de route.
Mais elle doit éviter de faire croire que toutes les décisions étaient prévues lorsqu’elles ont été influencées par les résultats.
La transparence permet cette flexibilité sans masquer l’incertitude supplémentaire.
P-hacking et industrie
Le sujet est parfois présenté uniquement comme un problème de recherche financée par l’industrie.
C’est trop simpliste.
Les mêmes incitations existent dans :
- universités ;
- laboratoires publics ;
- associations ;
- recherche militante.
Tout chercheur peut préférer inconsciemment un résultat compatible avec ses attentes.
Le remède doit donc être méthodologique, pas seulement moral.
« Les chercheurs ont manipulé les statistiques »
Cette accusation peut être excessive.
Un article fragile peut résulter :
- mauvaise pratique ;
- habitudes méthodologiques ;
- biais cognitif ;
- pression à publier.
Avant d’accuser de fraude, il faut distinguer :
erreur
flexibilité
pratique discutable
manipulation intentionnelle.
La critique scientifique gagne à rester précise.
P-hacking et crise de réplication
La flexibilité analytique a contribué aux difficultés de réplication observées dans plusieurs disciplines.
Un résultat découvert par exploration mais présenté comme confirmatoire possède une probabilité plus faible de se reproduire.
Des pratiques comme :
- pré-enregistrement ;
- partage de données ;
- réplications
ont précisément été développées pour réduire ce problème.
L’importance de l’effet estimé
Le p-hacking ne concerne pas seulement le franchissement du seuil.
Il peut également conduire à sélectionner le modèle donnant :
le plus gros effet.
Un RR réel proche de 1,10 peut apparaître comme :
RR = 1,45
dans l’analyse la plus favorable.
Les effets publiés peuvent donc être surestimés.
Winner’s curse
Lorsque l’on sélectionne le résultat le plus extrême parmi plusieurs estimations, celui-ci tend à exagérer l’effet réel.
C’est une forme de winner’s curse.
Les études suivantes trouvent alors souvent un effet plus modeste.
Ce phénomène explique en partie pourquoi certaines découvertes initiales spectaculaires « rétrécissent » à la réplication.
Exemple
Première étude :
RR = 2,4.
Réplications :
RR = 1,4 ; 1,3 ; 1,5.
L’effet peut être réel.
La première étude était simplement celle qui, par hasard et sélection, avait produit l’estimation la plus spectaculaire.
La diminution ultérieure n’implique donc pas nécessairement que la première étude était frauduleuse.
Un résultat robuste n’a pas besoin d’un chemin analytique très particulier
Une règle pratique est utile.
Si une association :
- disparaît dès qu’on modifie légèrement la période ;
- dépend d’un seuil précis ;
- nécessite l’exclusion de quelques personnes ;
- n’existe que dans un modèle particulier,
elle est fragile.
Une relation réelle importante devrait souvent laisser une trace dans plusieurs analyses raisonnables, même si son ampleur varie.
Mais certaines questions nécessitent effectivement un modèle particulier
Là encore, prudence.
Un modèle inadéquat peut masquer une véritable association.
La robustesse universelle n’est pas obligatoire.
Ce qui compte est de pouvoir expliquer scientifiquement pourquoi une spécification particulière est la plus appropriée, indépendamment du fait qu’elle soit favorable.
Lire la section « méthodes »
Face à un résultat surprenant, il faut examiner :
- critères d’exclusion ;
- définition de l’exposition ;
- critères de jugement ;
- covariables ;
- sous-groupes ;
- durée ;
- plan statistique.
La méthodologie permet parfois de voir combien de flexibilité était possible.
Comparer au protocole enregistré
Lorsque celui-ci existe, c’est encore plus informatif.
Demandez :
Le critère principal est-il le même ?
Les exclusions étaient-elles prévues ?
Les sous-groupes existaient-ils avant les résultats ?
Les analyses secondaires sont-elles clairement identifiées ?
Les différences peuvent être légitimes, mais elles doivent être transparentes.
Une leçon d’esprit critique
Face à une étude statistiquement significative, il ne suffit pas de demander :
« Les calculs sont-ils corrects ? »
Il faut aussi demander :
Combien d’analyses auraient pu être réalisées ?
Cette analyse était-elle définie avant de voir les résultats ?
Les exclusions étaient-elles prévues ?
Les seuils ou périodes ont-ils été choisis après coup ?
Les résultats sont-ils robustes à d’autres choix raisonnables ?
L’hypothèse a-t-elle été reproduite indépendamment ?
Une formule statistique correcte peut donner une impression trompeuse si elle est le résultat sélectionné parmi un grand nombre d’analyses possibles.
À retenir
Le p-hacking apparaît lorsqu’on exploite la flexibilité analytique jusqu’à obtenir un résultat statistiquement favorable.
Il peut concerner :
- exclusions ;
- taille d’échantillon ;
- variables d’ajustement ;
- seuils ;
- périodes ;
- sous-groupes ;
- critères de jugement ;
- modèles statistiques.
Il peut être intentionnel, mais aussi résulter de choix influencés inconsciemment par les résultats.
Les principales protections sont :
- protocole pré-spécifié ;
- pré-enregistrement ;
- Registered Reports ;
- distinction entre analyses confirmatoires et exploratoires ;
- analyses de sensibilité ;
- multiverse analysis ;
- réplication indépendante.
Le principe fondamental est simple :
une p-value n’a pas la même signification si elle provient d’un test prévu à l’avance ou si elle a été sélectionnée parmi des dizaines de chemins analytiques.
La question essentielle devient donc :
« Ce résultat était-il réellement la conséquence d’un test scientifique défini à l’avance, ou est-il le gagnant d’une compétition invisible entre de nombreuses analyses possibles ? »
Pour aller plus loin
Joseph Simmons, Leif Nelson et Uri Simonsohn — travaux sur les researcher degrees of freedom. Une référence importante pour comprendre comment des choix analytiques raisonnables peuvent augmenter fortement le taux de faux positifs.
Andrew Gelman et Eric Loken — The Garden of Forking Paths. Une analyse majeure de la multiplicité créée par les décisions analytiques, même en l’absence de recherche consciente d’un p < 0,05.
Brian Nosek et collaborateurs — travaux sur la science ouverte et le pré-enregistrement. Des contributions importantes au développement des pratiques visant à distinguer clairement exploration et confirmation.
Chris Chambers — travaux sur les Registered Reports. Une approche conçue pour que la publication dépende davantage de la qualité de la question et de la méthode que du caractère positif des résultats.