P-hacking, HARKing et pratiques de recherche discutables
Une étude ne produit presque jamais un résultat directement à partir de données brutes sans qu’aucune décision intermédiaire soit nécessaire.
Faut-il exclure les participants ayant mal compris les instructions ? Comment traiter les valeurs extrêmes ? À quel moment arrêter le recrutement ? Quelle variable doit constituer le critère principal ? Faut-il ajuster pour l’âge ? Transformer une distribution asymétrique ? Examiner les hommes et les femmes séparément ? Utiliser le résultat mesuré à trois mois ou celui mesuré à six mois ?
Plusieurs réponses peuvent être scientifiquement raisonnables.
Cette flexibilité est parfois indispensable. Elle devient problématique lorsque les résultats obtenus déterminent progressivement les décisions retenues, tandis que l’article final donne l’impression qu’une seule hypothèse et une seule analyse avaient été prévues dès le départ.
Le résultat peut alors sembler beaucoup plus probant qu’il ne l’aurait été si le lecteur avait vu l’ensemble des chemins analytiques qui ont permis d’y parvenir.
C’est dans ce contexte qu’apparaissent des notions comme p-hacking, HARKing et pratiques de recherche discutables — *questionable research practices*, souvent abrégées QRP.
Il faut immédiatement éviter une caricature. Ces pratiques ne sont pas toutes équivalentes à la fraude. Certaines peuvent même correspondre à des opérations parfaitement légitimes lorsqu’elles sont justifiées et transparentes. Le problème vient principalement de la combinaison entre flexibilité, sélection et présentation trompeuse du statut des résultats.
Les National Academies distinguent ainsi la fraude scientifique au sens strict — fabrication, falsification et plagiat — d’un ensemble plus large de pratiques préjudiciables à la recherche qui peuvent dégrader la fiabilité du système sans nécessairement relever de la même catégorie de faute.
La question essentielle est donc moins :
« Le chercheur a-t-il triché ? »
que :
« Le processus d’analyse et de présentation a-t-il donné aux données davantage d’occasions de produire un résultat favorable que ce que le lecteur peut comprendre à partir de l’article final ? »
Le p-hacking : chercher jusqu’à obtenir le bon seuil
Le terme p-hacking désigne généralement l’utilisation de la flexibilité dans la collecte, la sélection ou l’analyse des données d’une manière qui augmente les chances d’obtenir un résultat statistiquement significatif.
Head et ses collègues le décrivent comme le fait de collecter ou sélectionner des données ou des analyses jusqu’à ce que des résultats initialement non significatifs deviennent significatifs.
La forme la plus caricaturale serait :
p = 0,12 : essayons autre chose.
p = 0,08 : retirons ces deux observations.
p = 0,06 : ajoutons cette covariable.
p = 0,047 : parfait, publions.
Mais le véritable problème est généralement beaucoup plus subtil.
Chaque décision peut posséder une justification plausible.
La difficulté vient du fait que la probabilité finale d’obtenir p < 0,05 n’est plus celle d’un test unique défini indépendamment des données.
Un seuil de 5 % suppose une procédure donnée
Nous avons vu qu’un test effectué au seuil de 5 % possède certaines propriétés statistiques sous un ensemble d’hypothèses.
Mais ces propriétés concernent la procédure réellement suivie.
Si une équipe avait une seule analyse prévue, son résultat doit être évalué relativement à cette analyse.
Si elle disposait en pratique de cinquante chemins possibles et que le chemin final a été choisi parce qu’il donnait le résultat le plus favorable, la valeur *p* affichée ne représente plus correctement la sélection qui a précédé son calcul.
Simmons, Nelson et Simonsohn ont montré par simulations et expériences qu’une flexibilité apparemment banale dans la collecte, l’analyse et le reporting peut augmenter fortement les faux positifs par rapport au taux nominal attendu.
Ce résultat ne signifie pas que toute flexibilité analytique produit automatiquement un faux résultat.
Il signifie que le seuil nominal ne peut pas être interprété indépendamment de la manière dont l’analyse a été choisie.
Les chemins analytiques : un rappel nécessaire
La fiche 21 a détaillé les principales formes de multiplicité analytique : optional stopping, multiplication des critères et des sous-groupes, choix des covariables, exclusions ou transformations successives. Ici, un bref rappel suffit pour comprendre leur rôle dans le p-hacking.
Chacune de ces décisions peut être méthodologiquement légitime. Un essai séquentiel peut prévoir sa règle d’arrêt ; un sous-groupe peut être motivé par une hypothèse solide ; une exclusion peut écarter une mesure invalide ; une covariable peut répondre à un modèle causal ; une transformation peut mieux représenter les données. Le problème apparaît lorsque leur sélection dépend des résultats observés et que cette dépendance reste invisible au lecteur.
Le p-hacking ne se définit donc pas par l’existence d’une opération particulière, mais par la relation entre les données déjà vues, le choix retenu et la manière dont ce choix est ensuite présenté. Une analyse exploratoire demeure légitime lorsqu’elle est déclarée comme telle et exposée à une confirmation indépendante.
Le p-hacking ne nécessite pas de falsifier une seule donnée
Cette distinction est fondamentale.
Toutes les observations peuvent être authentiques.
Tous les calculs présentés peuvent être mathématiquement corrects.
Le problème vient de la sélection du calcul.
C’est pourquoi les pratiques analytiques discutables peuvent être beaucoup plus difficiles à identifier qu’une fabrication grossière de données.
Le chercheur peut toujours montrer :
« voici le fichier ; voici le modèle ; voici le résultat ».
Tout est réel.
Ce qui manque est l’information :
« voici les trente autres modèles raisonnables que nous avons examinés avant de choisir celui-ci ».
Il peut même ne pas y avoir d’intention consciente
Le mot *p-hacking* évoque facilement quelqu’un essayant cyniquement de tromper la communauté.
Cela existe probablement.
Mais beaucoup de situations sont plus ambiguës.
Le chercheur obtient un résultat inattendu.
Il se demande naturellement si deux observations atypiques l’expliquent.
Il les exclut.
Le résultat devient plus clair.
Il se rappelle alors qu’il avait effectivement de bonnes raisons de considérer ces observations comme problématiques.
Cette justification peut être sincère.
Nous sommes très doués pour construire des raisons plausibles en faveur des décisions qui produisent un résultat que nous trouvons convaincant.
La protection scientifique doit donc fonctionner même lorsque les chercheurs sont honnêtes.
C’est l’une des raisons pour lesquelles Simmons et ses collègues parlaient de flexibilité non déclarée plutôt que de réduire le problème à la fraude.
Le jardin des chemins qui bifurquent va plus loin que le p-hacking volontaire
Nous avons rencontré dans la fiche 21 l’expression de Gelman et Loken : le jardin des chemins qui bifurquent.
Il n’est même pas nécessaire que le chercheur réalise explicitement vingt analyses.
Il suffit que les décisions successives dépendent de ce qu’il observe.
Si les données avaient été différentes, il aurait choisi une autre transformation, un autre sous-groupe ou un autre modèle.
Le test final appartient donc à un espace beaucoup plus vaste de procédures potentielles.
C’est ce qui rend la distinction entre p-hacking volontaire et flexibilité conditionnée par les données parfois difficile.
Du point de vue de la fiabilité du résultat, le problème essentiel est moins l’état psychologique du chercheur que la dépendance entre données observées et chemin analytique retenu.
P-hacking et exploration ne sont pourtant pas synonymes
Supposons qu’une chercheuse reçoive un nouveau jeu de données et décide de l’explorer librement.
Elle essaie différentes transformations.
Elle examine plusieurs sous-groupes.
Elle cherche des relations inattendues.
Elle construit dix nouveaux modèles.
Il n’y a rien d’intrinsèquement mauvais à cela.
C’est l’analyse exploratoire.
Elle devient problématique si les relations découvertes sont ensuite présentées comme des prédictions confirmatoires indépendantes.
L’exploration demande :
« Que pourrait-il se passer dans ces données ? »
La confirmation demande davantage :
« L’hypothèse spécifiée avant ce test survit-elle à une confrontation où les règles n’ont pas été adaptées à ce résultat particulier ? »
Les deux fonctions sont indispensables.
Le problème consiste à effacer leur différence.
Le HARKing : transformer une découverte en prédiction
C’est exactement le problème capturé par l’acronyme HARKing, proposé par Norbert Kerr en 1998 : *Hypothesizing After the Results are Known*.
Mais la définition de Kerr est plus précise que :
« formuler une hypothèse après avoir vu les résultats ».
L’HARKing consiste à présenter dans le rapport de recherche une hypothèse post hoc, informée par les résultats, comme s’il s’agissait d’une hypothèse formulée a priori.
Cette différence est capitale.
Formuler des hypothèses après avoir vu des données est une partie normale de la science.
Les présenter rétrospectivement comme des prédictions antérieures modifie artificiellement la force probante du résultat.
Pourquoi une prédiction réussie paraît-elle plus forte ?
Supposons que nous observions après coup :
les personnes du groupe A améliorent particulièrement leur mémoire le matin.
Il est généralement possible de construire une explication :
le niveau d’éveil ;
la lumière ;
le cortisol ;
le rythme circadien ;
une différence de sommeil.
Mais beaucoup d’autres motifs auraient également pu être expliqués après observation.
Si, avant la collecte, une théorie avait précisément prédit :
« l’effet sera présent le matin et absent l’après-midi »,
et que c’est ce qui apparaît, la théorie s’est exposée à un risque supérieur.
Elle aurait pu échouer.
Le HARKing transforme donc une explication rétrospective flexible en prédiction apparemment risquée, alors que cette prise de risque n’a jamais réellement eu lieu.
Une histoire parfaitement cohérente peut être construite après coup
Les articles scientifiques possèdent souvent une structure narrative très propre :
théorie ;
hypothèse ;
expérience ;
résultat ;
confirmation.
La recherche réelle est beaucoup moins linéaire.
Une expérience produit un résultat inattendu.
Une nouvelle théorie apparaît.
Une analyse secondaire devient plus intéressante que l’analyse originale.
Les chercheurs relisent alors la littérature et découvrent des travaux permettant de construire une excellente explication.
Rien de cela n’est scientifiquement honteux.
Mais si l’article final raconte :
« sur la base de cette théorie, nous avions prédit exactement ce résultat »,
le lecteur reçoit une histoire épistémiquement plus forte que le processus réel.
Kerr décrivait précisément cette reconstruction comme le cœur du HARKing.
HARKing ne signifie donc pas « interpréter après coup »
Toute discussion scientifique interprète les résultats après leur obtention.
Les auteurs doivent expliquer :
ce qu’ils ont découvert ;
pourquoi ;
quelles hypothèses nouvelles apparaissent ;
et comment les travaux futurs pourraient les tester.
Le problème est la dissimulation de la chronologie.
Une formulation transparente serait :
« Nous n’avions pas prévu cette interaction. Elle suggère l’hypothèse suivante… »
La même idée devient alors une contribution scientifique légitime.
Elle ouvre une recherche suivante.
Le lecteur sait simplement qu’elle n’a pas encore reçu un test indépendant.
HARKing et p-hacking peuvent se renforcer
Imaginons une étude comportant cinquante analyses possibles.
L’une donne un résultat significatif inattendu.
Les auteurs construisent ensuite une théorie expliquant exactement pourquoi ce résultat devait se produire.
Le p-hacking ou la flexibilité analytique a sélectionné le résultat.
Le HARKing construit rétrospectivement la prédiction.
L’article final peut alors ressembler à une démonstration remarquablement propre :
théorie précise ;
prédiction précise ;
p < 0,05 ;
conclusion confirmée.
Alors que le processus réel ressemblait davantage à :
beaucoup de possibilités → résultat atypique → théorie construite autour de ce résultat.
Cette combinaison est particulièrement dangereuse parce qu’elle masque simultanément la multiplicité statistique et la multiplicité théorique.
Les pratiques de recherche discutables constituent une famille beaucoup plus large
Le terme Questionable Research Practices ne désigne pas une liste parfaitement standardisée.
Il a notamment été utilisé pour décrire des comportements situés entre la bonne pratique idéale et la fraude manifeste.
John, Loewenstein et Prelec ont ainsi interrogé plus de 2 000 psychologues sur diverses pratiques discutables et ont observé des auto-déclarations suffisamment fréquentes pour attirer fortement l’attention sur le problème.
Mais il faut interpréter ce travail avec prudence.
Il s’agissait d’une enquête dans une discipline particulière, utilisant des déclarations des chercheurs et une définition donnée des comportements étudiés.
Elle ne permet pas d’affirmer :
« tel pourcentage précis de toute la science pratique le p-hacking ».
Elle montre surtout que certaines pratiques non frauduleuses mais susceptibles d’altérer les résultats ne sont pas des scénarios purement théoriques.
Toutes les QRP ne possèdent pas la même gravité
Considérons trois situations.
Un chercheur modifie une analyse parce qu’il découvre une erreur dans le plan statistique original et documente clairement le changement.
Un second essaie de nombreuses analyses puis ne rapporte que celle donnant *p* < 0,05.
Un troisième invente entièrement vingt observations.
Il serait absurde de classer les trois comportements dans une catégorie morale unique.
Le premier peut constituer une excellente pratique.
Le deuxième peut fausser fortement l’inférence sans fabriquer de données.
Le troisième relève clairement de la fraude scientifique.
Les catégories doivent donc rester graduelles et mécanistiques.
La question utile est :
quel type d’erreur ou de tromperie la pratique peut-elle introduire ?
Fraude scientifique et pratiques discutables
Dans la réglementation fédérale américaine, par exemple, le terme research misconduct possède une définition juridique relativement étroite : fabrication, falsification ou plagiat. L’erreur honnête et les désaccords d’opinion en sont explicitement exclus.
Les National Academies proposent de distinguer de ces fautes un ensemble de detrimental research practices, c’est-à-dire des pratiques autres que la fabrication, la falsification et le plagiat mais suffisamment dommageables au processus scientifique pour nécessiter une attention institutionnelle.
Cette distinction est utile même en dehors du contexte réglementaire américain.
Elle permet d’éviter deux erreurs :
tout appeler fraude, ce qui écrase des différences importantes ;
ou
considérer tout ce qui n’est pas fraude comme acceptable, ce qui ignore de nombreux mécanismes capables de biaiser sérieusement la littérature.
Une pratique peut être statistiquement problématique sans être moralement claire
Supposons qu’en 1995 une discipline entière considère comme parfaitement normale une procédure qui augmente fortement les faux positifs.
Les chercheurs suivent les conventions apprises pendant leur formation.
Ils ne cherchent pas consciemment à tromper.
Rétrospectivement, nous pouvons découvrir que cette procédure était méthodologiquement mauvaise.
La conclusion doit être :
« cette pratique rendait certains résultats moins fiables ».
Elle n’implique pas automatiquement :
« tous les chercheurs qui l’utilisaient étaient malhonnêtes ».
Cette distinction entre évaluation épistémique et jugement moral est essentielle.
La méthode scientifique doit pouvoir corriger ses pratiques sans nécessiter de transformer chaque erreur institutionnelle en scandale individuel.
La frontière entre acceptable et discutable dépend du contexte
Arrêter une étude après une analyse intermédiaire peut être une mauvaise pratique dans un essai conçu comme fixe.
Mais c’est parfaitement légitime dans un essai séquentiel correctement planifié.
Examiner vingt critères peut produire un problème de multiplicité.
Mais cela peut être raisonnable dans une étude exploratoire qui l’annonce explicitement.
Modifier un modèle après observation des données peut invalider une prétention confirmatoire.
Mais cela peut être exactement ce qu’il faut faire lorsqu’un diagnostic révèle que le modèle prévu était incorrect.
La même opération technique peut donc être :
bonne pratique ;
exploration ;
ou p-hacking,
selon le protocole, l’objectif, la transparence et l’inférence finalement revendiquée.
C’est pourquoi les checklists morales trop simples sont rarement suffisantes.
Le tableau essentiel : pratique, usage légitime et dérive
| Pratique | Usage scientifiquement légitime | Dérive problématique |
|---|---|---|
| Examiner plusieurs analyses | Exploration ou analyse de sensibilité clairement annoncée | Garder seulement l’analyse donnant le résultat souhaité |
| Modifier des exclusions | Corriger des données manifestement invalides selon un critère justifié | Essayer plusieurs exclusions jusqu’à obtenir p < 0,05 |
| Ajouter des covariables | Ajustement fondé sur un modèle causal ou une analyse prévue | Choisir les covariables selon leur effet sur la significativité |
| Analyser des sous-groupes | Tester des modérateurs prévus ou générer des hypothèses | Chercher de nombreux sous-groupes puis présenter le seul résultat positif comme prévu |
| Continuer le recrutement | Plan séquentiel conçu à l’avance | Vérifier répétitivement p et arrêter lorsqu’il franchit le seuil |
| Formuler une hypothèse après les données | Génération normale d’une hypothèse nouvelle | Présenter ensuite cette hypothèse comme prédite avant les résultats |
| Changer l’analyse prévue | Corriger une erreur en documentant la déviation | Effacer le plan initial parce que le nouveau modèle donne un meilleur résultat |
Cette distinction est plus utile que l’opposition :
« flexible = mauvais ; préspécifié = bon ».
La science a besoin à la fois de contrainte et d’adaptation.
P-hacking ne signifie pas nécessairement que le phénomène est faux
Cette nuance est également essentielle.
Supposons qu’un effet réel existe.
Un chercheur utilise pourtant plusieurs analyses et sélectionne la plus favorable.
Le résultat peut être :
un effet réel mais exagéré.
Le problème ne consiste donc pas toujours à créer un phénomène entièrement fictif.
Il peut amplifier sa taille, diminuer artificiellement son incertitude ou rendre sa direction plus stable qu’elle ne l’est réellement.
L’étude de Head et ses collègues sur la distribution de valeurs *p* dans plusieurs disciplines concluait que les signatures de p-hacking semblaient largement présentes, mais leur analyse suggérait en même temps que son impact pouvait être plus faible que celui des véritables effets sous-jacents dans les méta-analyses étudiées.
Il serait donc excessif de transformer :
« le p-hacking existe »
en :
« tout résultat significatif est artificiel ».
Les méthodes destinées à détecter le p-hacking ont elles-mêmes des limites
Certains chercheurs examinent par exemple la distribution des valeurs *p* publiées.
Une accumulation suspecte juste en dessous de 0,05 peut suggérer une sélection analytique.
Mais plusieurs phénomènes peuvent influencer ces distributions :
véritables effets ;
puissances différentes ;
publication sélective ;
analyses multiples ;
choix de modèles ;
arrondis ;
différences disciplinaires.
Déduire directement :
« cette courbe prouve que X % des chercheurs ont p-hacké »
serait donc beaucoup trop fort.
Les méthodes de métarecherche permettent d’identifier des signatures compatibles avec certaines pratiques, mais reconstruire les intentions et les chemins analytiques de milliers d’études à partir des publications reste difficile.
C’est une raison supplémentaire pour privilégier la transparence prospective plutôt que d’essayer uniquement de diagnostiquer les pratiques après coup.
Les résultats juste sous 0,05 méritent-ils d’être automatiquement suspects ?
Non.
Si des milliers de véritables études utilisent un seuil de 0,05, certaines obtiendront naturellement :
0,049 ;
0,047 ;
0,043.
Une valeur proche du seuil n’est pas la signature individuelle du p-hacking.
Elle constitue simplement une preuve faible à modérée dont l’interprétation doit tenir compte du contexte.
Ce qui devient davantage préoccupant est une structure systémique :
forte sélection de résultats juste significatifs ;
nombreuses analyses non déclarées ;
critères modifiés ;
absence de transparence ;
ou résultat disparaissant sous des spécifications alternatives raisonnables.
Il serait donc tout aussi simpliste de dire :
« p = 0,049, donc p-hacking ».
La réplication indépendante constitue un excellent antidote
Supposons qu’une première étude ait exploité involontairement une particularité de ses données.
Une nouvelle équipe définit précisément l’hypothèse, fixe son analyse avant la collecte et recueille un échantillon indépendant.
La première flexibilité ne peut plus fonctionner de la même manière.
Si l’effet réapparaît, la confiance augmente.
S’il disparaît, l’hypothèse rencontre une difficulté.
La réplication possède donc une fonction particulière contre le p-hacking et le HARKing :
elle transforme une découverte sélectionnée dans les premières données en prédiction exposée à de nouvelles données.
C’est l’un des mécanismes les plus simples de l’autocorrection scientifique.
Mais une littérature entière peut reproduire les mêmes incitations
La réplication n’est toutefois pas magique.
Si la seconde équipe possède la même pression à produire *p* < 0,05, elle peut elle aussi exploiter plusieurs analyses.
Si seules les réplications positives sont publiées, le biais de publication recommence.
La solution ne peut donc pas reposer uniquement sur la vertu des individus.
Il faut également modifier les institutions et les procédures.
C’est précisément pourquoi les National Academies insistent sur l’influence de l’environnement de recherche et des incitations institutionnelles dans la promotion ou la détérioration de l’intégrité scientifique.
Nous reviendrons directement sur cette question dans la fiche suivante consacrée aux incitations et à la pression à publier.
Le préenregistrement réduit certaines ambiguïtés
Le préenregistrement consiste à créer avant l’analyse pertinente une trace de certaines hypothèses, variables, exclusions et procédures prévues.
Il ne rend pas l’étude automatiquement correcte.
Il ne supprime pas le droit de modifier l’analyse.
Il permet surtout au lecteur de distinguer :
ce qui était prévu
et
ce qui a été découvert après observation des données.
Nosek et ses collègues présentent précisément cette séparation entre génération et test d’hypothèses comme l’une des fonctions majeures du préenregistrement.
Cette transparence rend beaucoup plus difficile le HARKing complet.
Une hypothèse post hoc reste parfaitement publiable.
Il devient simplement plus difficile de la présenter comme une prédiction antérieure.
Mais un préenregistrement vague laisse presque toute la flexibilité
Supposons qu’un protocole indique :
« Nous étudierons la relation entre les variables en utilisant des analyses statistiques appropriées. »
Pratiquement toutes les décisions restent ouvertes.
La procédure est techniquement préenregistrée.
Elle contrôle peu de degrés de liberté.
Pour être utile à une analyse confirmatoire, le préenregistrement doit être suffisamment précis pour identifier quelles décisions importantes avaient réellement été prises avant la connaissance du résultat.
Une nouvelle fois :
préenregistré n’est pas un label de qualité absolue.
C’est un outil dont la valeur dépend de ce qu’il contraint effectivement.
Le préenregistrement ne doit pas interdire de corriger une mauvaise analyse
Supposons que le modèle préenregistré repose sur une erreur manifeste.
L’appliquer malgré tout simplement pour pouvoir écrire :
« nous avons suivi le protocole »
serait absurde.
La bonne démarche consiste à :
expliquer l’erreur ;
indiquer l’analyse prévue ;
présenter la nouvelle analyse justifiée ;
et préciser son statut.
Le principe n’est donc pas :
« ne jamais dévier ».
Il est :
« ne pas effacer la déviation ».
La transparence chronologique est plus importante que le ritualisme méthodologique.
Les Registered Reports vont plus loin
Une manière encore plus forte de séparer résultat et publication consiste à évaluer une étude avant que ses résultats soient connus.
Dans le modèle des Registered Reports, la question, la théorie, la méthode et le plan d’analyse peuvent être évalués par une revue avant la collecte ou avant l’accès aux résultats pertinents.
Une acceptation de principe peut ensuite rendre la publication beaucoup moins dépendante du fait que l’étude obtienne un résultat significatif ou spectaculaire.
Nous développerons ce dispositif dans la fiche 33 consacrée à la science ouverte.
Son intérêt est déjà évident :
il attaque simultanément p-hacking, HARKing et biais de publication en réduisant la récompense attachée à un résultat particulier.
Rapporter toutes les analyses n’est pourtant pas toujours possible
Une étude complexe peut produire des centaines de diagnostics et analyses exploratoires.
L’article principal ne peut pas nécessairement raconter chaque clic effectué pendant deux années de travail.
La transparence ne signifie donc pas :
« chaque opération doit occuper une page du manuscrit ».
Elle signifie que le lecteur doit disposer d’assez d’information pour comprendre quelles analyses portent la revendication principale, lesquelles étaient prévues, lesquelles sont exploratoires et à quel point la conclusion dépend de choix analytiques alternatifs.
Les annexes, dépôts de code, protocoles et données peuvent compléter l’article.
Les analyses de robustesse sont particulièrement utiles
Supposons qu’un résultat principal soit obtenu avec une méthode.
Les chercheurs montrent ensuite qu’il reste proche sous dix autres choix raisonnables.
Cette information réduit la crainte que la conclusion dépende d’un chemin analytique arbitraire unique.
À l’inverse, si l’effet n’apparaît que dans une spécification particulière, cette fragilité doit être visible.
Les analyses multivers et courbes de spécifications étudiées précédemment rendent précisément cette dépendance explicite.
Le remède à la flexibilité n’est donc pas toujours de réduire artificiellement le nombre d’analyses.
Il peut être de montrer l’ensemble raisonnable des analyses et d’examiner la stabilité de la conclusion.
Une analyse exploratoire honnête peut être plus utile qu’une fausse confirmation
Comparons deux articles.
Le premier affirme :
« conformément à notre hypothèse, X influence Y, p = 0,04 ».
Nous découvrons ensuite que trente analyses ont été essayées et que l’hypothèse a été formulée après observation du résultat.
Le second annonce :
« dans une exploration de trente relations, une association intéressante entre X et Y est apparue ; elle devra être testée indépendamment ».
Le deuxième paraît moins spectaculaire.
Scientifiquement, il est plus informatif.
Il nous dit exactement ce que les données ont réellement accompli :
générer une hypothèse.
La culture scientifique gagnerait donc à valoriser l’exploration pour ce qu’elle est, plutôt qu’à obliger chaque étude à se déguiser en confirmation.
Le véritable problème culturel est la préférence pour les histoires propres
La science réelle est désordonnée.
Les expériences échouent.
Les hypothèses changent.
Des erreurs sont découvertes.
Des variables inattendues deviennent importantes.
Les données obligent parfois à reconstruire une théorie.
Mais l’article traditionnel récompense souvent une narration compacte :
nous pensions X ; nous avons testé X ; X était vrai.
Cette préférence narrative peut encourager le HARKing même sans pression explicite.
Le lecteur reçoit alors un processus scientifique idéalisé plutôt que le véritable chemin intellectuel.
Or l’incertitude et les détours ne sont pas des défauts qu’il faudrait cacher.
Ils constituent une partie normale de la production des connaissances.
La frontière la plus importante est donc la transparence
Nous pouvons maintenant distinguer plusieurs situations.
Exploration transparente : « nous avons découvert cette relation en examinant les données ».
Analyse confirmatoire : « cette hypothèse et cette procédure avaient été définies avant ce test ».
Déviation transparente : « nous avions prévu A, mais avons utilisé B pour telle raison ».
Pratique problématique : la procédure a été adaptée aux résultats mais le rapport final donne l’impression qu’elle ne l’a pas été.
La science peut fonctionner dans les trois premières situations.
La quatrième altère directement la capacité du lecteur à calibrer la force de la preuve.
La solution ne peut donc pas être seulement « soyez plus honnêtes »
L’intégrité individuelle reste évidemment importante.
Mais les individus travaillent dans un système d’incitations.
Si :
p < 0,05 est récompensé ;
les résultats nuls sont difficiles à publier ;
les carrières dépendent du nombre d’articles ;
les analyses exploratoires sont considérées comme inférieures ;
et les protocoles n’ont jamais besoin d’être rendus visibles,
la flexibilité analytique devient structurellement avantageuse.
Les National Academies insistent précisément sur la nécessité de modifier les environnements institutionnels et les incitations, plutôt que de traiter toutes les difficultés d’intégrité comme des défaillances morales isolées de quelques individus.
La fiche suivante examinera directement cette architecture institutionnelle.
Les pratiques discutables peuvent être plus importantes collectivement que les fraudes spectaculaires
Une fabrication massive de données attire immédiatement l’attention.
Elle peut entraîner rétractations, enquêtes et sanctions.
Mais une petite distorsion répétée dans des milliers d’études peut produire un effet systémique beaucoup plus diffus.
Un peu de sélection des résultats.
Un peu de HARKing.
Un peu d’arrêt opportuniste.
Un peu de publication sélective.
Chaque article reste individuellement plausible.
L’ensemble de la littérature devient progressivement plus positive, plus nette et plus certaine que la recherche réelle.
C’est précisément pourquoi John, Loewenstein et Prelec soutenaient que des pratiques moins flagrantes que la fraude pouvaient être importantes pour l’intégrité de l’entreprise scientifique.
Le danger systémique ne vient donc pas nécessairement des comportements les plus spectaculaires.
Ne pas confondre critique des pratiques et attaque contre la science
Découvrir le p-hacking ou le HARKing peut provoquer une réaction cynique :
« on peut faire dire n’importe quoi aux statistiques ».
C’est une mauvaise conclusion.
Ces problèmes ont été identifiés par la recherche méthodologique elle-même.
Ils ont conduit au développement ou à la diffusion de :
préenregistrement ;
Registered Reports ;
partage de données ;
analyses de robustesse ;
réplications ;
réformes éditoriales ;
et métarecherche.
La leçon n’est donc pas :
« la méthode scientifique ne fonctionne pas ».
Elle est exactement inverse :
« une méthode scientifique mature doit également appliquer son esprit critique à ses propres procédures ».
La découverte d’un contrôle insuffisant appelle un nouveau contrôle.
Une science autocritique doit permettre de voir comment le résultat a été obtenu
Le fil directeur de cette rubrique réapparaît encore.
Un résultat scientifique devient plus fiable lorsque les erreurs sont :
plus difficiles à produire ;
plus faciles à détecter ;
et plus faciles à corriger.
Le p-hacking et le HARKing exploitent principalement l’invisibilité du processus ayant précédé le résultat publié.
Leur antidote général est donc de rendre davantage visibles :
les hypothèses initiales ;
les décisions méthodologiques ;
les analyses alternatives ;
les changements de protocole ;
et les données permettant aux autres chercheurs de contrôler les conclusions.
La transparence ne garantit pas la vérité.
Elle rend simplement l’erreur moins facile à dissimuler, y compris à soi-même.
À retenir
Le p-hacking désigne l’utilisation de la flexibilité de collecte, de sélection ou d’analyse des données d’une manière qui augmente les chances d’obtenir un résultat statistiquement favorable. Il peut prendre la forme d’arrêts opportunistes, de multiples critères, de sous-groupes, d’exclusions, de covariables ou de transformations sélectionnés après observation des résultats. Simmons, Nelson et Simonsohn ont montré expérimentalement et par simulation que cette flexibilité non déclarée peut augmenter fortement les taux de faux positifs relativement au seuil nominal attendu.
Le HARKing, terme introduit par Norbert Kerr, est plus précisément le fait de présenter une hypothèse informée par les résultats comme si elle avait été formulée avant leur connaissance. Formuler de nouvelles hypothèses à partir des données est une activité scientifique normale ; ce qui pose problème est d’effacer leur origine exploratoire et de leur attribuer rétrospectivement la force d’une prédiction confirmée.
Les pratiques de recherche discutables constituent une catégorie beaucoup plus large et moins précisément délimitée que la fraude scientifique. Une enquête de John, Loewenstein et Prelec auprès de plus de 2 000 psychologues a montré que certaines de ces pratiques étaient suffisamment fréquemment auto-déclarées pour constituer un problème méthodologique sérieux, sans que ces chiffres puissent être généralisés mécaniquement à toutes les disciplines.
Il faut donc distinguer soigneusement p-hacking, exploration légitime et fraude. Une analyse supplémentaire n’est pas problématique parce qu’elle est supplémentaire ; elle le devient lorsque sa sélection selon le résultat est masquée et que l’inférence finale ne tient pas compte de cette sélection. De même, une déviation à un protocole peut être parfaitement justifiée si elle est expliquée.
Enfin, les preuves empiriques disponibles suggèrent que le p-hacking existe réellement, mais il serait excessif d’en déduire que tout résultat statistiquement significatif ou tout consensus scientifique en est le produit. Dans l’analyse de Head et ses collègues, les signatures de p-hacking semblaient répandues dans plusieurs domaines, mais leur impact estimé sur les méta-analyses examinées paraissait plus faible que celui des véritables effets mesurés.
La question la plus utile devant une étude n’est donc pas seulement :
« Quel résultat statistique les auteurs ont-ils obtenu ? »
mais :
« Combien de décisions étaient possibles, lesquelles ont été influencées par les données, que savaient les chercheurs au moment où ils ont formulé leurs hypothèses, et le lecteur peut-il distinguer ce qui était prévu de ce qui a été découvert après coup ? »
Sources et références
- Simmons, Joseph P., Nelson, Leif D. & Simonsohn, Uri, « False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant », *Psychological Science*, 2011, 22(11):1359–1366, DOI 10.1177/0956797611417632.
- Kerr, Norbert L., « HARKing: Hypothesizing After the Results are Known », *Personality and Social Psychology Review*, 1998, 2(3):196–217, DOI 10.1207/s15327957pspr0203_4.
- John, Leslie K., Loewenstein, George & Prelec, Drazen, « Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling », *Psychological Science*, 2012, 23(5), DOI 10.1177/0956797611430953.
- Head, Megan L., Holman, Luke, Lanfear, Rob, Kahn, Andrew T. & Jennions, Michael D., « The Extent and Consequences of P-Hacking in Science », *PLOS Biology*, 2015, 13(3):e1002106, DOI 10.1371/journal.pbio.1002106.
- Nosek, Brian A., Ebersole, Charles R., DeHaven, Alexander C. & Mellor, David T., « The Preregistration Revolution », *Proceedings of the National Academy of Sciences*, 2018, 115(11):2600–2606, DOI 10.1073/pnas.1708274114.
- National Academies of Sciences, Engineering, and Medicine, Fostering Integrity in Research, National Academies Press, 2017, DOI 10.17226/21896, notamment sur la distinction entre *research misconduct* et *detrimental research practices* et sur l’influence des environnements institutionnels de recherche.
- Office of Research Integrity, Definition of Research Misconduct, définition réglementaire américaine distinguant fabrication, falsification et plagiat des erreurs honnêtes et désaccords scientifiques.