Analyses multiples, surajustement et exploration contre confirmation
Un jeu de données contient rarement une seule analyse possible.
Faut-il exclure les participants ayant répondu trop vite ? Transformer une variable ? Ajuster pour l’âge ? Pour le revenu ? Étudier les hommes et les femmes séparément ? Utiliser le résultat à six mois ou à douze mois ? Comparer les trois groupes ensemble ou deux à deux ? Arrêter le recrutement maintenant ou ajouter encore cinquante participants ?
Chacune de ces décisions peut être parfaitement défendable.
Le problème apparaît lorsque les décisions sont influencées par les résultats obtenus, puis que l’analyse finale est présentée comme si elle avait été la seule envisagée dès le départ.
À force de chercher dans suffisamment de directions, il devient possible de découvrir des associations apparemment impressionnantes même lorsqu’aucun phénomène stable ne les produit.
Cela ne nécessite ni fraude ni manipulation consciente.
Simmons, Nelson et Simonsohn ont montré dès 2011 que la simple flexibilité dans les décisions de collecte, d’exclusion, de transformation et d’analyse pouvait augmenter fortement la fréquence des faux positifs lorsque seules les analyses favorables étaient finalement rapportées. Ils ont appelé ces possibilités les « degrés de liberté du chercheur ».
Ce problème ne signifie pas qu’il faudrait interdire l’exploration des données. Au contraire, l’exploration est l’une des principales sources de nouvelles hypothèses scientifiques.
Il faut seulement distinguer deux activités différentes :
utiliser des données pour découvrir une hypothèse ;
et
utiliser des données suffisamment indépendantes pour tester cette hypothèse.
Confondre les deux peut transformer une découverte intéressante en preuve beaucoup plus forte qu’elle ne l’est réellement.
Chercher plusieurs fois augmente les occasions de trouver quelque chose
Supposons qu’aucun des vingt effets étudiés n’existe réellement et que nous réalisions vingt tests statistiques indépendants au seuil de 5 %.
Pour chaque test pris isolément, la probabilité conventionnelle d’un faux positif sous le modèle est de 5 %.
Mais la probabilité d’obtenir au moins un résultat inférieur à 0,05 parmi les vingt tests atteint déjà environ 64 %.
Cela ne signifie pas que toute analyse comportant vingt tests est mauvaise.
Cela signifie que la phrase :
« ce résultat avait seulement 5 % de chances de survenir sous H₀ »
ne décrit plus correctement la procédure globale si nous avons effectué de nombreux tests puis sélectionné celui qui « fonctionne ».
Nous avons créé plusieurs occasions de réussir par hasard.
C’est le problème général des comparaisons multiples.
Une valeur p possède un sens relativement à la procédure qui l’a produite
Supposons que deux équipes publient exactement :
p = 0,03.
La première avait défini à l’avance une hypothèse précise, une variable principale et une seule analyse.
La seconde avait mesuré vingt variables, essayé plusieurs transformations, étudié différents sous-groupes puis conservé uniquement l’analyse donnant *p* = 0,03.
Le nombre affiché est identique.
Le processus qui l’a produit ne l’est pas.
Dans la deuxième situation, le résultat a été sélectionné parmi de nombreuses possibilités.
La valeur *p* nominale ne résume donc plus correctement la quantité d’opportunités que l’analyse avait de produire artificiellement un résultat favorable.
C’est pourquoi l’interprétation d’un résultat ne peut jamais être séparée de l’ensemble des analyses qui auraient pu être choisies.
Les comparaisons multiples explicites sont le cas le plus simple
Certaines situations sont faciles à reconnaître.
Une étude compare cinq traitements entre eux.
Elle teste vingt biomarqueurs.
Elle examine cinquante gènes.
Elle réalise des centaines de comparaisons simultanées.
Dans ces cas, le problème de multiplicité est visible.
Il existe plusieurs méthodes permettant de contrôler certains taux d’erreur globaux, par exemple les corrections de Bonferroni ou les procédures contrôlant le false discovery rate dans les analyses comportant de très nombreux tests.
Ces méthodes répondent à des questions différentes et ne sont pas interchangeables, mais leur existence rappelle un principe commun :
la fréquence attendue des faux positifs dépend du nombre et de la structure des tests effectués, pas uniquement du seuil utilisé pour chacun séparément.
Le problème devient plus difficile lorsque les comparaisons multiples ne sont même pas explicitement comptées.
Le « jardin des chemins qui bifurquent »
Andrew Gelman et Eric Loken ont proposé une image particulièrement utile : le jardin des chemins qui bifurquent.
Le problème peut exister même lorsqu’un chercheur n’exécute pas consciemment cinquante analyses avant de choisir la meilleure.
Supposons qu’il décide :
si la distribution est très asymétrique, je transformerai la variable ;
si les hommes et les femmes semblent différents, je les analyserai séparément ;
si une valeur paraît aberrante, je l’exclurai ;
si l’effet principal n’est pas clair, j’examinerai l’interaction.
Chaque décision peut sembler raisonnable après avoir vu les données.
Mais un autre jeu de données aurait conduit à une autre succession de décisions.
L’analyse effectivement réalisée appartient donc à un ensemble plus vaste de chemins possibles dépendant des données.
Gelman et Loken montrent ainsi que la multiplicité peut apparaître même sans « pêche » consciente aux valeurs p, simplement parce que les décisions analytiques sont conditionnées par ce qui est observé.
C’est une difficulté plus profonde que la simple correction de vingt tests clairement identifiés.
Le problème n’exige aucune mauvaise foi
Cette précision est essentielle.
Un chercheur peut honnêtement croire que chacune de ses décisions est justifiée.
Il constate que deux groupes paraissent différents et pense naturellement qu’une analyse séparée est théoriquement intéressante.
Il découvre une valeur extrême et estime raisonnable de l’exclure.
Il observe qu’une transformation améliore la distribution et l’applique.
Aucune décision prise isolément n’est nécessairement absurde.
Mais si les données influencent successivement les décisions, le résultat final bénéficie d’une adaptation qui n’est pas prise en compte par le test statistique présenté comme s’il avait été défini indépendamment.
Simmons et ses collègues soulignaient justement que ces pratiques ne doivent pas être comprises uniquement comme le produit de chercheurs malhonnêtes : l’ambiguïté des décisions raisonnables et le désir humain d’obtenir un résultat interprétable suffisent à créer le problème.
La méthodologie doit donc protéger contre nos propres adaptations, pas seulement contre la fraude.
Une analyse peut être parfaitement légitime et pourtant exploratoire
Supposons qu’une étude ne trouve aucun effet global.
En examinant les données, les chercheurs remarquent cependant que le traitement semble fonctionner fortement chez les patients de moins de 40 ans et pas chez les autres.
Cette observation peut être scientifiquement très intéressante.
Il serait dommage de l’ignorer.
Le problème commence si l’article affirme ensuite :
« Nous avions prédit que le traitement fonctionnerait spécifiquement chez les moins de 40 ans, et l’hypothèse a été confirmée. »
si cette prédiction a en réalité été construite après avoir vu le résultat.
Une meilleure formulation serait :
« Une analyse exploratoire suggère une interaction avec l’âge, qui devra être testée dans des données indépendantes. »
La découverte reste intéressante.
Seul son statut probatoire change.
Exploration et confirmation sont deux fonctions différentes
La recherche a besoin des deux.
L’exploration cherche des structures inattendues, génère des hypothèses, détecte des anomalies et ouvre de nouvelles questions.
La confirmation soumet une hypothèse suffisamment spécifiée à un test dont les règles ne sont pas librement adaptées au résultat observé.
Nosek et ses collègues décrivent précisément cette distinction : une partie du progrès scientifique consiste à générer des hypothèses à partir d’observations existantes puis à tester ces hypothèses sur de nouvelles observations, et la transparence sur cette séparation améliore l’interprétation des résultats.
Il ne s’agit donc pas d’opposer :
bonne science confirmatoire
à
mauvaise science exploratoire.
Une science qui n’explorerait jamais deviendrait stérile.
Le problème est de présenter l’exploration comme confirmation.
Pourquoi utiliser les mêmes données deux fois peut être trompeur
Supposons que nous observions vingt variables sans hypothèse particulière.
L’une d’elles présente une association étonnamment forte avec le résultat.
Nous construisons alors une théorie expliquant pourquoi cette variable devait précisément être importante.
Puis nous utilisons la même association ayant suscité la théorie comme preuve de celle-ci.
Le raisonnement tourne partiellement en cercle.
Les données ont servi à :
choisir l’hypothèse,
puis à
évaluer l’hypothèse choisie.
Ce processus favorise naturellement les hypothèses qui correspondent particulièrement bien aux particularités de cet échantillon.
Une véritable mise à l’épreuve demande idéalement de confronter la nouvelle hypothèse à des données qui n’ont pas servi à la sélectionner.
C’est la logique même des prédictions nouvelles étudiées dans les fiches précédentes.
Le surajustement : apprendre le bruit comme s’il s’agissait d’un signal
Le même problème apparaît sous une forme très claire en modélisation prédictive.
Supposons que nous cherchions à prévoir une maladie à partir de centaines de variables.
Un modèle extrêmement flexible peut s’adapter presque parfaitement aux patients déjà observés.
Il apprend les véritables relations utiles.
Mais il peut également apprendre des particularités accidentelles :
un ensemble inhabituel de patients ;
quelques valeurs extrêmes ;
des fluctuations propres à cet échantillon.
Le modèle possède alors une excellente performance sur les données utilisées pour le construire mais une performance beaucoup plus faible sur de nouveaux patients.
C’est le surajustement, ou *overfitting*.
Une synthèse de *Nature Methods* résume précisément le problème : augmenter la flexibilité d’un modèle peut améliorer son ajustement aux données d’apprentissage tout en détériorant sa capacité à généraliser, d’où la nécessité d’évaluer les modèles sur des données distinctes.
Un modèle peut être trop bon sur les données qu’il connaît
Cette idée est contre-intuitive.
Nous avons tendance à penser :
plus le modèle correspond aux données, meilleur il est.
Mais si le même jeu de données sert à choisir les variables, régler les paramètres et évaluer la performance finale, une correspondance exceptionnelle peut être précisément le signe que le modèle s’est trop adapté à ces données particulières.
Prenons une courbe passant exactement par cent points mesurés.
Une fonction extrêmement complexe peut toujours être construite pour traverser chacun d’eux.
Cela ne signifie pas qu’elle prédira correctement le cent-unième point.
La véritable question est :
le modèle a-t-il appris une structure qui se reproduit ailleurs ou simplement mémorisé les particularités de l’échantillon ?
Données d’entraînement et données de test
Une solution classique consiste à séparer les données.
Une partie sert à construire ou entraîner le modèle.
Une autre, tenue à l’écart, sert à tester sa performance.
Si le modèle fonctionne uniquement sur les données d’entraînement et s’effondre sur les données de test, il était probablement surajusté.
Cette logique est profondément apparentée à la séparation entre exploration et confirmation :
les données qui ont permis d’inventer la règle ne constituent pas toujours le meilleur endroit pour mesurer indépendamment la qualité de cette règle.
Dans les problèmes prédictifs, on utilise ainsi des ensembles d’entraînement, de validation et de test, ou des méthodes de validation croisée.
Mais ces procédures doivent elles-mêmes être utilisées correctement.
Un jeu de test peut finir par devenir un nouveau jeu d’entraînement
Supposons que l’équipe teste son modèle sur un jeu de données indépendant.
Le résultat est décevant.
Elle modifie le modèle.
Elle le reteste.
Elle le modifie encore.
Après vingt itérations, elle obtient enfin une excellente performance.
Le « jeu de test » a progressivement influencé la construction du modèle.
Il n’est donc plus véritablement indépendant.
Il a fonctionné comme une source supplémentaire d’information pour l’entraînement.
Pour obtenir une évaluation réellement extérieure au processus d’optimisation, il faudrait idéalement disposer d’un nouvel ensemble de données qui n’a joué aucun rôle dans les modifications précédentes.
La logique est toujours la même :
l’information utilisée pour choisir une analyse ne peut pas ensuite être traitée comme si elle n’avait jamais influencé ce choix.
La validation croisée aide, mais n’abolit pas le surajustement
Lorsque les données sont limitées, on peut utiliser la validation croisée.
Les observations sont divisées en plusieurs parties. Le modèle est entraîné sur certaines et évalué sur les autres, puis l’opération est répétée.
Cette stratégie utilise plus efficacement les données et fournit une meilleure estimation de la performance hors échantillon qu’un simple ajustement évalué sur les mêmes observations.
Mais elle ne constitue pas une protection magique.
Si l’ensemble du processus de sélection des variables, de choix du modèle ou de réglage des paramètres utilise indirectement les performances de validation croisée, on peut finir par surajuster la procédure elle-même.
Un échantillon réellement externe reste particulièrement précieux lorsque l’enjeu est important.
Le surajustement existe aussi en dehors de la prédiction automatique
Il n’est pas nécessaire d’utiliser une intelligence artificielle complexe.
Une analyse scientifique classique peut également être surajustée.
Supposons que nous disposions de 80 participants et de 30 variables possibles.
Nous essayons plusieurs combinaisons de covariables jusqu’à obtenir une association particulièrement forte.
Le modèle final peut sembler raisonnable.
Mais il peut avoir appris une configuration propre à ces 80 personnes.
Une nouvelle étude peut ne pas retrouver le résultat.
Le surajustement est donc une manifestation particulière d’un principe général :
plus une analyse possède de liberté pour s’adapter aux données disponibles, plus il faut de nouvelles données pour déterminer si ce qu’elle a découvert est stable.
De nombreuses décisions « raisonnables » peuvent donner des réponses très différentes
Un autre problème apparaît lorsque plusieurs analyses sont toutes défendables.
Faut-il ajuster pour trois covariables ou cinq ?
Faut-il exclure les participants possédant plus de 20 % de données manquantes ou plus de 30 % ?
Faut-il utiliser le revenu brut ou son logarithme ?
Faut-il analyser le résultat continu ou le transformer en catégorie ?
Il n’existe parfois aucune réponse méthodologique incontestable.
Steegen, Tuerlinckx, Gelman et Vanpaemel ont proposé dans ces situations une analyse multivers : au lieu de sélectionner une seule transformation raisonnable, on réalise un ensemble de variantes méthodologiquement défendables afin de voir à quel point la conclusion dépend de ces choix.
Cette stratégie transforme une faiblesse cachée — la multiplicité des décisions — en information visible.
Le multivers analytique : que se passe-t-il dans les autres mondes raisonnables ?
Supposons que quinze façons raisonnables de préparer les données existent.
Dans douze d’entre elles, l’effet estimé est proche de 5.
Dans trois, il vaut 4.
La conclusion paraît relativement robuste aux choix de préparation.
Supposons au contraire que certaines spécifications donnent +10, d’autres zéro et plusieurs −5.
Il devient difficile de présenter une seule valeur comme le résultat naturel imposé par les données.
L’analyse multivers ne dit pas automatiquement quelle spécification est correcte.
Elle montre la dépendance de la conclusion à des décisions analytiques discutables ou arbitraires.
C’est déjà une information scientifique extrêmement importante.
La courbe de spécifications
Simonsohn, Simmons et Nelson ont développé une approche apparentée appelée specification curve analysis.
L’idée consiste à identifier un ensemble de spécifications :
théoriquement justifiables, statistiquement valides et non redondantes,
puis à présenter les résultats obtenus à travers l’ensemble de ces choix plutôt que de sélectionner uniquement la spécification la plus favorable.
Dans leurs exemples, cette méthode permettait de distinguer un résultat robuste, un résultat beaucoup plus faible et un autre fortement dépendant des décisions analytiques.
L’approche ne résout pas toutes les questions de causalité ou de modèle.
Mais elle répond très directement à une interrogation essentielle :
« Si un autre chercheur avait pris d’autres décisions raisonnables, aurait-il abouti à la même conclusion ? »
Une analyse robuste ne doit pas dépendre d’une décision arbitraire unique
Supposons qu’un effet n’apparaisse que lorsque :
les participants de plus de 62 ans sont exclus ;
le revenu est transformé logarithmiquement ;
deux valeurs extrêmes sont supprimées ;
une covariable particulière est ajoutée ;
et le résultat est mesuré exactement à six mois.
Chacune de ces décisions peut éventuellement avoir une justification.
Mais si de petites modifications raisonnables font disparaître ou inversent complètement le résultat, la conclusion est fragile.
Cela ne prouve pas qu’elle est fausse.
Cela signifie que les données actuelles ne permettent probablement pas d’établir le phénomène avec la robustesse suggérée par une analyse unique.
Robustesse ne signifie pas essayer tout et garder la majorité
Il faut toutefois éviter un nouveau fétichisme.
Si trente analyses trouvent un effet et dix n’en trouvent pas, il ne suffit pas de voter :
30 contre 10, donc effet démontré.
Certaines spécifications peuvent être scientifiquement mauvaises.
D’autres peuvent être pratiquement identiques.
Les analyses peuvent partager le même biais.
Le multivers est avant tout un outil de diagnostic de sensibilité aux choix, pas un référendum statistique.
La réflexion théorique reste nécessaire pour déterminer quelles spécifications possèdent réellement un sens.
Les sous-groupes constituent un terrain particulièrement fertile pour les découvertes accidentelles
Supposons qu’un traitement ne présente pas d’effet global.
On examine ensuite séparément :
hommes et femmes ;
moins de 40 ans et plus de 40 ans ;
patients légers et graves ;
trois régions ;
quatre catégories génétiques.
Avec suffisamment de découpages, un sous-groupe peut facilement présenter un résultat inhabituel par hasard.
Cela devient encore plus problématique lorsqu’on rapporte seulement :
« Le traitement fonctionne remarquablement chez les femmes de moins de 40 ans atteintes d’une forme légère. »
sans préciser combien de sous-groupes avaient été examinés.
Une différence entre sous-groupes doit en outre être testée directement, comme nous l’avons vu précédemment : significatif dans l’un et non significatif dans l’autre ne suffit pas à établir une interaction.
Les seuils peuvent eux-mêmes être choisis après coup
Pourquoi « moins de 40 ans » ?
Pourquoi pas 45 ?
Pourquoi pas 50 ?
Si la frontière a été choisie parce que 40 ans donne le résultat le plus spectaculaire, une nouvelle multiplicité apparaît.
Un résultat peut donc sembler correspondre à une hypothèse très précise alors que cette précision a été optimisée sur les données.
Le même problème concerne les durées :
effet à 3 mois ;
6 mois ;
9 mois ;
12 mois.
Ou les doses :
faible ;
moyenne ;
forte.
La question n’est pas seulement combien de tests figurent dans l’article.
Il faut aussi réfléchir à combien de formulations potentielles auraient pu conduire à l’analyse finalement publiée.
Arrêter la collecte lorsque p passe sous 0,05 est aussi une analyse multiple
Supposons qu’une équipe recrute vingt personnes puis calcule la valeur *p*.
Elle obtient 0,08.
Elle recrute dix participants supplémentaires : 0,06.
Encore dix : 0,047.
Elle arrête l’étude et publie le résultat.
La procédure a donné plusieurs occasions de franchir le seuil.
Si le test statistique utilisé suppose que l’effectif avait été fixé indépendamment des résultats, son niveau nominal n’est plus garanti.
Il existe des méthodes statistiques permettant des analyses séquentielles correctement planifiées.
Le problème n’est donc pas de regarder les données avant la fin en soi.
Il est de modifier librement la règle d’arrêt sans que cette flexibilité soit intégrée à l’analyse.
Simmons et ses collègues incluaient précisément la décision de poursuivre ou d’arrêter la collecte parmi les degrés de liberté susceptibles d’augmenter les faux positifs.
Les exclusions peuvent être scientifiquement nécessaires — et néanmoins dangereuses
Une personne répond au questionnaire en dix secondes alors qu’il en faut normalement dix minutes.
Un appareil produit une mesure physiquement impossible.
Une donnée peut légitimement devoir être exclue.
Mais imaginons que l’on essaie :
avec tous les participants : *p* = 0,09 ;
en excluant deux valeurs : *p* = 0,06 ;
en excluant quatre valeurs : *p* = 0,03.
Si le critère d’exclusion n’était pas fixé indépendamment du résultat, le choix final contribue à la multiplicité.
La solution n’est pas :
« ne jamais exclure personne ».
Elle est de justifier les critères, les rendre transparents et idéalement examiner la robustesse des résultats avec plusieurs choix raisonnables.
Les covariables peuvent devenir un autre levier analytique
Nous avons vu dans la fiche 16 que l’ajustement statistique dépend d’hypothèses causales.
Il possède aussi une dimension de multiplicité.
Si dix covariables sont disponibles, il existe un grand nombre de modèles possibles.
Un chercheur peut constater que l’effet devient significatif lorsqu’il ajuste pour six variables particulières.
Cela ne signifie pas que l’ajustement est faux.
Mais si les covariables sont sélectionnées selon l’effet qu’elles produisent sur la valeur p de l’exposition principale, l’interprétation statistique devient beaucoup plus fragile.
Une bonne justification de l’ajustement devrait provenir principalement de la question causale et des connaissances sur le phénomène, pas de la capacité du modèle à produire le résultat recherché.
Le traitement des données manquantes peut également modifier les conclusions
Les données scientifiques sont rarement parfaitement complètes.
On peut :
exclure les observations incomplètes ;
imputer certaines valeurs ;
utiliser plusieurs méthodes d’imputation ;
définir différentes hypothèses sur les mécanismes de données manquantes.
Ces choix peuvent modifier le résultat.
Dans une bonne analyse, ils doivent être justifiés et, lorsque plusieurs possibilités raisonnables existent, des analyses de sensibilité peuvent montrer à quel point la conclusion dépend du traitement choisi.
La multiplicité n’est donc pas uniquement une affaire de chercheurs cherchant activement des résultats spectaculaires.
Elle est parfois une conséquence inévitable de l’indétermination méthodologique réelle.
Plus une analyse est flexible, plus sa transparence devient importante
Une méthode exploratoire complexe n’est pas nécessairement mauvaise.
Mais le lecteur doit savoir :
combien de variables ont été examinées ;
quelles exclusions ont été essayées ;
quels modèles étaient plausibles ;
quelles analyses ont été décidées avant de voir les résultats ;
quelles analyses ont été ajoutées ensuite.
La transparence transforme une situation ambiguë en information interprétable.
Elle permet au lecteur de donner moins de poids confirmatoire à une découverte exploratoire sans perdre sa valeur génératrice d’hypothèses.
Simmons et ses collègues proposaient déjà en 2011 des mesures de divulgation visant précisément à rendre visibles ces degrés de liberté.
Le préenregistrement cherche à créer une séparation temporelle
Le préenregistrement consiste à enregistrer avant l’observation ou l’analyse pertinente des données certaines décisions importantes :
hypothèses ;
variables principales ;
critères d’exclusion ;
taille d’échantillon ou règle d’arrêt ;
modèles et analyses prévues.
L’objectif n’est pas de garantir que l’analyse sera correcte.
Il est de pouvoir distinguer plus clairement :
ce qui était prévu avant de connaître les résultats
de
ce qui a été découvert après les avoir vus.
Nosek et ses collègues présentent justement le préenregistrement comme un moyen de séparer plus clairement les fonctions génératrice et testante de la recherche.
Nous reviendrons plus largement sur cet outil dans la fiche consacrée à la science ouverte.
Préenregistré ne signifie pas automatiquement bon
Une mauvaise hypothèse peut être préenregistrée.
Un mauvais modèle statistique peut être fixé à l’avance.
Une variable mal mesurée reste mal mesurée.
Un protocole préenregistré peut être insuffisamment précis et laisser énormément de décisions ouvertes.
Il serait donc absurde d’utiliser :
« étude préenregistrée »
comme nouveau label garantissant la vérité.
Le préenregistrement répond surtout à un problème particulier :
la possibilité de reconstruire après coup une analyse en fonction des résultats puis de la présenter comme si elle avait constitué un test indépendant.
Il ne remplace ni la qualité théorique, ni le bon dessin d’étude, ni la réplication.
Dévier d’un préenregistrement n’est pas nécessairement une faute
Une étude peut rencontrer une situation impossible à prévoir.
Un instrument tombe en panne.
Une distribution rend l’analyse prévue inadéquate.
Une erreur apparaît dans le protocole statistique initial.
Il peut être scientifiquement préférable de modifier l’analyse.
Le problème ne consiste donc pas à obéir aveuglément au plan initial.
La bonne pratique est de dire clairement :
« Cette analyse était prévue ; celle-ci a été modifiée pour telle raison ; celle-là est exploratoire. »
La transparence permet ainsi de corriger intelligemment un protocole sans effacer la frontière entre ce qui avait été prévu et ce qui a été appris à partir des données.
Un plan trop rigide peut lui aussi être mauvais
Le danger inverse existe.
Une conception caricaturale de la recherche confirmatoire pourrait conduire à considérer toute analyse non préspécifiée comme scientifiquement suspecte.
Ce serait une erreur.
Une observation inattendue peut être la partie la plus importante d’une expérience.
De grandes découvertes ont précisément commencé par une anomalie non prévue.
La bonne réponse n’est pas de l’ignorer parce qu’elle n’était pas dans le protocole.
Elle est de la présenter comme une découverte nécessitant de nouveaux tests.
La science doit conserver sa capacité de surprise.
Elle doit seulement éviter de transformer rétrospectivement la surprise en prédiction.
La réplication devient le prolongement naturel de l’exploration
Une analyse exploratoire suggère que l’effet apparaît surtout chez les patients jeunes.
Très bien.
La nouvelle hypothèse peut alors devenir :
« Chez les patients de moins de 40 ans, le traitement réduit le risque d’au moins telle quantité. »
Une nouvelle étude est conçue spécifiquement pour tester cette proposition.
Si l’effet apparaît à nouveau dans les nouvelles données, l’hypothèse a franchi un test beaucoup plus sévère.
Si elle disparaît, il est possible que la première observation ait capturé une fluctuation propre au premier échantillon.
Cette séquence :
exploration → hypothèse → nouvelle prédiction → test indépendant
constitue l’un des mécanismes fondamentaux du progrès scientifique.
Une réplication sur de nouvelles données réduit aussi le surajustement
La relation avec la modélisation est immédiate.
Une règle découverte dans un échantillon peut être extrêmement adaptée aux particularités de celui-ci.
Si elle fonctionne encore sur un second échantillon recueilli indépendamment, une partie du risque de surajustement diminue.
Si elle fonctionne ensuite dans une autre population et avec une autre méthode de mesure, sa robustesse augmente encore.
Ainsi, validation externe, réplication et distinction exploration-confirmation sont plusieurs expressions du même principe général : confronter les idées à de l’information qui n’a pas participé à leur construction.
Une réplication n’est pas nécessairement une copie exacte
L’objectif peut varier.
Une réplication très proche vérifie si le résultat réapparaît dans des conditions similaires.
Une réplication conceptuelle examine si la même idée produit les conséquences attendues avec une opérationnalisation différente.
Les deux apportent des informations différentes.
Pour un résultat fortement exploratoire, une réplication proche possède souvent une valeur particulière : elle permet d’abord de déterminer si le phénomène de base existe de manière stable avant de multiplier les nouvelles interprétations.
Nous développerons cette question dans les fiches consacrées à la réplication et aux échecs de réplication.
Le même problème touche aussi les modèles théoriques
Les données peuvent servir à modifier progressivement une théorie jusqu’à ce qu’elle corresponde parfaitement aux observations disponibles.
Nous avons rencontré ce problème avec les ajustements *ad hoc*.
La structure est remarquablement semblable au surajustement statistique.
Modèle statistique : ajouter des paramètres jusqu’à reproduire parfaitement l’échantillon.
Théorie : ajouter des exceptions jusqu’à expliquer parfaitement toutes les observations connues.
Dans les deux cas, la question importante devient :
que se passe-t-il sur de nouvelles données qui n’ont pas servi à effectuer les ajustements ?
La prédiction indépendante joue donc un rôle de protection à la fois statistique et théorique.
Plus de complexité exige davantage d’information
Un modèle comportant deux paramètres possède peu de liberté.
Un modèle comportant cent paramètres peut reproduire des structures beaucoup plus complexes.
Cette flexibilité peut être nécessaire.
Mais elle exige davantage de données et davantage de validation.
Le même principe vaut pour une théorie permettant une grande variété d’explications selon les circonstances.
La flexibilité augmente la capacité d’ajustement.
Elle augmente également le risque d’expliquer le bruit.
Ce n’est donc pas la complexité elle-même qui pose problème.
C’est une complexité insuffisamment contrainte par des tests indépendants.
La prédiction n’est pas toujours supérieure à l’explication
Il faut également éviter un nouveau dogme.
Certaines sciences cherchent principalement à comprendre des événements uniques ou des mécanismes dont les données sont nécessairement limitées.
La découverte d’une bonne explication peut commencer après observation du phénomène.
Toutes les connaissances scientifiques ne prennent pas la forme :
prédiction enregistrée → test futur.
Mais lorsqu’une hypothèse a été fortement adaptée aux données existantes, sa capacité à produire de nouvelles conséquences vérifiables devient particulièrement précieuse.
La distinction exploration-confirmation est donc une règle de gestion de la force des preuves, pas une définition exhaustive de toute rationalité scientifique.
L’exploration devrait être revendiquée, pas dissimulée
Il existe ici un problème culturel.
Dans certains environnements scientifiques, une analyse exploratoire a longtemps pu être considérée comme moins prestigieuse qu’une prédiction confirmée.
Cela peut inciter à réécrire rétrospectivement le processus de recherche :
« Nous avions prédit… »
alors que l’hypothèse a réellement émergé des données.
Une meilleure culture scientifique valoriserait deux réussites différentes :
découvrir une structure intéressante ;
montrer qu’elle résiste ensuite à un test indépendant.
Les deux étapes sont nécessaires.
Présenter honnêtement la première ne la rend pas médiocre.
Cela évite simplement de lui attribuer le niveau de confirmation réservé à la seconde.
Le résultat le plus intéressant d’une exploration peut être qu’aucune conclusion n’est robuste
Une analyse multivers peut révéler que l’effet existe uniquement dans certaines spécifications.
Cette conclusion peut sembler moins spectaculaire qu’un coefficient unique accompagné d’un astérisque.
Mais elle apprend quelque chose d’important :
les données actuelles ne permettent pas encore une réponse stable relativement à plusieurs choix raisonnables.
Cette information peut orienter la recherche suivante.
Quelle décision méthodologique provoque la divergence ?
Existe-t-il une raison théorique de préférer une spécification ?
Faut-il recueillir une mesure plus précise ?
Faut-il construire une nouvelle étude distinguant les modèles concurrents ?
L’incertitude méthodologique devient alors un objet de recherche plutôt qu’un détail caché.
Une courbe de spécifications ne remplace pas une bonne théorie
Il existe cependant un danger de l’autre côté.
Face à cinquante analyses possibles, on pourrait décider de tout calculer sans jamais se demander lesquelles ont un sens.
Mais la science n’est pas seulement une exploration combinatoire de modèles.
Une bonne analyse doit toujours être reliée à :
la question posée ;
la structure causale ;
la qualité des mesures ;
les mécanismes envisagés ;
et la signification des paramètres.
Les techniques de multivers et de courbe de spécifications rendent la flexibilité visible. Elles ne dispensent pas de justifier scientifiquement l’espace des analyses considérées comme raisonnables.
Le vrai problème n’est pas d’avoir beaucoup essayé, mais de cacher que beaucoup a été essayé
Supposons qu’une équipe annonce :
« Nous avons exploré 150 associations. Trois résultats semblaient intéressants. Ils doivent être considérés comme générateurs d’hypothèses et feront l’objet de réplications. »
Cette démarche peut être tout à fait légitime.
Comparons :
« Nous avons prédit trois associations précises et les trois sont significatives. »
si les trois associations ont en réalité été sélectionnées après exploration de 150 possibilités.
Les données sont les mêmes.
La signification probatoire ne l’est pas.
La transparence transforme donc profondément l’interprétation.
Une analyse confirmatoire doit définir suffisamment précisément ce qui est à risque
Pour qu’un test soit réellement sévère, il faut qu’une possibilité d’échec soit identifiable avant que l’on connaisse le résultat.
Si l’hypothèse, la variable, le sous-groupe, le modèle et les exclusions peuvent tous être modifiés après l’observation, la proposition possède de nombreuses manières de survivre.
Une analyse confirmatoire cherche au contraire à limiter une partie de cette flexibilité.
Elle ne supprime jamais toutes les décisions.
Mais elle rend davantage visible :
ce qui devait se produire pour que l’hypothèse réussisse ;
et
ce qui aurait constitué un échec.
Nous retrouvons ainsi l’intuition de Popper et des tests sévères sous une forme statistique très concrète.
Une grille simple pour détecter une flexibilité analytique importante
Lorsqu’un résultat paraît particulièrement frappant, quelques questions permettent d’en évaluer le statut.
L’hypothèse était-elle définie avant l’examen des données ?
Combien de résultats ont été mesurés ?
Combien de sous-groupes ont été examinés ?
Les critères d’exclusion étaient-ils fixés à l’avance ?
La taille d’échantillon ou la règle d’arrêt était-elle préétablie ?
Plusieurs modèles raisonnables existaient-ils ?
La conclusion change-t-elle lorsqu’on utilise d’autres spécifications défendables ?
Les données utilisées pour tester l’hypothèse sont-elles indépendantes de celles qui l’ont suggérée ?
Une réplication indépendante existe-t-elle ?
Ces questions n’ont pas pour objectif de disqualifier automatiquement l’étude.
Elles permettent de déterminer si nous devons lire le résultat comme découverte exploratoire, indice convergent ou test confirmatoire véritablement contraignant.
De « l’analyse donne p < 0,05 » à « combien de chemins pouvaient nous y conduire ? »
La question la plus utile est finalement différente de celle que suggère la sortie du logiciel.
Au lieu de demander uniquement :
« quelle valeur p avons-nous obtenue ? »
il faut parfois demander :
« combien de choix analytiques auraient pu être effectués, lesquels dépendaient des données et à quel point le résultat résiste-t-il à d’autres choix raisonnables ? »
Cette question révèle une dimension souvent invisible de l’incertitude.
Les erreurs standards et intervalles de confiance représentent certaines fluctuations à l’intérieur du modèle finalement choisi.
Ils ne représentent pas automatiquement l’incertitude liée au choix parmi plusieurs modèles possibles.
Simonsohn, Simmons et Nelson soulignent précisément que les décisions analytiques peuvent introduire à la fois biais et variabilité qui ne sont pas reflétés dans les erreurs standards conventionnelles.
La solution n’est pas moins d’exploration, mais plus de séparation et de transparence
Il serait scientifiquement désastreux d’interdire aux chercheurs d’examiner leurs données librement.
Les anomalies, régularités inattendues et nouvelles hypothèses naissent précisément de cette liberté.
La bonne réponse consiste plutôt à organiser le processus :
explorer librement ;
dire que l’on a exploré ;
distinguer les analyses prévues de celles découvertes après coup ;
examiner la robustesse aux choix raisonnables ;
puis, lorsque l’enjeu le justifie,
tester les hypothèses nouvelles sur des données indépendantes.
Le préenregistrement, les réplications, les analyses multivers, les courbes de spécifications et la validation externe sont plusieurs outils répondant à différentes parties de ce problème.
Aucun n’est parfait.
Tous poursuivent cependant une même ambition : empêcher les données qui ont servi à fabriquer une conclusion d’être présentées comme si elles constituaient un test entièrement indépendant de cette conclusion.
À retenir
Un jeu de données permet généralement de nombreuses décisions raisonnables : exclusions, transformations, covariables, sous-groupes, critères, tailles d’échantillon et modèles. Lorsque ces choix sont influencés par les résultats puis que seule l’analyse favorable est rapportée, la fréquence réelle des faux positifs peut être très supérieure à celle suggérée par un seuil nominal de 5 %. Simmons, Nelson et Simonsohn ont qualifié ces possibilités de degrés de liberté du chercheur.
Gelman et Loken ont montré que le problème peut apparaître même sans *p-hacking* conscient. Lorsque les décisions analytiques dépendent progressivement des données, le chercheur emprunte un chemin dans un « jardin de chemins qui bifurquent » ; d’autres données auraient pu conduire à d’autres analyses, ce que la valeur *p* finale ne reflète pas nécessairement.
L’exploration n’est pourtant pas une mauvaise pratique. Elle sert à découvrir des structures et à générer des hypothèses. Ce qui affaiblit la preuve est de présenter ensuite l’hypothèse issue de cette exploration comme si elle avait été testée indépendamment. Le préenregistrement peut aider à distinguer plus clairement ce qui était prévu de ce qui a été découvert après observation des données.
Le surajustement représente le même problème sous une autre forme : un modèle très flexible peut apprendre les particularités et le bruit de son échantillon d’entraînement plutôt qu’une structure généralisable. Son véritable test est alors sa performance sur des données suffisamment indépendantes de celles ayant servi à sa construction.
Enfin, lorsqu’il existe plusieurs analyses méthodologiquement raisonnables, les approches de multivers ou de courbe de spécifications permettent de voir si la conclusion résiste à ces choix ou dépend d’une combinaison particulière.
La distinction essentielle n’est donc pas :
« analyse exploratoire = mauvaise ; analyse confirmatoire = bonne ».
Elle est :
« les données ont-elles servi à découvrir l’hypothèse, à la tester, ou aux deux — et le lecteur peut-il clairement le savoir ? »
Sources et références
- Simmons, Joseph P., Nelson, Leif D. & Simonsohn, Uri, « False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant », *Psychological Science*, 2011, 22(11):1359–1366, DOI 10.1177/0956797611417632.
- Gelman, Andrew & Loken, Eric, « The Garden of Forking Paths: Why Multiple Comparisons Can Be a Problem, Even When There Is No “Fishing Expedition” or “p-Hacking” and the Research Hypothesis Was Posited Ahead of Time », working paper, 2013 ; version synthétique publiée sous « The Statistical Crisis in Science », *American Scientist*, 2014.
- Nosek, Brian A., Ebersole, Charles R., DeHaven, Alexander C. & Mellor, David T., « The Preregistration Revolution », *Proceedings of the National Academy of Sciences*, 2018, 115(11):2600–2606, DOI 10.1073/pnas.1708274114.
- Lever, Jake, Krzywinski, Martin & Altman, Naomi, « Model selection and overfitting », *Nature Methods*, 2016, 13:703–704.
- Steegen, Sara, Tuerlinckx, Francis, Gelman, Andrew & Vanpaemel, Wolf, « Increasing Transparency Through a Multiverse Analysis », *Perspectives on Psychological Science*, 2016, 11(5):702–712, DOI 10.1177/1745691616658637.
- Simonsohn, Uri, Simmons, Joseph P. & Nelson, Leif D., « Specification Curve Analysis », *Nature Human Behaviour*, 2020, 4:1208–1214, DOI 10.1038/s41562-020-0912-z.