Corrélations multiples, faux positifs et biais de sélection : pourquoi trouve-t-on facilement des résultats trompeurs ?

Chercher suffisamment longtemps finit souvent par produire quelque chose

Une base de données contient des centaines de variables. Le chercheur peut comparer des groupes, tester plusieurs périodes, examiner différents critères et essayer plusieurs modèles. Parmi toutes ces possibilités, certaines associations paraîtront fortes, surprenantes ou statistiquement significatives.

Ce résultat peut correspondre à un véritable phénomène. Mais il peut aussi apparaître simplement parce que suffisamment de relations ont été examinées. Supposons que vingt tests indépendants soient réalisés alors qu’aucune relation réelle n’existe. Si chaque test utilise un seuil de significativité de 5 %, il devient assez probable qu’au moins un résultat franchisse ce seuil par fluctuation aléatoire.

Avec :

  • cent variables ;
  • plusieurs sous-groupes ;
  • plusieurs périodes ;
  • plusieurs manières de mesurer le résultat ;
  • plusieurs modèles statistiques,

le nombre de possibilités devient immense.

Le chercheur peut alors sélectionner, souvent sans intention de tromper, la relation qui paraît la plus intéressante. Le lecteur ne voit que ce résultat final. Il ignore toutes les analyses qui n’ont rien donné.

La question centrale n’est donc pas seulement :

« Cette corrélation est-elle statistiquement significative ? »

mais :

« Parmi combien de relations, de populations, de périodes et de modèles cette corrélation a-t-elle été sélectionnée ? »

Une découverte doit être évaluée à partir du processus complet qui l’a produite, et non uniquement à partir du résultat retenu.


Une corrélation peut être réelle sans être causalement importante

Une corrélation indique que deux variables varient ensemble. Cette association peut avoir plusieurs origines :

  • A cause B ;
  • B cause A ;
  • une troisième variable cause A et B ;
  • la manière de sélectionner les observations crée la relation ;
  • une erreur de mesure produit l’association ;
  • la corrélation apparaît par hasard ;
  • plusieurs mécanismes se combinent.

Une corrélation statistiquement réelle peut donc rester causalement trompeuse. Par exemple, une variable peut être un excellent indicateur d’un phénomène sans constituer un levier d’action. Modifier l’indicateur ne modifiera pas nécessairement le résultat.

Avant même d’examiner les biais de sélection et les tests multiples, il faut conserver cette distinction :

Une association observée n’est pas encore une explication.

Les pratiques de sélection aggravent cette difficulté, car elles peuvent produire des associations qui ne sont même pas stables statistiquement.


Le problème des comparaisons multiples

Un test statistique est généralement conçu pour contrôler un risque d’erreur dans une procédure donnée.

Si une seule hypothèse nulle est testée au seuil de 5 %, le risque de faux positif est limité selon les conditions du modèle. Mais si de nombreuses hypothèses sont testées, chacune possède sa propre occasion de produire un résultat extrême.

La probabilité d’obtenir au moins un résultat significatif augmente avec le nombre de comparaisons. Cette situation est appelée problème des comparaisons multiples. Elle apparaît notamment lorsque les chercheurs examinent :

  • de nombreuses variables ;
  • plusieurs sous-groupes ;
  • plusieurs moments de mesure ;
  • plusieurs définitions ;
  • plusieurs modèles ;
  • plusieurs critères de résultat.

Le problème n’est pas que chaque test soit mal calculé.

Il vient du fait que l’ensemble de la stratégie de recherche contient beaucoup plus de possibilités que ne le laisse voir le résultat publié.


La famille de tests

Pour corriger les comparaisons multiples, il faut définir la famille de tests concernée.

Une famille peut correspondre :

  • à toutes les variables principales d’une étude ;
  • à toutes les comparaisons entre plusieurs groupes ;
  • à tous les tests réalisés pour répondre à une même question ;
  • à toutes les analyses explorées dans un programme.

Cette définition n’est pas toujours évidente. Si un article présente cinq tests, mais que le chercheur en a essayé cinquante avant d’en retenir cinq, la famille réelle est plus large que la famille visible. Les corrections statistiques ne fonctionnent donc correctement que si le processus d’analyse est transparent. Une correction appliquée aux seuls tests publiés ne résout pas une sélection invisible réalisée en amont.


Le risque d’au moins un faux positif

Une méthode peut chercher à contrôler la probabilité d’obtenir au moins un faux positif dans l’ensemble d’une famille. Cette probabilité est appelée taux d’erreur familial. Les corrections de Bonferroni ou de Holm sont souvent utilisées à cette fin. La correction de Bonferroni divise approximativement le seuil statistique par le nombre de tests.

Si vingt tests sont réalisés avec un seuil global de 5 %, chaque test doit franchir un seuil beaucoup plus exigeant. Cette méthode réduit les faux positifs. Elle peut toutefois réduire la puissance et augmenter les faux négatifs, surtout lorsque le nombre de tests est élevé.

La correction doit donc être adaptée à l’objectif.


Le taux de fausses découvertes

Dans certains domaines, des milliers d’hypothèses sont testées simultanément.

Exiger qu’aucun faux positif n’apparaisse peut devenir excessivement strict.

D’autres méthodes cherchent à contrôler la proportion attendue de fausses découvertes parmi les résultats déclarés positifs. C’est le principe du taux de fausses découvertes. Cette stratégie est utile lorsque l’objectif est de sélectionner une liste de candidats à examiner ensuite. Elle accepte qu’une partie des résultats soit fausse, tout en cherchant à limiter cette proportion. Mais elle ne transforme pas chaque résultat retenu en fait établi.

Les découvertes restent des hypothèses nécessitant :

  • validation ;
  • réplication ;
  • soutien indépendant.

La multiplicité invisible

Les tests multiples visibles dans un article ne représentent parfois qu’une petite partie de la multiplicité réelle.

Le chercheur peut avoir essayé :

  • différentes définitions de l’exposition ;
  • plusieurs exclusions ;
  • plusieurs transformations ;
  • plusieurs groupes ;
  • plusieurs périodes ;
  • plusieurs covariables.

Chaque décision ouvre une nouvelle voie analytique.

Même si un seul test final est présenté, il a pu être choisi parmi un grand nombre de résultats possibles. Cette multiplicité invisible est plus difficile à corriger statistiquement. Elle demande surtout :

  • préenregistrement ;
  • transparence ;
  • partage du code ;
  • analyses de sensibilité ;
  • séparation entre exploration et confirmation.

Les degrés de liberté du chercheur

Les degrés de liberté du chercheur désignent les choix laissés ouverts pendant l’analyse. Ces décisions sont souvent légitimes prises séparément. Il peut être raisonnable de se demander :

  • faut-il exclure une observation extrême ?
  • faut-il contrôler l’âge ?
  • faut-il utiliser le score total ou une sous-échelle ?
  • faut-il analyser la période entière ou seulement la période stable ?

Le problème apparaît lorsque les choix sont influencés par le résultat.

Le chercheur peut retenir inconsciemment la solution produisant :

  • la relation la plus forte ;
  • la plus petite valeur de *p* ;
  • l’histoire la plus cohérente.

Le test statistique final ne tient plus compte de cette sélection.


Le jardin aux sentiers qui bifurquent

Andrew Gelman et Eric Loken ont décrit le jardin aux sentiers qui bifurquent. Même si le chercheur ne réalise pas explicitement des centaines d’analyses, les données peuvent orienter ses décisions successives. Il observe que :

  • l’effet semble différent selon l’âge ;
  • il choisit donc une séparation par âge ;
  • un résultat apparaît surtout chez les hommes ;
  • il concentre alors l’analyse sur ce groupe ;
  • une mesure semble plus sensible ;
  • il retient cette mesure.

Chaque choix peut paraître raisonnable. Mais l’ensemble construit progressivement une analyse adaptée aux fluctuations particulières de l’échantillon.

La sélection n’a pas besoin d’être consciente pour produire un faux positif.


Le *p*-hacking

Le *p*-hacking désigne la recherche d’un résultat statistiquement significatif à travers une utilisation flexible des données et des analyses. Il peut prendre des formes évidentes :

  • essayer plusieurs tests jusqu’à obtenir *p* < 0,05 ;
  • arrêter la collecte au bon moment ;
  • supprimer certaines observations ;
  • changer le critère principal ;
  • sélectionner un sous-groupe.

Mais il peut également être plus subtil. Un chercheur peut sincèrement croire qu’il améliore l’analyse après chaque résultat intermédiaire. Il rationalise alors les choix favorables comme méthodologiquement supérieurs. Le problème n’est donc pas limité à la fraude. Il résulte aussi d’incitations et de biais cognitifs ordinaires.


La sélection des variables

Une étude peut mesurer de nombreux résultats :

  • symptômes ;
  • qualité de vie ;
  • comportements ;
  • biomarqueurs ;
  • opinions ;
  • performances.

Si une seule variable montre une différence significative, elle peut devenir le résultat principal du récit. Les autres variables disparaissent ou sont présentées comme secondaires. Le lecteur reçoit alors une image déformée. La question importante est :

Ce résultat était-il défini comme principal avant l’analyse ?

Une variable choisie après observation peut révéler une piste intéressante. Elle ne possède pas la même valeur qu’une prédiction confirmée selon un critère fixé à l’avance.


La sélection du moment de mesure

Un effet peut varier au cours du temps.

Une intervention peut sembler efficace :

  • juste après son application ;
  • après une semaine ;
  • après un mois ;
  • seulement à un moment intermédiaire.

Si plusieurs moments sont examinés, l’un d’eux peut produire un résultat favorable par hasard. Présenter uniquement ce moment donne l’impression d’un effet prévu. Une analyse temporelle rigoureuse doit préciser :

  • le moment principal ;
  • la trajectoire ;
  • la persistance ;
  • les tests multiples.

Un pic isolé est moins convaincant qu’une évolution cohérente avec un mécanisme annoncé.


L’arrêt facultatif

Un chercheur peut observer régulièrement les données pendant la collecte. Si le résultat devient significatif, il arrête l’étude. S’il ne l’est pas, il recrute davantage de participants. Cette procédure augmente la probabilité de franchir le seuil par fluctuation. Les tests classiques supposent souvent une taille d’échantillon fixée indépendamment du résultat. Il existe des méthodes séquentielles permettant d’arrêter une étude selon des règles prévues tout en contrôlant les erreurs.

Le problème ne vient donc pas du suivi intermédiaire en lui-même, mais de son usage non planifié.


L’exclusion flexible des observations

Une observation extrême peut fortement influencer un résultat.

Le chercheur peut avoir de bonnes raisons de l’exclure :

  • erreur technique ;
  • mesure impossible ;
  • non-respect du protocole.

Mais si la décision dépend de la direction de son effet sur l’analyse, le risque de biais augmente.

Une même observation peut être qualifiée :

  • d’erreur lorsqu’elle affaiblit l’hypothèse ;
  • de cas intéressant lorsqu’elle la renforce.

Une pratique transparente consiste à :

  • fixer des critères d’exclusion ;
  • présenter les cas retirés ;
  • comparer les résultats avec et sans exclusion.

La transformation flexible

Une variable peut être analysée :

  • sous sa forme brute ;
  • après logarithme ;
  • en catégories ;
  • après standardisation ;
  • avec ou sans valeurs extrêmes.

Chaque transformation peut modifier le résultat. Certaines sont théoriquement justifiées. Mais essayer plusieurs transformations et retenir seulement celle qui produit une association favorable augmente le risque de faux positif. Une transformation doit être choisie à partir :

  • de la nature de la variable ;
  • du modèle ;
  • de la question ;

et non uniquement à partir du résultat obtenu.


Le contrôle flexible des covariables

L’ajout ou le retrait de variables de contrôle peut changer fortement une association.

Un chercheur peut essayer plusieurs modèles :

  • sans contrôle ;
  • avec âge et sexe ;
  • avec niveau social ;
  • avec comportements ;
  • avec variables intermédiaires.

Il retient ensuite celui qui donne l’effet souhaité. Mais le choix des covariables n’est pas une simple question technique. Il dépend d’un modèle causal. Contrôler une cause commune peut réduire un biais. Contrôler une conséquence de l’exposition peut au contraire déformer l’effet. La flexibilité ne doit donc pas être résolue uniquement par le choix du modèle le plus favorable.


Le biais de sélection

Un biais de sélection apparaît lorsque les observations incluses diffèrent systématiquement de la population ou du processus que l’on veut étudier.

La sélection peut intervenir :

  • au recrutement ;
  • dans la participation ;
  • pendant le suivi ;
  • dans l’accès aux données ;
  • lors des exclusions ;
  • dans la publication.

Une relation peut être créée, supprimée ou inversée lorsque l’échantillon est sélectionné selon des variables liées à l’exposition et au résultat.

Le biais de sélection est particulièrement dangereux parce qu’il peut produire une association très nette dans les données observées, alors qu’elle n’existe pas dans la population pertinente.


La sélection au recrutement

Les personnes qui acceptent de participer à une étude peuvent différer de celles qui refusent.

Les volontaires peuvent être :

  • plus intéressés par le sujet ;
  • plus disponibles ;
  • en meilleure santé ;
  • plus diplômés ;
  • plus concernés par le problème.

Une enquête sur une pratique peut attirer davantage les personnes ayant une opinion forte. Une étude clinique exigeante peut sélectionner des patients plus motivés ou plus stables. La taille de l’échantillon ne corrige pas cette différence. Un très grand échantillon de volontaires peut estimer avec précision les caractéristiques des volontaires, sans représenter correctement toute la population.


Le biais de non-réponse

Dans une enquête, certaines personnes ne répondent pas. Si la non-réponse est liée aux variables étudiées, les résultats deviennent biaisés. Les personnes ayant :

  • honte ;
  • méfiance ;
  • difficultés ;
  • manque de temps ;
  • faible intérêt,

peuvent être sous-représentées.

Un taux de réponse faible n’entraîne pas automatiquement un biais important.

Le problème dépend des différences entre répondants et non-répondants. Mais un grand nombre de réponses ne suffit pas à garantir la représentativité.


L’attrition

Dans une étude longitudinale, certains participants abandonnent. Cette perte de suivi est appelée attrition. Elle devient problématique lorsque les personnes qui quittent l’étude diffèrent de celles qui restent. Un traitement peut sembler efficace si les patients qui supportent mal l’intervention abandonnent et ne sont plus inclus dans l’analyse finale. Une formation peut sembler réussie si les élèves en difficulté quittent le programme. Il faut examiner :

  • le nombre de pertes ;
  • leurs raisons ;
  • leur répartition ;
  • les méthodes utilisées pour les prendre en compte.

L’analyse des seuls survivants

Le biais du survivant apparaît lorsque nous analysons uniquement les personnes, entreprises ou institutions ayant traversé un processus. Nous observons les entreprises prospères et cherchons les traits expliquant leur réussite. Mais les entreprises disparues ont peut-être possédé les mêmes traits. Nous étudions les artistes célèbres et trouvons des habitudes communes. Nous ignorons les milliers d’artistes inconnus ayant suivi les mêmes stratégies. Le trait observé chez les survivants n’est donc pas nécessairement la cause de leur succès.

Pour identifier les facteurs pertinents, il faut comparer :

  • survivants ;
  • non-survivants ;
  • trajectoires complètes.

Le biais de Berkson

Le biais de Berkson est une forme classique de biais de sélection. Il peut apparaître lorsque deux causes distinctes augmentent chacune la probabilité d’être inclus dans un échantillon. Dans un échantillon hospitalier, deux maladies peuvent sembler négativement associées simplement parce que chacune augmente la probabilité d’hospitalisation.

Parmi les personnes hospitalisées, celles ne possédant pas l’une des maladies ont davantage de chances de posséder l’autre. L’association est créée par la condition d’entrée dans l’échantillon. Ce phénomène montre qu’une corrélation peut naître du filtre de sélection plutôt que d’une relation dans la population.


Le biais de collidant

Dans un graphe causal, un collidant est une variable influencée par deux autres variables.

Conditionner ou sélectionner sur ce collidant peut créer une association artificielle entre ses causes. Supposons que :

  • le talent influence l’admission dans une école ;
  • les relations familiales influencent également l’admission.

Parmi les seuls élèves admis, le talent et les relations peuvent sembler négativement corrélés : ceux ayant moins de relations doivent en moyenne posséder davantage de talent pour avoir été sélectionnés. Cette association ne décrit pas nécessairement la population générale. Elle apparaît parce que l’analyse conditionne sur l’admission.


Contrôler peut créer un biais

Nous avons souvent l’intuition que contrôler davantage de variables améliore l’analyse. Mais contrôler un collidant peut créer une association inexistante. Contrôler une variable influencée à la fois par l’exposition et le résultat peut ouvrir un chemin causal artificiel. Le problème peut apparaître dans :

  • régressions ;
  • sélection d’échantillon ;
  • appariements ;
  • exclusions.

Il faut donc choisir les contrôles à partir d’une hypothèse causale explicite.

La corrélation d’une variable avec le résultat ne suffit pas à justifier son inclusion.


La sélection par une conséquence

Une étude peut sélectionner des personnes selon une conséquence du phénomène étudié. Par exemple, analyser seulement les personnes ayant demandé un traitement peut relier artificiellement plusieurs causes de cette demande. Des facteurs médicaux, sociaux et psychologiques contribuent tous à l’accès au soin. Dans l’échantillon des patients traités, ces facteurs peuvent présenter des associations différentes de celles de la population. La sélection institutionnelle devient alors une partie du processus causal.


Le biais d’admission

Dans les études scolaires ou universitaires, analyser uniquement les personnes admises peut produire des relations trompeuses. Une institution sélectionne selon plusieurs critères. Parmi les admis, une faible performance sur un critère peut être compensée par une forte performance sur un autre. Les critères semblent alors négativement associés, même s’ils sont indépendants ou positivement associés dans la population générale. Comparer les étudiants sélectionnés ne suffit pas à comprendre les déterminants de l’admission ou de la réussite.


La sélection dans l’emploi

Une analyse portant uniquement sur les personnes en emploi peut déformer les relations entre :

  • santé ;
  • diplôme ;
  • âge ;
  • productivité ;
  • revenu.

Les personnes dont la santé limite fortement le travail peuvent être absentes de l’échantillon. La relation entre santé et salaire parmi les salariés ne représente donc pas l’effet global de la santé sur la situation économique. Le filtre « être en emploi » sélectionne une population particulière.


Le paradoxe de l’obésité

Certaines études observationnelles ont parfois trouvé que, parmi des patients possédant une maladie, un poids plus élevé semblait associé à un meilleur pronostic.

Plusieurs mécanismes peuvent être envisagés. Mais une partie de ces associations peut provenir :

  • de la sélection sur la maladie ;
  • du tabagisme ;
  • de la perte de poids liée à une maladie déjà présente ;
  • de la mesure utilisée ;
  • de facteurs non contrôlés.

Ce type de résultat illustre la prudence nécessaire lorsqu’une association surprenante apparaît dans un échantillon défini par une conséquence commune.


La causalité inverse

Une relation peut être attribuée à A → B alors que B influence A. Une maladie peut provoquer une baisse de poids avant son diagnostic. Une analyse peut alors trouver qu’un poids faible est associé à une mortalité plus élevée. La conclusion erronée serait :

Le faible poids cause nécessairement la mortalité.

Mais une partie de l’association peut venir de la maladie préexistante qui produit à la fois la perte de poids ou le décès.

La temporalité et l’exclusion des cas précoces peuvent aider, mais elles ne suffisent pas toujours.


Le biais de sélection temporelle

Choisir une période particulière peut produire une tendance trompeuse.

Une analyse peut commencer :

  • juste après un pic ;
  • juste avant une crise ;
  • pendant une période atypique.

La trajectoire semble alors augmenter ou diminuer fortement. Étendre la période peut révéler une fluctuation, un cycle, un retour à la moyenne ou une tendance plus ancienne. Le choix de la fenêtre temporelle doit être justifié indépendamment de l’histoire que l’on veut raconter.


Le biais de temps immortel

Dans certaines études médicales, un participant doit survivre suffisamment longtemps pour être classé comme exposé à un traitement. La période entre l’entrée dans l’étude et le début du traitement est parfois attribuée à tort au groupe traité. Pendant cette période, le participant ne peut pas encore avoir subi certains événements incompatibles avec sa future classification. Cette erreur crée artificiellement un avantage pour le traitement. Le problème vient de la définition temporelle de l’exposition, non d’une simple fluctuation statistique.


La sélection sur l’exposition future

Classer les participants à partir d’un comportement futur peut introduire des informations postérieures. Supposons que les personnes soient classées comme « adhérentes » si elles suivent un traitement pendant un an. Pour appartenir à ce groupe, elles doivent rester dans l’étude et survivre assez longtemps. Comparer ensuite leur résultat aux personnes non adhérentes mélange :

  • effet du traitement ;
  • différences de santé ;
  • motivation ;
  • survie préalable ;
  • sélection.

La catégorie doit être définie en respectant l’ordre temporel.


Le retour à la moyenne

Les personnes sont souvent sélectionnées parce qu’elles présentent une valeur extrême :

  • douleur très élevée ;
  • mauvaise performance ;
  • tension élevée ;
  • période de crise.

Lors d’une seconde mesure, leur valeur tend souvent à être moins extrême, même sans intervention. Ce phénomène est appelé régression vers la moyenne. Une partie de l’extrême initial venait :

  • de l’état réel ;
  • d’une fluctuation ;
  • d’une erreur de mesure.

La fluctuation a moins de chances de se reproduire exactement.

Une amélioration après sélection ne prouve donc pas automatiquement l’efficacité de l’intervention.


Sélectionner les cas extrêmes

Les programmes ciblent souvent les personnes ou institutions ayant les pires résultats. Après l’intervention, leurs scores s’améliorent en moyenne. Sans groupe de comparaison, il est difficile de distinguer :

  • effet réel ;
  • retour à la moyenne ;
  • changement de contexte ;
  • modification de la mesure.

La comparaison doit porter sur des cas ayant été sélectionnés selon des critères comparables.


Le paradoxe de Simpson

Une association observée dans les données agrégées peut disparaître ou s’inverser lorsque l’on distingue plusieurs groupes. Inversement, une relation présente dans chaque sous-groupe peut être masquée par l’agrégation. Ce phénomène est appelé paradoxe de Simpson. Il apparaît lorsque la composition des groupes diffère. La solution n’est pas de toujours préférer les données agrégées ou désagrégées. Il faut déterminer quelle variable correspond au modèle causal pertinent.

Une désagrégation inutile peut créer du bruit. Une agrégation excessive peut masquer la structure réelle.


Choisir après avoir vu le paradoxe

Le paradoxe de Simpson peut lui-même devenir un outil de sélection opportuniste.

Un chercheur peut présenter :

  • l’analyse agrégée si elle soutient son hypothèse ;
  • les sous-groupes si l’analyse globale ne la soutient pas.

Les deux présentations peuvent être mathématiquement exactes. Mais seule l’une répond correctement à la question causale.

Il faut justifier le niveau d’analyse à partir :

  • du mécanisme ;
  • du dessin de l’étude ;
  • de la temporalité ;

et non de la conclusion préférée.


Le biais de confirmation analytique

Le biais de confirmation ne concerne pas seulement l’interprétation finale. Il intervient dans les choix techniques. Le chercheur examine plus sévèrement :

  • les valeurs défavorables ;
  • les modèles contraires ;
  • les résultats nuls.

Il trouve davantage de raisons de les exclure ou de les modifier. Les analyses favorables semblent naturellement plus plausibles. Cette asymétrie peut produire une sélection sans falsification consciente. Les procédures collectives cherchent à réduire cette influence :

  • aveuglement ;
  • préenregistrement ;
  • réplication ;
  • code ouvert ;
  • analyse indépendante.

Le biais de confirmation du lecteur

Le lecteur participe également à la sélection. Il accepte facilement une corrélation compatible avec ses croyances. Il examine plus rarement :

  • le nombre de tests ;
  • les variables omises ;
  • la sélection de l’échantillon ;
  • les définitions.

Une association spectaculaire devient une preuve lorsqu’elle confirme un récit déjà disponible. Une association contraire est rejetée comme biaisée. L’esprit critique demande d’appliquer les mêmes questions méthodologiques aux résultats favorables et défavorables.


Le biais de publication

Les résultats positifs, surprenants et significatifs sont plus facilement publiés.

Les résultats nuls peuvent être :

  • non soumis ;
  • rejetés ;
  • relégués ;
  • moins cités ;
  • moins médiatisés.

La littérature scientifique devient alors un échantillon sélectionné des recherches réalisées. Cette sélection produit :

  • surestimation des effets ;
  • excès de résultats significatifs ;
  • faux consensus ;
  • réplications décevantes.

Le biais de publication est une forme de biais de sélection appliquée aux études elles-mêmes.


La sélection éditoriale

Les revues recherchent souvent :

  • nouveauté ;
  • résultat clair ;
  • récit cohérent ;
  • intérêt médiatique.

Une étude complexe produisant des résultats mitigés peut sembler moins attractive qu’une conclusion simple. Cette incitation favorise :

  • hypothèses fortes ;
  • effets exagérés ;
  • absence d’incertitude ;
  • récits monocausaux.

Les critères éditoriaux peuvent ainsi influencer le contenu de la littérature, même sans intervention directe sur les données.


Le biais de résultat positif

Une étude peut mesurer plusieurs résultats et publier seulement ceux qui sont positifs. Elle peut également :

  • changer le critère principal ;
  • modifier l’ordre des résultats ;
  • omettre certaines analyses.

Ce biais est appelé rapport sélectif des résultats. Il se distingue du biais de publication complet : l’étude paraît, mais une partie de ses résultats reste invisible. La comparaison avec :

  • protocole ;
  • registre ;
  • préenregistrement,

permet parfois de repérer ces changements.


Le biais de citation

Les études positives ou spectaculaires sont davantage citées. Elles deviennent plus visibles dans :

  • revues de littérature ;
  • articles ;
  • médias ;
  • recommandations.

Un résultat initial fragile peut acquérir une apparence de solidité parce qu’il est cité de nombreuses fois. Le nombre de citations n’est pas équivalent au nombre de confirmations indépendantes. Plusieurs articles peuvent simplement répéter une même étude.


L’effet de cascade

Une affirmation publiée peut être reprise comme un fait établi. Chaque nouvel article cite le précédent plutôt que la source initiale. La prudence et les limites disparaissent progressivement. Une corrélation exploratoire peut devenir :

  • une relation reconnue ;
  • puis une cause ;
  • puis une recommandation.

Ce processus forme une cascade informationnelle.

Remonter aux études originales permet de vérifier :

  • ce qui a réellement été mesuré ;
  • quelle était la force du résultat ;
  • comment les conclusions ont été transformées.

Le biais médiatique

Les médias sélectionnent particulièrement :

  • risques ;
  • conflits ;
  • effets importants ;
  • comportements surprenants ;
  • découvertes contre-intuitives.

Une étude nulle ou une réplication modeste attire moins l’attention. La perception publique de la science se construit donc à partir d’un échantillon très sélectionné des résultats. Le lecteur peut croire que :

  • tout provoque le cancer ;
  • chaque aliment possède un effet spectaculaire ;
  • les études se contredisent continuellement.

Une partie de cette impression vient de la sélection des résultats extrêmes.


La corrélation accidentelle dans les grandes bases

Une grande base de données contient de nombreuses variables. Même sans manipulation, certaines corrélations inhabituelles apparaîtront. Deux séries temporelles peuvent évoluer ensemble parce qu’elles partagent :

  • une tendance ;
  • une saison ;
  • un changement démographique ;
  • une simple coïncidence.

Comparer des milliers de séries finit par produire des correspondances visuellement impressionnantes.

La taille de la base augmente la capacité de détecter des effets réels, mais aussi le nombre d’associations fortuites possibles.


Les corrélations absurdes

Des corrélations peuvent être trouvées entre des variables sans relation causale plausible. Elles peuvent sembler presque parfaites sur une période donnée. Ces exemples montrent que :

  • force de corrélation ;
  • faible valeur de *p* ;
  • ressemblance graphique,

ne suffisent pas à établir une causalité.

Une association gagne en crédibilité lorsqu’elle possède :

  • une justification indépendante ;
  • une temporalité correcte ;
  • un mécanisme ;
  • une réplication ;
  • une prédiction nouvelle.

Les séries temporelles et les tendances communes

Deux variables augmentant toutes deux avec le temps peuvent être fortement corrélées même si elles n’ont aucun lien direct. Par exemple, de nombreux indicateurs :

  • population ;
  • production ;
  • utilisation technologique ;
  • dépenses,

augmentent sur plusieurs décennies.

Les corréler sans retirer ou modéliser la tendance produit des associations artificielles. Ce problème est appelé parfois corrélation fallacieuse dans les séries temporelles.

Il faut examiner :

  • stationnarité ;
  • tendance ;
  • saisonnalité ;
  • autocorrélation ;
  • ruptures.

L’autocorrélation

Les observations temporelles sont souvent liées aux observations précédentes. La température d’aujourd’hui ressemble à celle d’hier. Une série économique ou biologique possède une continuité. Si l’analyse traite chaque moment comme une observation indépendante, elle surestime la quantité d’information disponible. Les valeurs de *p* deviennent artificiellement faibles. Le modèle doit représenter la dépendance temporelle.


La saisonnalité

Deux séries peuvent varier ensemble parce qu’elles dépendent de la saison. Les ventes de glaces et les noyades peuvent toutes deux augmenter en été. La consommation de glaces ne constitue pas nécessairement la cause principale des noyades. La température et les activités saisonnières influencent les deux. Une corrélation temporelle doit être comparée aux cycles connus et aux causes communes.


Les ruptures de série

Une association peut apparaître lorsqu’une définition ou une méthode change simultanément dans plusieurs bases.

Une réforme administrative peut modifier :

  • le nombre de cas enregistrés ;
  • la catégorie ;
  • le comportement de déclaration.

La série montre une rupture qui ne correspond pas entièrement à une transformation du phénomène réel. Corréler cette rupture à une autre évolution peut produire une conclusion trompeuse. Les métadonnées et l’histoire des mesures sont indispensables.


La recherche de motifs

Les humains détectent facilement des motifs dans le bruit.

Une courbe semble :

  • suivre une autre ;
  • changer après un événement ;
  • annoncer un cycle.

Lorsque le motif est choisi après observation, il est facile de construire une histoire. La valeur probante dépend de la capacité à prévoir un motif similaire dans de nouvelles données. Un motif trouvé dans une série peut toujours être décrit avec précision après coup. La difficulté est de montrer qu’il n’est pas une particularité de l’échantillon.


Les points de changement choisis après coup

Un chercheur peut choisir une date séparant :

  • avant ;
  • après.

Si la date est choisie parce que la courbe change à cet endroit, le test statistique doit tenir compte de cette sélection. Présenter ensuite l’événement proche comme cause peut produire une illusion. Un véritable test demande :

  • une date définie indépendamment ;
  • une comparaison ;
  • une tendance antérieure ;
  • des unités non exposées ;
  • une analyse de sensibilité.

Les analyses de sous-groupes

Une intervention peut fonctionner différemment selon :

  • âge ;
  • sexe ;
  • niveau initial ;
  • région ;
  • génétique ;
  • institution.

Explorer ces variations est scientifiquement important. Mais si de nombreux sous-groupes sont examinés, certains résultats apparaîtront par hasard. Une différence significative dans un sous-groupe ne démontre pas nécessairement que l’effet est réellement spécifique. Il faut tester directement l’interaction.


Tester l’interaction

Dire :

  • l’effet est significatif chez les jeunes ;
  • il ne l’est pas chez les personnes âgées ;

ne prouve pas que l’effet diffère selon l’âge.

La différence de significativité peut venir de :

  • tailles d’échantillon ;
  • variabilité ;
  • précision.

Il faut tester :

L’écart entre l’effet chez les jeunes et l’effet chez les personnes âgées est-il lui-même suffisamment soutenu ?

Cette interaction doit idéalement avoir été prévue et répliquée.


Les sous-groupes trop précis

Une population peut être divisée selon plusieurs caractéristiques :

  • femmes de moins de 40 ans ;
  • dans telle région ;
  • avec tel score ;
  • mesurées à tel moment.

Le sous-groupe finit par contenir peu d’observations. Une forte association peut alors dépendre de quelques cas. La définition semble très précise, mais cette précision a été construite après l’observation. Une hypothèse réellement spécifique doit produire une prédiction vérifiable dans un nouvel échantillon.


Les sous-groupes biologiquement plausibles

Une justification biologique augmente la crédibilité d’un sous-groupe. Mais la plausibilité seule ne suffit pas. Après avoir vu les données, il est souvent possible d’inventer un mécanisme expliquant n’importe quelle différence. Il faut distinguer :

  • hypothèse réellement antérieure ;
  • rationalisation après coup.

La confirmation doit venir de données nouvelles ou d’une mesure indépendante du mécanisme.


La catégorisation d’une variable continue

Une variable continue comme l’âge peut être découpée en catégories :

  • moins de 40 ans ;
  • 40 ans et plus.

Le seuil choisi peut modifier le résultat. Essayer plusieurs coupures permet parfois de trouver une séparation significative. Le seuil final semble alors naturel alors qu’il a été sélectionné pour maximiser la différence. Une analyse continue ou un seuil fixé à l’avance réduit ce risque.


Le seuil optimal

Les chercheurs peuvent chercher le seuil séparant le mieux :

  • malades et non-malades ;
  • répondants et non-répondants ;
  • réussites et échecs.

Le seuil trouvé dans l’échantillon initial est souvent trop performant. Il exploite les particularités de ces données. Une validation indépendante est nécessaire pour estimer sa performance réelle. Le seuil optimal dans une base n’est pas automatiquement une frontière naturelle du phénomène.


La séparation complète

Dans un petit échantillon, une variable peut parfois séparer parfaitement deux groupes.

Le résultat semble spectaculaire. Mais cette perfection peut être une conséquence :

  • de la petite taille ;
  • d’une sélection ;
  • d’un surajustement ;
  • d’un seuil choisi après coup.

Une séparation presque parfaite exige une validation particulièrement rigoureuse.

Les performances diminuent souvent lorsqu’elle est appliquée à de nouvelles données.


Le surajustement

Le surajustement apparaît lorsqu’un modèle capture le bruit particulier de l’échantillon au lieu de la structure générale.

Plus le modèle possède :

  • variables ;
  • interactions ;
  • seuils ;
  • paramètres,

plus il peut s’adapter aux données passées.

Un modèle parfaitement ajusté peut échouer sur de nouvelles observations.

Le surajustement constitue une forme générale de sélection : le modèle retient les particularités accidentelles ayant le mieux fonctionné dans l’échantillon.


La validation interne

Les méthodes de validation interne, comme la validation croisée, tentent d’estimer la performance sur des données non utilisées directement pour ajuster le modèle. Elles réduisent le risque de surajustement. Mais elles peuvent rester optimistes si :

  • toutes les décisions ont été prises à partir de la base entière ;
  • les observations ne sont pas indépendantes ;
  • les groupes sont répartis incorrectement ;
  • de nombreuses configurations ont été comparées.

L’ensemble du processus de sélection doit être inclus dans la validation.


La fuite de données

Une fuite de données apparaît lorsqu’une information provenant du jeu de test influence la construction du modèle. Elle peut être directe ou indirecte. Par exemple :

  • normaliser les données avec l’ensemble complet ;
  • sélectionner les variables avant la séparation ;
  • utiliser une information postérieure au résultat ;
  • mélanger les observations d’une même personne entre entraînement et test.

Le modèle semble alors performant parce qu’il a partiellement vu les réponses.

La séparation doit intervenir avant toutes les opérations apprenant quelque chose des données.


La validation externe

La validation externe teste le résultat dans :

  • une nouvelle population ;
  • une nouvelle période ;
  • une autre institution ;
  • une base produite indépendamment.

Elle est plus exigeante que la simple séparation interne.

Une association créée par :

  • sélection ;
  • contexte ;
  • codage particulier ;
  • surajustement,

échoue souvent lorsqu’elle est transférée.

La validation externe est donc essentielle pour les modèles destinés à un usage réel.


La sélection du meilleur modèle

Comparer de nombreux modèles et retenir celui obtenant la meilleure performance surestime généralement sa qualité.

Le meilleur modèle dans l’échantillon bénéficie à la fois :

  • de sa qualité réelle ;
  • d’une fluctuation favorable.

Cette sélection crée un biais du gagnant analogue à celui des résultats significatifs.

Une nouvelle évaluation indépendante est nécessaire après le choix.


La malédiction du gagnant

Lorsqu’un résultat est retenu parce qu’il est le plus fort parmi de nombreux candidats, son amplitude tend à être surestimée. Ce phénomène est appelé malédiction du gagnant. Il apparaît dans :

  • études génétiques ;
  • modèles prédictifs ;
  • essais de nombreuses interventions ;
  • sélection de variables ;
  • concours de performance.

Le résultat sélectionné possède une valeur extrême en partie grâce au hasard.

La réplication fournit souvent une estimation plus faible.


La sélection par classement

Choisir les dix meilleures écoles, entreprises ou villes et étudier leurs caractéristiques produit un biais.

Les entités sélectionnées ont obtenu un score élevé en raison :

  • de qualités stables ;
  • de circonstances ;
  • d’erreurs de mesure ;
  • de fluctuations.

Lors d’une mesure suivante, certaines régressent vers la moyenne. Attribuer leur succès à toutes les caractéristiques observées après sélection conduit à des recommandations fragiles. Il faut comparer avec :

  • entités non sélectionnées ;
  • trajectoires antérieures ;
  • réplications temporelles.

Le biais du meilleur exemple

Une méthode est souvent illustrée par son cas le plus spectaculaire. Une entreprise, un patient ou une politique ayant exceptionnellement réussi devient la preuve de son efficacité. Mais un cas sélectionné parce qu’il est extraordinaire ne permet pas d’estimer la fréquence habituelle du succès. La question correcte est :

Parmi tous les cas comparables, combien ont obtenu un résultat similaire ?

Un exemple peut montrer qu’un résultat est possible. Il ne montre pas qu’il est probable ou causé par la méthode mise en avant.


Les témoignages sélectionnés

Une pratique peut recueillir des milliers de témoignages. Les témoignages positifs sont publiés. Les échecs restent silencieux. Le nombre de récits favorables paraît impressionnant, mais le dénominateur est inconnu. Sans connaître :

  • nombre total d’utilisateurs ;
  • taux de succès ;
  • abandons ;
  • attentes ;
  • sélection,

les témoignages ne permettent pas d’estimer l’efficacité.

La sélection transforme des expériences réelles en preuve trompeuse.


Les algorithmes de recommandation

Les plateformes sélectionnent les contenus selon :

  • engagement ;
  • nouveauté ;
  • émotion ;
  • probabilité de clic.

Les exemples visibles ne représentent donc pas la fréquence réelle dans le monde. Un utilisateur peut voir de nombreux événements rares parce qu’ils sont particulièrement engageants. Il forme alors une estimation biaisée de leur prévalence. Le mécanisme de sélection informationnelle agit comme un échantillonnage non représentatif. La disponibilité mentale renforce ensuite l’impression que le phénomène est très fréquent.


La sélection des nouvelles

Les médias rapportent surtout les événements inhabituels. Un accident banal n’est pas une information. Un événement rare et spectaculaire le devient. Consommer les nouvelles comme un échantillon du monde conduit à surestimer :

  • risques rares ;
  • conflits ;
  • crimes exceptionnels ;
  • scandales ;
  • crises.

La sélection est inhérente à la fonction médiatique. Elle ne signifie pas nécessairement manipulation. Mais elle doit être prise en compte lorsque l’on infère une fréquence générale à partir de ce qui est visible.


Les bases administratives

Une base administrative contient les événements :

  • signalés ;
  • enregistrés ;
  • codés ;
  • traités.

Elle ne contient pas nécessairement tous les événements réels.

Le nombre de plaintes dépend :

  • du comportement des victimes ;
  • de l’accès aux services ;
  • des priorités institutionnelles ;
  • des règles d’enregistrement.

Une augmentation peut refléter :

  • davantage de faits ;
  • davantage de déclarations ;
  • une meilleure détection ;
  • un changement de définition.

La base sélectionne les événements qui passent à travers le système administratif.


Le biais de détection

Un phénomène semble plus fréquent dans les groupes davantage surveillés.

Un contrôle plus intense produit :

  • plus de tests ;
  • plus de diagnostics ;
  • plus d’infractions détectées ;
  • plus de données.

Comparer les nombres observés sans tenir compte de l’intensité de détection peut créer un cercle :

  1. un groupe est considéré comme plus risqué ;
  2. il est davantage contrôlé ;
  3. davantage de cas y sont trouvés ;
  4. ces cas justifient davantage de contrôle.

La fréquence enregistrée reflète alors à la fois le phénomène et le dispositif de surveillance.


Le biais diagnostique

Deux groupes présentant le même état réel peuvent recevoir des diagnostics différents en raison :

  • des attentes du professionnel ;
  • de l’accès aux soins ;
  • de la formulation des symptômes ;
  • de la fréquence des tests.

Les données diagnostiques ne représentent pas seulement la maladie. Elles représentent également :

  • l’offre médicale ;
  • les pratiques ;
  • les classifications ;
  • le comportement de consultation.

Une corrélation entre groupe social et diagnostic doit donc examiner la chaîne de détection.


La sélection des contrôles

Dans une étude cas-témoins, le choix des personnes de comparaison est essentiel. Les contrôles doivent représenter la population dont proviennent les cas. S’ils sont sélectionnés selon une caractéristique liée à l’exposition, l’association devient biaisée. Un groupe de contrôle pratique mais inadéquat peut produire une estimation très précise et profondément trompeuse. La qualité ne dépend pas seulement du nombre de contrôles, mais de leur relation avec le processus ayant produit les cas.


Les échantillons en ligne

Les enquêtes en ligne peuvent rapidement recueillir des milliers de réponses. Mais les participants sont sélectionnés par :

  • accès à Internet ;
  • plateforme ;
  • intérêt ;
  • disponibilité ;
  • incitation ;
  • confiance.

Les pondérations peuvent corriger certaines différences observées. Elles ne corrigent pas automatiquement les variables inconnues ou mal mesurées.

Un grand échantillon numérique doit donc être évalué comme tout autre échantillon.


La pondération

La pondération attribue davantage ou moins de poids à certaines observations pour rapprocher l’échantillon d’une population de référence. Elle peut corriger des différences connues selon :

  • âge ;
  • sexe ;
  • région ;
  • diplôme.

Mais elle repose sur plusieurs hypothèses :

  • les bonnes variables ont été mesurées ;
  • les personnes similaires selon ces variables sont comparables ;
  • les poids extrêmes ne dominent pas l’analyse.

La pondération peut réduire un biais. Elle ne recrée pas automatiquement une sélection aléatoire.


Le paradoxe des grandes données

Une base gigantesque peut produire des estimations extrêmement précises. Mais une petite erreur systématique devient alors dominante. Lorsque l’incertitude aléatoire diminue, le biais de sélection ne disparaît pas. Il peut au contraire devenir plus trompeur, car les intervalles statistiques sont très étroits. Le résultat paraît certain alors que l’échantillon représente mal la population. La précision n’est pas la validité.


Les données manquantes

Les données manquantes produisent une forme de sélection.

Si l’absence dépend du phénomène étudié, analyser uniquement les données complètes crée un biais. Par exemple :

  • les patients les plus malades répondent moins ;
  • les personnes aux revenus les plus élevés refusent une question ;
  • les élèves en difficulté abandonnent un test.

Les cas observés deviennent un sous-groupe non représentatif.

Il faut examiner le mécanisme de disparition, et pas seulement le pourcentage manquant.


Les analyses en cas complets

Une analyse en cas complets exclut toute observation comportant une donnée manquante. Cette méthode est simple. Elle peut être correcte si les absences sont suffisamment indépendantes du phénomène. Mais elle devient biaisée lorsque l’inclusion dans l’analyse dépend :

  • de l’exposition ;
  • du résultat ;
  • de leurs causes.

L’exclusion peut aussi réduire fortement la puissance.

L’imputation et les analyses de sensibilité peuvent parfois améliorer la situation, mais elles reposent elles-mêmes sur des hypothèses.


La sélection par réussite d’une mesure

Un instrument peut échouer davantage chez certaines personnes. Une caméra, un capteur ou un test peut produire des données utilisables seulement dans certaines conditions. L’analyse porte ensuite sur les cas correctement mesurés. Si la qualité de mesure est liée au phénomène, l’échantillon final est biaisé. Les données manquantes techniques ne sont donc pas toujours aléatoires. La performance de l’instrument selon les groupes fait partie de la validité de l’étude.


Le biais de vérification

Dans une étude diagnostique, seules certaines personnes reçoivent le test de référence permettant de confirmer la maladie. Souvent, les personnes ayant un premier test positif sont davantage vérifiées. Les cas négatifs sont moins examinés. La performance apparente du test devient biaisée. Pour évaluer correctement sensibilité et spécificité, le processus de confirmation doit être pris en compte.


Le biais de spectre

La performance d’un test dépend de la population étudiée.

Une étude comparant :

  • patients très malades ;
  • personnes parfaitement saines,

peut produire une discrimination excellente.

Dans la pratique, le test sera utilisé chez des personnes présentant des symptômes ambigus et des maladies proches. La performance réelle sera plus faible. Sélectionner des cas extrêmes et des contrôles faciles exagère donc la qualité diagnostique.


Le biais de sélection dans les études génétiques

Les études génétiques testent parfois des millions de variantes. Sans correction stricte, de nombreux faux positifs apparaissent. Même après correction, les associations les plus fortes tendent à être surestimées. Les réplications indépendantes sont donc essentielles. De plus, les populations étudiées peuvent être peu diversifiées. Une association ou un score construit dans une population peut moins bien fonctionner ailleurs en raison :

  • de fréquences différentes ;
  • de structures génétiques ;
  • d’environnements ;
  • d’interactions.

Le biais de sélection dans l’intelligence artificielle

Un modèle d’apprentissage automatique est entraîné sur un échantillon du monde. Cet échantillon peut surreprésenter :

  • certains utilisateurs ;
  • certaines langues ;
  • certains comportements ;
  • certaines institutions.

Le modèle apprend les régularités de cette sélection. Une grande performance sur un jeu de test similaire ne garantit pas une performance générale. Le déploiement dans un nouveau contexte révèle souvent :

  • déplacement de distribution ;
  • groupes absents ;
  • nouvelles stratégies ;
  • erreurs asymétriques.

Le biais dans les labels

Les catégories utilisées pour entraîner un modèle peuvent provenir de décisions humaines ou institutionnelles.

Un algorithme apprend alors à prédire :

  • arrestation plutôt que délit réel ;
  • dépense médicale plutôt que besoin de soin ;
  • décision passée plutôt que mérite ;
  • diagnostic enregistré plutôt que état biologique.

La cible elle-même est sélectionnée et construite.

Une forte précision dans la reproduction des labels ne démontre pas que le modèle mesure le concept souhaité.


La boucle de rétroaction algorithmique

Un modèle identifie certains groupes comme plus risqués. Ces groupes reçoivent davantage de contrôles. Les contrôles produisent davantage de cas enregistrés. Les nouvelles données renforcent le modèle. Cette boucle peut amplifier un biais initial. La corrélation entre groupe et cas observés devient plus forte, non nécessairement parce que le comportement réel diverge davantage, mais parce que le système sélectionne davantage d’informations dans certains groupes.


Les expériences naturelles sélectionnées

Une expérience naturelle utilise un événement ou une règle produisant une variation quasi aléatoire. Mais les cas retenus peuvent être choisis parce qu’ils donnent une histoire claire. De nombreux événements comparables ne produisant aucun effet restent invisibles. Le risque de sélection existe donc également dans le choix des expériences naturelles. Une bonne étude doit expliquer :

  • pourquoi ce cas a été sélectionné ;
  • quels cas comparables existent ;
  • si l’analyse avait été prévue avant les résultats.

Les études de cas

Une étude de cas permet d’examiner en profondeur :

  • mécanismes ;
  • séquences ;
  • contextes.

Mais elle ne permet pas directement d’estimer une fréquence.

Un cas choisi parce qu’il est :

  • extrême ;
  • réussi ;
  • dramatique ;
  • atypique,

ne représente pas nécessairement les cas ordinaires.

L’étude peut démontrer qu’un mécanisme est possible. Elle ne démontre pas qu’il est fréquent ou dominant.


Les cas les plus similaires

Comparer deux cas très similaires sauf sur un facteur peut aider à isoler une cause. Mais la similarité parfaite est impossible. Le choix des cas peut être orienté vers ceux qui confirment l’hypothèse. Il faut rendre explicites :

  • critères de sélection ;
  • différences restantes ;
  • cas exclus ;
  • explications concurrentes.

La logique comparative est puissante, mais sensible à la sélection.


Les cas les plus différents

Une théorie semble robuste si elle explique un résultat commun dans des contextes très différents. Mais là encore, les cas peuvent être choisis parce qu’ils correspondent à la conclusion. Les cas négatifs dans lesquels le mécanisme prévu n’apparaît pas doivent également être examinés. Une comparaison scientifique ne doit pas seulement sélectionner les exemples les plus parlants.


La sélection sur la variable dépendante

Une erreur fréquente en sciences sociales consiste à étudier uniquement les cas dans lesquels le résultat s’est produit. Pour comprendre les révolutions, on examine seulement les pays ayant connu une révolution. On cherche alors les traits communs. Mais ces traits peuvent aussi être présents dans des pays sans révolution. Sans comparaison négative, il est impossible de savoir quels facteurs distinguent réellement les cas. Sélectionner uniquement sur le résultat empêche souvent d’identifier les causes.


L’absence de cas négatifs

Une théorie affirme qu’un ensemble de conditions produit un événement. Elle présente plusieurs cas positifs. Mais elle n’examine pas les situations où les mêmes conditions étaient présentes sans produire l’événement.

Les conditions peuvent être :

  • fréquentes ;
  • insuffisantes ;
  • sans lien causal.

Une explication doit comparer :

  • présence avec effet ;
  • présence sans effet ;
  • absence avec effet ;
  • absence sans effet.

La sélection sur une histoire réussie

Les livres de management et de développement personnel analysent souvent les personnes ayant réussi.

Ils identifient :

  • persévérance ;
  • prise de risque ;
  • confiance ;
  • habitudes.

Ces traits peuvent jouer un rôle. Mais ils sont également présents chez de nombreuses personnes ayant échoué.

Sans groupe de comparaison, il est impossible de distinguer :

  • cause ;
  • conséquence ;
  • trait fréquent ;
  • reconstruction biographique.

Le succès sélectionne les histoires qui seront racontées.


Le biais rétrospectif

Après un résultat, les événements antérieurs semblent former une trajectoire cohérente. Les signes annonciateurs deviennent évidents. Les décisions paraissent inévitables. Mais avant l’événement, de nombreux scénarios restaient possibles. La sélection rétrospective retient les éléments compatibles avec le résultat et oublie les autres. Une analyse honnête doit reconstruire :

  • les informations disponibles à l’époque ;
  • les alternatives plausibles ;
  • les bifurcations ;
  • les cas comparables.

La narration causale après sélection

Une corrélation sélectionnée reçoit facilement une histoire causale.

Si les personnes utilisant un produit ont un meilleur résultat, nous pouvons imaginer :

  • motivation ;
  • mécanisme biologique ;
  • effet psychologique.

Mais une explication plausible peut presque toujours être construite après coup. Le récit ne confirme pas la corrélation. Il génère une hypothèse qui doit produire :

  • nouvelles prédictions ;
  • mesures du mécanisme ;
  • réplications.

Le HARKing

Le HARKing consiste à présenter une hypothèse construite après observation comme si elle avait été formulée avant. Le résultat exploratoire prend alors l’apparence d’une confirmation. Cette pratique efface la sélection. Le lecteur croit que :

  • une prédiction précise a été testée ;
  • une observation rare l’a confirmée.

En réalité, l’hypothèse a été choisie parce qu’elle correspondait aux données.

Une hypothèse postérieure peut être intelligente et féconde. Elle doit simplement être présentée comme telle et testée indépendamment.


La prédiction rétrospective

Une théorie peut être ajustée à une base et ensuite « prédire » les événements déjà connus. Cette réussite est moins impressionnante qu’une véritable prédiction nouvelle.

La valeur probante dépend de l’indépendance entre :

  • construction ;
  • test.

Une explication du passé peut néanmoins être forte si elle annonce une trace précise qui n’a pas encore été examinée.

Le problème n’est pas le passé ou le futur, mais la sélection de la donnée après connaissance du résultat.


La réplication comme correction de la sélection

La réplication utilise de nouvelles données pour tester une relation sélectionnée dans l’étude initiale. Elle réduit les possibilités d’adaptation au bruit original.

Une réplication peut échouer parce que :

  • l’effet initial était faux ;
  • l’effet était surestimé ;
  • la population diffère ;
  • le contexte modifie réellement l’effet ;
  • la mesure change.

L’échec n’a donc pas une interprétation unique. Mais une hypothèse refusant toute réplication sous prétexte que chaque contexte est unique devient difficile à évaluer.


La réplication exacte et conceptuelle

Une réplication exacte cherche à reproduire le plus fidèlement possible la procédure initiale. Elle vérifie la stabilité du résultat dans des conditions similaires.

Une réplication conceptuelle teste la même hypothèse avec :

  • autre mesure ;
  • autre méthode ;
  • autre population.

Elle examine la généralité du mécanisme. Les deux formes sont utiles. Une réplication exacte contrôle mieux la fiabilité locale. Une réplication conceptuelle contrôle davantage la dépendance à un dispositif particulier.


La réplication préenregistrée

Une réplication possède davantage de force lorsque :

  • l’hypothèse ;
  • la méthode ;
  • l’échantillon ;
  • l’analyse ;

sont définis avant les résultats. Cela limite la possibilité d’adapter la réplication elle-même aux données.

Une réplication flexible peut reproduire les mêmes problèmes de sélection que l’étude initiale.


Les prédictions hors échantillon

Un modèle gagne en crédibilité lorsqu’il prédit correctement des données qui n’ont participé ni à sa construction ni à sa sélection. La prédiction hors échantillon constitue un test contre le surajustement. Elle est particulièrement importante lorsque le modèle a été choisi parmi de nombreux candidats. La bonne performance initiale peut venir de la chance. La performance sur de nouvelles données montre davantage de stabilité.


Les analyses de sensibilité

Une analyse de sensibilité examine comment la conclusion change lorsque l’on modifie des choix raisonnables :

  • exclusions ;
  • définitions ;
  • modèles ;
  • pondérations ;
  • fenêtres temporelles.

Elle permet de distinguer :

  • résultat robuste ;
  • résultat fragile ;
  • résultat dépendant d’une décision précise.

Une conclusion fragile n’est pas nécessairement fausse. Elle doit être présentée avec un degré de confiance plus faible.


Les spécifications en courbe

Une courbe de spécifications présente les résultats obtenus sous de nombreuses analyses plausibles. Elle montre :

  • distribution des effets ;
  • proportion des résultats positifs ;
  • dépendance aux choix ;
  • caractéristiques des modèles produisant les résultats.

Cette transparence évite de sélectionner une seule spécification. Mais elle demande encore de distinguer :

  • modèles raisonnables ;
  • modèles incohérents ;
  • contrôles causalement inadéquats.

Toutes les spécifications ne se valent pas.


L’analyse multivers

Une analyse multivers examine plusieurs branches possibles de la chaîne analytique. Elle tente de représenter l’incertitude liée aux décisions du chercheur. Si une conclusion persiste dans presque toutes les branches plausibles, sa robustesse augmente. Si elle apparaît seulement dans une combinaison très particulière, elle est moins convaincante. Cette méthode transforme la flexibilité analytique invisible en objet d’analyse.


Le préenregistrement

Le préenregistrement permet de documenter avant l’observation :

  • hypothèse ;
  • variables principales ;
  • exclusions ;
  • sous-groupes ;
  • modèle ;
  • taille d’échantillon.

Il ne supprime pas le droit d’explorer. Il permet de distinguer :

  • analyse confirmatoire ;
  • analyse exploratoire.

Une analyse non préenregistrée peut rester excellente. Elle possède simplement une valeur confirmatoire plus faible si de nombreuses possibilités existaient.


Le préenregistrement imparfait

Un préenregistrement peut être :

  • vague ;
  • incomplet ;
  • modifié ;
  • rempli après certaines observations ;
  • trop flexible.

La présence d’un document ne suffit donc pas.

Il faut examiner :

  • précision ;
  • date ;
  • correspondance avec l’analyse finale ;
  • justification des écarts.

Un bon préenregistrement réduit les sentiers bifurquants sans empêcher l’adaptation justifiée.


Les rapports enregistrés

Les rapports enregistrés font évaluer la question et la méthode avant la connaissance des résultats.

L’étude peut être acceptée sur la qualité du protocole, indépendamment du caractère significatif du résultat. Cette procédure réduit l’incitation à :

  • sélectionner ;
  • exagérer ;
  • cacher les résultats nuls ;
  • modifier l’hypothèse.

Elle valorise davantage la qualité de l’enquête que la réussite apparente.


Les registres

Les registres d’essais ou d’études permettent de connaître les recherches commencées.

Ils réduisent le problème du tiroir à fichiers. Mais leur efficacité dépend :

  • de l’enregistrement obligatoire ;
  • de la qualité des informations ;
  • de la publication des résultats ;
  • de la vérification des écarts.

Un registre incomplet ou non mis à jour ne garantit pas la transparence.


Le partage des données et du code

Partager les données et le code permet :

  • de vérifier les analyses ;
  • de tester d’autres choix ;
  • d’identifier des erreurs ;
  • de reproduire les résultats.

Mais l’ouverture ne suffit pas à corriger un biais de sélection antérieur.

Une base ouverte peut toujours être :

  • non représentative ;
  • mal mesurée ;
  • issue d’un processus sélectif.

La transparence facilite la critique. Elle ne remplace pas la validité.


L’aveuglement

Dans certaines études, les chercheurs peuvent être aveugles à :

  • l’identité des groupes ;
  • la direction attendue ;
  • le résultat principal.

Cette procédure réduit l’influence des attentes lors :

  • du codage ;
  • des exclusions ;
  • de la mesure ;
  • de l’interprétation.

L’aveuglement est difficile ou impossible dans certains domaines.

Il reste utile de séparer autant que possible les décisions techniques de la connaissance du résultat.


L’analyse indépendante

Deux équipes peuvent analyser la même question séparément.

Leurs choix et résultats sont ensuite comparés. Cette diversité révèle :

  • décisions implicites ;
  • fragilité ;
  • erreurs ;
  • ambiguïtés.

Si plusieurs analyses indépendantes convergent malgré des méthodes différentes, la confiance augmente.

Si elles divergent fortement, la variation elle-même devient une information sur l’incertitude analytique.


Les collaborations adversariales

Des chercheurs défendant des théories rivales peuvent concevoir ensemble une étude.

Chaque camp précise :

  • sa prédiction ;
  • ses critères ;
  • ses analyses ;
  • son interprétation des résultats possibles.

Cette organisation limite la sélection rétrospective. Elle ne supprime pas les désaccords, mais rend plus difficile le déplacement des critères après observation.


L’importance de la théorie

La théorie réduit l’espace des analyses possibles.

Une hypothèse précise indique :

  • quelle variable ;
  • quelle direction ;
  • quel mécanisme ;
  • quelle population ;
  • quel moment.

Une recherche purement exploratoire dans une grande base peut produire de nombreuses associations. La théorie permet de distinguer celles qui étaient véritablement attendues. Mais elle peut aussi servir à rationaliser après coup. L’antériorité et la précision de la prédiction comptent.


La plausibilité causale

Une corrélation sélectionnée gagne en crédibilité si elle correspond à :

  • une temporalité cohérente ;
  • un mécanisme mesuré ;
  • une relation dose-réponse ;
  • une intervention ;
  • une réplication indépendante.

Aucun critère n’est toujours décisif seul.

Leur convergence réduit la probabilité que le résultat provienne uniquement de la sélection.


La relation dose-réponse

Un effet augmentant progressivement avec l’exposition peut soutenir une hypothèse causale. Mais une relation dose-réponse peut également être produite par :

  • confusion ;
  • sélection ;
  • mesure ;
  • causalité inverse.

De plus, le choix des catégories de dose peut être flexible.

Une courbe convaincante doit être analysée :

  • continuellement ;
  • avec incertitude ;
  • selon plusieurs modèles ;
  • dans de nouvelles données.

La temporalité

La cause doit généralement précéder l’effet. Une étude transversale mesurant tout au même moment ne permet souvent pas de déterminer le sens causal. Une sélection sur les personnes présentes à un instant donné peut également favoriser certains profils. Les études longitudinales améliorent la temporalité, mais rencontrent :

  • attrition ;
  • changements de mesure ;
  • sélection persistante.

La temporalité est nécessaire à de nombreuses conclusions causales, mais elle n’est pas suffisante.


Le contrôle négatif

Un contrôle négatif utilise une exposition ou un résultat qui ne devrait pas être causalement lié selon l’hypothèse.

Si une association apparaît également avec ce contrôle, elle peut révéler :

  • biais ;
  • confusion ;
  • erreur de mesure ;
  • sélection.

Par exemple, une exposition future ne devrait pas causer un événement passé. Une association entre les deux suggère un problème dans le dessin ou l’analyse. Les contrôles négatifs permettent de tester certaines sources de biais qui restent invisibles dans l’analyse principale.


Les résultats négatifs

Une étude ne doit pas être jugée uniquement selon la présence d’un résultat positif.

Un résultat nul précis peut :

  • exclure un effet important ;
  • corriger une littérature biaisée ;
  • limiter une théorie ;
  • guider une décision.

La valorisation exclusive des découvertes positives alimente la sélection.

Une culture scientifique plus saine doit reconnaître la valeur des études bien conçues indépendamment du signe du résultat.


Le seuil de découverte et le seuil de confirmation

Une association exploratoire peut être acceptée avec un seuil relativement ouvert pour ne pas manquer une piste. Mais elle doit ensuite rencontrer un seuil plus exigeant de confirmation.

Les deux étapes remplissent des fonctions différentes :

  • découverte ;
  • validation.

Confondre une piste avec un résultat établi transforme la flexibilité exploratoire en fausse certitude.


Les études exploratoires

Une étude exploratoire peut examiner :

  • nombreuses variables ;
  • plusieurs modèles ;
  • sous-groupes ;
  • interactions.

Elle cherche à générer des hypothèses.

Sa valeur vient de :

  • la richesse ;
  • la transparence ;
  • la capacité à orienter des tests futurs.

Elle devient trompeuse lorsque chaque résultat sélectionné est présenté comme confirmation définitive.


Les études confirmatoires

Une étude confirmatoire prend un risque plus précis. Elle indique avant les données :

  • ce qui est attendu ;
  • comment cela sera mesuré ;
  • quel test sera utilisé ;
  • quel résultat compterait comme échec.

Elle possède moins de flexibilité. Cette contrainte donne davantage de valeur à une réussite. La science a besoin des deux phases. L’exploration découvre. La confirmation vérifie si la découverte survit à une nouvelle mise à l’épreuve.


Le faux positif substantiel

Un résultat peut être statistiquement réel mais substantiellement trompeur. Par exemple, une association peut provenir d’un biais de sélection stable, d’une mauvaise définition ou d’un indicateur inadéquat. La corrélation se reproduira peut-être dans des bases construites de la même manière. Elle restera pourtant fausse par rapport au phénomène que l’on croyait mesurer. La réplication d’une procédure ne corrige pas automatiquement un biais partagé.


Les biais partagés

Plusieurs études peuvent converger parce qu’elles utilisent :

  • la même base ;
  • la même catégorie administrative ;
  • le même instrument ;
  • la même population ;
  • la même sélection.

Cette convergence n’est pas indépendante. Elle montre la stabilité du processus de mesure, pas nécessairement la réalité du mécanisme interprété.

Une véritable triangulation utilise des méthodes dont les biais possibles diffèrent.


La réplication dans une autre population

Une association issue d’une sélection particulière peut disparaître dans une autre population. Cette disparition peut signifier :

  • faux positif initial ;
  • dépendance au contexte ;
  • différence de mesure ;
  • mécanisme limité.

Il faut éviter les deux réactions extrêmes :

  • déclarer immédiatement la première étude fausse ;
  • invoquer systématiquement le contexte pour la protéger.

La théorie doit préciser quelles différences contextuelles devraient modifier l’effet.


La robustesse institutionnelle

Une relation observée dans une institution peut être produite par ses règles. Par exemple, une corrélation entre une caractéristique et une décision peut refléter :

  • critères d’admission ;
  • pratiques ;
  • sanctions ;
  • accès.

La relation peut se reproduire tant que l’institution reste stable. Elle n’est pas universelle. Elle décrit un mécanisme institutionnel local.

La généralisation demande d’identifier ce qui dépend de la règle et ce qui dépend des individus.


Le biais de sélection peut-il être entièrement corrigé ?

Les méthodes statistiques peuvent parfois réduire un biais de sélection si le processus est suffisamment mesuré et compris. Elles utilisent notamment :

  • pondération ;
  • stratification ;
  • modèles de sélection ;
  • imputation ;
  • ajustement causal.

Mais elles reposent sur des hypothèses. Si des variables importantes sont inconnues ou non mesurées, la correction reste limitée. Aucune méthode ne recrée magiquement les données absentes. La conception de l’étude reste généralement plus importante que la sophistication de l’ajustement.


Les diagrammes causaux

Les diagrammes causaux aident à représenter :

  • causes communes ;
  • médiateurs ;
  • collidants ;
  • sélection ;
  • variables de contrôle.

Ils rendent visibles les conséquences possibles d’un conditionnement. Mais le diagramme dépend de connaissances théoriques. Les données ne déterminent pas toujours seules la direction des flèches. L’outil améliore le raisonnement en obligeant à expliciter les hypothèses, sans garantir leur vérité.


Les analyses de bornes

Lorsque le biais de sélection ne peut pas être entièrement corrigé, des analyses peuvent estimer l’amplitude nécessaire pour renverser la conclusion. Elles demandent :

  • quelle force devrait avoir un facteur non mesuré ?
  • combien de cas manquants faudrait-il ?
  • quels résultats parmi les absents modifieraient l’estimation ?

Ces analyses ne prouvent pas l’absence de biais. Elles montrent la sensibilité de la conclusion à certaines hypothèses.


Les valeurs extrêmes de pondération

Une correction par pondération peut attribuer un poids très élevé à quelques observations rares. L’estimation devient alors instable et dépend fortement de ces cas. Les poids extrêmes indiquent souvent que certains profils sont presque absents de l’échantillon. La méthode tente d’inférer une population à partir de très peu d’information. Il faut examiner :

  • distribution des poids ;
  • précision ;
  • recouvrement ;
  • analyses alternatives.

Le manque de recouvrement

Pour comparer deux groupes, il faut idéalement que des personnes similaires existent dans chacun. Si certaines caractéristiques apparaissent uniquement dans un groupe, l’effet pour ces profils repose sur une extrapolation. Ce problème est appelé manque de recouvrement ou de positivité. Un modèle statistique peut produire un chiffre. Mais la donnée ne contient pas réellement la comparaison nécessaire. Il peut être préférable de limiter la population cible plutôt que de prétendre estimer un effet général.


Les échantillons conditionnés par l’algorithme

Une plateforme ne montre pas le même contenu à tous les utilisateurs. Les données observées sur les clics dépendent des recommandations antérieures. Un élément peu montré reçoit peu de clics, ce qui peut être interprété comme un faible intérêt. L’algorithme sélectionne donc les occasions de comportement qu’il prétend ensuite mesurer. Cette dépendance complique l’évaluation des préférences réelles. Une expérimentation contrôlée ou une exploration aléatoire peut être nécessaire pour rompre la boucle.


La sélection adaptative

Dans certaines études ou plateformes, les données futures sont collectées en fonction des résultats précédents. Les options semblant performantes sont davantage proposées. Cette stratégie peut être efficace pour optimiser. Mais l’analyse statistique doit tenir compte du caractère adaptatif de la sélection. Les observations ne proviennent plus d’un échantillonnage fixe. Ignorer l’adaptation peut produire des estimations biaisées ou une incertitude sous-estimée.


L’analyse de données déjà collectées

Une base administrative ou commerciale a souvent été produite pour un autre objectif.

Le chercheur peut y tester de nombreuses questions. Cette réutilisation est utile, mais elle comporte :

  • variables limitées ;
  • sélection institutionnelle ;
  • définitions imposées ;
  • multiplicité des analyses possibles.

Une hypothèse trouvée dans une base ancienne demande idéalement une validation dans une source indépendante.


Les bases publiques très explorées

Certaines grandes bases sont analysées par de nombreuses équipes. Même si chaque article effectue peu de tests, l’ensemble de la communauté réalise un nombre immense d’analyses. Les résultats significatifs sont publiés plus facilement. La multiplicité existe alors au niveau collectif. Une valeur de *p* calculée dans un article ne tient pas compte de toutes les recherches précédentes ou concurrentes effectuées sur la même base. La réplication dans une autre base devient particulièrement importante.


Le biais de découverte communautaire

Une communauté peut chercher de nombreuses relations sans coordination. Chaque équipe ignore les analyses des autres. Les quelques résultats positifs deviennent visibles. La littérature donne l’impression que ces hypothèses avaient été ciblées dès le départ. Le problème ne vient pas seulement de chaque chercheur, mais du système de sélection scientifique. Les registres, les résultats nuls et la réplication réduisent cette distorsion.


L’effet de mode

Un thème populaire attire de nombreuses études. Le grand nombre de recherches augmente la probabilité d’obtenir des résultats positifs. Les résultats favorables renforcent ensuite l’intérêt pour le thème. Un domaine peut accumuler rapidement une littérature apparemment convaincante avant que les réplications ne corrigent l’estimation. La popularité d’une hypothèse n’est donc pas indépendante du nombre d’occasions qu’elle a reçues d’être confirmée.


La sélection par financement

Les questions financées ne constituent pas un échantillon neutre de toutes les questions scientifiques possibles.

Les financements favorisent :

  • certains problèmes ;
  • certaines méthodes ;
  • certaines populations ;
  • certains objectifs.

Cela ne rend pas les résultats faux. Mais la connaissance disponible est sélectionnée.

L’absence d’études sur un sujet ne signifie pas nécessairement absence de phénomène ou manque d’importance. Elle peut refléter les priorités institutionnelles.


Le biais d’agenda

Une question peut être étudiée principalement sous un angle particulier. Par exemple, un problème social peut être abordé selon :

  • comportements individuels ;
  • facteurs biologiques ;
  • institutions ;
  • économie.

Le choix de l’angle sélectionne les variables et les mécanismes visibles. Une accumulation de résultats dans une perspective peut donner l’impression que cette perspective est la seule scientifiquement fondée. Le pluralisme des questions et méthodes réduit ce biais.


Le problème des variables disponibles

Les chercheurs analysent ce qui est mesuré.

Une base peut contenir beaucoup d’informations sur :

  • individus ;
  • comportements ;
  • scores.

Elle peut contenir peu d’informations sur :

  • institutions ;
  • contraintes ;
  • histoire ;
  • pouvoir.

Les modèles attribuent alors davantage de poids aux variables disponibles. L’absence de mesure d’une cause ne prouve pas son absence. La richesse quantitative d’une variable ne garantit pas sa pertinence causale.


Le biais de commodité

Les étudiants, internautes ou patients accessibles sont souvent utilisés parce qu’ils sont faciles à recruter. Ces échantillons permettent de tester des mécanismes. Mais les résultats peuvent dépendre de caractéristiques particulières :

  • âge ;
  • culture ;
  • éducation ;
  • environnement ;
  • motivation.

La commodité n’annule pas la valeur de l’étude. Elle limite la portée de la généralisation.


Le biais de disponibilité scientifique

Les phénomènes faciles à mesurer reçoivent davantage d’attention. Les effets courts, quantifiables et standardisés sont privilégiés. Les effets :

  • longs ;
  • qualitatifs ;
  • diffus ;
  • institutionnels,

sont plus difficiles à étudier.

La littérature sélectionne donc indirectement les aspects du monde compatibles avec les instruments et les calendriers de recherche. Cette sélection méthodologique peut déformer notre image de ce qui est important.


Comment une corrélation devient-elle trompeuse ?

Une corrélation peut être trompeuse à plusieurs niveaux.

Niveau statistique

Elle résulte d’une fluctuation sélectionnée parmi de nombreux tests.

Niveau d’échantillonnage

Elle est produite par les critères d’inclusion ou d’exclusion.

Niveau de mesure

Les variables représentent mal les concepts.

Niveau causal

Une cause commune, une causalité inverse ou un collidant explique l’association.

Niveau de publication

Seuls les résultats positifs sont visibles.

Niveau de communication

La relation est présentée comme plus forte ou plus générale qu’elle ne l’est.

Ces niveaux peuvent se cumuler.


Une petite valeur de *p* ne corrige pas la sélection

Une valeur de *p* extrêmement faible peut sembler exclure le hasard. Mais si la relation a été sélectionnée parmi des millions de possibilités, le résultat devient moins surprenant.

De plus, la valeur de *p* ne corrige pas :

  • biais de sélection ;
  • erreur de mesure ;
  • confusion ;
  • causalité inverse ;
  • rapport sélectif.

Une association très précise peut être précisément biaisée.

Le contexte de découverte reste indispensable.


La force de la corrélation ne suffit pas

Une forte corrélation est moins susceptible de provenir d’une petite fluctuation qu’une corrélation faible. Mais elle peut être produite par :

  • tendance commune ;
  • sélection ;
  • définition ;
  • erreur systématique ;
  • cause commune très forte.

L’amplitude renforce la nécessité d’une explication. Elle ne remplace pas l’analyse causale.


La réplication ne suffit pas toujours

Une association peut se reproduire parce que plusieurs études partagent le même filtre, le même instrument, la même base et la même institution. La réplication exacte confirme la stabilité de la procédure. Elle ne corrige pas un biais systématique commun. Il faut rechercher une triangulation utilisant des sources et méthodes différentes.


La triangulation

Une conclusion gagne en crédibilité lorsque plusieurs approches indépendantes convergent :

  • enquête représentative ;
  • expérience ;
  • donnée administrative ;
  • mécanisme ;
  • intervention ;
  • comparaison historique.

Chaque méthode possède des biais différents.

Si elles aboutissent à des résultats compatibles, une seule sélection devient moins capable d’expliquer l’ensemble. Mais les méthodes doivent être réellement indépendantes.


La cohérence temporelle

Une relation causale doit généralement respecter un ordre temporel.

Les données doivent permettre de distinguer :

  • avant ;
  • après ;
  • trajectoire ;
  • délai.

Une corrélation mesurée simultanément est particulièrement vulnérable à la causalité inverse. Mais une simple antériorité ne suffit pas.

Une variable précédant un résultat peut rester un indicateur sans être une cause.


Les interventions

Une intervention contrôlée constitue un moyen puissant de réduire certaines formes de sélection et de confusion.

La randomisation rend les groupes comparables en moyenne. Mais elle ne résout pas automatiquement :

  • attrition ;
  • non-observance ;
  • multiplicité ;
  • mauvaise mesure ;
  • généralisation.

L’expérience améliore l’inférence causale interne. Elle ne transforme pas toute analyse en vérité universelle.


La randomisation et la sélection après traitement

Même dans une expérience randomisée, analyser seulement :

  • les participants ayant suivi le protocole ;
  • ceux ayant répondu ;
  • ceux présents à la fin,

peut réintroduire un biais de sélection.

La randomisation initiale ne protège pas nécessairement un sous-échantillon choisi après l’intervention.

L’analyse en intention de traiter conserve généralement la comparaison initiale, mais répond à une question pratique différente de l’effet chez les seuls participants parfaitement traités.


L’intention de traiter

L’analyse en intention de traiter compare les groupes selon l’attribution initiale, même si certains participants n’ont pas suivi le traitement. Elle conserve les bénéfices de la randomisation. Elle estime l’effet d’une stratégie d’attribution dans les conditions de l’étude. Elle peut toutefois sous-estimer l’effet biologique d’une prise réelle lorsque l’observance est faible.

Les deux questions doivent être distinguées sans sélectionner après coup uniquement l’analyse favorable.


Les analyses per protocole

Une analyse per protocole se concentre sur les participants ayant correctement suivi l’intervention. Elle peut mieux approcher l’effet sous observance idéale. Mais la sélection des participants observants peut introduire des différences :

  • motivation ;
  • santé ;
  • ressources ;
  • tolérance.

L’analyse n’est plus entièrement protégée par la randomisation. Elle doit être présentée comme une estimation reposant sur des hypothèses supplémentaires.


Les résultats principaux et secondaires

Une étude peut désigner un résultat principal avant l’analyse.

Les autres sont secondaires ou exploratoires. Cette hiérarchie limite la multiplicité et clarifie l’interprétation. Mais elle ne signifie pas que les résultats secondaires sont inutiles. Ils peuvent :

  • enrichir le mécanisme ;
  • détecter des dommages ;
  • générer des hypothèses.

Leur niveau de confirmation doit simplement être explicité.


Les dommages sélectionnés

Une intervention peut être étudiée principalement pour son bénéfice attendu.

Les effets indésirables sont parfois :

  • moins bien mesurés ;
  • moins précisément définis ;
  • trop rares pour être détectés ;
  • rapportés sélectivement.

Une conclusion positive sélectionnant le bénéfice principal peut masquer une incertitude importante sur les risques.

L’évaluation doit examiner symétriquement :

  • bénéfices ;
  • dommages ;
  • abandons ;
  • événements rares.

Les événements rares

Une étude conçue pour détecter un bénéfice fréquent peut manquer les dommages rares. L’absence d’un effet indésirable dans un petit essai ne constitue pas une preuve forte de sécurité. Les bases observationnelles plus grandes peuvent détecter ces événements, mais elles sont davantage exposées aux biais de sélection et de confusion. La connaissance demande alors de combiner plusieurs types de preuves.


La sélection dans les revues systématiques

Une revue systématique définit des critères d’inclusion. Ces critères sélectionnent les études jugées pertinentes.

Une mauvaise sélection peut exclure :

  • études négatives ;
  • langues ;
  • sources non publiées ;
  • méthodes différentes.

La transparence du protocole de recherche est donc essentielle.

Même une synthèse rigoureuse reste dépendante de la littérature disponible et des critères appliqués.


Le biais linguistique

Les résultats positifs sont parfois davantage publiés dans des revues internationales, tandis que les résultats nuls restent dans des revues locales ou d’autres langues. Une recherche limitée à l’anglais peut alors surestimer l’effet. La langue devient un filtre de sélection. Ce biais n’est pas universel, mais il doit être envisagé dans certaines synthèses.


Le biais de base de données

Les moteurs bibliographiques n’indexent pas toutes les revues, disciplines ou régions de la même manière.

Une recherche limitée à une seule base peut manquer :

  • articles anciens ;
  • littérature grise ;
  • travaux locaux ;
  • domaines voisins.

La sélection des sources influence les résultats de la revue.


Les petits effets d’étude

Les petites études produisent des estimations plus variables. Si seules les petites études positives sont publiées, elles montreront souvent des effets très élevés. Les grandes études produisent des effets plus modestes et plus précis. Une relation entre :

  • taille de l’étude ;
  • taille de l’effet,

peut suggérer un biais de publication, mais aussi d’autres différences méthodologiques.

Les graphiques en entonnoir tentent de visualiser cette asymétrie.


Les graphiques en entonnoir

Dans un domaine sans biais majeur, les estimations des petites études devraient se disperser davantage autour de l’effet moyen.

Une asymétrie peut indiquer :

  • absence de petites études négatives ;
  • différence de qualité ;
  • hétérogénéité ;
  • hasard.

Le graphique ne constitue donc pas une preuve automatique de biais de publication.

Il fournit un indice à interpréter avec la structure de la littérature.


Les méthodes de correction du biais de publication

Certaines méthodes tentent d’estimer ou corriger la sélection des études. Elles reposent sur des hypothèses fortes concernant :

  • processus de publication ;
  • distribution des résultats ;
  • études manquantes.

Aucune correction statistique ne remplace une littérature transparente.

Les registres et la publication des résultats nuls constituent des solutions plus directes.


L’excès de significativité

Une littérature peut contenir davantage de résultats significatifs que ce que la puissance des études permettrait d’attendre. Cet excès peut indiquer :

  • publication sélective ;
  • flexibilité analytique ;
  • tailles d’effet surestimées.

Mais son évaluation dépend de l’estimation de l’effet réel et de la puissance. Il constitue un signal, non un verdict définitif.


La cohérence trop parfaite

Une littérature dans laquelle presque toutes les études confirment précisément la même conclusion peut sembler très forte. Mais les sciences empiriques comportent normalement :

  • variation ;
  • résultats nuls ;
  • erreurs ;
  • hétérogénéité.

Une perfection excessive peut révéler une sélection.

La présence de résultats divergents n’est pas toujours un signe de faiblesse. Elle peut refléter une littérature plus complète.


Les résultats négatifs comme contrôle du système

Publier les résultats négatifs permet d’estimer :

  • taux de réussite ;
  • variabilité ;
  • limites ;
  • faux départs.

Sans eux, il est impossible de calibrer la fiabilité du processus scientifique.

Une science ne progresse pas seulement par accumulation de succès, mais aussi par cartographie des échecs.


La correction par la communauté

La science possède plusieurs mécanismes de correction :

  • réplication ;
  • critique ;
  • réanalyse ;
  • nouvelles méthodes ;
  • synthèse ;
  • abandon d’hypothèses.

Mais cette correction peut être lente.

Un résultat séduisant peut influencer :

  • pratiques ;
  • politiques ;
  • médias ;

avant sa réévaluation.

La présence d’un mécanisme de correction ne justifie pas une confiance aveugle dans chaque résultat isolé. Elle justifie davantage la confiance dans un processus collectif bien organisé.


L’incertitude avant la réplication

Un résultat sélectionné dans une étude exploratoire doit recevoir une confiance limitée, même s’il est statistiquement spectaculaire. Cette prudence n’est pas du scepticisme absolu. Elle distingue :

  • piste ;
  • résultat probable ;
  • connaissance robuste.

Le niveau de confiance doit augmenter avec :

  • prédiction indépendante ;
  • réplication ;
  • mécanisme ;
  • triangulation ;
  • robustesse.

Une méthode pratique pour analyser une corrélation

Identifier la question

Quelle relation a été testée et pourquoi ?

Compter les possibilités

Combien de variables, sous-groupes, périodes et modèles ont été examinés ?

Examiner l’antériorité

L’hypothèse et l’analyse étaient-elles définies avant les données ?

Vérifier la sélection

Comment les personnes, événements ou études ont-ils été inclus ?

Rechercher un collidant

L’analyse conditionne-t-elle sur une conséquence commune ?

Examiner la temporalité

La cause supposée précède-t-elle réellement l’effet ?

Rechercher les alternatives

Une cause commune, une causalité inverse ou une tendance temporelle sont-elles possibles ?

Examiner l’amplitude

La relation est-elle forte, précise et substantiellement importante ?

Vérifier la robustesse

Persiste-t-elle sous plusieurs analyses raisonnables ?

Rechercher la confirmation

A-t-elle été répliquée sur de nouvelles données indépendantes ?


Questions pour repérer les faux positifs et les biais de sélection

  • Combien d’hypothèses ont été testées ?
  • Combien de variables étaient disponibles ?
  • Combien de sous-groupes ont été examinés ?
  • Combien de moments de mesure ont été utilisés ?
  • Le résultat principal était-il défini à l’avance ?
  • La taille de l’échantillon était-elle fixée avant les résultats ?
  • Les critères d’exclusion étaient-ils préétablis ?
  • Plusieurs transformations ont-elles été essayées ?
  • Plusieurs modèles de contrôle ont-ils été comparés ?
  • La correction pour comparaisons multiples est-elle adaptée ?
  • Les analyses exploratoires sont-elles distinguées des analyses confirmatoires ?
  • Le résultat a-t-il été choisi parce qu’il était le plus significatif ?
  • L’amplitude peut-elle être surestimée par un biais du gagnant ?
  • Comment les participants ont-ils été recrutés ?
  • Qui a refusé de participer ?
  • Qui a quitté l’étude ?
  • L’analyse porte-t-elle uniquement sur les survivants ou les répondants ?
  • L’échantillon est-il conditionné sur une conséquence commune ?
  • Une variable contrôlée pourrait-elle être un collidant ?
  • La causalité inverse est-elle possible ?
  • Une maladie préexistante pourrait-elle expliquer l’exposition ?
  • La fenêtre temporelle a-t-elle été choisie après observation ?
  • Une tendance commune pourrait-elle produire la corrélation ?
  • Les observations temporelles sont-elles indépendantes ?
  • La saisonnalité est-elle prise en compte ?
  • La variable continue a-t-elle été découpée selon un seuil choisi après coup ?
  • Le sous-groupe favorable a-t-il été défini à l’avance ?
  • La différence entre sous-groupes a-t-elle été testée directement ?
  • Le modèle a-t-il été validé sur de nouvelles données ?
  • Existe-t-il une fuite entre entraînement et test ?
  • Les mêmes biais sont-ils présents dans les études de réplication ?
  • Les résultats nuls et négatifs sont-ils accessibles ?
  • Le protocole initial correspond-il au rapport publié ?
  • La littérature pourrait-elle être soumise à un biais de publication ?
  • Les études visibles constituent-elles un échantillon sélectionné ?
  • La relation possède-t-elle un mécanisme indépendant ?
  • Une intervention modifiant la cause supposée modifie-t-elle le résultat ?
  • La conclusion est-elle plus générale que les données ne le permettent ?
  • Quel résultat conduirait à réduire la confiance dans l’hypothèse ?

Erreurs fréquentes

Croire qu’un test à 5 % produit seulement 5 % de faux positifs dans une recherche flexible

Le contrôle suppose une procédure définie, pas une sélection parmi de nombreuses analyses.

Corriger seulement les tests publiés

La multiplicité invisible reste ignorée.

Confondre exploration et confirmation

Une relation découverte dans une base doit être testée dans de nouvelles données.

Supposer qu’un chercheur doit frauder pour produire un *p*-hacking

Des décisions ordinaires guidées par les résultats peuvent suffire.

Croire qu’un très grand échantillon corrige la sélection

Il réduit l’erreur aléatoire, pas le biais systématique.

Analyser uniquement les participants restants

L’attrition peut produire un groupe non comparable.

Étudier seulement les cas ayant connu le résultat

Sans cas négatifs, il est difficile d’identifier les facteurs distinctifs.

Contrôler toutes les variables disponibles

Contrôler un collidant peut créer une association.

Confondre corrélation temporelle et causalité

Des tendances ou cycles communs peuvent produire la relation.

Choisir un seuil après avoir vu les données

Le seuil paraît optimal parce qu’il a été ajusté à l’échantillon.

Comparer significativité et non-significativité entre sous-groupes

Il faut tester directement l’interaction.

Traiter une histoire causale plausible comme une confirmation

Le récit postérieur génère une hypothèse, il ne la valide pas.

Répliquer uniquement dans une base construite de la même manière

Le même biais systématique peut se reproduire.

Considérer une méta-analyse comme immunisée contre la sélection

Elle dépend de la littérature visible et des critères d’inclusion.

Utiliser des témoignages positifs sans dénominateur

La sélection des succès empêche d’estimer la fréquence réelle.

Prendre les événements médiatisés pour un échantillon représentatif

Les nouvelles sélectionnent l’exceptionnel.

Croire qu’une correction statistique résout tout biais de sélection

Les données absentes et les causes non mesurées limitent la correction.


À retenir

Une recherche comportant de nombreuses possibilités analytiques produit facilement des résultats statistiquement significatifs par fluctuation.

Le risque de faux positif augmente avec le nombre de variables, de sous-groupes, de périodes et de modèles examinés.

Les corrections pour comparaisons multiples ne fonctionnent correctement que si la famille réelle des tests est connue.

La multiplicité invisible provient des choix non rapportés de variables, d’exclusions, de transformations et de modèles.

Le *p*-hacking ne nécessite pas toujours une fraude consciente. Des décisions raisonnables prises après observation peuvent suffire.

Le jardin aux sentiers qui bifurquent décrit une analyse progressivement adaptée aux particularités de l’échantillon.

Une hypothèse découverte dans les données doit être distinguée d’une hypothèse confirmée sur de nouvelles données.

Le biais de sélection apparaît lorsque l’inclusion dans l’échantillon dépend de variables liées à la question étudiée.

La participation volontaire, la non-réponse, l’attrition et l’analyse des survivants peuvent produire des échantillons non représentatifs.

Conditionner sur une conséquence commune, appelée collidant, peut créer une association artificielle entre ses causes.

Contrôler davantage de variables n’est donc pas toujours préférable.

La causalité inverse peut transformer une conséquence précoce en cause apparente.

Le retour à la moyenne peut donner l’impression qu’une intervention fonctionne lorsque les cas ont été sélectionnés parce qu’ils étaient extrêmes.

Les tendances communes, l’autocorrélation et la saisonnalité produisent facilement des corrélations trompeuses dans les séries temporelles.

Les analyses de sous-groupes deviennent fragiles lorsqu’elles sont nombreuses ou définies après observation.

Une différence entre un résultat significatif et un résultat non significatif ne prouve pas une différence entre les groupes.

Le surajustement capture le bruit particulier d’une base.

La validation hors échantillon et la réplication indépendante permettent de tester la stabilité réelle.

Le biais du gagnant conduit les effets sélectionnés parce qu’ils sont les plus forts à être généralement surestimés.

Les résultats positifs sont davantage publiés, cités et médiatisés.

La littérature visible constitue donc un échantillon sélectionné de toutes les recherches réalisées.

Une méta-analyse ne corrige pas automatiquement une littérature biaisée ou des études partageant la même erreur.

Une grande base peut produire une estimation extrêmement précise d’une relation systématiquement biaisée.

Les algorithmes apprennent les régularités du processus qui a sélectionné et étiqueté leurs données.

Ils peuvent ensuite renforcer cette sélection à travers des boucles de rétroaction.

La transparence, le préenregistrement, les rapports enregistrés, les analyses de sensibilité et le partage des données réduisent certains risques sans garantir à eux seuls la validité.

Une corrélation devient plus crédible lorsqu’elle est prédite, répliquée, robuste, temporellement cohérente et soutenue par un mécanisme ou une intervention.

La question centrale n’est donc pas seulement :

« Cette relation est-elle forte et statistiquement significative ? »

mais :

« Quel processus de sélection a produit les données, combien d’autres relations auraient pu être retenues, et l’association survit-elle lorsqu’elle est testée de manière indépendante dans un contexte où elle n’a pas été choisie parce qu’elle fonctionnait déjà ? »


Repères et prolongements

Cette fiche prépare notamment les questions suivantes :

  • Pourquoi les tests multiples produisent-ils des faux positifs ?
  • Qu’est-ce qu’une famille de tests ?
  • Quelle différence existe entre taux d’erreur familial et taux de fausses découvertes ?
  • Que sont les degrés de liberté du chercheur ?
  • Qu’est-ce que le jardin aux sentiers qui bifurquent ?
  • Comment le *p*-hacking peut-il être involontaire ?
  • Qu’est-ce qu’un biais de sélection ?
  • Comment la non-réponse ou l’attrition déforment-elles un résultat ?
  • Qu’est-ce que le biais du survivant ?
  • Qu’est-ce qu’un collidant ?
  • Pourquoi contrôler davantage de variables peut-il créer un biais ?
  • Comment la causalité inverse produit-elle une corrélation trompeuse ?
  • Qu’est-ce que la régression vers la moyenne ?
  • Pourquoi les sous-groupes découverts après coup sont-ils fragiles ?
  • Qu’est-ce que le surajustement ?
  • Comment une fuite de données exagère-t-elle une performance prédictive ?
  • Qu’est-ce que la malédiction du gagnant ?
  • Comment le biais de publication déforme-t-il la littérature ?
  • Pourquoi une méta-analyse peut-elle rester biaisée ?
  • Comment les algorithmes renforcent-ils les sélections présentes dans leurs données ?
  • Comment distinguer exploration, découverte et confirmation ?
  • Quelles pratiques permettent de réduire les faux positifs et les biais de sélection ?

Quelques références

  • Ronald Fisher, *Statistical Methods for Research Workers*.
  • Jerzy Neyman et Egon Pearson, travaux sur les tests multiples et les erreurs de décision.
  • Olive Jean Dunn, travaux sur les comparaisons multiples.
  • Sture Holm, travaux sur les procédures séquentielles de correction.
  • Yoav Benjamini et Yosef Hochberg, travaux sur le taux de fausses découvertes.
  • Jacob Cohen, travaux sur la puissance statistique.
  • Andrew Gelman et Eric Loken, « The Garden of Forking Paths ».
  • Joseph Simmons, Leif Nelson et Uri Simonsohn, travaux sur la flexibilité analytique.
  • Norbert Kerr, travaux sur le HARKing.
  • John Ioannidis, travaux sur la crédibilité des résultats publiés.
  • Katherine Button et ses collaborateurs, travaux sur la faible puissance et l’exagération des effets.
  • Sander Greenland, Miguel Hernán et James Robins, travaux sur les biais de sélection et l’inférence causale.
  • Judea Pearl, *Causality* et *The Book of Why*.
  • Miguel Hernán et James Robins, *Causal Inference: What If*.
  • David Berkson, travaux sur les biais d’échantillonnage hospitalier.
  • Francis Galton, travaux historiques sur la régression vers la moyenne.
  • Edward Simpson, travaux sur les associations dans les tableaux de contingence.
  • Stephen Senn, travaux sur les sous-groupes et les essais cliniques.
  • Uri Simonsohn, Joseph Simmons et Leif Nelson, travaux sur les analyses sélectives.
  • Brian Nosek et ses collaborateurs, travaux sur la réplication et la science ouverte.
  • John Ioannidis et Thomas Trikalinos, travaux sur l’excès de significativité.
  • Matthias Egger et ses collaborateurs, travaux sur les petits effets d’étude et les graphiques en entonnoir.
  • Deborah Mayo, travaux sur les tests sévères et la sélection.
  • Paul Rosenbaum, *Observational Studies*.
  • Donald Campbell, travaux sur les biais de sélection et la validité.
  • Geoffrey Bowker et Susan Leigh Star, *Sorting Things Out*.
44 sur 60Retour à la catégorie