Cherry-picking

Imaginez que vingt études aient examiné une intervention. Six concluent à un effet favorable, douze ne trouvent pas de différence claire et deux trouvent un effet défavorable. Une personne présente uniquement les six études positives et affirme :

« Toutes les recherches que je vous montre confirment l’efficacité de cette intervention. »

Les études citées peuvent être parfaitement réelles. Leurs résultats peuvent être correctement reproduits. Aucune donnée n’a nécessairement été inventée. Pourtant, l’argument donne une représentation trompeuse de l’état des connaissances. Le problème ne vient pas de la fausseté des éléments sélectionnés mais de la manière dont ils ont été choisis dans un ensemble plus vaste de preuves pertinentes.

C’est le principe du cherry-picking, que l’on pourrait traduire par sélection opportuniste ou picorage des preuves : retenir préférentiellement les observations, études, périodes, statistiques, citations ou exemples qui soutiennent une conclusion tout en négligeant des éléments pertinents qui conduiraient à une appréciation différente.

Cette sélection peut être volontaire. Elle peut aussi résulter d’un biais de confirmation, d’une recherche documentaire insuffisante ou de critères d’inclusion modifiés après avoir vu les résultats. L’intention n’est donc pas nécessaire pour diagnostiquer le problème argumentatif. La question fondamentale est :

« Les éléments présentés représentent-ils équitablement l’ensemble des preuves pertinentes dont nous devrions tenir compte ? »

Le problème n’est pas de sélectionner, mais de sélectionner selon le résultat

Toute argumentation sélectionne nécessairement des informations. Une revue consacrée à l’efficacité d’un médicament n’a aucune raison d’inclure une étude sur l’architecture médiévale. Une synthèse sur les effets d’un traitement chez l’adulte peut raisonnablement exclure certaines recherches animales. Une analyse récente peut décider à l’avance d’étudier uniquement une période donnée. La sélection n’est donc pas suspecte en elle-même. Pour analyser sérieusement une question, il faut toujours définir :

  • ce qui est pertinent ;
  • quelles populations nous intéressent ;
  • quelles mesures sont acceptables ;
  • quelle période doit être examinée ;
  • quels types d’études répondent réellement à la question.

Le cherry-picking apparaît lorsque le résultat que l’on souhaite obtenir influence la sélection des preuves, explicitement ou implicitement. Supposons que l’on décide avant l’analyse :

« Nous inclurons toutes les études randomisées publiées entre 2010 et 2025 qui comparent directement X à Y. »

Ce critère peut être discuté, mais il est transparent. Comparons avec :

« Nous allons examiner les études sur X… sauf celles qui utilisent cette mesure, celles publiées dans ces deux années, celles portant sur cette sous-population et celles dont le suivi dépasse six mois. »

Ces exclusions peuvent avoir d’excellentes justifications. Mais si elles apparaissent uniquement après avoir constaté que les études exclues contredisent la conclusion recherchée, le risque de sélection opportuniste devient beaucoup plus important. Une étude méthodologique consacrée spécifiquement au cherry-picking dans les méta-analyses montre ainsi que la modification des critères d’inclusion et d’exclusion peut permettre de sélectionner un sous-ensemble d’études produisant une conclusion différente de celle du corpus complet. (PubMed Central (PMC)) Le bon critère n’est donc pas :

« Y a-t-il eu sélection ? »

mais :

« Selon quelle règle les éléments ont-ils été sélectionnés, et cette règle aurait-elle été la même si les résultats avaient été différents ? »

Généralisation hâtive et cherry-picking : deux défauts différents. Ces deux mécanismes sont proches mais ne doivent pas être confondus. Dans une généralisation hâtive, nous pouvons ne disposer que d’un petit nombre d’observations :

« J’ai rencontré quatre personnes dans cette situation et elles pensent toutes X ; les personnes dans cette situation pensent donc généralement X. »

Le problème vient principalement du fait que l’échantillon ne fournit pas assez d’information pour la généralisation proposée. Dans le cherry-picking, un corpus plus large est potentiellement disponible, mais une partie seulement est présentée :

« J’ai trouvé quatre personnes qui pensent X »

alors que vingt autres personnes interrogées pensent Y. Le premier problème est :

« Je conclus trop à partir de trop peu. »

Le second :

« Je ne vous montre qu’une partie de ce que je pourrais raisonnablement prendre en compte. »

Les deux peuvent évidemment se combiner. Choisir trois cas favorables parmi cent, puis généraliser à toute la population, constitue à la fois une sélection biaisée et une généralisation injustifiée.

Une preuve vraie peut produire une conclusion trompeuse

C’est l’une des caractéristiques les plus importantes du cherry-picking. Supposons qu’une entreprise affirme :

« Nos ventes ont progressé de 40 % au mois de décembre. »

Le chiffre peut être exact. Mais imaginons que :

  • les ventes avaient chuté de 50 % en novembre ;
  • décembre correspond traditionnellement au meilleur mois de l’année ;
  • sur l’ensemble de l’année, elles ont diminué de 15 %.

La statistique de décembre n’est pas fausse. Elle devient trompeuse si elle est présentée comme une description de la performance générale sans mentionner les données nécessaires pour l’interpréter. Le cherry-picking montre ainsi pourquoi la vérification factuelle, bien qu’indispensable, ne suffit pas toujours. Une affirmation peut être :

factuellement correcte ;

correctement sourcée ;

et néanmoins produire une impression très éloignée de ce que montre l’ensemble des données.

Il faut donc parfois demander non seulement :

« Cette information est-elle vraie ? »

mais :

« Pourquoi celle-ci a-t-elle été choisie parmi toutes celles qui auraient pu être présentées ? »

Choisir la bonne période… après avoir regardé les données. La sélection temporelle constitue une forme particulièrement facile de cherry-picking. Imaginons une courbe qui varie fortement d’une année à l’autre. Une personne peut choisir :

2015 → 2020

et montrer une forte augmentation. Une autre :

2020 → 2025

et montrer une forte diminution. Les deux peuvent citer des nombres exacts. Aucune des deux comparaisons ne décrit nécessairement la tendance de long terme. La question devient :

Pourquoi ces dates constituent-elles le début et la fin de la comparaison ?

Une période peut parfaitement être justifiée par un événement externe : entrée en vigueur d’une réforme, changement méthodologique, crise particulière ou disponibilité homogène des données. Mais lorsque les bornes temporelles semblent choisies parce qu’elles maximisent l’effet recherché, la présentation devient fragile. Une bonne pratique consiste à examiner plusieurs horizons temporels ou à expliquer clairement pourquoi une période particulière est pertinente. La même vigilance vaut pour les graphiques : changer l’année de départ peut parfois modifier radicalement l’histoire racontée sans modifier aucune valeur individuelle. Sélectionner les sous-groupes favorables. Le même phénomène apparaît avec les populations. Supposons qu’un programme n’ait pas d’effet clair dans l’ensemble d’un essai, mais qu’un effet important apparaisse chez :

les hommes de moins de 45 ans ;

ou :

les patients ayant commencé le traitement un mardi ;

ou :

les participants d’un centre particulier.

Un sous-groupe peut révéler une interaction réelle. Mais plus nous essayons de sous-groupes, plus nous augmentons la probabilité d’en trouver un présentant un résultat spectaculaire simplement par hasard. Le problème devient particulièrement sérieux lorsqu’un sous-groupe est mis en avant après l’observation des données comme s’il avait constitué l’hypothèse principale dès le départ. La solution n’est pas d’interdire les analyses exploratoires. Elle consiste à les présenter comme telles :

« Nous avons observé après coup un signal dans ce sous-groupe ; il constitue une hypothèse à tester dans des données indépendantes. »

Une observation exploratoire devient trompeuse lorsqu’elle est réécrite comme confirmation d’une prédiction qui n’avait jamais été formulée. Le cherry-picking peut porter sur les variables elles-mêmes. Un essai clinique peut mesurer plusieurs résultats :

  • mortalité ;
  • symptômes ;
  • qualité de vie ;
  • hospitalisations ;
  • événements indésirables ;
  • plusieurs échelles différentes ;
  • plusieurs moments de suivi.

Supposons qu’aucune différence claire n’apparaisse sur la plupart de ces critères, mais qu’un résultat statistiquement significatif apparaisse sur l’une des mesures secondaires. Présenter seulement ce résultat favorable peut donner l’impression que :

« l’étude démontre l’efficacité du traitement »

alors que le tableau général est beaucoup plus incertain. Ce problème est suffisamment important pour disposer d’un nom spécifique en recherche clinique : biais de notification sélective des résultats (*outcome reporting bias*).

Une revue systématique portant sur les essais randomisés a constaté que, dans les cohortes comparant publications et protocoles, les résultats statistiquement significatifs avaient davantage de chances d’être rapportés complètement ; selon les études examinées, les chances de déclaration complète étaient environ 2,2 à 4,7 fois supérieures pour certains résultats significatifs, et 40 à 62 % des études présentaient au moins une modification, introduction ou omission d’un critère principal entre protocole et publication. Ces chiffres proviennent toutefois d’études hétérogènes et ne doivent pas être transformés en taux universel applicable à toute la recherche scientifique. (PubMed Central (PMC))

Des travaux méthodologiques plus récents continuent de considérer la notification sélective des résultats comme une menace importante pour les synthèses quantitatives lorsque la probabilité qu’un résultat soit rapporté dépend de sa direction ou de sa significativité. (PubMed Central (PMC)) Le problème argumentatif est exactement celui du cherry-picking :

le lecteur ne voit pas un échantillon neutre des résultats obtenus.

Publication bias : un cherry-picking sans cueilleur unique. Le même type de déformation peut émerger à l’échelle de toute une littérature scientifique. Supposons que cent études indépendantes examinent une hypothèse inexistante. Par simple variation statistique, quelques-unes produiront des résultats paraissant intéressants. Si les chercheurs, évaluateurs ou revues publient préférentiellement ces résultats et que les études négatives restent dans les tiroirs, le corpus accessible finit par donner une image déformée. Il n’est pas nécessaire qu’une personne ait décidé :

« Je vais cacher les études négatives. »

Le système peut produire collectivement une sélection. C’est l’un des mécanismes du biais de publication et, plus largement, des biais de reporting. Une revue méthodologique de Page, Sterne, Higgins et Egger souligne que la direction, la magnitude ou la significativité statistique des résultats peuvent influencer ce qui devient accessible aux revues systématiques ; lorsqu’un résultat disponible diffère systématiquement de ceux qui restent manquants, une méta-analyse peut être biaisée. (PubMed) Mais il faut également éviter la caricature :

« Toute littérature publiée est nécessairement fortement biaisée. »

L’ampleur du phénomène varie selon les domaines et les corpus. Une méta-méta-analyse portant sur 63 grandes méta-analyses a, par exemple, trouvé une forte hétérogénéité et relativement peu d’indications d’un biais suffisamment important pour annuler les conclusions dans la majorité des corpus examinés. (PubMed Central (PMC)) La conclusion raisonnable n’est donc ni :

« le biais de publication n’existe pas »

ni :

« toute méta-analyse est inutilisable ».

Il faut évaluer le risque de sélection dans le corpus particulier que l’on examine. Le cherry-picking peut se produire à plusieurs niveaux. Dans une discussion ordinaire, nous imaginons volontiers quelqu’un choisissant quelques études favorables. En réalité, la sélection peut intervenir à presque toutes les étapes : choix de la question : certaines hypothèses sont davantage étudiées que d’autres ; choix des données : certains cas ou observations sont conservés ; choix des analyses : certaines méthodes sont préférées après examen des résultats ; choix des variables : certains critères sont mis en avant ; choix des études : seules certaines publications sont citées ; choix des périodes : certaines années sont comparées ; choix des sous-groupes : certaines populations sont isolées ; choix des citations : certaines phrases sont extraites d’un document ;

choix de ce qui est finalement publié : les résultats intéressants peuvent être davantage diffusés. La littérature méthodologique montre d’ailleurs que des critères apparemment techniques d’inclusion ou d’exclusion peuvent parfois suffire à modifier sensiblement le résultat d’une méta-analyse lorsque leur choix dépend du résultat recherché. (PubMed Central (PMC)) C’est pourquoi la transparence de la méthode est si importante. Le contexte d’une citation fait lui aussi partie de la preuve. Le cherry-picking ne concerne pas seulement les nombres. Supposons qu’un rapport de 200 pages affirme :

« Les résultats obtenus sont encourageants, mais les données restent insuffisantes pour recommander une généralisation immédiate. »

Une personne cite seulement :

« Les résultats obtenus sont encourageants. »

Les mots sont authentiques. La citation peut même être reproduite exactement. Pourtant, l’omission de la seconde partie modifie clairement sa signification argumentative. Il faut donc distinguer :

citation exacte

et :

représentation fidèle de la position citée.

La même vigilance vaut pour une phrase sortie d’un article scientifique, d’un entretien ou d’une décision de justice. Une méthode pratique consiste à lire suffisamment avant et après le passage cité pour déterminer :

Quelle question l’auteur traitait-il ?

La phrase exprimait-elle sa conclusion ou une hypothèse discutée ?

Y avait-il une réserve immédiatement après ?

Le document présente-t-il ailleurs des données contradictoires ?

Le cherry-picking peut ainsi se rapprocher de l’homme de paille : sélectionner uniquement une partie de ce qu’une personne a dit peut produire une version déformée de sa position. Une sélection favorable n’est pas automatiquement frauduleuse. Ce point mérite d’être souligné. Les êtres humains ne disposent ni d’un temps infini ni d’un accès parfait à toute l’information disponible. Quelqu’un peut présenter cinq études favorables simplement parce que ce sont les seules qu’il connaît. Un moteur de recherche peut lui proposer en priorité des contenus compatibles avec ses recherches précédentes. Il peut commencer par une hypothèse et inconsciemment examiner plus sévèrement les études qui la contredisent. Nous retrouvons ici le lien avec le biais de confirmation. Mais le biais cognitif et le défaut argumentatif restent distincts. Le biais de confirmation décrit un mécanisme possible expliquant pourquoi la sélection s’est produite.

Le cherry-picking décrit ce qui ne va pas dans le corpus de preuves finalement utilisé pour soutenir la conclusion. Il est donc possible de diagnostiquer le problème sans accuser quelqu’un de malhonnêteté :

« Les études présentées sont réelles, mais elles ne semblent pas représenter l’ensemble de la littérature disponible. »

Cette formulation est souvent plus précise que :

« Vous manipulez les preuves. »

L’accusation de cherry-picking peut elle-même être abusive. Il ne suffit pas de trouver une étude contradictoire pour montrer qu’un interlocuteur a sélectionné les preuves. Supposons que quinze études de bonne qualité convergent vers un résultat et que deux petites études méthodologiquement fragiles donnent un résultat opposé. Une synthèse peut raisonnablement donner davantage de poids aux quinze premières. Elle n’est pas obligée de traiter toutes les publications comme équivalentes. La recherche scientifique ne fonctionne pas selon :

une étude = une voix.

La qualité méthodologique, la précision, la taille de l’échantillon, le risque de biais, la pertinence de la population et la réplication comptent. De même, une revue systématique peut légitimement exclure certaines études parce qu’elles ne répondent pas à la question prévue. Le cherry-picking ne consiste donc pas à :

ne pas donner le même poids à tout.

Il consiste à :

utiliser des critères de sélection ou de pondération qui favorisent injustifiément la conclusion recherchée.

La question essentielle reste :

« Les mêmes critères auraient-ils conduit aux mêmes inclusions si les résultats avaient été inversés ? »

« Il existe une étude qui dit le contraire ». Cette phrase est particulièrement fréquente dans les controverses scientifiques. Lorsqu’un grand corpus converge, trouver une publication contradictoire ne suffit généralement pas à rétablir une symétrie parfaite. Il faut comparer :

la qualité des études ;

leur nombre ;

leur indépendance ;

leur précision ;

leurs populations ;

leurs méthodes ;

et l’ensemble des résultats disponibles.

Supposons que trente études robustes indiquent un effet et qu’une étude faible n’en observe pas. Dire :

« La science est divisée : certaines études disent oui, d’autres disent non »

serait une représentation trompeuse. Mais l’erreur inverse existe également : un consensus apparent peut être moins robuste qu’il ne semble si les études négatives ont moins de chances d’être publiées ou si toutes les études reposent sur la même faiblesse méthodologique. La bonne approche ne consiste donc ni à compter mécaniquement les articles ni à choisir celui que nous préférons. Elle consiste à évaluer la structure du corpus.

Cas pratique : une recherche sur Internet

Supposons que nous voulions savoir si un aliment particulier augmente un risque sanitaire. Nous tapons :

« dangers aliment X »

et obtenons immédiatement plusieurs articles inquiétants. Nous pourrions conclure :

« Les recherches montrent que cet aliment est dangereux. »

Mais la requête elle-même sélectionnait déjà une direction. Essayons :

« bénéfices aliment X »

et nous trouverons peut-être un corpus complètement différent. Cela ne signifie pas que les deux ensembles de résultats se valent. Cela montre simplement qu’une recherche documentaire guidée par une conclusion peut fabriquer très facilement une collection de sources cohérentes. Une stratégie plus rigoureuse serait :

définir la question avant la recherche ;

utiliser plusieurs termes, y compris neutres ;

chercher des revues systématiques ;

examiner leurs critères d’inclusion ;

rechercher les résultats contradictoires ;

puis comparer leur qualité.

L’objectif n’est pas de pratiquer une « fausse balance » en trouvant artificiellement une étude pour chaque camp. Il est de s’assurer que les preuves pertinentes n’ont pas été sélectionnées simplement parce qu’elles allaient dans le sens recherché. Cas pratique : cinq années choisies dans une série de trente ans. Supposons qu’un indicateur évolue ainsi sur trente ans :

hausse importante ;

stabilisation ;

baisse temporaire ;

nouvelle hausse ;

puis légère diminution.

Deux personnes peuvent choisir chacune cinq années différentes et présenter deux récits opposés. La première montre :

« L’indicateur explose. »

La seconde :

« L’indicateur s’effondre. »

Les deux graphiques utilisent de vraies données. La solution est d’examiner la série entière, puis de demander si une période particulière mérite réellement d’être isolée. Si une réforme a été appliquée à une date précise, comparer avant et après peut être pertinent. Mais le choix des fenêtres doit alors être justifié par la question étudiée et non par la forme de la courbe obtenue. Cette règle simple est extrêmement utile face aux graphiques médiatiques :

Regardez ce qui se passe lorsque l’on élargit la fenêtre temporelle.

Cas pratique : vingt études, mais lesquelles compter ?

Reprenons notre exemple initial. Vingt études existent. Six trouvent un effet positif. Douze ne trouvent pas d’effet clair. Deux trouvent un effet négatif. À première vue, présenter seulement les six positives est évidemment trompeur. Mais supposons maintenant que les douze études nulles soient minuscules et très imprécises, les deux négatives gravement biaisées, tandis que cinq des six études positives soient de grands essais préenregistrés de bonne qualité. La situation change. Une synthèse rationnelle ne doit pas seulement demander :

« Combien d’études vont dans chaque direction ? »

Elle doit demander :

« Quelle quantité de preuve apporte chacune ? »

Le correctif au cherry-picking n’est donc pas de mettre toutes les observations dans un sac et de les compter. Il est de définir avant de connaître la conclusion recherchée des critères explicites permettant d’évaluer pertinence et qualité. C’est exactement la fonction recherchée par les protocoles des revues systématiques. Pourquoi les revues systématiques sont utiles. Une revue systématique cherche précisément à limiter la liberté de choisir après coup les études qui arrangent. Idéalement, elle précise à l’avance :

  • la question ;
  • les populations ;
  • les interventions ou expositions ;
  • les comparateurs ;
  • les résultats recherchés ;
  • les bases consultées ;
  • les critères d’inclusion ;
  • les méthodes d’évaluation du risque de biais.

Elle documente ensuite la recherche et les exclusions. Cela ne rend évidemment pas une revue systématique infaillible. Les auteurs doivent encore prendre de nombreuses décisions, et les recherches elles-mêmes peuvent être incomplètes. Mais la méthode rend la sélection inspectable.

Des travaux méthodologiques sur les biais de reporting recommandent précisément des recherches larges, la comparaison des publications aux protocoles préspécifiés et l’examen des résultats potentiellement manquants pour limiter la distorsion des synthèses. (PubMed) Cette logique peut être transposée, à une échelle beaucoup plus simple, à notre propre raisonnement quotidien :

définir les règles de recherche avant de savoir exactement quel résultat nous aimerions obtenir.

Préenregistrement : décider avant de connaître le résultat

En recherche scientifique, l’une des réponses au problème de sélection consiste à enregistrer à l’avance certaines décisions importantes :

hypothèses principales ;

variables ;

critères d’inclusion ;

analyses prévues.

Le préenregistrement n’interdit pas les analyses exploratoires. Il permet de distinguer :

ce qui avait été prévu avant l’observation des résultats

de :

ce qui a été découvert après les avoir examinés.

Cette séparation réduit la possibilité de présenter après coup une sélection favorable comme si elle avait toujours constitué le plan initial. Les protocoles préalables et les *Registered Reports* font ainsi partie des moyens recommandés pour réduire différents biais de sélection et de reporting. Des revues méthodologiques récentes insistent particulièrement sur ces stratégies préventives, les méthodes statistiques de détection après publication étant souvent difficiles à interpréter. (PubMed Central (PMC)) Ce principe possède une portée plus générale :

plus nous pouvons fixer nos critères avant de savoir quels éléments favoriseront notre conclusion, moins nous risquons d’adapter inconsciemment les règles au résultat désiré.

Comment diagnostiquer un possible cherry-picking ? Plusieurs questions sont particulièrement utiles. Quel est le corpus complet pertinent ? Avons-nous accès à dix études sélectionnées ou à l’ensemble de la littérature disponible ? Comment les éléments présentés ont-ils été choisis ? Les critères étaient-ils définis indépendamment du résultat ? Que montrent les éléments non présentés ? Existent-ils des données, périodes ou groupes qui modifient fortement la conclusion ? La fenêtre temporelle est-elle justifiée ? Pourquoi commence-t-elle et finit-elle précisément là ? Les sous-groupes étaient-ils définis avant l’analyse ? Ou ont-ils été découverts après avoir essayé de nombreuses divisions ? Tous les résultats importants ont-ils été rapportés ? Un critère principal a-t-il disparu tandis qu’un résultat secondaire favorable est mis en avant ?

Les études citées sont-elles indépendantes ? Dix articles peuvent provenir du même jeu de données. Les critères de qualité sont-ils appliqués symétriquement ? Une faiblesse méthodologique est-elle considérée comme rédhibitoire uniquement lorsque le résultat déplaît ? Cette dernière question est particulièrement importante :

« Appliquerais-je le même critère d’inclusion ou d’exclusion si l’étude donnait le résultat opposé ? »

Comment réparer un argument sélectionnant les preuves ?

Prenons :

« Ces quatre études montrent que X fonctionne. »

Une réparation possible consiste à préciser :

« Une recherche systématique a identifié douze études répondant à des critères définis à l’avance. Quatre trouvent un effet important, cinq un effet faible ou incertain et trois aucun effet clair. Les études les plus robustes sont principalement dans telle catégorie. L’ensemble suggère donc… »

Nous avons remplacé la sélection par une représentation de la structure globale des données. Cela ne signifie pas présenter chaque détail. Une bonne synthèse reste nécessairement sélective. La différence est que la sélection porte sur :

ce qui est le plus informatif

et non sur :

ce qui soutient le mieux la conclusion désirée.

Lorsque les preuves sont nombreuses, une revue systématique ou une méta-analyse bien conduite peut être beaucoup plus informative qu’une succession d’études individuelles choisies une à une.

Mais une méta-analyse peut elle-même sélectionner

L’existence d’une méta-analyse ne clôt donc pas automatiquement le problème. Ses auteurs doivent eux aussi décider :

quelles bases consulter ;

quels mots-clés utiliser ;

quelles études inclure ;

quelles populations regrouper ;

quels résultats extraire ;

quelle méthode statistique employer.

Une étude de 2023 consacrée spécifiquement au cherry-picking dans les méta-analyses montre théoriquement et par simulation que des critères d’inclusion ou d’exclusion opportunistes peuvent sélectionner un sous-ensemble produisant le résultat désiré. (PubMed Central (PMC)) La leçon n’est pas :

« Les méta-analyses sont peu fiables. »

Elle est :

« Leur force dépend notamment de la transparence et de la justification de leur méthode de sélection. »

Une synthèse scientifique n’échappe pas aux principes de l’esprit critique ; elle cherche précisément à les formaliser.

Cherry-picking et biais de confirmation

Les deux notions sont souvent associées, à juste titre, mais ne sont pas synonymes. Le biais de confirmation décrit une tendance cognitive à rechercher, interpréter ou mémoriser plus facilement les informations compatibles avec une croyance préalable. Le cherry-picking décrit une propriété de la sélection des preuves utilisées dans un raisonnement. Le premier peut produire le second. Mais un chercheur peut pratiquer un cherry-picking délibéré sans être victime d’un biais de confirmation : il peut parfaitement connaître les données contraires et décider de ne pas les présenter. Inversement, une personne peut avoir un biais de confirmation sans produire un argument formellement identifiable comme cherry-picking.

Cette distinction est importante pour le site : le mécanisme psychologique appartient principalement à Biais cognitifs ; ici, nous examinons sa conséquence possible dans la structure de l’argument et du corpus de preuves présenté. Ne pas confondre équilibre et symétrie artificielle. Éviter le cherry-picking ne signifie pas donner le même espace à chaque conclusion existante. Supposons qu’un corpus robuste contienne :

95 études convergentes ;

et cinq résultats contradictoires faibles ou non répliqués.

Présenter :

« cinquante pour cent des études de ce dossier disent A et cinquante pour cent disent B »

en choisissant cinq études dans chaque camp serait lui-même une forme de sélection trompeuse. Une représentation équilibrée des preuves doit refléter leur poids réel, pas construire artificiellement une égalité. C’est une distinction importante dans les débats scientifiques. L’idéal n’est ni :

sélectionner uniquement ce qui confirme la position dominante ;

ni :

rechercher obligatoirement autant de preuves dans chaque direction.

Il est :

représenter aussi fidèlement que possible la distribution, la qualité et les incertitudes du corpus pertinent.

À retenir

Le cherry-picking consiste à sélectionner une partie des preuves pertinentes de manière à produire une image plus favorable à une conclusion que ne le ferait l’examen raisonnablement complet du corpus. Les éléments sélectionnés peuvent être parfaitement vrais. C’est précisément ce qui rend ce procédé trompeur : une collection de faits exacts peut former une représentation fausse de l’ensemble.

Toute sélection n’est cependant pas un cherry-picking. Analyser une question exige nécessairement d’exclure les informations non pertinentes et de donner davantage de poids aux études de meilleure qualité. Le problème apparaît lorsque les critères changent selon que les résultats soutiennent ou non la conclusion souhaitée.

La sélection peut concerner des études, des individus, des périodes, des variables, des sous-groupes, des analyses ou des citations. Dans la recherche scientifique, des mécanismes apparentés apparaissent sous les formes du biais de publication et de la notification sélective des résultats ; les données disponibles montrent que ces phénomènes sont réels, mais que leur ampleur varie considérablement selon les corpus. (PubMed) Les revues systématiques, protocoles préspécifiés et préenregistrements cherchent notamment à réduire ce problème en fixant ou en rendant transparents les critères utilisés avant de connaître tous les résultats. La question essentielle est donc moins :

« Les éléments présentés sont-ils vrais ? »

que :

« Si j’avais accès à toutes les preuves pertinentes et que j’appliquais les mêmes critères dans les deux directions, l’image générale resterait-elle la même ? »

C’est cette symétrie de méthode, davantage que l’accumulation de citations favorables, qui permet d’évaluer honnêtement un corpus de preuves.

Sources principales

Page, Matthew J., Sterne, Jonathan A. C., Higgins, Julian P. T. & Egger, Matthias (2021), « Investigating and dealing with publication bias and other reporting biases in meta-analyses of health research: A review », *Research Synthesis Methods*, 12, 248–259. Revue méthodologique des principaux biais rendant certains résultats indisponibles aux synthèses scientifiques et des méthodes permettant de réduire ou d’évaluer ce risque. (PubMed)

Dwan, Kerry et al. (2013), « Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias — An Updated Review », *PLoS ONE*, 8, e66844. Revue empirique importante montrant l’association entre résultats statistiquement favorables et probabilité de publication ou de déclaration complète, tout en documentant les différences entre protocoles et publications. (PubMed Central (PMC))

Mathur, Maya B. & VanderWeele, Tyler J. (2021), « Estimating publication bias in meta-analyses of peer-reviewed studies: A meta-meta-analysis across disciplines and journal tiers », *Research Synthesis Methods*, 12, 176–191. Analyse de 63 grandes méta-analyses montrant une forte hétérogénéité de l’ampleur du biais de publication et rappelant qu’il ne faut pas supposer mécaniquement que toute synthèse publiée est fortement déformée. (PubMed Central (PMC))

Hwang, Heungsun et al. (2023), « A Note on Cherry-Picking in Meta-Analyses ». Étude méthodologique montrant comment la modification opportuniste de critères d’inclusion ou d’exclusion peut sélectionner un sous-ensemble d’études produisant une conclusion désirée et pourquoi la préspécification des protocoles constitue une protection importante. (PubMed Central (PMC))

Williamson, Paula R. & Gamble, Carrol (2005), « Outcome selection bias in meta-analysis », *Statistical Methods in Medical Research*, 14, 515–524. Analyse du biais de sélection des résultats au sein même des études publiées : certains critères peuvent être omis ou davantage rapportés selon leurs résultats, ce qui peut ensuite biaiser les synthèses. (PubMed)

Cairney, Paul (2017), « Evidence-based best practice is more political than it looks: a case study of the “Scottish Approach” », et littérature associée sur les biais dans l’usage des preuves en politiques publiques. Les travaux sur les biais d’usage de l’évidence distinguent notamment la sélection de résultats favorables d’autres choix plus légitimes concernant les questions et valeurs pertinentes ; cette distinction rappelle que toute sélection d’informations n’est pas automatiquement fallacieuse. (Springer Nature Link)

8 sur 32Retour à la catégorie