Généralisation hâtive et preuve anecdotique
Un patient raconte :
« J’ai commencé ce traitement lundi et, trois jours plus tard, mes douleurs avaient presque disparu. Pour moi, c’est évident : ce traitement fonctionne. »
Son témoignage peut être parfaitement sincère. Son amélioration peut être réelle. Le traitement peut même effectivement être efficace. Mais son expérience personnelle ne suffit pas à établir cette dernière conclusion. La douleur aurait pu diminuer spontanément. Le patient a peut-être modifié simultanément d’autres habitudes. L’évolution peut fluctuer naturellement. Un effet placebo peut intervenir. Et surtout, nous ignorons encore ce qui s’est produit chez les autres personnes ayant utilisé le même traitement. Nous passons ici d’une observation particulière :
« Cette personne s’est améliorée après le traitement »
à une proposition beaucoup plus générale :
« Ce traitement améliore les patients qui l’utilisent. »
Ce passage constitue une généralisation inductive. Il n’est absolument pas illégitime en lui-même : une grande partie de notre connaissance empirique consiste précisément à tirer des conclusions générales à partir d’observations particulières. Le problème apparaît lorsque les observations disponibles ne fournissent pas un soutien suffisant à l’étendue ou à la force de la conclusion. C’est ce qu’on appelle généralement une généralisation hâtive.
La preuve anecdotique représente un cas fréquent du même problème : une ou quelques expériences particulières, souvent frappantes et mémorables, sont utilisées pour tirer une conclusion beaucoup plus large que ce qu’elles permettent réellement d’établir. L’Internet Encyclopedia of Philosophy définit ainsi l’usage fallacieux de l’anecdote comme le fait de privilégier quelques histoires particulières alors que l’échantillon qu’elles constituent est insuffisant pour la généralisation proposée. (Encyclopédie Internet de la Philosophie) Mais la règle à retenir n’est pas :
« Peu d’observations = mauvais raisonnement. »
La véritable question est :
« Qu’est-ce que ces observations permettent raisonnablement de généraliser, à quelle population et avec quel degré de confiance ? »
Généraliser est indispensable
Supposons qu’un agriculteur observe depuis plusieurs années que certaines plantes résistent mieux au gel lorsqu’elles sont semées plus tard dans la saison. Il peut raisonnablement commencer à formuler une hypothèse générale. Supposons qu’un médecin observe plusieurs patients développant le même symptôme inhabituel peu après la prise d’un nouveau médicament. Ces observations peuvent justifier un signal de pharmacovigilance. Supposons qu’une pièce mécanique rompe toujours au même endroit lors de plusieurs essais indépendants. Quelques observations peuvent déjà révéler un défaut structurel important. Nous ne pouvons donc pas exiger des milliers de cas avant d’apprendre quoi que ce soit. L’induction consiste justement à utiliser ce que nous avons observé pour raisonner sur ce que nous n’avons pas encore observé. La question n’est pas :
« Avons-nous observé chaque membre de la population ? »
Si c’était nécessaire, aucune généralisation réelle ne serait possible. La question est plutôt :
« Avons-nous suffisamment de raisons de penser que ce qui a été observé nous renseigne sur les cas auxquels nous voulons étendre la conclusion ? »
La Stanford Encyclopedia of Philosophy illustre précisément ce problème avec une généralisation fondée sur les personnes rencontrées par un individu : pour passer de ce petit groupe à une population entière, il faut supposer que l’échantillon rencontré reflète suffisamment les caractéristiques pertinentes de la population visée. (Encyclopédie de philosophie de Stanford) Petit échantillon ne signifie pas automatiquement mauvais échantillon. La taille compte, mais elle n’est qu’une partie du problème. Imaginons deux enquêtes. La première interroge 10 000 utilisateurs d’un site internet sur leur satisfaction. La participation est volontaire et l’enquête apparaît uniquement sur une page fréquentée par les utilisateurs les plus actifs. La seconde interroge 1 000 utilisateurs, sélectionnés aléatoirement dans l’ensemble de la population concernée, avec un taux de réponse élevé.
Le premier échantillon est dix fois plus grand. Il peut néanmoins fournir une estimation beaucoup plus biaisée si ceux qui répondent diffèrent fortement de ceux qui ne répondent pas. Augmenter la taille d’un échantillon réduit surtout certaines formes d’incertitude aléatoire. Cela ne corrige pas automatiquement un biais de sélection. Si nous mesurons systématiquement la mauvaise population, mesurer davantage de personnes de cette même population ne résout pas le problème. C’est pourquoi :
un grand échantillon biaisé peut être moins informatif qu’un échantillon plus petit mais mieux sélectionné.
Inversement, un très petit échantillon aléatoire donnera généralement une estimation beaucoup plus incertaine qu’un grand échantillon comparable. Il faut donc examiner simultanément taille, méthode de sélection et question posée. Que signifie exactement « représentatif » ? Le terme représentatif est utile mais peut lui-même devenir trompeur. On dit souvent :
« Cette étude n’est pas représentative de la population. »
Mais représentative de quelle population, pour quelle caractéristique et pour quelle inférence ? Une étude portant uniquement sur des personnes de 70 ans peut être parfaitement représentative d’une population de personnes âgées tout en étant inadaptée pour estimer directement un résultat chez des adolescents. Plus subtilement, un échantillon n’a pas besoin de reproduire exactement toutes les caractéristiques démographiques d’une population pour permettre toute forme de généralisation scientifique.
Une analyse récente consacrée à la représentativité en recherche médicale distingue notamment la généralisation d’une estimation numérique à une population cible et la possibilité de généraliser plus largement l’interprétation d’un mécanisme ou d’une relation, selon le plan d’étude et les hypothèses disponibles. Les auteurs recommandent donc de préciser explicitement la population cible et ce qui est supposé généralisable. (PubMed) Cette distinction est importante. Une expérience très contrôlée menée sur un groupe particulier peut fournir une preuve robuste qu’un mécanisme existe sans nous dire avec précision quelle sera son ampleur dans toute la population. Nous devons donc éviter une nouvelle règle mécanique :
« Échantillon non représentatif = étude inutile. »
La véritable question est :
« Quelle conclusion cherche-t-on à transporter de cet échantillon vers quelle population, et quelles hypothèses ce transport exige-t-il ? »
Décrire une population et tester un mécanisme ne sont pas exactement la même chose
Supposons que nous voulions savoir :
« Quel pourcentage des adultes français présente la caractéristique X ? »
La composition de l’échantillon est évidemment cruciale. Un échantillon constitué uniquement d’étudiants d’une seule université serait généralement très mauvais pour estimer directement cette proportion nationale. Mais considérons une autre question :
« Ce médicament bloque-t-il ce récepteur biologique ? »
Une étude expérimentale extrêmement contrôlée peut apporter une information importante sur le mécanisme sans nécessiter un échantillon démographiquement représentatif de toute la population française. Il faudra ensuite d’autres travaux pour déterminer si l’effet observé se traduit de la même manière chez des personnes d’âges, de profils biologiques ou de situations cliniques différentes. Cette distinction explique pourquoi la validité interne et la validité externe ne sont pas identiques. Une étude peut très bien identifier une relation dans les conditions étudiées tout en laissant ouverte la question de son extension à d’autres populations. Inversement, une enquête très représentative d’une population peut décrire correctement une association sans permettre d’établir la causalité. La généralisation ne se réduit donc pas à compter les participants. Le cas particulier peut parfois suffire.
Une seule observation peut quelquefois avoir une grande valeur logique. Supposons qu’une personne affirme :
« Tous les cygnes sont blancs. »
Observer de manière fiable un seul cygne noir suffit à réfuter cette proposition universelle. Pour réfuter :
« Aucun médicament de cette classe ne peut provoquer cet effet »
un cas correctement documenté peut également suffire à montrer que l’effet est possible. Mais ce même cas ne permet pas d’établir :
« Cet effet est fréquent. »
Encore moins :
« Ce médicament provoque généralement cet effet. »
La différence vient du type de conclusion. Pour montrer :
« au moins un X possède la propriété Y »
un seul cas peut être décisif. Pour établir :
« la plupart des X possèdent Y »
une observation unique est très insuffisante. C’est pourquoi il faut toujours regarder la force logique de la conclusion avant de juger la taille de l’échantillon.
Une anecdote n’est donc pas « aucune preuve »
Dire :
« Ce n’est qu’une anecdote »
peut parfois aller trop loin. Une observation individuelle est une donnée. En médecine, les descriptions de cas ont historiquement permis de détecter des effets indésirables rares, de reconnaître de nouveaux syndromes ou de formuler des hypothèses qui ont ensuite été étudiées systématiquement. Une anecdote peut ainsi montrer :
qu’un événement s’est produit ;
qu’un mécanisme est possible ;
qu’une hypothèse mérite d’être testée ;
ou qu’une affirmation universelle comporte une exception.
Elle devient problématique lorsqu’on lui demande de répondre à une question qu’elle ne peut pas trancher, par exemple :
Quelle est la fréquence du phénomène ?
Quelle est sa cause ?
Le traitement est-il généralement efficace ?
Quel est le risque moyen ?
Ce cas représente-t-il la majorité des situations ?
La bonne réaction n’est donc pas :
« Une anecdote ne vaut rien. »
Elle est :
« Que démontre précisément ce cas, et qu’est-ce qu’il ne permet pas encore de conclure ? »
Pourquoi les anecdotes nous impressionnent-elles autant ? Les anecdotes possèdent plusieurs avantages psychologiques sur les statistiques. Elles sont concrètes. Elles racontent une histoire. Elles mettent en scène une personne identifiable. Elles permettent d’imaginer immédiatement la situation. Une statistique comme :
« 92 % des patients ont connu cette évolution »
est abstraite. Le récit :
« Ma sœur a subi cette intervention et elle a souffert pendant six mois »
est immédiatement représentable. Cette différence de vivacité peut donner au cas individuel un poids psychologique disproportionné par rapport à sa valeur statistique. Des travaux expérimentaux montrent effectivement que les anecdotes peuvent influencer les décisions médicales même lorsque des informations statistiques plus systématiques sont également disponibles. Une étude publiée en 2024, comportant quatre expériences et plus de 4 000 participants, a observé qu’une anecdote concernant l’échec d’un traitement pouvait modifier les jugements sur son efficacité même lorsqu’elle n’était pas statistiquement informative et même lorsque des aides à la décision étaient proposées. (PubMed)
Des travaux antérieurs avaient déjà observé ce phénomène : des récits individuels non représentatifs pouvaient modifier le choix d’un traitement malgré la présentation parallèle de taux de réussite statistiques. (PubMed) Cela ne signifie évidemment pas que nous croyons systématiquement toutes les anecdotes. Leur influence dépend du contexte, de nos croyances antérieures et de la présentation de l’information. Mais cela explique pourquoi :
une histoire mémorable peut parfois compter subjectivement davantage que des centaines de cas moins visibles.
La « loi des petits nombres ». Amos Tversky et Daniel Kahneman ont appelé croyance dans la loi des petits nombres notre tendance à attendre de petits échantillons qu’ils ressemblent davantage à la population générale qu’ils ne le font réellement. Dans leur article classique de 1971, ils montraient que cette intuition ne concernait pas seulement des profanes : des psychologues professionnels pouvaient eux aussi sous-estimer la variabilité des petits échantillons et surestimer la probabilité de réplication d’un résultat. (DOI) Imaginons une pièce équilibrée. Sur 1 000 lancers, nous nous attendons à une proportion de faces relativement proche de 50 %. Sur quatre lancers, obtenir :
face, face, face, face
n’a rien d’extraordinaire. La proportion observée est pourtant de 100 %. Les petits échantillons produisent naturellement davantage de fluctuations. C’est pourquoi :
« Dans les cinq cas que j’ai vus, cela s’est toujours produit »
peut donner une impression beaucoup plus forte que ne le justifie la quantité d’information disponible. Le phénomène observé peut être réel. Mais nous devons nous attendre à davantage de variabilité lorsque le nombre d’observations est faible. Cinq cas sur cinq : impressionnant ou banal ? Supposons qu’un traitement produise naturellement une amélioration chez 50 % des patients, indépendamment de son efficacité réelle. Observer cinq améliorations consécutives peut sembler spectaculaire. Mais la probabilité d’obtenir cinq succès indépendants avec une probabilité de 0,5 à chaque fois est :
0,5⁵ = 0,03125
soit un peu plus de 3 %. Ce n’est pas très fréquent, mais ce n’est certainement pas impossible. Et ce calcul suppose que les cinq cas aient été sélectionnés avant d’observer leur résultat. Si nous cherchons ensuite sur Internet cinq témoignages positifs parmi des milliers de personnes, trouver cinq succès devient presque trivial. Cette différence entre :
observer une série prédéfinie
et :
sélectionner après coup les cas les plus frappants
est fondamentale. Elle nous conduit au problème du biais de sélection, que nous retrouverons plus directement dans la fiche consacrée au cherry-picking. La sélection des cas compte autant que leur nombre. Supposons qu’une personne affirme :
« Je connais vingt entrepreneurs qui ont quitté l’école tôt et qui ont très bien réussi. Les études supérieures ne servent donc à rien pour réussir professionnellement. »
Vingt exemples peuvent sembler beaucoup. Mais comment ces personnes ont-elles été choisies ? Peut-être précisément parce qu’elles sont devenues célèbres malgré leur parcours inhabituel. Nous ne voyons alors pas :
les personnes ayant quitté l’école tôt et dont la carrière a été beaucoup plus difficile ;
les entrepreneurs diplômés ;
ni la distribution complète des résultats.
Les vingt cas observés constituent peut-être une sélection extrême dans une population beaucoup plus large. Une bonne généralisation exige donc de comprendre comment les observations sont arrivées dans notre échantillon. Ce problème est particulièrement important avec les témoignages disponibles spontanément sur Internet. Les personnes ayant vécu une expérience extraordinaire peuvent être beaucoup plus motivées à raconter leur histoire que celles pour lesquelles rien de notable ne s’est produit. L’ensemble des témoignages visibles ne constitue donc pas nécessairement un échantillon neutre de toutes les expériences. Une expérience personnelle possède elle aussi un échantillonnage. Nous parlons souvent comme si « mon expérience » donnait un accès direct et non sélectionné au monde. Mais notre expérience personnelle constitue elle-même un échantillon.
Un infirmier travaillant dans un service particulier rencontre une population différente de celle d’un médecin généraliste, d’un enseignant, d’un policier ou d’un employé de bureau. Quelqu’un peut raisonnablement dire :
« Dans mon service, je rencontre très souvent ce problème. »
Mais le passage à :
« Ce problème est devenu fréquent dans toute la population française »
exige des données supplémentaires. L’expérience professionnelle peut être extrêmement riche tout en étant localisée. Elle peut même être précisément biaisée par la fonction exercée. Un service hospitalier reçoit davantage de personnes malades que la population générale. Un tribunal voit davantage de conflits que la vie quotidienne moyenne. Un service spécialisé traite volontairement les cas atypiques. Ce n’est pas un défaut de ces observations. C’est simplement une caractéristique de la population observée. L’une des questions les plus utiles devient donc :
« Qu’est-ce qui fait qu’une personne arrive dans mon champ d’observation ? »
Cas pratique : « Je vois de plus en plus de jeunes avec ce problème »
Un professionnel remarque :
« Il y a dix ans, je voyais rarement ce problème chez les jeunes. Aujourd’hui, j’en rencontre constamment. Le phénomène a donc explosé dans toute la population. »
Cette observation mérite d’être prise au sérieux. Mais plusieurs explications sont compatibles avec elle. La fréquence réelle peut avoir augmenté. Le diagnostic peut être davantage connu. Les personnes peuvent consulter plus facilement. Les critères d’orientation vers le service peuvent avoir changé. La structure démographique de la patientèle peut avoir évolué. Le professionnel peut travailler aujourd’hui dans une unité davantage spécialisée. Plusieurs de ces facteurs peuvent se combiner. L’expérience clinique constitue donc ici un signal. Pour transformer ce signal en estimation de fréquence dans la population, il faut rechercher des données dont la méthode permet cette généralisation. L’erreur serait autant de répondre :
« Ce n’est qu’une anecdote, donc cela n’existe pas »
que :
« Je le vois davantage, donc cela a nécessairement augmenté partout. »
L’esprit critique conserve l’observation tout en limitant la conclusion à ce qu’elle permet réellement d’établir. Comparer au bon dénominateur. Supposons qu’on lise :
« Cent personnes vaccinées ont été hospitalisées cette année. »
Le nombre peut sembler inquiétant. Mais que pouvons-nous en conclure ? Il manque au minimum le nombre total de personnes vaccinées, la fréquence d’hospitalisation dans une population comparable, l’âge et les facteurs de risque des personnes concernées, la temporalité et la cause des hospitalisations. Cent cas parmi mille personnes et cent cas parmi dix millions ne décrivent pas la même situation. C’est une illustration de la règle :
un numérateur sans dénominateur est souvent difficile à interpréter.
La même prudence vaut pour :
« Douze salariés ont démissionné » ;
« 500 patients ont signalé cet effet » ;
« 30 personnes interrogées sont insatisfaites ».
La question suivante devrait presque automatiquement être :
« Sur combien ? »
Mais le dénominateur ne suffit pas encore. Il faut savoir comment les cas ont été recensés et quelle population constitue la comparaison pertinente. Généraliser à quelle population ? Supposons qu’une étude observe une efficacité importante d’un traitement chez des adultes de 40 à 60 ans souffrant d’une forme précise d’une maladie. La conclusion raisonnable pourrait être :
« Dans la population étudiée, ce traitement a produit cet effet moyen. »
Passer directement à :
« Ce traitement produit le même effet chez tous les patients »
demande une généralisation supplémentaire. Les enfants, les personnes très âgées, les patients souffrant de comorbidités ou prenant certains médicaments peuvent réagir différemment. La recherche sur la généralisabilité insiste donc sur la nécessité de définir une population cible. Une étude récente sur la représentativité en santé souligne que la question pertinente n’est pas seulement de savoir si « l’échantillon est représentatif », mais de préciser ce qui doit être généralisé, vers qui, et sous quelles hypothèses. (PubMed Central (PMC)) Autrement dit :
la généralisation possède toujours une destination.
Sans population cible explicite, dire qu’un résultat est « généralisable » reste incomplet. La diversité de la population compte aussi. Un échantillon de 100 personnes peut parfois suffire pour observer une caractéristique extrêmement stable. Il peut être très insuffisant pour estimer un phénomène rare ou extrêmement variable. Supposons que presque tous les humains partagent un mécanisme physiologique fondamental. Quelques observations expérimentales soigneusement contrôlées peuvent déjà apporter beaucoup d’information sur ce mécanisme. Mais si nous voulons estimer la prévalence d’une maladie rare différente selon l’âge, le sexe, l’environnement, l’origine géographique et de nombreux facteurs de risque, un échantillon bien plus large et soigneusement structuré sera nécessaire. La quantité de données nécessaire dépend donc notamment :
de la variabilité du phénomène ;
de la précision recherchée ;
de la rareté de l’événement ;
du nombre de sous-groupes pertinents ;
et de la force de la conclusion.
Il n’existe pas de nombre magique à partir duquel un échantillon devient automatiquement « assez grand ». « J’ai toujours vu cela » : attention aux occasions manquées. Une autre forme de preuve anecdotique repose sur l’accumulation subjective :
« En trente ans, je n’ai jamais vu X. Donc X n’arrive pratiquement jamais. »
Cette observation peut avoir une certaine valeur. Mais sa force dépend de la probabilité que la personne aurait réellement rencontré X s’il existait. Un dermatologue ayant examiné des dizaines de milliers de patients possède davantage d’information sur certaines lésions cutanées qu’une personne n’ayant aucune raison particulière de les observer. À l’inverse, quelqu’un peut vivre toute sa vie sans rencontrer personnellement un événement rare mais bien réel. La question est donc :
« Si le phénomène existait avec la fréquence supposée, quelle chance aurais-je eue de l’observer dans mon expérience ? »
Nous retrouvons ici un principe général déjà rencontré avec l’absence de preuve : ne rien observer devient informatif seulement lorsque nous aurions raisonnablement dû observer quelque chose. Une anecdote contraire ne réfute pas une tendance statistique. Supposons qu’une étude robuste indique qu’un comportement augmente la probabilité d’une maladie. Quelqu’un répond :
« Mon grand-père a fait cela toute sa vie et il est mort à 95 ans. »
Ce cas peut être parfaitement vrai. Il n’est pas nécessairement incompatible avec l’étude. Une augmentation de risque ne signifie généralement pas :
« Toute personne exposée développera la maladie. »
Elle signifie plutôt que la probabilité diffère entre groupes comparables. Si le risque passe, par exemple, de 10 % à 20 %, 80 % des personnes exposées ne développeront toujours pas l’événement. Il sera donc très facile de trouver des individus qui semblent constituer des contre-exemples. Mais ils ne réfutent pas la différence statistique. C’est l’une des erreurs les plus fréquentes dans l’utilisation des anecdotes : traiter une relation probabiliste comme si elle formulait une loi universelle. Pour savoir si un cas particulier contredit réellement une conclusion, il faut d’abord examiner ce que la conclusion affirme exactement. À l’inverse, une moyenne ne décrit pas chaque individu. Il faut éviter l’erreur symétrique. Si un traitement réduit en moyenne un symptôme, cela ne signifie pas qu’il aide chaque patient.
Si un groupe présente en moyenne une caractéristique, cela ne signifie pas que chaque membre du groupe la possède. Une statistique populationnelle ne permet pas toujours de prédire précisément un individu. Nous devons donc éviter deux passages abusifs :
du cas individuel vers toute la population ;
et :
de la moyenne de la population vers chaque individu.
La généralisation hâtive concerne principalement le premier mouvement, mais comprendre le second aide à saisir la nature probabiliste de nombreuses conclusions empiriques.
Cas pratique : les avis en ligne
Un restaurant possède 200 avis : 170 excellents et 30 très mauvais. Peut-on conclure que 85 % de l’ensemble de ses clients sont très satisfaits ? Pas nécessairement. Les personnes qui publient un avis ne sont peut-être pas un échantillon aléatoire de tous les clients. Les expériences exceptionnellement bonnes ou mauvaises peuvent inciter davantage à écrire. Certains avis peuvent provenir de périodes différentes, après un changement de propriétaire ou d’équipe. Des avis peuvent être faux. Pourtant, les avis ne sont pas inutiles. Deux cents témoignages convergents, détaillés et répartis dans le temps peuvent fournir une information réelle, surtout si plusieurs aspects récurrents apparaissent. Le bon diagnostic n’est donc ni :
« Les avis prouvent que 85 % de tous les clients sont satisfaits »
ni :
« Ce ne sont que des anecdotes, donc ils ne valent rien ».
Il est :
« Ces avis constituent un ensemble de témoignages sélectionnés dont il faut comprendre le mode de sélection avant d’en généraliser quantitativement les résultats. »
Généralisation hâtive et cherry-picking : proches mais différents. Les deux problèmes peuvent se combiner, mais ils ne sont pas identiques. Une généralisation hâtive peut apparaître même lorsque les observations ont été choisies honnêtement :
« J’ai interrogé les six premières personnes rencontrées ; toutes pensent X ; la population entière pense donc X. »
Personne n’a nécessairement supprimé de contre-exemple. L’échantillon est simplement trop faible ou inadéquat pour la conclusion. Le cherry-picking consiste davantage à sélectionner les observations favorables en négligeant délibérément ou non une partie pertinente du corpus disponible :
« Sur vingt études, cinq soutiennent ma conclusion ; je ne présente que ces cinq. »
La première erreur concerne surtout le passage d’un échantillon insuffisant à une population plus large. La seconde concerne la sélection déséquilibrée parmi les preuves disponibles. Nous examinerons précisément ce deuxième mécanisme dans la fiche suivante.
Comment évaluer une généralisation ?
Une méthode simple consiste à reconstruire quatre éléments :
| Question | Ce qu’il faut identifier |
|---|---|
| Qu’ai-je réellement observé ? | Les cas ou données disponibles |
| Vers quoi est-ce que je généralise ? | La population ou le phénomène cible |
| Comment les observations ont-elles été sélectionnées ? | Hasard, volontariat, expérience professionnelle, sélection après coup, etc. |
| Quelle est la force de ma conclusion ? | Possibilité, tendance probable, fréquence précise, universalité |
À partir de là, plusieurs questions deviennent naturelles. L’échantillon est-il suffisamment grand pour la précision recherchée ? Les cas observés couvrent-ils les caractéristiques pertinentes de la population cible ? Existe-t-il un mécanisme de sélection susceptible de favoriser certains résultats ? Les observations sont-elles indépendantes ? Les contre-exemples auraient-ils eu une chance comparable d’être observés ? La conclusion décrit-elle simplement une possibilité, une tendance moyenne ou une règle universelle ? Existe-t-il des données plus systématiques permettant de tester l’impression initiale ? L’idée essentielle est encore une fois de calibrer la conclusion à la preuve disponible.
Comment réparer une généralisation trop forte ?
Prenons :
« Trois collègues ont essayé ce logiciel et l’ont trouvé mauvais. Ce logiciel est mauvais. »
Nous pouvons d’abord réduire la conclusion :
« Trois collègues ont eu une mauvaise expérience avec ce logiciel. Cela suggère qu’il peut présenter certains problèmes. »
Puis chercher une population cible :
Quels utilisateurs nous intéressent ?
Puis examiner la sélection :
Ces trois collègues utilisent-ils les mêmes fonctionnalités ? Ont-ils le même niveau technique ? Ont-ils choisi spontanément d’en parler parce qu’ils étaient mécontents ?
Puis élargir les données :
Existe-t-il des évaluations systématiques, des mesures de performance ou un échantillon plus diversifié ?
Nous n’avons pas rejeté les trois témoignages. Nous avons remis leur portée à la bonne échelle. Pourquoi « j’ai vu le contraire » est rarement une réfutation suffisante. Supposons qu’une personne affirme :
« Les données disponibles indiquent qu’en moyenne cette intervention réduit le risque. »
Répondre :
« Pourtant je connais quelqu’un chez qui cela n’a pas marché »
ne réfute pas nécessairement l’affirmation. Mais si l’affirmation initiale était :
« Cette intervention marche toujours »
le même cas deviendrait pertinent comme contre-exemple. L’importance d’une anecdote dépend donc du quantificateur contenu dans la conclusion :
« parfois » ;
« souvent » ;
« en moyenne » ;
« la majorité » ;
« presque toujours » ;
« toujours ».
Plus la conclusion est universelle, plus un véritable contre-exemple peut avoir de poids. Plus elle est probabiliste, plus il faut comparer des fréquences plutôt qu’opposer des histoires particulières. Cette distinction simple permet d’éviter énormément de faux débats.
Les témoignages restent indispensables dans certains domaines
Il serait également dangereux de transformer la critique des anecdotes en mépris systématique de l’expérience individuelle. Un questionnaire quantitatif peut montrer que 20 % des patients rencontrent un problème. Des entretiens détaillés peuvent permettre de comprendre comment ce problème est vécu, dans quelles circonstances il apparaît et quelles dimensions l’enquête initiale n’avait pas prévues. Les études qualitatives et les études de cas ne cherchent d’ailleurs pas toujours à produire une estimation représentative d’une population. Elles peuvent chercher à comprendre un mécanisme, identifier une catégorie nouvelle, explorer une expérience ou construire une hypothèse. Évaluer ce type de travail uniquement avec la question :
« Combien de participants ? »
serait une mauvaise critique. Il faut d’abord demander :
« Quelle inférence cette méthode cherche-t-elle réellement à produire ? »
Une méthode peut être excellente pour une question et mauvaise pour une autre. Le sophisme apparaît dans le saut, pas dans l’observation. C’est peut-être la formulation la plus importante de cette fiche. Une anecdote peut être vraie. Un petit échantillon peut être correctement observé. Une expérience personnelle peut être précieuse. Le problème apparaît dans le saut entre ce qui a été observé et ce qui est affirmé au-delà de ces observations. Ainsi :
« Trois patients ont présenté cet effet après ce médicament »
peut être une excellente observation.
« Il faut enquêter sur une éventuelle association »
peut être une conclusion raisonnable.
« Le médicament provoque fréquemment cet effet chez tous les patients »
peut être une généralisation hâtive. Le même ensemble de données peut donc soutenir une conclusion et ne pas en soutenir une autre. C’est exactement pourquoi l’étiquette seule ne suffit pas.
À retenir
La généralisation hâtive apparaît lorsque nous étendons une conclusion au-delà de ce que les observations disponibles permettent raisonnablement d’établir. La preuve anecdotique en constitue une forme fréquente lorsque quelques histoires individuelles sont utilisées comme si elles représentaient suffisamment une population ou permettaient d’établir une fréquence ou une causalité. (Encyclopédie Internet de la Philosophie) Mais un petit échantillon n’est pas automatiquement un mauvais argument. Sa valeur dépend de la question étudiée, de la manière dont les observations ont été sélectionnées, de la variabilité du phénomène, de la population cible et de la force de la conclusion. Une seule observation peut parfois suffire à montrer qu’un événement est possible ou à réfuter une proposition universelle. Elle suffit beaucoup moins souvent à établir une fréquence générale.
La représentativité elle-même doit être maniée avec précision : toutes les formes de généralisation scientifique ne nécessitent pas qu’un échantillon reproduise parfaitement la population cible. Il faut préciser quelle propriété ou quel effet doit être généralisé, vers quelle population et sous quelles hypothèses. (PubMed)
Les anecdotes restent particulièrement persuasives parce qu’elles sont concrètes et mémorables ; des expériences contemporaines montrent qu’elles peuvent influencer des décisions même lorsque des informations statistiques plus solides sont présentes. (PubMed) L’objectif n’est donc pas de répondre :
« Ce n’est qu’une anecdote. »
Il est de demander :
« Cette observation est intéressante ; quelle conclusion permet-elle réellement, et quelles données supplémentaires faudrait-il obtenir avant de généraliser davantage ? »
C’est le passage de l’histoire particulière à la conclusion générale qui doit être justifié.
Sources principales
Groarke, Leo, « Informal Logic », *Stanford Encyclopedia of Philosophy*. Présente l’évaluation des généralisations inductives en soulignant notamment le rôle de l’hypothèse implicite selon laquelle les observations utilisées permettent raisonnablement d’inférer quelque chose sur la population visée. (Encyclopédie de philosophie de Stanford)
Dowden, Bradley, « Fallacies », *Internet Encyclopedia of Philosophy*. Traite explicitement la preuve anecdotique comme une généralisation fondée sur un échantillon inadéquat, notamment lorsque quelques histoires particulières prennent la place de recherches ou de tests plus systématiques. (Encyclopédie Internet de la Philosophie)
Tversky, Amos & Kahneman, Daniel (1971), « Belief in the Law of Small Numbers », *Psychological Bulletin*, 76(2), 105–110. Article classique montrant que nous tendons à attendre de petits échantillons qu’ils soient plus représentatifs de leur population qu’ils ne le sont réellement et que cette intuition peut affecter même des chercheurs formés. (DOI)
Rudolph, Jacqueline E. et al. (2023), « Defining representativeness of study samples in medical and population health research », *BMJ Medicine*. Analyse particulièrement utile pour éviter une conception trop simpliste de la représentativité : les auteurs distinguent notamment la généralisation d’une estimation et la généralisation de l’interprétation d’un résultat, et insistent sur la nécessité d’identifier explicitement la population cible et les hypothèses permettant cette généralisation. (PubMed)
Line, Emily N. et al. (2024), « Anecdotes impact medical decisions even when presented with statistical information or decision aids », *Cognitive Research: Principles and Implications*, 9, 51. Quatre expériences totalisant plus de 4 000 participants montrent que des anecdotes individuelles peuvent modifier l’évaluation de traitements médicaux même lorsqu’elles ne sont pas statistiquement informatives et que des informations plus systématiques sont disponibles. (PubMed)
Fagerlin, Angela, Wang, Catharine & Ubel, Peter A. (2005), « Reducing the influence of anecdotal reasoning on people's health care decisions », *Medical Decision Making*, 25(4), 398–405. Étude expérimentale montrant comment des anecdotes non représentatives peuvent influencer des décisions thérapeutiques et comment certaines présentations visuelles des données statistiques peuvent réduire cet effet. (PubMed)