Justice et probabilités — éviter le *prosecutor’s fallacy*

Une trace ADN correspond au profil d’un suspect. L’expert indique qu’un profil présentant cette correspondance serait extrêmement rare chez une personne choisie au hasard dans une population de référence. La preuve paraît accablante. Mais que permet exactement de conclure ce nombre ?

C’est ici qu’une confusion entre deux probabilités conditionnelles peut avoir des conséquences particulièrement graves. La probabilité d’observer une preuve si le suspect n’est pas la source n’est pas la probabilité que le suspect ne soit pas la source sachant que cette preuve a été observée. Et même la probabilité que le suspect soit la source d’une trace n’est pas encore, à elle seule, la probabilité qu’il soit coupable de l’infraction jugée.

Cette confusion est connue sous le nom de prosecutor’s fallacy, ou sophisme du procureur. William Thompson et Edward Schumann ont popularisé cette expression dans un article de 1987 consacré précisément aux erreurs d’interprétation des preuves statistiques devant les tribunaux.

Une petite inversion qui change complètement la conclusion

Prenons un exemple volontairement simplifié. Une trace possède une caractéristique que l’on retrouverait chez environ une personne sur un million dans une population appropriée de personnes non apparentées.

Nous pouvons écrire approximativement :

P(correspondance | personne non-source) = 1 / 1 000 000.

Le sophisme du procureur consiste à transformer cette phrase en :

P(personne non-source | correspondance) = 1 / 1 000 000.

Puis à conclure :

« Il y a donc 99,9999 % de chances que le suspect soit la source. »

Cette inversion est invalide.

Le rapport scientifique initial concerne la probabilité de la preuve sous une hypothèse. La conclusion porte sur la probabilité de l’hypothèse après avoir observé la preuve.

Nous retrouvons exactement l’erreur étudiée depuis le début de cette catégorie :

P(E|H) n’est pas P(H|E).

Le NIST décrit explicitement cette transposition de la conditionnelle comme une source classique d’erreur dans l’interprétation des preuves ADN.

Une personne sur un million ne signifie pas un coupable sur un million

Imaginons une caractéristique fictive présente chez une personne sur un million et une population de dix millions de personnes susceptibles, avant toute autre information, de produire la trace.

On s’attendrait alors grossièrement à trouver cette caractéristique chez environ dix personnes.

Si l’enquête n’avait fourni absolument aucune autre information permettant de distinguer ces personnes, la simple rareté de la caractéristique ne permettrait évidemment pas de conclure que l’une d’elles possède une probabilité de culpabilité de 99,9999 %.

Ce raisonnement est volontairement simplifié : l’analyse ADN réelle doit tenir compte de la population pertinente, de la qualité des profils, des apparentements possibles, des mélanges, des erreurs potentielles et des modèles employés. Mais l’exemple montre pourquoi le nombre « une chance sur un million » ne peut pas être déplacé mécaniquement d’une phrase probabiliste à une autre.

La *Stanford Encyclopedia of Philosophy* utilise précisément cette distinction pour expliquer le sophisme : une faible probabilité de correspondance sous l’hypothèse d’une personne non-source ne constitue pas directement une faible probabilité que la personne soit non-source après observation de la correspondance.

La trace peut être extrêmement probante sans répondre à toute l’affaire

Éviter le sophisme du procureur ne signifie surtout pas minimiser une preuve scientifique forte.

Supposons que deux hypothèses soient comparées :

H1 : le suspect a contribué à la trace ADN.

H2 : un individu non apparenté choisi dans une population pertinente a contribué à la trace.

Si les données observées sont un million de fois plus probables sous H1 que sous H2, le rapport de vraisemblance peut être extrêmement important. Il s’agit d’une preuve très forte relativement à ces deux propositions.

Le NIST explique ainsi qu’un rapport de vraisemblance appliqué à un mélange ADN estime combien les données observées sont plus ou moins probables sous deux hypothèses concurrentes concernant les contributeurs.

Mais cette phrase ne signifie toujours pas :

« H1 a un million de fois plus de chances d’être vraie que H2 après toutes les preuves. »

Pour passer d’un rapport de vraisemblance à des odds postérieures, il faudrait également intégrer les odds antérieures pertinentes :

odds postérieures = odds antérieures × rapport de vraisemblance.

La preuve scientifique fournit le multiplicateur ; elle ne fournit pas automatiquement tout le reste du dossier.

Être la source d’une trace n’est pas être coupable

Une deuxième distinction est encore plus importante.

Supposons que les preuves permettent d’établir avec une confiance extrêmement forte qu’un ADN appartient au suspect. Cela peut résoudre une question :

qui a laissé cette trace ?

Mais le tribunal doit souvent répondre à une question différente :

le suspect a-t-il commis l’infraction reprochée ?

Les deux propositions peuvent être étroitement liées, mais elles ne sont pas identiques.

La présence de l’ADN d’une personne dans son propre domicile n’a évidemment pas la même signification que sa présence dans un endroit auquel elle n’avait apparemment aucune raison d’avoir accès. Une trace peut avoir été déposée avant l’événement, transférée indirectement ou se trouver dans un contexte où sa présence est parfaitement ordinaire.

Il faut donc distinguer plusieurs niveaux possibles :

données scientifiques → hypothèse sur la source → hypothèse sur l’activité → culpabilité juridique.

Une preuve peut être extrêmement forte au premier niveau et beaucoup moins discriminante au niveau suivant.

Cette distinction rappelle une règle générale de toute cette catégorie : la valeur d’une preuve dépend des hypothèses exactes auxquelles on la compare.

Le reste du dossier compte

Pourquoi le sophisme du procureur est-il si trompeur ? Parce qu’il donne l’impression que la preuve scientifique suffit à elle seule à calculer la probabilité de culpabilité.

Reprenons un exemple simplifié. Une correspondance est mille fois plus attendue si le suspect est la source que s’il ne l’est pas :

LR = 1 000.

Si, avant cette preuve, les odds pertinentes étaient déjà de :

1 : 1,

la mise à jour produit :

1 000 : 1.

Mais si l’enquête initiale concernait une immense population et que le suspect n’avait été identifié que par une recherche automatisée sans autre indice, les odds initiales pourraient être très différentes.

À l’inverse, si des éléments indépendants plaçaient déjà précisément le suspect sur les lieux au moment pertinent, la même preuve ADN intervient dans un contexte différent.

Le rapport de vraisemblance scientifique peut rester identique dans notre exemple ; ce qui change est l’information antérieure du dossier.

C’est pourquoi Thompson et Schumann soulignaient déjà que le sophisme du procureur ignore la force des autres éléments de preuve présents dans l’affaire.

La manière dont le suspect a été trouvé compte aussi

Un détail peut profondément modifier la structure probabiliste : le suspect était-il déjà identifié avant l’analyse de la trace, ou a-t-il été trouvé parce qu’une vaste base de données a été interrogée ?

Imaginons un marqueur fictif possédant une probabilité de correspondance fortuite extrêmement faible. Si nous comparons une trace à une personne déjà suspectée pour des raisons indépendantes, la correspondance constitue une nouvelle preuve dirigée vers une hypothèse déjà présente.

Mais si nous comparons automatiquement la trace à des millions de profils jusqu’à ce qu’une correspondance apparaisse, la procédure elle-même crée davantage d’occasions de trouver une correspondance fortuite.

Ce n’est pas une raison pour ignorer les recherches en base de données. C’est une raison pour intégrer la manière dont la preuve a été sélectionnée dans son interprétation.

Nous retrouvons ici un principe qui réapparaîtra en statistique scientifique : un résultat obtenu après avoir exploré un grand nombre de possibilités ne doit pas toujours être interprété comme s’il provenait d’un test unique spécifié à l’avance.

Le sophisme de la défense existe lui aussi

Thompson et Schumann ont également étudié une erreur symétrique, généralement appelée defense attorney’s fallacy.

Supposons qu’une caractéristique génétique rare soit attendue chez une personne sur un million et que la région pertinente contienne plusieurs millions d’habitants. La défense pourrait raisonner ainsi :

« Plusieurs personnes doivent posséder ce profil, donc la preuve n’a presque aucune valeur. »

Ce raisonnement est lui aussi incorrect.

La présence possible d’autres personnes compatibles n’annule pas le fait que la correspondance observée peut être beaucoup plus probable si le suspect est la source que s’il ne l’est pas.

Autrement dit, le sophisme du procureur surestime la preuve en transformant une faible probabilité de correspondance fortuite en quasi-certitude de culpabilité. Le sophisme de la défense peut au contraire sous-estimer cette même preuve en considérant que l’existence possible d’autres correspondances la rend négligeable.

L’article fondateur de 1987 étudie précisément ces deux formes d’interprétation fautive.

La bonne réponse n’est donc ni :

« une chance sur un million, donc il est pratiquement certain qu’il est coupable »,

ni :

« il pourrait exister quelqu’un d’autre, donc la preuve ne vaut rien ».

Il faut évaluer le poids réel de la preuve relativement aux hypothèses pertinentes.

Plusieurs indices peuvent partager la même erreur

Les affaires judiciaires combinent souvent de nombreuses preuves : ADN, empreintes, téléphone, témoignages, vidéos, géolocalisation, comportements ou éléments chronologiques.

Nous pourrions être tentés de les multiplier comme autant de confirmations indépendantes.

Mais, comme nous l’avons vu précédemment, leur dépendance doit être examinée.

Deux analyses effectuées à partir du même prélèvement peuvent partager une contamination. Plusieurs témoins peuvent avoir discuté ensemble. Plusieurs indices numériques peuvent dépendre de la même erreur d’horodatage. Deux experts peuvent se baser sur la même mesure initiale.

À l’inverse, une trace génétique, une vidéo indépendante et un élément chronologique issu d’une autre source peuvent constituer des voies probatoires beaucoup plus distinctes.

Une accumulation judiciaire ne doit donc pas seulement compter les indices. Elle doit examiner comment ils pourraient se tromper ensemble.

Le cas Sally Clark : ce que montre réellement l’exemple

L’affaire britannique Sally Clark est souvent citée dans les discussions sur les erreurs statistiques en justice. Elle concernait la mort de deux nourrissons et non une simple correspondance ADN. La Royal Statistical Society a publiquement exprimé ses inquiétudes concernant l’utilisation des statistiques dans cette affaire et rappelle notamment des problèmes liés à la multiplication de probabilités et à l’interprétation des probabilités conditionnelles.

L’une des erreurs discutées consistait à traiter comme indépendants des événements dont l’indépendance ne pouvait pas être simplement supposée. Nous retrouvons ainsi une autre leçon de cette catégorie : multiplier des probabilités exige de comprendre les dépendances entre les événements.

L’intérêt de cet exemple n’est pas d’attribuer toute l’issue judiciaire à une unique erreur mathématique. Il montre plutôt combien une probabilité apparemment impressionnante peut acquérir une force rhétorique considérable lorsqu’elle est présentée sans que ses hypothèses et sa signification soient suffisamment claires.

La Royal Statistical Society a depuis développé plusieurs guides destinés aux magistrats, avocats, scientifiques forensiques et experts afin d’améliorer la compréhension et la communication des preuves statistiques.

Ce que devrait dire l’expert

La distinction entre probabilité de la preuve et probabilité de l’hypothèse définit également une frontière importante dans la communication scientifique devant un tribunal.

Un expert peut être en mesure d’évaluer quelque chose comme :

« cette observation serait beaucoup plus probable si le suspect était contributeur que s’il ne l’était pas ».

Il ne dispose pas nécessairement des informations ni du rôle permettant de déclarer :

« il existe 99,999 % de chances que le suspect soit coupable ».

Le second jugement exige d’intégrer l’ensemble du dossier, et la culpabilité est en outre une conclusion juridique soumise aux règles de preuve propres au système judiciaire.

Le NIST insiste explicitement sur le danger de transformer un rapport de vraisemblance concernant les données en probabilité que l’une des propositions soit vraie.

Cette prudence ne diminue pas la science forensique. Elle évite au contraire de lui faire dire davantage que ce que son modèle permet réellement d’établir.

Les rapports de vraisemblance eux-mêmes ne sont pas magiques

Nous avons beaucoup utilisé les rapports de vraisemblance parce qu’ils obligent à comparer au moins deux hypothèses. C’est un progrès important par rapport à l’affirmation vague « cette trace correspond au suspect ».

Mais un LR n’est pas pour autant une vérité indépendante de toute modélisation.

Il dépend notamment des propositions comparées, des données disponibles, du modèle statistique, des populations utilisées et des hypothèses nécessaires au calcul. Le NIST souligne que les rapports de vraisemblance employés en science forensique doivent eux-mêmes être évalués avec leurs hypothèses et leurs incertitudes ; deux analyses peuvent produire des valeurs différentes selon les informations et modèles retenus.

L’attitude rationnelle ne consiste donc pas à remplacer :

« l’ADN prouve la culpabilité »

par

« le LR prouve la culpabilité ».

Le LR mesure une relation probabiliste précise entre les données et les propositions comparées. Il faut encore savoir quelles propositions ont été choisies, si le modèle est approprié et comment cette preuve s’intègre au reste du dossier.

Bayes n’est pas une formule permettant de calculer mécaniquement la culpabilité

On pourrait être tenté de pousser la logique jusqu’au bout : attribuer une probabilité initiale à la culpabilité, multiplier tous les rapports de vraisemblance, puis annoncer au tribunal un posterior exact.

Cette représentation peut être utile pour comprendre conceptuellement la structure de l’inférence, mais son application judiciaire directe soulève de nombreuses difficultés. Les priors relatifs à la culpabilité ne sont pas des paramètres scientifiques observables de la même manière qu’une fréquence biologique ; les preuves peuvent être dépendantes ; les hypothèses sont complexes ; certaines informations sont difficiles à quantifier ; et la norme juridique du doute raisonnable n’est pas simplement un seuil bayésien universel fixé par les mathématiques.

La justice ne doit donc pas être transformée artificiellement en calculatrice.

Le raisonnement bayésien apporte surtout une discipline : ne pas inverser les probabilités conditionnelles, distinguer la force d’une preuve de la probabilité totale d’une hypothèse, comparer explicitement des explications concurrentes et tenir compte des informations antérieures sans double compter les indices.

C’est déjà considérable.

Une règle de lecture pour toute preuve statistique judiciaire

Face à une phrase impressionnante comme :

« la probabilité d’obtenir cette correspondance par hasard est d’une sur un million »,

il faut ralentir le raisonnement et demander : quelle probabilité vient réellement d’être donnée ? À quelle hypothèse le conditionnement se rapporte-t-il ? Quelle population de référence a été utilisée ? Quelle hypothèse concurrente est envisagée ? La statistique porte-t-elle sur la source de la trace ou sur la culpabilité ? Comment le suspect a-t-il été identifié ? Quelles autres preuves indépendantes existent ?

Cette méthode permet d’éviter deux erreurs symétriques : donner à une statistique davantage de portée qu’elle n’en possède ou, parce qu’elle n’est pas une certitude absolue, lui retirer toute valeur.

Une preuve forensique peut être extrêmement forte sans être à elle seule une probabilité de culpabilité.

Cette distinction résume le cœur du *prosecutor’s fallacy*. Elle illustre également l’objectif général du raisonnement bayésien : apprendre à préciser quelle question probabiliste nous sommes réellement en train de poser avant d’interpréter la réponse.

La prochaine application nous ramènera à un environnement où la même information peut être répétée des centaines de fois en donnant l’impression d’autant de confirmations indépendantes : la désinformation en ligne.

Pour aller plus loin

  • Thompson, W. C., & Schumann, E. L. (1987). « Interpretation of Statistical Evidence in Criminal Trials: The Prosecutor’s Fallacy and the Defense Attorney’s Fallacy ». *Law and Human Behavior*, 11(3), 167–187. DOI : 10.1007/BF01044641. Article fondateur sur les deux erreurs d’interprétation.
  • Royal Statistical Society, Statistics and the Law Section. *Statistics and probability for law practitioners*. Ensemble de guides consacrés à l’interprétation et à la communication des preuves statistiques dans les procédures judiciaires.
  • National Institute of Standards and Technology (2024). *DNA Mixture Interpretation: A NIST Scientific Foundation Review*, NISTIR 8351. Revue approfondie des fondements scientifiques de l’interprétation des mélanges ADN, incluant le risque de transposition de la conditionnelle.
  • National Institute of Standards and Technology (2024). *Forensic DNA Interpretation and Human Factors: Improving the Practice Through a Systems Approach*, NISTIR 8503. Présentation des enjeux d’interprétation, de communication et des facteurs humains dans l’analyse ADN forensique.
22 sur 35Retour à la catégorie