Faux positifs — pourquoi un bon test peut tromper
Un test positif paraît spontanément rassurant sur un point : il semble avoir trouvé ce que l’on cherchait. Pourtant, un résultat positif peut apparaître chez une personne qui ne possède pas la maladie ou la caractéristique recherchée. C’est un faux positif.
Le phénomène est facile à comprendre lorsqu’un test est médiocre. Il devient beaucoup plus contre-intuitif lorsqu’un test semble excellent. Comment un examen doté de 99 % de spécificité peut-il produire une grande proportion de résultats positifs erronés ? La réponse tient principalement à une idée que nous avons déjà rencontrée : le nombre de faux positifs dépend non seulement des performances du test, mais aussi du nombre de personnes chez lesquelles le phénomène recherché était absent au départ.
Lorsque celui-ci est très rare, une faible proportion d’erreurs appliquée à un groupe immense peut produire davantage de faux positifs que de vrais positifs. C’est l’une des manifestations les plus frappantes du rôle des taux de base.
Taux de faux positifs et probabilité qu’un positif soit faux
La première distinction à maintenir est essentielle.
Supposons qu’un test possède une spécificité de 99 %. Son taux de faux positifs est alors de :
1 − 0,99 = 1 %.
Cela signifie :
P(test positif | personne non malade) = 1 %.
Mais cela ne signifie pas :
P(personne non malade | test positif) = 1 %.
La première probabilité regarde ce qui arrive parmi les personnes non malades. La seconde regarde ce qui arrive parmi les personnes ayant obtenu un résultat positif.
Nous retrouvons exactement l’erreur d’inversion :
P(+|non-malade) ≠ P(non-malade|+).
C’est cette confusion qui permet à un test « à seulement 1 % de faux positifs » de donner l’impression qu’un résultat positif est nécessairement fiable à 99 %.
Il manque le taux de base.
Une maladie rare et un test à 99 %
Imaginons une maladie touchant 1 personne sur 1 000, soit une prévalence de 0,1 %. Nous utilisons un test fictif possédant :
sensibilité = 99 %
et
spécificité = 99 %.
Prenons une population de 100 000 personnes.
Environ 100 sont malades. Avec 99 % de sensibilité, environ 99 d’entre elles obtiennent un vrai résultat positif.
Les 99 900 autres personnes ne sont pas malades. Avec un taux de faux positifs de seulement 1 %, environ 999 obtiennent pourtant un résultat positif.
Nous obtenons donc :
| Malades | Non malades | |
|---|---|---|
| Population | 100 | 99 900 |
| Test positif | 99 | 999 |
| Test négatif | 1 | 98 901 |
Au total, environ 1 098 personnes ont un résultat positif, mais seulement 99 sont réellement malades.
La valeur prédictive positive est donc :
99 / 1 098 ≈ 9 %.
Autrement dit, dans cet exemple, plus de neuf résultats positifs sur dix seraient des faux positifs, malgré une sensibilité et une spécificité toutes deux égales à 99 %.
Ce résultat n’est pas un défaut du théorème de Bayes. C’est précisément ce que Bayes permet de voir.
Le paradoxe disparaît lorsqu’on compte les personnes
Le résultat semble étonnant tant que nous regardons les pourcentages séparément. Avec les fréquences naturelles, il devient presque évident.
Il existe seulement 100 personnes malades, donc même un test presque parfait ne peut produire qu’environ 100 vrais positifs.
En revanche, il existe presque 100 000 personnes non malades. Un taux d’erreur de seulement 1 % appliqué à cette immense population produit près de 1 000 faux positifs.
La difficulté ne vient donc pas principalement du « 1 % ». Elle vient du fait que 1 % d’un très grand groupe peut être beaucoup plus grand que 99 % d’un groupe minuscule.
Altman et Bland soulignaient déjà ce point dans leur présentation classique des valeurs prédictives : lorsque la prévalence est très faible, la valeur prédictive positive peut rester faible même si sensibilité et spécificité sont élevées.
Le test n’est pas devenu mauvais
Il serait pourtant incorrect de conclure que le test de notre exemple est inutile.
Un résultat positif a fait passer la probabilité de maladie de :
0,1 % avant le test
à environ :
9 % après le test.
C’est une augmentation considérable. La maladie est devenue environ quatre-vingt-dix fois plus plausible qu’avant.
Le résultat possède donc une forte valeur informative, même s’il ne suffit pas à établir le diagnostic.
Cette distinction est fondamentale : un test peut produire une grande mise à jour bayésienne tout en laissant la probabilité finale relativement faible.
Dire « la majorité des positifs sont faux » ne signifie donc pas que le test n’apporte aucune information. Cela signifie que son interprétation doit tenir compte du point de départ.
Pourquoi le dépistage est particulièrement exposé
Le problème devient particulièrement important dans les programmes de dépistage, parce qu’ils examinent souvent de grandes populations dans lesquelles le phénomène recherché est rare.
Dans un service spécialisé, les personnes testées ont parfois déjà des symptômes ou des facteurs de risque augmentant fortement leur probabilité pré-test. Dans une population générale asymptomatique, cette probabilité peut être beaucoup plus faible.
Le même test peut donc présenter une valeur prédictive positive très différente selon le contexte où il est employé.
Une revue consacrée à l’usage et au mauvais usage des tests diagnostiques souligne précisément que les faux positifs tendent à devenir particulièrement importants lorsque la prévalence du trouble recherché est faible, situation courante en dépistage.
Cela explique pourquoi un test de dépistage positif et un diagnostic confirmé sont deux étapes distinctes dans de nombreuses procédures médicales.
Un deuxième test peut modifier radicalement la situation
Reprenons les 1 098 personnes positives de notre exemple. Elles ne constituent plus une population où la maladie touche 0,1 % des individus. Parmi elles, environ 9 % sont désormais malades.
Le résultat du premier test a donc créé une nouvelle population à risque beaucoup plus élevé.
Supposons qu’un second examen réellement informatif et suffisamment indépendant soit effectué. Son point de départ n’est plus une probabilité pré-test de 0,1 %, mais d’environ 9 %.
Si ce deuxième test possède lui aussi un rapport de vraisemblance important, un nouveau résultat positif peut produire une probabilité post-test beaucoup plus élevée.
C’est l’une des raisons conceptuelles pour lesquelles les procédures confirmatoires peuvent être efficaces : le premier test enrichit la population en cas plausibles ; le second travaille à partir de ce nouveau prior.
Mais il faut conserver la nuance étudiée précédemment. Deux examens utilisant exactement le même mécanisme d’erreur peuvent ne pas apporter autant d’information indépendante que deux méthodes réellement distinctes.
Tous les faux positifs ne viennent pas du même mécanisme
Le terme *faux positif* décrit un résultat, pas nécessairement sa cause.
Un test peut produire un résultat positif erroné parce que sa spécificité n’est pas parfaite, mais les situations concrètes peuvent être beaucoup plus diverses : variabilité biologique, seuil de classification, réaction croisée avec une autre condition, contamination d’un prélèvement, problème pré-analytique, erreur instrumentale ou caractéristique de la population étudiée.
Cette diversité importe parce qu’elle influence la valeur d’un test confirmatoire. Répéter immédiatement exactement la même mesure dans les mêmes conditions peut reproduire la même erreur. Utiliser une méthode reposant sur un mécanisme différent peut apporter davantage d’information.
Il faut donc distinguer la simple répétition du test de l’obtention d’une preuve réellement nouvelle.
Les seuils fabriquent nécessairement certains faux positifs
Beaucoup d’examens médicaux mesurent une variable continue plutôt qu’une propriété naturellement binaire.
Supposons qu’une concentration biologique se distribue différemment chez les personnes malades et non malades, mais que les deux distributions se chevauchent. Pour décider qu’un résultat est « positif », il faut choisir un seuil.
Si nous abaissons ce seuil, nous détectons davantage de personnes malades : la sensibilité augmente. Mais davantage de personnes non malades franchissent également le seuil : les faux positifs augmentent.
Si nous remontons le seuil, nous réduisons les faux positifs mais risquons davantage de faux négatifs.
Il n’existe donc pas nécessairement de frontière naturelle permettant de supprimer simultanément les deux types d’erreur. Le choix dépend aussi des conséquences respectives d’un faux positif et d’un faux négatif.
Le test ne répond pas seulement à une question statistique. Son utilisation implique également une décision sous incertitude.
Tester davantage peut créer davantage d’anomalies
Un autre phénomène mérite d’être distingué du problème du taux de base. Plus nous mesurons de variables chez une personne saine, plus il devient probable qu’au moins l’une sorte par hasard d’un intervalle considéré comme « normal ».
Les intervalles de référence de nombreux examens biologiques sont par exemple construits de manière à contenir environ 95 % des valeurs observées dans une population de référence. Par définition, une petite proportion de personnes saines présentera donc une valeur située à l’extérieur de cet intervalle sans qu’elle corresponde nécessairement à une maladie.
Lorsqu’on multiplie les examens sans indication suffisamment ciblée, on augmente ainsi les occasions de rencontrer des anomalies fortuites. Le *BMJ* rappelle que des résultats légèrement hors des intervalles de référence peuvent survenir chez des personnes en bonne santé et qu’il faut considérer les faux positifs et faux négatifs dans leur contexte clinique.
Il s’agit ici d’une autre raison pour laquelle plus de données ne signifient pas automatiquement meilleure connaissance.
Le coût d’un faux positif n’est pas seulement statistique
Un faux positif ne se résume pas à une case mal classée dans un tableau.
Il peut conduire à de nouveaux examens, parfois invasifs, à une surveillance prolongée, à une exposition supplémentaire aux rayonnements, à des traitements inutiles, à des coûts et à une anxiété importante. Une revue systématique sur la surutilisation des tests diagnostiques souligne notamment ces cascades potentielles associées aux examens de faible valeur.
Cela ne signifie évidemment pas que les tests ne devraient être utilisés qu’en présence d’une quasi-certitude préalable. Le dépistage peut apporter des bénéfices importants lorsque son efficacité est démontrée. Cela signifie que la performance d’un programme ne doit pas être jugée uniquement par le nombre de cas qu’il peut détecter.
Il faut aussi prendre en compte les faux positifs produits pour obtenir ces détections et leurs conséquences.
Nous passons ici du problème de l’inférence au problème plus large de la décision : combien d’erreurs de chaque type sommes-nous prêts à accepter pour obtenir quel bénéfice ?
« Un positif sur deux est faux » ne décrit pas toujours le test
Une autre erreur de communication consiste à transformer la valeur prédictive observée dans une population en propriété universelle du test.
Supposons qu’une étude trouve que 50 % des résultats positifs sont des faux positifs. Cela ne signifie pas nécessairement que « ce test se trompe une fois sur deux ».
Dans une population présentant une prévalence beaucoup plus élevée, la proportion de vrais positifs parmi les positifs peut augmenter considérablement. Dans une population où le phénomène est encore plus rare, elle peut diminuer.
La valeur prédictive positive dépend fortement de la prévalence, et les performances telles que sensibilité et spécificité peuvent elles-mêmes varier lorsque le spectre des personnes testées change.
Une statistique de performance devrait donc toujours être accompagnée de la question : dans quelle population a-t-elle été obtenue ?
Faux positif ne signifie pas nécessairement « erreur du laboratoire »
Cette distinction est également importante dans le langage quotidien.
Lorsque le résultat est appelé « faux positif », nous pouvons avoir l’impression que le laboratoire a commis une faute. Pourtant, même un test correctement réalisé possède généralement des distributions de résultats qui se chevauchent entre personnes malades et non malades.
Un faux positif peut donc être une conséquence attendue des propriétés statistiques du test, et non la preuve qu’un technicien ou un appareil a dysfonctionné.
Avec une spécificité de 99 %, obtenir environ un résultat positif chez cent personnes non malades est précisément compatible avec les performances annoncées.
L’erreur consisterait plutôt à interpréter le résultat sans tenir compte de cette possibilité.
Raisonner en termes de risque post-test
Le meilleur antidote consiste finalement à abandonner l’idée qu’un test rend automatiquement un verdict.
Avant le test existe une probabilité pré-test.
Le résultat possède une certaine force diagnostique.
Après le test existe une probabilité post-test.
Si celle-ci reste insuffisante pour prendre une décision, d’autres informations peuvent être nécessaires.
Cette logique évite les deux réactions extrêmes : « le test est positif, donc la maladie est certaine » et « il existe des faux positifs, donc le test ne vaut rien ».
La bonne question est beaucoup plus précise : de combien ce résultat modifie-t-il la probabilité pertinente dans cette population et dans ce contexte ?
Une leçon qui dépasse largement la médecine
La structure des faux positifs apparaît chaque fois que nous cherchons un phénomène rare dans une immense population : fraude, intrusion informatique, détection automatisée, contrôle industriel ou classification algorithmique.
Un système possédant un faible taux de fausses alertes peut néanmoins produire une majorité d’alertes erronées si les vrais événements sont suffisamment rares.
Le réflexe devient alors systématique : connaître le taux de faux positifs ne suffit pas. Il faut également demander quelle est la fréquence initiale du phénomène recherché.
C’est une leçon profondément bayésienne. Un signal ne prend pas son sens tout seul : il transforme un état préalable d’incertitude.
Dans le domaine médical, cette logique conduit naturellement à l’étape suivante. Une première analyse modifie la probabilité d’une maladie ; un second examen apporte une nouvelle information ; parfois un troisième intervient encore. Il faut alors comprendre comment plusieurs tests successifs mettent progressivement à jour le risque, et pourquoi les traiter comme indépendants lorsqu’ils ne le sont pas peut produire une confiance excessive.
Pour aller plus loin
- Altman, D. G., & Bland, J. M. (1994). « Diagnostic tests 2: predictive values ». *BMJ*, 309, 102. DOI : 10.1136/bmj.309.6947.102. Présentation classique du lien entre prévalence et valeurs prédictives, notamment lorsque la condition recherchée est rare.
- Streiner, D. L. (2003). « Diagnosing tests: using and misusing diagnostic and screening tests ». *Journal of Personality Assessment*, 81(3), 209–219. DOI : 10.1207/S15327752JPA8103_03. Discussion des effets du taux de base sur les faux positifs et l’interprétation des tests diagnostiques et de dépistage.
- Hoffrage, U., & Gigerenzer, G. (1998). « Using natural frequencies to improve diagnostic inferences ». *Academic Medicine*, 73(5), 538–540. DOI : 10.1097/00001888-199805000-00024. Présentation de l’intérêt des fréquences naturelles pour comprendre les inférences diagnostiques.
- Usher-Smith, J. A., Sharp, S. J., & Griffin, S. J. (2016). « The spectrum effect in tests for risk prediction, screening, and diagnosis ». *BMJ*, 353, i3139. Analyse des raisons pour lesquelles les performances des tests peuvent varier selon les populations et les contextes d’utilisation.