Le théorème de Bayes — mettre à jour une croyance

Nous disposons maintenant des éléments nécessaires pour comprendre le théorème de Bayes. Une hypothèse possède une certaine plausibilité avant l’arrivée d’une information. Une observation nouvelle apparaît. Cette observation peut être plus ou moins attendue selon que l’hypothèse est vraie ou fausse. Le problème consiste alors à déterminer à quel point notre croyance doit changer.

Le théorème de Bayes formalise précisément cette opération. Sa formule peut sembler abstraite lorsqu’on la découvre isolément, mais l’idée qu’elle exprime est simple : partir de ce que nous avions de bonnes raisons de croire, mesurer ce que la nouvelle information apporte réellement, puis réviser notre degré de confiance en conséquence.

Du prior au posterior

Appelons H l’hypothèse qui nous intéresse et E une nouvelle information, pour *evidence*. Avant de connaître E, nous attribuons à H une certaine probabilité :

P(H).

C’est la probabilité a priori, souvent appelée *prior*. Elle représente notre état de connaissance avant la nouvelle observation.

Nous apprenons ensuite E. Nous voulons maintenant connaître :

P(H|E),

c’est-à-dire la probabilité de H sachant que E a été observé. Cette nouvelle probabilité est appelée probabilité a posteriori, ou *posterior*.

Le théorème de Bayes relie les deux :

P(H|E) = [P(E|H) × P(H)] / P(E).

Cette formule est une conséquence des règles ordinaires de la probabilité conditionnelle ; elle ne constitue pas une hypothèse empirique sur le fonctionnement du monde.

Lire la formule avant de la calculer

Chaque terme répond à une question précise.

P(H) est le prior : à quel point H était-elle plausible avant E ?

P(E|H) demande : à quel point l’observation E était-elle attendue si H était vraie ?

P(E) représente la probabilité globale d’observer E, toutes les possibilités pertinentes étant prises en compte.

Enfin, P(H|E) est le posterior : à quel point H devient-elle plausible après l’observation de E ?

Nous pouvons donc lire la formule comme une règle de transformation :

croyance initiale + information nouvelle → croyance révisée.

Mais cette présentation cache encore un élément essentiel. Pour savoir si E soutient réellement H, il faut également regarder à quel point E aurait été probable si H était fausse ou si une hypothèse concurrente était vraie.

Un exemple sans mystère

Prenons une situation fictive afin d’isoler la logique. Une hypothèse H est initialement vraie dans environ 10 % des situations comparables. Nous disposons donc d’un prior :

P(H) = 10 %.

Un indice E apparaît. Nous savons que cet indice est présent dans 80 % des cas où H est vraie, mais également dans 20 % des cas où H est fausse.

L’indice favorise donc H : il est quatre fois plus fréquent lorsque H est vraie que lorsqu’elle est fausse. Mais cela suffit-il à rendre H probable ?

Imaginons 1 000 situations :

H vraieH fausse
Situations initiales100900
E observé80180
E absent20720

Parmi les 1 000 situations, l’indice E apparaît 260 fois : 80 fois lorsque H est vraie et 180 fois lorsqu’elle est fausse.

Si nous savons uniquement que E a été observé, nous devons donc regarder ces 260 situations. H est vraie dans 80 d’entre elles :

P(H|E) = 80 / 260 ≈ 31 %.

L’indice a fortement augmenté notre confiance : nous sommes passés de 10 % à environ 31 %. Mais H reste loin d’être certaine.

C’est exactement le type de raisonnement que Bayes formalise.

Une preuve peut être forte sans rendre l’hypothèse probable

Cet exemple révèle une distinction fondamentale. E constituait bien une preuve en faveur de H : l’observation était nettement plus attendue lorsque H était vraie que lorsqu’elle était fausse. Pourtant, après l’observation, H n’atteint qu’environ 31 %.

Pourquoi ? Parce qu’elle partait d’un prior faible.

Avant de regarder E, il existait neuf fois plus de situations dans lesquelles H était fausse que de situations dans lesquelles elle était vraie. Même si E sélectionne davantage les cas où H est vraie, il reste encore beaucoup de cas où H est fausse.

Nous retrouvons ainsi une idée rencontrée avec les tests médicaux : la qualité d’un indice et la probabilité finale d’une hypothèse sont deux choses différentes. Un indice peut favoriser fortement une hypothèse sans suffire à compenser une très faible plausibilité initiale.

Inversement, une preuve relativement modeste peut laisser une hypothèse très probable lorsqu’elle était déjà solidement soutenue auparavant.

La même preuve, un autre prior

Conservons exactement le même indice : E apparaît dans 80 % des cas où H est vraie et dans 20 % des cas où H est fausse. Mais supposons maintenant qu’avant d’observer E nous considérions H et non-H comme également plausibles :

P(H) = 50 %.

Sur 1 000 situations, nous aurions 500 cas H et 500 cas non-H. E apparaîtrait dans 400 cas H et dans 100 cas non-H. Parmi les 500 situations où E est observé, 400 correspondraient donc à H :

P(H|E) = 80 %.

La même information fait ainsi passer :

10 % → environ 31 %

dans le premier cas, mais :

50 % → 80 %

dans le second.

La preuve n’a pas changé. Ce qui a changé est le point de départ.

Cette propriété est parfois mal comprise comme si Bayes autorisait nos préjugés à déterminer la conclusion. Le prior n’est pourtant pas nécessairement un préjugé : il peut représenter des connaissances accumulées avant l’observation actuelle. L’erreur consisterait plutôt à choisir arbitrairement un prior avantageant la conclusion désirée, ou à refuser de le réviser lorsque les données deviennent suffisamment fortes.

D’où vient le dénominateur ?

Le terme P(E), situé au dénominateur de la formule, peut sembler le plus mystérieux. Il correspond simplement à la probabilité totale d’observer E.

Si nous ne considérons que deux possibilités, H et non-H, alors E peut apparaître de deux manières : lorsque H est vraie ou lorsque H est fausse. Nous pouvons donc écrire :

P(E) = P(E|H) × P(H) + P(E|¬H) × P(¬H).

Dans notre premier exemple :

P(E) = (0,8 × 0,1) + (0,2 × 0,9) = 0,26.

Puis :

P(H|E) = (0,8 × 0,1) / 0,26 ≈ 0,31.

Le dénominateur joue donc un rôle de normalisation : il compare les situations dans lesquelles l’observation E peut effectivement apparaître.

Sous cette forme développée, la formule rend visible quelque chose d’essentiel :

P(H|E) = [P(E|H)P(H)] / [P(E|H)P(H) + P(E|¬H)P(¬H)].

Nous ne demandons plus seulement si E est compatible avec H. Nous regardons comment E se comporte sous les différentes possibilités envisagées.

Bayes compare implicitement des explications

Cette manière d’écrire le théorème montre pourquoi une observation n’a jamais de force probante uniquement parce qu’elle correspond bien à notre hypothèse.

Imaginons que H prédise presque certainement E :

P(E|H) = 99 %.

Cela semble impressionnant. Mais si l’hypothèse concurrente prédit elle aussi E avec une probabilité de 98 %, l’observation distingue à peine les deux.

À l’inverse, une observation seulement modérément probable sous H peut être extrêmement informative si elle était presque impossible sous les autres hypothèses.

C’est pourquoi il faut résister à un réflexe très courant : rechercher uniquement ce que notre hypothèse « explique ». Une théorie capable d’expliquer presque tout après coup n’est pas nécessairement bien confirmée. Il faut se demander ce que les hypothèses concurrentes auraient elles aussi permis d’observer.

Nous consacrerons plusieurs fiches à cette idée avec les notions de vraisemblance, de rapport de vraisemblance et de preuve discriminante. Bayes fournit déjà la structure générale : une information prend son sens relativement aux possibilités auxquelles nous la comparons.

Pourquoi Bayes n’est pas une machine à confirmer ce que nous pensions déjà

On pourrait craindre que le prior permette toujours de conserver sa croyance initiale. Il suffirait, semble-t-il, d’attribuer une probabilité énorme à son opinion préférée pour que les preuves adverses ne puissent jamais la renverser.

C’est possible si le prior est rendu artificiellement extrême et soustrait à toute critique. Mais ce n’est plus une pratique rationnelle du bayésianisme. Un prior doit lui-même pouvoir être justifié, discuté et soumis à l’information disponible.

Supposons que nous accordions initialement 99,9 % de confiance à une hypothèse. Une petite donnée contradictoire ne devrait effectivement pas nécessairement la renverser : une croyance soutenue par une immense accumulation de preuves ne doit pas disparaître à la première anomalie. Mais si des observations fortement incompatibles avec l’hypothèse s’accumulent, le posterior doit progressivement diminuer.

Le raisonnement bayésien ne dit donc ni « changez toujours d’avis », ni « restez fidèle à vos croyances antérieures ». Il demande quelque chose de plus exigeant : que l’ampleur du changement soit proportionnée à la force de l’information nouvelle.

Le théorème ne choisit pas les nombres à notre place

Bayes indique ce qu’il faut faire si nous disposons des probabilités nécessaires. Il ne nous dit pas automatiquement comment obtenir de bonnes valeurs pour P(H), P(E|H) ou les probabilités correspondant aux hypothèses concurrentes.

Dans certains problèmes, ces nombres peuvent être solidement estimés. Un test diagnostique évalué sur de grandes populations peut fournir des informations empiriques sur sa sensibilité et son taux de faux positifs. Des données industrielles peuvent permettre d’estimer la fréquence de certains défauts. Des expériences répétées peuvent contraindre fortement les probabilités utilisées.

Dans d’autres situations, les estimations seront beaucoup plus fragiles. Attribuer arbitrairement « 17 % » à une théorie historique ou « 63 % » à l’honnêteté d’un témoin ne devient pas scientifique simplement parce que ces nombres sont ensuite insérés dans la formule de Bayes.

Le théorème est exact relativement aux probabilités et au modèle qu’on lui fournit. La qualité de l’inférence dépend encore de la qualité des données, des hypothèses retenues et des choix de modélisation.

Le problème des hypothèses oubliées

Supposons que nous comparions H1 et H2. Toutes les probabilités sont correctement calculées et, après l’observation E, H1 reçoit 90 % de probabilité contre 10 % pour H2.

Cette conclusion peut être parfaitement correcte dans le modèle H1 contre H2.

Mais imaginons qu’une troisième hypothèse H3, jamais envisagée, explique E beaucoup mieux que les deux autres. Le théorème de Bayes ne peut pas attribuer de probabilité à une hypothèse que nous avons exclue du problème.

C’est une limite capitale. Une analyse peut être mathématiquement irréprochable tout en répondant parfaitement à une mauvaise représentation du problème.

Bayes permet de redistribuer rationnellement la confiance parmi les possibilités envisagées ; il ne garantit pas que nous avons imaginé toutes les possibilités pertinentes. Cette limite reviendra lorsque nous étudierons les modèles scientifiques et le « modèle oublié ».

Une identité mathématique et une norme de raisonnement ne sont pas la même chose

Il faut enfin distinguer deux affirmations.

La première est mathématique : le théorème de Bayes découle des règles des probabilités conditionnelles. Sous les conditions appropriées, cette identité n’est pas controversée.

La seconde est épistémologique : nos degrés de croyance devraient-ils être représentés par des probabilités et mis à jour par conditionnement lorsque nous recevons une nouvelle information ? C’est l’une des idées centrales de l’épistémologie bayésienne, mais elle relève d’une théorie normative de la croyance rationnelle et soulève des débats philosophiques supplémentaires.

Il ne faut donc pas raisonner ainsi : « le théorème de Bayes est mathématiquement vrai, donc toute philosophie bayésienne de la connaissance est démontrée ». La première proposition ne suffit pas à établir automatiquement la seconde.

De même, le fait qu’un modèle psychologique reproduise certains comportements avec une structure bayésienne ne prouve pas que notre cerveau effectue consciemment les calculs du théorème.

Ces niveaux doivent rester séparés : mathématiques, statistiques, épistémologie et psychologie ne posent pas exactement la même question.

Bayes comme discipline du changement d’avis

Pour l’autonomie intellectuelle, la contribution la plus précieuse de Bayes tient peut-être moins à la formule elle-même qu’à la structure mentale qu’elle impose.

Avant une information, il existe un état de connaissance. Après l’information, notre croyance devrait éventuellement changer. Mais elle ne doit changer ni parce que l’information nous plaît, ni simplement parce qu’elle est spectaculaire. Nous devons examiner à quel point elle était attendue sous notre hypothèse et à quel point elle l’était également sous les hypothèses concurrentes.

Cette manière de raisonner transforme la question « cette information confirme-t-elle mon opinion ? » en plusieurs questions plus exigeantes : quelle était ma confiance auparavant ? Qu’aurais-je attendu si mon hypothèse était vraie ? Qu’aurais-je attendu si elle était fausse ? La nouvelle information distingue-t-elle réellement ces possibilités ? Quelle modification de confiance est alors justifiée ?

Nous pouvons effectuer ce raisonnement avec une formule lorsque les données le permettent, avec des fréquences concrètes lorsque cela rend le problème plus intuitif, ou qualitativement lorsque les nombres seraient artificiels.

Bayes ne nous demande donc pas de devenir des calculateurs permanents. Il fournit une règle plus générale : une croyance rationnelle doit avoir une histoire. Elle possède un point de départ, rencontre des preuves et doit pouvoir montrer comment ces preuves ont modifié son degré de confiance.

Thomas Bayes a donné son nom au théorème à partir d’un essai publié à titre posthume en 1763, avant que Laplace n’en développe considérablement les usages. Deux siècles et demi plus tard, l’idée conserve une force remarquable : apprendre n’est pas simplement accumuler des informations, c’est modifier correctement ce que nous croyons à mesure que les informations changent.

Pour aller plus loin

  • Bayes, T. (1763). « An Essay towards Solving a Problem in the Doctrine of Chances ». *Philosophical Transactions of the Royal Society*, 53, 370–418. DOI : 10.1098/rstl.1763.0053. Texte historique à l’origine du théorème portant aujourd’hui son nom.
  • Hájek, A. & al. « Bayesian Epistemology », *Stanford Encyclopedia of Philosophy*. Présentation accessible des degrés de croyance, de la conditionnalisation et du rôle du théorème de Bayes en épistémologie.
  • Joyce, J. M. « Bayes’ Theorem », *Stanford Encyclopedia of Philosophy*. Présentation philosophique du théorème et de son rôle dans les conceptions bayésiennes de la preuve.
  • Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). *Bayesian Data Analysis*, 3e éd. Chapman & Hall/CRC. Ouvrage de référence pour les méthodes statistiques bayésiennes contemporaines.
5 sur 35Retour à la catégorie