Le prior est-il subjectif ? — une vieille objection au bayésianisme

Le raisonnement bayésien semble offrir une règle particulièrement rationnelle : partir de ce que nous croyions avant une nouvelle information, mesurer la force de cette information, puis mettre à jour notre croyance. Mais une objection apparaît immédiatement : d’où vient le prior ?

Si deux personnes peuvent choisir des probabilités initiales différentes, ne risquent-elles pas d’obtenir des conclusions différentes avec les mêmes données ? Et si le prior dépend finalement du jugement de l’analyste, le bayésianisme n’introduit-il pas la subjectivité précisément là où la science cherche à l’éliminer ?

Cette objection est ancienne et sérieuse. Elle a donné naissance à plusieurs traditions à l’intérieur même du bayésianisme. Certains bayésiens assument une conception largement subjective des priors ; d’autres cherchent à les contraindre davantage par des principes d’objectivité, d’indifférence, d’invariance ou d’information minimale. La philosophie bayésienne contemporaine présente explicitement ce « problème des priors » comme l’un de ses débats fondamentaux.

Mais avant de demander si un prior est subjectif, il faut préciser ce que ce mot signifie. Subjectif ne veut pas nécessairement dire arbitraire, irrationnel ou choisi selon son humeur.

Le prior représente ce qui est connu avant les nouvelles données

Supposons que nous cherchions à savoir si une pièce est truquée. Nous possédons déjà certaines informations : elle provient d’un fabricant industriel réputé, elle paraît symétrique et aucune manipulation n’a été détectée.

Une autre pièce a été trouvée dans le matériel d’un illusionniste et présente une répartition inhabituelle de sa masse.

Avant même de lancer les pièces, il serait étrange d’exiger exactement le même état de croyance dans les deux situations.

Le prior sert précisément à représenter l’information disponible avant les nouvelles observations utilisées dans l’analyse.

Cette information peut provenir d’études antérieures, de connaissances physiques, de données historiques, d’un mécanisme causal connu, de mesures précédentes ou d’une expertise documentée. Dans ce cas, le prior n’est pas davantage une « opinion personnelle » que les autres hypothèses utilisées dans le modèle.

Il représente simplement le fait que nous ne commençons presque jamais à réfléchir à partir de zéro.

Deux personnes peuvent rationnellement avoir des priors différents

Imaginons deux médecins évaluant une maladie rare. Le premier connaît seulement les symptômes généraux du patient. Le second sait en plus qu’un membre proche de sa famille possède une mutation augmentant fortement le risque.

Il serait normal que leurs probabilités pré-test soient différentes.

Les deux ne sont pas nécessairement en désaccord sur la logique. Ils disposent de corpus d’informations différents.

La même situation existe en science. Une nouvelle observation peut être interprétée par deux chercheurs possédant des connaissances antérieures différentes sur la plausibilité des mécanismes envisagés.

Le simple fait que les priors diffèrent ne montre donc pas qu’au moins l’un d’eux raisonne mal.

L’idéal d’objectivité ne peut pas consister à exiger de personnes possédant des informations différentes qu’elles feignent artificiellement la même ignorance.

Le bayésianisme subjectif assume une pluralité de priors

Dans sa forme la plus radicale, le bayésianisme subjectif considère que la rationalité impose surtout des contraintes de cohérence aux degrés de croyance.

Les probabilités doivent respecter les règles du calcul probabiliste, mais plusieurs distributions initiales peuvent être rationnellement admissibles.

Des auteurs comme Bruno de Finetti ont défendu des conceptions particulièrement subjectivistes, tandis que d’autres bayésiens subjectifs ont accepté davantage de contraintes. La *Stanford Encyclopedia of Philosophy* souligne que cette famille d’approches permet une gamme très large de priors, ce qui constitue à la fois sa souplesse et l’une des principales objections qui lui sont adressées.

Le raisonnement est en substance :

les données nous indiquent comment réviser nos croyances, mais elles ne déterminent pas à elles seules tout ce que nous devions croire avant de les observer.

Cette position refuse donc l’idée qu’une unique distribution initiale rationnelle puisse toujours être déduite de la seule logique.

Cohérent ne signifie pourtant pas bien informé

La cohérence probabiliste reste une contrainte assez faible.

Une personne pourrait attribuer une probabilité très élevée à une théorie extravagante tout en conservant un système de croyances parfaitement cohérent mathématiquement.

Elle pourrait ensuite appliquer correctement Bayes.

Le calcul serait irréprochable, mais le point de départ resterait difficile à justifier.

C’est l’une des critiques principales adressées au subjectivisme bayésien : la cohérence seule semble autoriser trop de priors différents. La littérature philosophique souligne notamment qu’elle peut tolérer des distributions initiales conduisant à des comportements inductifs très différents, sans fournir à elle seule un critère suffisant pour les départager.

Bayes répond à la question :

« comment dois-je réviser cette distribution de croyances après l’arrivée de E ? »

Il ne répond pas automatiquement à :

« avais-je de bonnes raisons d’adopter cette distribution initiale ? »

Subjectif n’est pas arbitraire

Cette difficulté ne doit cependant pas être exagérée.

Dans de nombreuses situations, les priors sont fortement contraints par les connaissances disponibles.

Supposons que des milliers d’expériences antérieures aient mesuré une quantité physique autour d’une certaine valeur. Une nouvelle expérience n’a aucune raison rationnelle de commencer avec un prior répartissant autant de probabilité sur toutes les valeurs imaginables.

Le prior peut incorporer une connaissance publique, vérifiable et critiquable.

Même lorsqu’un jugement d’expert intervient, il peut être interrogé : sur quelles données repose-t-il ? Quelle incertitude lui attribue-t-on ? Le résultat change-t-il avec un autre prior raisonnable ?

Le caractère partiellement subjectif d’une estimation ne signifie donc pas qu’elle échappe à la discussion rationnelle.

Nous pouvons distinguer :

un jugement explicite et justifié

d’

une préférence arbitraire choisie pour obtenir le résultat désiré.

Les deux impliquent un sujet humain ; ils n’ont pas du tout la même valeur épistémique.

Nous utilisons déjà des connaissances antérieures sans les appeler « priors »

Cette objection au bayésianisme possède d’ailleurs une dimension paradoxale.

Dans presque tous les raisonnements scientifiques, nous utilisons déjà des connaissances antérieures.

Un biologiste ne considère pas avec la même plausibilité une hypothèse compatible avec la biologie moléculaire connue et une autre exigeant l’apparition spontanée d’un mécanisme jamais observé. Un physicien n’accorde pas automatiquement 50 % de probabilité à une nouvelle théorie contredisant une masse gigantesque d’expériences antérieures.

Même une analyse fréquentiste ne se déroule pas sans connaissances préalables. Elles interviennent dans le choix des hypothèses, des variables, du modèle, de la taille d’effet jugée pertinente, du plan expérimental et de l’interprétation finale.

La particularité bayésienne est en partie de formaliser explicitement une partie de cette information préalable.

Cela peut rendre les choix plus visibles plutôt que plus subjectifs.

Le danger du prior choisi après avoir vu les données

Cette visibilité impose toutefois une discipline.

Supposons qu’un chercheur essaie plusieurs priors après avoir observé les résultats, puis conserve celui qui produit la conclusion qu’il préfère.

Le prior ne joue alors plus réellement le rôle de connaissance antérieure. Il devient un paramètre d’ajustement opportuniste.

Le problème ressemble à celui d’une analyse statistique modifiée après coup pour obtenir un résultat intéressant.

Une bonne pratique consiste donc à justifier le prior indépendamment autant que possible : connaissances précédentes, littérature, contraintes physiques, données historiques distinctes ou critères méthodologiques explicites.

Lorsqu’une incertitude légitime existe, il est souvent préférable de montrer plusieurs priors raisonnables et d’effectuer une analyse de sensibilité.

La question n’est pas de faire disparaître tout jugement humain, mais de rendre ses conséquences examinables.

« Ne mettons aucun prior » n’est pas une solution simple

Face au problème, une réaction naturelle consiste à demander une analyse sans prior.

Mais dans une analyse bayésienne, le posterior est précisément construit à partir d’un prior et d’une vraisemblance.

Nous pouvons essayer d’utiliser un prior aussi peu informatif que possible, mais nous avons déjà vu qu’il n’existe pas nécessairement de représentation universelle de « l’ignorance totale ».

Un prior uniforme sur un paramètre θ peut devenir non uniforme après une simple transformation de ce paramètre.

Si :

φ = θ²,

être uniforme sur θ ne signifie généralement pas être uniforme sur φ.

Quelle paramétrisation devrait alors représenter la véritable ignorance ?

Le problème montre que « ne rien supposer » n’est pas une opération mathématique aussi simple qu’elle en a l’air.

C’est précisément l’une des motivations historiques des méthodes bayésiennes dites objectives.

Le bayésianisme objectif cherche à contraindre les priors

Les bayésiens objectifs considèrent que la cohérence ne suffit pas et cherchent à ajouter des principes permettant de limiter les priors acceptables.

Historiquement, différentes stratégies ont été proposées : principe d’indifférence, invariance, priors de Jeffreys, maximum d’entropie ou encore priors de référence.

Le but n’est généralement pas de prétendre qu’aucune hypothèse n’intervient. Il s’agit plutôt de construire une analyse dans laquelle l’inférence dépend aussi peu que raisonnablement possible de jugements personnels non partagés.

La *Stanford Encyclopedia of Philosophy* oppose explicitement cette famille de conceptions aux approches subjectives : les bayésiens objectifs cherchent à imposer des contraintes supplémentaires destinées notamment à limiter les biais initiaux.

En statistique, James Berger a défendu l’importance pratique de méthodes bayésiennes objectives, tout en avertissant que leur construction formelle doit être prise au sérieux et qu’un prior simplement qualifié de « vague » ne devient pas automatiquement objectif.

Les priors de référence ne font pas disparaître le modèle

Les priors de référence, développés notamment par José Bernardo, James Berger et leurs collaborateurs, cherchent à laisser les données jouer un rôle maximal relativement à une quantité d’intérêt donnée.

L’analyse de référence fournit ainsi une manière formelle de construire certains priors « objectifs » à partir du modèle statistique et du problème d’inférence. Berger, Bernardo et Sun ont développé une définition formelle de ces priors en termes d’information manquante.

Mais cette objectivité est toujours relative à un cadre.

Il faut déjà avoir choisi :

le modèle, les paramètres, la quantité d’intérêt et la structure probabiliste du problème.

Dans les modèles à plusieurs paramètres, un prior de référence peut même dépendre de la quantité précise sur laquelle porte l’inférence. Les travaux de Berger, Bernardo et Sun soulignent explicitement cette difficulté.

Un prior objectif ne signifie donc pas :

« aucune décision humaine n’a été prise ».

Il signifie plutôt :

« une fois certaines hypothèses explicites fixées, une règle formelle limite davantage la liberté de choisir le prior ».

L’objectivité est souvent une question de degré

Cette discussion permet de dépasser une opposition trop simple :

objectif = aucune intervention humaine

contre

subjectif = opinion personnelle.

Une analyse peut être plus ou moins dépendante de jugements contestables.

Un prior fondé sur une décennie de données reproductibles possède une base intersubjective beaucoup plus forte qu’une intuition privée.

Un prior construit par une procédure formelle de référence laisse moins de liberté à l’analyste qu’un prior choisi librement.

Un prior d’expert clairement documenté reste davantage dépendant d’un jugement, mais celui-ci peut être soumis à critique et à analyse de sensibilité.

L’objectivité scientifique peut donc être comprise non comme l’absence totale de choix, mais comme la possibilité de rendre ces choix explicites, justifiables, reproductibles et contestables.

Sous cette conception, un prior n’est pas automatiquement incompatible avec l’objectivité.

Les données peuvent réduire les désaccords initiaux

Une défense classique du bayésianisme subjectif consiste à souligner que des agents partant de priors différents peuvent voir leurs croyances se rapprocher à mesure qu’ils accumulent les mêmes données suffisamment informatives.

L’idée est intuitive.

Supposons que l’un pense initialement qu’une pièce possède probablement p proche de 0,4 et l’autre p proche de 0,6. Après seulement quatre lancers, leurs priors peuvent encore influencer fortement leurs conclusions.

Après dix mille lancers donnant environ 51 % de piles, les données devraient généralement exercer une influence bien plus importante.

La littérature bayésienne parle notamment de convergence ou de *merging of opinions* dans certaines conditions. La *Stanford Encyclopedia of Philosophy* présente précisément cette convergence sous l’accumulation d’un corpus commun de preuves comme l’une des réponses subjectivistes au problème de l’objectivité.

Mais cette convergence n’est pas une garantie universelle.

Un prior dogmatique peut empêcher l’apprentissage

Supposons qu’une personne attribue exactement :

P(H) = 0.

Bayes donne alors, pour toute preuve ordinaire E :

P(H|E) = 0.

Aucune quantité de données ne pourra ressusciter H.

De même, un prior égal exactement à 1 peut rendre une croyance totalement immunisée contre la réfutation dans certaines formulations.

C’est pourquoi les probabilités 0 et 1 doivent être utilisées avec une grande prudence pour des hypothèses empiriques incertaines.

Un prior extrêmement proche de zéro peut lui aussi exiger une quantité gigantesque de preuves avant de changer substantiellement.

La maxime selon laquelle « les données finiront toujours par vaincre le prior » est donc trop forte. Cela dépend du prior, du modèle et de la quantité d’information contenue dans les observations.

L’ouverture à la révision constitue une propriété épistémique qui doit elle-même être préservée.

Avec peu de données, le prior compte davantage

La question devient particulièrement importante lorsque les observations sont rares.

Supposons que nous cherchions à estimer le taux d’un événement extrêmement peu fréquent après seulement trois observations pertinentes. La vraisemblance ne contient pas suffisamment d’information pour déterminer précisément le paramètre.

Le posterior peut alors dépendre fortement du prior.

Ce n’est pas nécessairement un défaut de la méthode. C’est aussi un diagnostic honnête de la faiblesse des données.

Lorsqu’une conclusion change radicalement entre plusieurs priors raisonnables, cela nous apprend quelque chose d’important : les observations disponibles ne suffisent pas à imposer une conclusion robuste.

L’analyse de sensibilité devient ici presque aussi informative que l’estimation principale.

À l’inverse, masquer cette incertitude derrière une valeur unique pourrait donner une impression de certitude que les données ne justifient pas.

Avec beaucoup de données, l’influence du prior peut devenir faible — mais pas toujours

Dans de nombreux modèles réguliers, lorsque l’échantillon devient très informatif et que le prior attribue une probabilité raisonnable à la région soutenue par les données, la vraisemblance finit par dominer largement le posterior.

Plusieurs priors différents peuvent alors conduire à des conclusions pratiquement identiques.

C’est l’une des raisons pour lesquelles les analyses bayésiennes et fréquentistes convergent parfois numériquement avec de grands échantillons.

Mais il faut éviter le slogan :

« le prior ne compte que lorsqu’il y a peu de données ».

Dans les modèles complexes, mal identifiés ou très dimensionnels, son influence peut rester substantielle. Et dans les facteurs de Bayes, nous avons vu qu’un prior diffus sur les paramètres d’un modèle peut continuer à jouer un rôle déterminant dans la comparaison.

La sensibilité au prior est donc une question empirique et mathématique à examiner, pas une conclusion à supposer.

La subjectivité existe aussi dans la vraisemblance

Le débat sur les priors risque enfin de concentrer toute notre attention au mauvais endroit.

Supposons que deux analystes utilisent exactement le même prior mais des modèles de vraisemblance différents.

L’un suppose des erreurs normales indépendantes. L’autre considère qu’il existe des valeurs extrêmes et utilise une distribution à queues plus épaisses.

Leurs posteriors peuvent diverger fortement.

Le choix du modèle d’observation est pourtant lui aussi un choix scientifique.

Pourquoi les données devraient-elles suivre cette distribution ? Les mesures sont-elles indépendantes ? Les observations manquantes sont-elles ignorables ? Les individus appartiennent-ils réellement à une même population ?

Ces décisions peuvent avoir davantage d’influence que le prior lui-même.

Faire du prior l’unique source de subjectivité dans une analyse bayésienne donne donc une image très incomplète de la modélisation.

Toutes les statistiques contiennent des choix

Le fréquentisme n’échappe pas davantage aux décisions humaines.

Il faut choisir :

les variables mesurées, la population, le modèle, les transformations, la statistique de test, le seuil éventuel, les covariables, les interactions, le traitement des données manquantes et la manière d’arrêter l’expérience.

Ces choix ne constituent pas forcément des « priors », mais ils peuvent influer profondément sur le résultat.

La différence est que le bayésianisme rend une catégorie particulière de connaissance antérieure explicitement probabiliste.

L’enjeu pertinent n’est donc pas de trouver une méthode miraculeuse sans aucun jugement humain. Il est de savoir quels jugements sont nécessaires, comment ils sont justifiés et à quel point les conclusions en dépendent.

La meilleure défense du prior est la transparence

Dans une analyse appliquée, plusieurs pratiques permettent de transformer le prior d’objet suspect en élément contrôlable du raisonnement.

Il faut expliquer d’où il vient, montrer sa distribution, vérifier ce qu’il implique avant de voir les données et comparer éventuellement plusieurs choix plausibles.

Les vérifications prédictives du prior peuvent être particulièrement instructives : si le prior implique régulièrement des valeurs manifestement absurdes dans le domaine étudié, il mérite probablement d’être révisé.

Une analyse de sensibilité peut ensuite montrer si les conclusions dépendent fortement ou faiblement de ces choix.

Le but n’est pas d’obtenir un prior que personne ne pourra jamais contester. Il est de permettre au lecteur de comprendre :

« voici ce que nous supposions, voici pourquoi, et voici ce qui changerait si cette hypothèse était différente ».

C’est une forme d’objectivité par la critique.

Le vrai problème n’est pas qu’un prior existe

L’objection « le prior est subjectif » identifie donc une difficulté réelle, mais elle devient trompeuse lorsqu’elle suppose implicitement qu’il existerait une alternative totalement dépourvue de présuppositions.

Le prior peut être :

très arbitraire ou très fortement documenté ; très informatif ou très faible ; personnel ou construit par une règle formelle ; robuste ou décisif pour la conclusion.

Mettre toutes ces situations dans la même catégorie « subjective » fait perdre l’essentiel.

La question pertinente n’est pas :

« y a-t-il un prior ? »

mais :

« quelles informations et quels choix ce prior représente-t-il, sont-ils justifiables, et la conclusion reste-t-elle stable sous d’autres choix raisonnables ? »

Cette question appartient pleinement à l’autonomie intellectuelle : elle remplace la quête impossible d’un point de vue sans aucune hypothèse par une exigence plus réaliste de transparence, justification et révisabilité.

Mais même un prior parfaitement justifié et une mise à jour mathématiquement impeccable peuvent conduire à une conclusion trompeuse si le modèle lui-même représente mal la réalité. C’est l’une des limites les plus importantes de toute inférence probabiliste : Bayes peut répondre parfaitement à la question que nous lui avons donnée alors que cette question était mal construite.

Pour aller plus loin

  • Pettigrew, R. « Bayesian Epistemology », *Stanford Encyclopedia of Philosophy*. Présentation détaillée du problème des priors, du bayésianisme subjectif, du bayésianisme objectif et des différentes tentatives de contraindre rationnellement les degrés de croyance initiaux.
  • Berger, J. O. (2006). « The Case for Objective Bayesian Analysis ». *Bayesian Analysis*, 1(3), 385–402. Défense des méthodes bayésiennes objectives et discussion de leurs motivations, de leurs limites et de la construction formelle de priors de référence.
  • Berger, J. O., Bernardo, J. M., & Sun, D. (2009). « The formal definition of reference priors ». *The Annals of Statistics*, 37(2), 905–938. DOI : 10.1214/07-AOS587. Formalisation des priors de référence destinés à produire une analyse bayésienne faiblement dépendante d’informations subjectives.
  • Berger, J. O., Bernardo, J. M., & Sun, D. (2015). « Overall Objective Priors ». *Bayesian Analysis*, 10(1), 189–221. DOI : 10.1214/14-BA915. Discussion des difficultés posées par les priors objectifs dans les modèles à plusieurs paramètres et de leur dépendance possible à la quantité d’intérêt.
28 sur 35Retour à la catégorie