Priors informatifs, faibles et de référence — d’où viennent les probabilités initiales ?
Dire qu’une analyse bayésienne commence avec un prior soulève immédiatement une question embarrassante : d’où vient-il ? Si le prior représente ce que nous savons avant d’observer les nouvelles données, comment transformer cette connaissance préalable en une distribution de probabilité ? Et que faire lorsque nous ne savons presque rien ?
Il n’existe pas une réponse unique. En statistique bayésienne, plusieurs familles de priors sont utilisées selon le problème : priors informatifs, faiblement informatifs, priors construits par des règles formelles comme le prior de Jeffreys, ou encore priors de référence. Ces catégories ne correspondent pas simplement à différents degrés de « subjectivité ». Elles répondent à des objectifs différents : incorporer des connaissances antérieures, éviter des valeurs absurdes, stabiliser une estimation ou chercher une procédure dont le résultat dépend autant que possible des données observées.
Comprendre ces différences permet surtout d’éviter une caricature fréquente : l’idée qu’un bayésien choisirait librement « le nombre qu’il préfère » avant de lancer son calcul.
En statistique, le prior est souvent une distribution
Dans les exemples précédents, nous avons souvent parlé d’un prior comme d’une probabilité attribuée à une hypothèse : 1 %, 20 % ou 70 %. En statistique bayésienne, la situation est souvent un peu différente.
Supposons que nous voulions estimer l’efficacité d’un traitement. Le paramètre qui nous intéresse n’est pas seulement « le traitement fonctionne » ou « il ne fonctionne pas », mais l’ampleur possible de son effet. Avant l’étude, différentes valeurs peuvent être plus ou moins plausibles.
Le prior prend alors la forme d’une distribution :
P(θ),
où θ représente le paramètre inconnu.
Une distribution prior étroite autour de zéro signifie que nous considérons avant l’étude les effets très importants comme peu plausibles. Une distribution beaucoup plus large laisse davantage de place à des effets extrêmes.
Lorsque les données arrivent, cette distribution est combinée avec la vraisemblance pour produire la distribution a posteriori.
Le choix du prior influence donc non seulement notre point de départ, mais aussi la manière dont les différentes valeurs possibles du paramètre sont pondérées avant l’observation.
Un prior informatif : utiliser ce que l’on sait déjà
Un prior informatif incorpore une quantité substantielle de connaissances antérieures pertinentes.
Supposons qu’un nouveau médicament appartienne à une famille de traitements déjà étudiée dans plusieurs essais. Ces recherches antérieures peuvent fournir des informations sur l’ordre de grandeur habituel des effets, leur variabilité et certains risques. Il serait alors artificiel de faire comme si aucune connaissance n’existait avant le nouvel essai.
Un prior informatif peut également provenir de données historiques, d’expériences précédentes, de connaissances physiques solides ou, dans certains domaines, d’une élicitation structurée d’expertise.
L’intérêt est évident : lorsque les nouvelles données sont peu nombreuses ou bruitées, des connaissances antérieures solides peuvent améliorer l’estimation et empêcher des conclusions extravagantes produites par hasard.
Mais ce type de prior impose une exigence importante : l’information antérieure doit réellement être pertinente pour le problème actuel. Un essai réalisé sur une population très différente, avec un traitement légèrement différent ou dans des conditions anciennes ne peut pas être incorporé mécaniquement comme s’il décrivait exactement la nouvelle situation.
L’information préalable doit elle-même être évaluée.
Informer n’est pas recycler aveuglément
Supposons qu’un traitement ancien ait produit un effet moyen important dans plusieurs études, mais que ces études aient été petites et susceptibles de biais de publication. Construire un prior extrêmement concentré autour de cet effet reviendrait à importer les faiblesses de cette littérature dans la nouvelle analyse.
Le raisonnement bayésien ne transforme pas une ancienne information incertaine en connaissance certaine simplement parce qu’elle devient un prior.
Un prior informatif devrait donc représenter non seulement ce que les études précédentes suggèrent, mais également l’incertitude qui subsiste à leur sujet.
Cette distinction est fondamentale. Nous pouvons avoir une meilleure estimation préalable sans posséder une certitude élevée. Une distribution assez large peut justement représenter cette incertitude.
Le même principe vaut pour l’expertise humaine : l’avis d’un expert peut contenir une information importante, mais une bonne modélisation doit conserver une marge pour l’erreur, le désaccord et les limites de l’expertise.
Le prior faiblement informatif : empêcher surtout l’absurde
Entre un prior fortement informatif et une tentative de neutralité complète existe une solution devenue très importante dans la pratique contemporaine : le prior faiblement informatif.
Son objectif n’est pas d’imposer une connaissance précise du résultat attendu. Il introduit seulement suffisamment d’information pour décourager les valeurs manifestement invraisemblables ou pour stabiliser le modèle.
Andrew Gelman et ses collaborateurs ont notamment défendu cette approche. Dans un article de 2008 sur les régressions logistiques, ils proposent des priors par défaut suffisamment larges pour laisser les données jouer un rôle important, mais suffisamment contraignants pour éviter certains comportements extrêmes et problèmes d’estimation.
L’intuition peut être formulée simplement. Supposons que nous estimions la taille moyenne d’un effet dont nous savons seulement qu’une valeur cent fois supérieure à tout ce qui est observé dans le domaine serait extraordinairement improbable. Nous n’avons pas besoin de savoir précisément quelle valeur est correcte pour utiliser cette information. Nous pouvons simplement construire un prior qui laisse une grande variété de possibilités raisonnables tout en donnant très peu de poids aux valeurs absurdes.
Le prior faiblement informatif agit alors comme une forme de régularisation.
Une contrainte faible peut améliorer une estimation
Cette idée peut sembler paradoxale : ajouter une hypothèse pourrait-il rendre une analyse plus fiable ?
Dans certaines situations, oui. Les données finies contiennent du bruit. Un modèle extrêmement flexible peut interpréter une fluctuation accidentelle comme un effet gigantesque. Une contrainte préalable raisonnable peut réduire ce risque.
Imaginons que dix observations seulement soient disponibles et qu’elles produisent accidentellement une estimation très élevée. Un prior faiblement informatif ne dira pas : « l’effet doit être exactement zéro ». Il dira plutôt : « des effets modestes ou importants restent possibles, mais des valeurs gigantesques demanderaient des données particulièrement convaincantes ».
Si les données deviennent réellement très fortes, elles pourront dépasser cette contrainte. Si elles sont faibles, le modèle évitera de tirer une conclusion extrême à partir de peu d’information.
Cela rejoint un principe général de cette catégorie : une preuve faible ne devrait pas produire artificiellement une certitude forte.
Existe-t-il un prior « non informatif » ?
Une solution apparemment idéale consisterait à choisir un prior qui n’introduise aucune information. Les données parleraient alors entièrement d’elles-mêmes.
Cette idée est séduisante, mais elle rencontre rapidement une difficulté : ce qui paraît uniforme ou neutre dans une représentation peut cesser de l’être après un changement de paramétrisation.
Supposons par exemple qu’un paramètre positif θ reçoive une distribution uniforme. Si nous décidons ensuite de représenter le même problème avec son logarithme, log(θ) n’aura généralement plus une distribution uniforme.
La neutralité dépend donc de la manière dont le problème est exprimé.
Cette difficulté explique pourquoi l’expression prior non informatif doit être utilisée avec prudence. Il n’existe pas toujours une distribution qui corresponde simplement à « ne rien supposer du tout ». La philosophie contemporaine des statistiques souligne précisément que différentes tentatives de construire des priors objectifs reposent sur des principes supplémentaires et peuvent dépendre du modèle ou de la paramétrisation choisie.
Le prior de Jeffreys
Harold Jeffreys a proposé l’une des solutions les plus influentes à ce problème.
Le prior de Jeffreys est construit à partir de l’information de Fisher du modèle. Sans entrer dans le détail mathématique, son intérêt fondamental est qu’il possède une propriété d’invariance sous reparamétrisation : si nous décrivons le même problème avec un autre paramètre relié correctement au premier, la méthode ne change pas arbitrairement de contenu simplement parce que nous avons changé de coordonnées.
Cette propriété répond à une faiblesse importante du simple principe « utilisons une distribution uniforme ».
Le prior de Jeffreys a donc joué un rôle majeur dans ce qu’on appelle aujourd’hui le bayésianisme objectif. Jeffreys développe ces idées notamment dans *Theory of Probability*, tandis que son article de 1946 présente une forme invariante de probabilité a priori pour les problèmes d’estimation.
Mais « objectif » ne signifie pas ici « dépourvu de tout choix ». Le prior dépend encore du modèle statistique adopté. Si le modèle est mal choisi, une règle mathématiquement élégante appliquée à ce modèle ne corrige pas le problème.
Les priors de référence
José Bernardo a développé une autre famille importante : les priors de référence.
L’idée générale est de construire une procédure destinée à laisser les données apporter autant d’information que possible relativement à l’objectif d’inférence considéré. Dans son article fondateur de 1979, Bernardo propose des distributions de référence obtenues à partir de considérations informationnelles, afin d’approcher une analyse dans laquelle l’influence d’une information préalable vague serait aussi limitée que possible.
Cette approche ne fournit pas nécessairement un prior universel valable indépendamment de la question posée. Le prior de référence peut dépendre du paramètre qui nous intéresse et de la structure du modèle.
C’est un point important : même lorsque l’on cherche à réduire la subjectivité, le problème statistique doit toujours être défini.
Les données ne peuvent pas être interprétées sans modèle, et le modèle implique déjà certaines décisions sur ce qui est mesuré, quelles variables sont pertinentes et quelles relations probabilistes sont envisagées.
« Objectif » ne veut pas dire « sans hypothèses »
Cette distinction mérite d’être soulignée, car le vocabulaire peut induire en erreur.
Dans le bayésianisme dit subjectif, le prior peut représenter les degrés de croyance raisonnés d’un agent, soumis notamment aux règles de cohérence probabiliste. Dans les approches dites objectives, on cherche à déterminer ou fortement contraindre le prior à l’aide de principes formels : invariance, symétrie, information, entropie ou autres règles.
La *Stanford Encyclopedia of Philosophy* souligne que ces approches cherchent précisément à limiter l’influence des attitudes personnelles, mais qu’elles déplacent une partie des choix vers les principes utilisés, la paramétrisation ou la structure du modèle.
Il serait donc trompeur d’opposer :
prior subjectif = arbitraire
à
prior objectif = vérité mathématiquement imposée.
La situation réelle est plus subtile. Les différentes méthodes cherchent à gérer de manière différente un problème commun : comment représenter l’information disponible avant les données actuelles sans introduire plus de certitude que nous n’en possédons ?
Pourquoi un prior uniforme n’est pas toujours neutre
Le prior uniforme constitue un bon exemple de ce problème.
Supposons qu’un paramètre puisse prendre toutes les valeurs entre 0 et 100 et que nous lui attribuions la même densité partout. Cela paraît ne favoriser aucune valeur.
Mais peut-être que la quantité pertinente devrait être représentée sur une échelle logarithmique. Sur cette nouvelle échelle, le prior uniforme précédent favorisera certaines régions par rapport à d’autres.
Inversement, une distribution uniforme sur le logarithme du paramètre ne sera pas uniforme sur le paramètre lui-même.
La question « quel prior est neutre ? » ne possède donc pas toujours une réponse indépendante de la façon dont nous décrivons le problème.
Jeffreys cherchait précisément à contourner certains aspects de cette difficulté avec une construction invariante. Les priors de référence poursuivent un objectif apparenté par d’autres moyens.
La leçon pour l’esprit critique est plus générale : une absence apparente de choix peut elle-même cacher un choix.
Les priors impropres : un outil technique à manier avec précaution
Certaines méthodes bayésiennes emploient également des priors impropres : des fonctions qui ressemblent à des distributions a priori mais dont l’intégrale totale n’est pas finie et qui ne constituent donc pas, prises isolément, de véritables distributions de probabilité normalisées.
Pourquoi utiliser une chose aussi étrange ? Parce que, dans certains modèles, elles peuvent conduire après combinaison avec les données à une distribution a posteriori parfaitement définie et offrir une manière pratique de représenter une information préalable très diffuse.
Mais cette technique possède des limites. Un prior impropre peut produire un posterior lui-même impropre dans certains problèmes, et son utilisation devient particulièrement délicate pour certaines comparaisons de modèles ou certains facteurs de Bayes.
Il n’est pas nécessaire de maîtriser ces détails pour comprendre le raisonnement bayésien quotidien. Ils rappellent simplement que l’expression « prior non informatif » recouvre des outils statistiques différents dont les propriétés doivent être vérifiées, plutôt qu’une simple opération consistant à effacer toute connaissance préalable.
Vérifier ce que le prior implique réellement
Un prior peut sembler raisonnable lorsqu’on regarde directement sa formule et produire pourtant des conséquences surprenantes lorsqu’il est traduit dans les quantités observables.
Une pratique utile consiste donc à effectuer des contrôles prédictifs a priori : on simule ce que le modèle pourrait produire avant d’avoir vu les données et on examine si ces résultats sont plausibles.
Supposons qu’un prior apparemment « large » implique fréquemment que la taille moyenne d’un être humain se situe entre quelques millimètres et plusieurs kilomètres. Mathématiquement, le prior est peut-être bien défini ; scientifiquement, il introduit manifestement beaucoup trop de valeurs impossibles.
Le problème devient alors visible avant même l’analyse.
Cette démarche illustre une différence importante entre la justification abstraite d’un prior et son comportement concret : il faut regarder ce que nos hypothèses produisent lorsqu’elles sont mises en fonctionnement.
D’où devrait venir le prior ?
Il n’existe donc pas une source unique. Selon le problème, un prior peut être construit à partir de recherches antérieures, de données historiques, d’une théorie physique, d’une expertise structurée, d’informations sur les ordres de grandeur plausibles ou de règles formelles destinées à limiter l’influence de connaissances préalables.
Le choix approprié dépend de l’objectif.
Si des connaissances antérieures solides existent, les ignorer peut gaspiller de l’information. Si ces connaissances sont faibles, un prior fortement informatif risque au contraire d’imposer artificiellement une conclusion. Si l’objectif est surtout de stabiliser un modèle et d’éviter des valeurs absurdes, un prior faiblement informatif peut être préférable. Si l’on cherche une analyse de référence minimisant certains choix personnels, des constructions formelles comme celles de Jeffreys ou Bernardo peuvent être pertinentes.
Andrew Gelman résume une partie de cette évolution en défendant, dans plusieurs contextes appliqués, le passage de l’idéal abstrait d’un prior totalement non informatif vers l’usage de priors faiblement informatifs, complété par la vérification du modèle.
Il n’y a donc pas de bouton « prior neutre » que l’on pourrait activer avant chaque analyse.
Rendre le désaccord visible plutôt que le cacher
Cette situation peut sembler être une faiblesse du bayésianisme. Deux analystes utilisant des priors différents peuvent obtenir des résultats différents.
Mais cette divergence peut aussi devenir une information.
Si deux priors raisonnables conduisent presque au même posterior, les nouvelles données sont suffisamment fortes pour rendre le choix initial peu important. Si, au contraire, des choix plausibles de prior conduisent à des conclusions radicalement différentes, cela signifie que les données seules ne permettent pas encore de stabiliser fortement l’inférence.
Masquer cette dépendance derrière un résultat unique donnerait alors une impression de certitude excessive.
C’est précisément pourquoi une bonne analyse bayésienne ne devrait pas seulement déclarer quel prior elle a utilisé. Elle devrait également se demander : que deviendrait la conclusion si nous choisissions d’autres priors raisonnables ?
Cette question nous conduit directement à l’analyse de sensibilité.
Pour aller plus loin
- Gelman, A., Jakulin, A., Pittau, M. G., & Su, Y.-S. (2008). « A Weakly Informative Default Prior Distribution for Logistic and Other Regression Models ». *The Annals of Applied Statistics*, 2(4), 1360–1383. DOI : 10.1214/08-AOAS191. Article important sur l’usage de priors faiblement informatifs dans les modèles appliqués.
- Jeffreys, H. (1946). « An Invariant Form for the Prior Probability in Estimation Problems ». *Proceedings of the Royal Society A*, 186(1007), 453–461. DOI : 10.1098/rspa.1946.0056. Référence historique sur les priors invariants.
- Bernardo, J. M. (1979). « Reference Posterior Distributions for Bayesian Inference ». *Journal of the Royal Statistical Society: Series B*, 41(2), 113–128. DOI : 10.1111/j.2517-6161.1979.tb01066.x. Article fondateur de l’approche des distributions de référence.
- Gelman, A. (2009). « Bayes, Jeffreys, Prior Distributions and the Philosophy of Statistics ». *Statistical Science*, 24(2), 176–178. DOI : 10.1214/09-STS284D. Discussion concise des limites des principes de Jeffreys et de l’intérêt des priors faiblement informatifs et du contrôle des modèles.