Facteurs de Bayes — comparer formellement des modèles
Nous avons jusqu’ici utilisé le rapport de vraisemblance pour comparer deux hypothèses :
LR = P(E|H1) / P(E|H2).
Lorsque H1 et H2 sont des hypothèses simples et entièrement spécifiées, cette formule suffit. Mais les modèles scientifiques réels contiennent souvent des paramètres inconnus. Une théorie ne prédit pas nécessairement une seule distribution : elle autorise toute une famille de possibilités.
Supposons par exemple que nous voulions comparer deux modèles pour une pièce de monnaie. Le premier affirme :
M0 : la pièce est parfaitement équilibrée, p = 0,5.
Le second affirme :
M1 : la pièce peut être biaisée, p peut prendre différentes valeurs.
Que signifie alors P(données|M1) ? Il ne suffit plus de choisir la valeur de p qui explique le mieux les observations. Le modèle M1 autorise de nombreuses valeurs possibles, et il faut déterminer quelle probabilité prédictive l’ensemble du modèle attribuait aux données avant de les observer.
Le facteur de Bayes répond précisément à cette question. Il compare la capacité prédictive de deux modèles en intégrant, pour chacun, les différentes valeurs de paramètres qu’il autorise. Kass et Raftery ont largement contribué à populariser cet outil comme mesure du poids des données en faveur d’un modèle plutôt qu’un autre.
Du rapport de vraisemblance au facteur de Bayes
Si deux hypothèses sont entièrement spécifiées, nous pouvons comparer directement :
P(D|H1)
et
P(D|H0).
Le rapport de vraisemblance est alors :
LR = P(D|H1) / P(D|H0).
Mais supposons que le modèle M1 possède un paramètre θ dont nous ne connaissons pas la valeur. Nous devons tenir compte de toutes les valeurs que M1 considère comme possibles.
La probabilité prédictive des données sous M1 devient :
P(D|M1) = ∫ P(D|θ, M1) P(θ|M1) dθ.
Cette quantité est appelée vraisemblance marginale ou évidence du modèle.
Le facteur de Bayes comparant M1 à M0 est alors :
BF₁₀ = P(D|M1) / P(D|M0).
Si :
BF₁₀ = 10,
les données observées sont dix fois plus probables sous M1 que sous M0, compte tenu de la structure complète de chacun des modèles et des priors utilisés pour leurs paramètres.
Le facteur de Bayes est donc, en un sens, un rapport de vraisemblance entre modèles complets.
Pourquoi ne pas simplement prendre le meilleur paramètre ?
Reprenons notre pièce de monnaie.
Nous lançons la pièce dix fois et obtenons huit piles.
Le modèle M0 affirme :
p = 0,5.
Le modèle M1 autorise au contraire toutes les valeurs possibles de p entre 0 et 1.
Après avoir vu huit piles, nous savons que la valeur :
p = 0,8
s’ajuste particulièrement bien aux données.
Nous pourrions donc comparer la vraisemblance des observations sous p = 0,8 à celle obtenue sous p = 0,5.
Mais ce raisonnement donnerait à M1 un avantage injuste. Le modèle alternatif n’avait pas prédit spécifiquement p = 0,8 avant de voir les résultats. Il autorisait aussi p = 0,1, p = 0,3, p = 0,95 et une multitude d’autres valeurs.
Le facteur de Bayes demande donc :
« Quelle probabilité l’ensemble du modèle M1 attribuait-il à ces données avant de savoir quelle valeur de p allait bien fonctionner ? »
C’est une distinction fondamentale entre ajustement après observation et performance prédictive préalable.
La vraisemblance marginale fait une moyenne prédictive
Dans notre exemple, supposons que M1 utilise un prior uniforme sur p entre 0 et 1. Toutes les valeurs de p sont initialement pondérées de manière égale.
Pour calculer :
P(D|M1),
nous faisons conceptuellement une moyenne de la capacité prédictive de toutes ces valeurs, pondérée par leur prior.
Certaines valeurs prédisent très bien huit piles sur dix. D’autres le prédisent très mal.
Le modèle complet reçoit donc une performance moyenne.
Cette opération est essentielle : le facteur de Bayes n’évalue pas seulement jusqu’où un modèle peut s’adapter aux données après coup. Il évalue la quantité de probabilité que le modèle avait placée sur les données effectivement observées.
Kass et Raftery définissent précisément les facteurs de Bayes à partir de ces probabilités marginales et soulignent que les priors sur les paramètres font partie intégrante de la comparaison.
Un exemple : huit piles sur dix
Gardons :
M0 : p = 0,5
et
M1 : p est inconnu avec un prior uniforme entre 0 et 1.
Nous observons huit piles sur dix.
Sous M0, la probabilité d’obtenir exactement huit piles est d’environ :
4,4 %.
Sous M1, après avoir intégré toutes les valeurs possibles de p avec notre prior uniforme, cette probabilité prédictive est d’environ :
9,1 %.
Le facteur de Bayes vaut donc approximativement :
BF₁₀ = 0,091 / 0,044 ≈ 2,1.
Les données favorisent M1, mais seulement d’un facteur d’environ deux.
Cela peut surprendre. La valeur p = 0,8 s’ajuste nettement mieux aux données que p = 0,5. Mais M1 ne disait pas avant l’expérience :
« nous observerons p ≈ 0,8 ».
Il disait :
« p pourrait se trouver n’importe où entre 0 et 1 ».
Une grande partie de ses possibilités prédisait donc les observations moins bien.
Cette différence entre meilleur ajustement et performance prédictive moyenne du modèle est au cœur du facteur de Bayes.
La flexibilité possède un coût prédictif
Un modèle très flexible peut expliquer de nombreux résultats après leur apparition.
Supposons que M1 puisse produire presque n’importe quelle observation, alors que M0 fait une prédiction beaucoup plus précise.
Si les données tombent exactement dans la petite région fortement prédite par M0, cela peut constituer une preuve importante en faveur de M0. Le fait que M1 soit également capable d’expliquer le résultat ne suffit pas.
Nous retrouvons la distinction entre preuve compatible et preuve probante.
Un modèle qui prédit :
« quelque chose entre 0 et 100 se produira »
sera rarement réfuté par une observation comprise entre 0 et 100. Mais cette réussite est peu impressionnante.
Un modèle qui avait concentré l’essentiel de sa probabilité entre 48 et 52 et observe 50 avait pris davantage de risque prédictif.
Les facteurs de Bayes produisent ainsi souvent ce que l’on décrit comme un effet de parcimonie : les modèles très flexibles doivent justifier cette flexibilité par une amélioration suffisante de leurs prédictions. Kass et Raftery insistent précisément sur ce rôle des facteurs de Bayes dans la comparaison de modèles de complexités différentes.
Ce n’est pas une punition automatique de la complexité
Il faut néanmoins être précis.
Le facteur de Bayes ne contient pas une règle morale du type :
« les modèles simples sont toujours meilleurs ».
Un modèle complexe peut gagner très largement si les données tombent dans une région qu’il prédisait bien et que le modèle simple prédisait mal.
Le mécanisme est plus subtil : un modèle qui distribue sa probabilité prédictive sur une très grande variété de résultats possède moins de probabilité disponible pour chacun d’eux.
Il doit donc obtenir un bénéfice prédictif réel grâce à sa flexibilité.
La parcimonie émerge ici de la comparaison des prédictions, plutôt que d’un principe exigeant systématiquement le plus petit nombre possible de paramètres.
Facteur de Bayes et odds postérieures
Nous retrouvons maintenant la forme en odds du théorème de Bayes :
odds postérieures = odds antérieures × facteur de Bayes.
Pour deux modèles M1 et M0 :
P(M1|D) / P(M0|D) = [P(M1) / P(M0)] × BF₁₀.
Le facteur de Bayes joue donc exactement le rôle de multiplicateur apporté par les données.
Supposons :
odds antérieures M1:M0 = 1:4
et
BF₁₀ = 20.
Nous obtenons :
odds postérieures = 1/4 × 20 = 5.
Soit :
5:1 en faveur de M1.
Si ces deux modèles constituent toutes les possibilités considérées, cela correspond à une probabilité postérieure :
5 / 6 ≈ 83 %.
Le facteur de Bayes 20 n’était donc pas lui-même une probabilité de 95 %, 99 % ou autre. Il constituait la force de la mise à jour apportée par les données.
BF₁₀ et BF₀₁ racontent la même comparaison dans les deux sens
Si :
BF₁₀ = 10,
les données sont dix fois plus probables sous M1 que sous M0.
Le facteur inverse vaut :
BF₀₁ = 1/10 = 0,1.
À l’inverse, si :
BF₀₁ = 8,
les données sont huit fois plus probables sous M0 que sous M1.
Et :
BF₁₀ = 1/8 = 0,125.
Cette notation peut devenir source de confusion lorsqu’un article annonce simplement :
« BF = 12 ».
Il faut immédiatement demander :
en faveur de quel modèle ?
Un BF₁₀ de 12 et un BF₀₁ de 12 soutiennent des conclusions opposées.
Ce que mesure le facteur de Bayes
Il est utile de distinguer plusieurs quantités voisines :
| Quantité | Question |
|---|---|
| Rapport de vraisemblance | Quelle hypothèse spécifiée rend mieux compte de l’observation ? |
| Facteur de Bayes | Quel modèle complet attribuait davantage de probabilité prédictive aux données ? |
| Odds antérieures | Quel était le rapport de plausibilité entre les modèles avant ces données ? |
| Odds postérieures | Quel devient ce rapport après intégration des données ? |
| Probabilité postérieure | Quel degré de croyance final attribuons-nous au modèle dans l’espace d’hypothèses considéré ? |
Cette séparation permet d’éviter une erreur récurrente : confondre la force d’une preuve avec la probabilité finale d’une hypothèse.
Un facteur de Bayes de 100 peut représenter une preuve très forte en faveur d’un modèle tout en laissant ce modèle minoritaire si son prior était extrêmement faible.
Un facteur proche de 1 peut représenter une véritable absence de discrimination
Supposons :
BF₁₀ = 1.
Les données sont alors aussi probables sous M1 que sous M0.
Elles ne permettent pratiquement pas de les départager.
Si :
BF₁₀ = 1,2,
le soutien à M1 est très faible.
Cette situation est importante parce qu’elle distingue :
« les données soutiennent M0 »
de
« les données ne permettent pas de distinguer M0 et M1 ».
Un facteur proche de 1 correspond à la seconde situation.
Cette distinction est particulièrement utile lorsqu’on cherche une absence d’effet.
Ne pas rejeter H0 n’est pas apporter une preuve pour H0
Dans un test fréquentiste classique, une *p-value* non significative ne constitue pas automatiquement une preuve en faveur de l’hypothèse nulle.
Une étude de faible puissance peut produire :
p > 0,05
simplement parce que les données ne sont pas suffisamment informatives.
Le facteur de Bayes permet en principe de distinguer davantage trois situations :
BF₁₀ largement supérieur à 1 : données en faveur de M1 ;
BF₁₀ proche de 1 : données peu discriminantes ;
BF₁₀ largement inférieur à 1 : données en faveur de M0.
Cette possibilité de distinguer absence de preuve et preuve d’absence constitue l’un des attraits des tests par facteurs de Bayes. Les travaux contemporains sur ces méthodes utilisent explicitement cette distinction.
Mais, comme toujours, la conclusion dépend de la manière dont M0 et M1 ont été définis.
« Dix fois plus probable » : attention à la phrase
Si :
BF₁₀ = 10,
nous pouvons dire :
« les données observées sont dix fois plus probables sous M1 que sous M0 ».
Nous ne pouvons pas automatiquement dire :
« M1 est dix fois plus probable que M0 ».
La seconde phrase ne devient vraie pour les odds postérieures que si les deux modèles avaient les mêmes odds antérieures.
Supposons au contraire que les odds antérieures soient :
1:100 en défaveur de M1.
Après :
BF₁₀ = 10,
nous obtenons :
10:100 = 1:10.
M1 reste alors moins probable que M0.
Nous retrouvons exactement la distinction entre preuve et croyance finale.
Les seuils verbaux sont des conventions, pas des lois naturelles
Différentes traditions ont proposé des échelles permettant de qualifier les facteurs de Bayes : preuve « faible », « substantielle », « forte », « très forte » ou « décisive ».
Ces catégories peuvent être pratiques pour communiquer, mais leurs frontières sont conventionnelles.
Il n’existe aucune rupture naturelle entre :
BF = 9,9
et
BF = 10,1.
Les travaux classiques de Jeffreys puis de Kass et Raftery ont proposé des classifications de ce type, mais elles doivent être utilisées comme des repères interprétatifs, non comme de nouveaux seuils de significativité. Kass et Raftery présentent eux-mêmes leurs catégories comme des indications permettant d’interpréter la force de l’évidence.
Remplacer mécaniquement :
p < 0,05
par
BF > 10
reproduirait exactement le comportement binaire que l’approche bayésienne devait contribuer à éviter.
Le prior intervient deux fois dans une comparaison de modèles
Une subtilité importante apparaît ici.
Lorsque nous calculons les odds postérieures, nous utilisons d’abord les probabilités antérieures des modèles :
P(M1) et P(M0).
Mais pour calculer le facteur de Bayes lui-même, les modèles contenant des paramètres inconnus nécessitent également des priors sur leurs paramètres :
P(θ|M1), par exemple.
Il faut donc distinguer :
le prior entre les modèles
et
le prior à l’intérieur de chaque modèle.
Le premier détermine leur crédibilité initiale relative.
Le second détermine quelles valeurs de paramètres le modèle considérait comme plausibles avant les données et donc sa probabilité prédictive marginale.
Cette deuxième intervention du prior est l’une des raisons pour lesquelles les facteurs de Bayes peuvent être sensibles aux choix de modélisation.
Un prior très diffus peut pénaliser fortement un modèle
Reprenons un modèle alternatif autorisant un effet θ.
Supposons qu’un premier prior considère raisonnables des effets compris essentiellement entre −1 et +1.
Un second prior est extrêmement diffus et répartit sa probabilité sur une plage gigantesque allant de −1 000 à +1 000.
Nous observons un petit effet proche de 0,3.
Sous le premier prior, cette observation se situe dans une région que M1 considérait comme relativement plausible.
Sous le second, le modèle avait dispersé sa probabilité sur une énorme quantité de valeurs extrêmes qui ne correspondent pas aux données. Sa vraisemblance marginale peut alors devenir beaucoup plus faible.
Le facteur de Bayes peut donc changer fortement simplement parce que nous avons modifié la distribution prédictive de M1 avant les données.
Ce phénomène n’est pas un bug mathématique. Le modèle qui annonçait que presque tout était possible avait effectivement produit une prédiction moins concentrée.
Mais cela signifie que le choix du prior doit être scientifiquement défendable.
Kass et Raftery insistent explicitement sur l’importance d’étudier la sensibilité des facteurs de Bayes aux distributions *prior*.
Les priors « non informatifs » deviennent particulièrement délicats
Nous avons vu précédemment qu’un prior uniforme ou très diffus n’est pas nécessairement neutre.
Cette difficulté devient encore plus importante pour les facteurs de Bayes.
Dans l’estimation bayésienne, certains priors impropres — dont l’intégrale n’est pas finie — peuvent parfois conduire malgré tout à un posterior correctement normalisé.
Dans une comparaison par facteurs de Bayes, le problème est plus sévère : la vraisemblance marginale dépend de la constante de normalisation du prior. Si celle-ci est arbitraire, le facteur de Bayes peut devenir indéfini.
C’est l’une des raisons pour lesquelles la comparaison bayésienne de modèles demande une attention particulière aux priors. Kass et Raftery consacrent une partie importante de leur revue à ce problème et aux méthodes permettant de construire ou d’évaluer des choix raisonnables.
Il ne suffit donc pas d’écrire :
« nous utiliserons un prior très vague pour rester objectifs ».
Dans un facteur de Bayes, cette décision peut avoir des conséquences importantes.
Une petite *p-value* et un facteur de Bayes peuvent être en désaccord
La différence avec les tests fréquentistes devient particulièrement visible dans ce que l’on appelle le paradoxe de Jeffreys-Lindley.
Dans certaines situations, lorsque la taille de l’échantillon devient très grande, une *p-value* peut rester suffisamment faible pour conduire au rejet fréquentiste d’une hypothèse nulle tandis qu’un facteur de Bayes favorise cette même hypothèse nulle par rapport à une alternative donnée.
Il ne s’agit pas simplement d’une contradiction arithmétique. Les deux outils répondent à des questions différentes.
La *p-value* examine notamment le comportement des données sous H0. Le facteur de Bayes compare la capacité prédictive de H0 et de l’alternative complète, en intégrant les valeurs que cette alternative considérait comme possibles. L’étendue du prior sous l’alternative peut alors jouer un rôle décisif. L’histoire et la structure de ce phénomène ont été analysées en détail dans les travaux consacrés au paradoxe de Jeffreys-Lindley.
Ce désaccord rappelle qu’il est impossible de traduire mécaniquement une *p-value* en facteur de Bayes.
Le facteur de Bayes peut être calculé séquentiellement
Comme les rapports de vraisemblance, les facteurs de Bayes s’intègrent naturellement dans une mise à jour séquentielle.
Les données D1 produisent un premier facteur :
BF(D1).
De nouvelles données D2 apparaissent. Leur contribution dépend de ce qu’elles apportent conditionnellement aux premières :
BF(D2|D1).
Le facteur total devient :
BF(D1,D2) = BF(D1) × BF(D2|D1).
Le posterior après D1 devient ainsi le point de départ de l’analyse suivante.
Cette propriété permet en principe de représenter l’accumulation progressive des preuves sans attendre qu’un seuil arbitraire soit franchi.
Elle exige néanmoins la même prudence que précédemment : des données dépendantes ne doivent pas être artificiellement traitées comme plusieurs confirmations indépendantes.
Comparer deux modèles ne signifie pas que l’un des deux est bon
Supposons :
BF₁₂ = 100.
Les données favorisent très fortement M1 relativement à M2.
Mais cela ne signifie toujours pas que M1 décrit correctement la réalité.
Peut-être que :
M3, que nous n’avons pas considéré, prédit les données encore mieux.
Ou peut-être que M1 et M2 sont tous les deux profondément inadéquats, M1 étant simplement le moins mauvais des deux.
Cette limite est exactement celle que nous avons rencontrée dans la méthode scientifique : le facteur de Bayes compare les modèles que nous lui donnons. Il ne garantit pas que l’espace de modèles soit exhaustif.
Un tournoi entre deux mauvaises théories possède toujours un vainqueur.
Cela ne transforme pas le vainqueur en bonne théorie.
Le facteur de Bayes n’est pas toute l’analyse bayésienne
Une autre caricature consisterait à assimiler :
statistique bayésienne = facteurs de Bayes.
Une grande partie de l’analyse bayésienne porte au contraire sur l’estimation, la prédiction et l’incertitude sur des paramètres plutôt que sur une compétition entre modèles discrets.
Dans certaines situations, demander :
« H0 ou H1 ? »
est moins pertinent que demander :
« quelles valeurs de l’effet restent plausibles, avec quelle incertitude ? »
Les facteurs de Bayes sont particulièrement adaptés lorsque la comparaison entre modèles ou hypothèses constitue réellement la question scientifique.
Mais ils ne doivent pas devenir un nouveau rituel universel remplaçant les *p-values* dans tous les articles.
Le choix de l’outil doit dépendre de la question.
Ce que le facteur de Bayes apporte réellement
Le facteur de Bayes rassemble plusieurs idées centrales de cette catégorie.
Il oblige à comparer des hypothèses, plutôt qu’à examiner une théorie isolément.
Il distingue force de la preuve et probabilité finale.
Il tient compte de ce qu’un modèle prédisait réellement avant de voir les données, plutôt que de son seul meilleur ajustement après coup.
Il peut fournir une preuve en faveur d’une hypothèse nulle lorsque les données sont réellement plus attendues sous celle-ci, au lieu de confondre absence de significativité et preuve d’absence.
Mais il fait également apparaître avec une clarté particulière une difficulté que nous ne pouvons plus repousser : les résultats dépendent des priors utilisés à l’intérieur des modèles.
Cette dépendance nourrit depuis longtemps l’une des objections les plus célèbres adressées au bayésianisme :
si le prior dépend du jugement de l’analyste, la conclusion bayésienne est-elle simplement subjective ?
La question est beaucoup plus difficile que ne le laisse penser cette formulation.
Pour aller plus loin
- Kass, R. E., & Raftery, A. E. (1995). « Bayes Factors ». *Journal of the American Statistical Association*, 90(430), 773–795. DOI : 10.1080/01621459.1995.10476572. Revue classique sur la définition, l’interprétation, le calcul et la sensibilité des facteurs de Bayes.
- Lodewyckx, T., Kim, W., Lee, M. D., Tuerlinckx, F., Kuppens, P., & Wagenmakers, E.-J. (2011). « A tutorial on Bayes factor estimation with the product space method ». *Journal of Mathematical Psychology*, 55(5), 331–347. DOI : 10.1016/j.jmp.2011.06.001. Introduction à la logique des facteurs de Bayes comme comparaison de la probabilité des données sous plusieurs modèles.
- Stefan, A. M., Gronau, Q. F., Schönbrodt, F. D., & Wagenmakers, E.-J. (2019). « A tutorial on Bayes Factor Design Analysis using an informed prior ». *Behavior Research Methods*, 51, 1042–1058. DOI : 10.3758/s13428-018-01189-8. Présentation accessible de l’usage des facteurs de Bayes et du rôle des priors informatifs dans la planification et l’évaluation de la preuve.
- Wagenmakers, E.-J., Verhagen, J., & Ly, A. (2016). « How to quantify the evidence for the absence of a correlation ». *Behavior Research Methods*, 48, 413–426. Présentation de l’intérêt des facteurs de Bayes pour distinguer absence de preuve et preuve en faveur d’une absence d’effet.