Le modèle oublié — quand Bayes répond parfaitement à la mauvaise question

Le théorème de Bayes peut être appliqué parfaitement. Le prior peut être soigneusement justifié, les calculs impeccables et le posterior extrêmement précis. Pourtant, la conclusion peut rester profondément trompeuse.

Il suffit pour cela que le modèle soit mauvais.

Cette limite n’est pas propre au bayésianisme : toute inférence statistique dépend d’hypothèses sur la manière dont les données ont été produites. Mais elle est particulièrement importante ici parce que la cohérence mathématique de la mise à jour bayésienne peut donner une impression de sécurité. Une fois le modèle fixé, Bayes répond remarquablement bien à la question :

« que dois-je croire à l’intérieur de ce modèle après avoir observé ces données ? »

Il ne garantit pas que nous ayons posé la bonne question, choisi les bonnes hypothèses ou correctement représenté le monde.

Gelman et Shalizi insistent précisément sur cette distinction : la pratique bayésienne ne peut pas se réduire à ajuster et comparer des modèles ; elle doit aussi permettre de vérifier leurs insuffisances et de les réviser.

Bayes raisonne à l’intérieur d’un univers que nous lui avons donné

Supposons que nous hésitions entre deux hypothèses :

H1 : l’incendie a été provoqué par un défaut électrique.

H2 : l’incendie a été volontairement déclenché.

Nous observons plusieurs indices et calculons :

P(H1|E) = 90 %

et

P(H2|E) = 10 %.

Le calcul peut être parfaitement correct relativement aux deux hypothèses.

Mais imaginons qu’en réalité l’incendie ait été provoqué par une fuite de gaz que nous n’avons jamais envisagée.

Notre résultat ne signifie alors pas :

« il y a 90 % de chances que l’origine soit électrique ».

Il signifie plutôt :

« parmi les deux explications que nous avons décidé de comparer et sous le modèle choisi, les données favorisent fortement H1 ».

C’est une différence considérable.

Bayes redistribue la probabilité entre les possibilités que nous lui fournissons. Il ne crée pas automatiquement l’hypothèse manquante.

Le meilleur modèle disponible peut être mauvais

Cette difficulté existe également lorsque nous comparons plusieurs modèles statistiques.

Supposons que trois modèles reçoivent les probabilités postérieures suivantes :

M1 : 80 %

M2 : 15 %

M3 : 5 %.

Il serait tentant de dire :

« M1 est presque certainement le bon modèle. »

Mais ces probabilités sont conditionnelles à l’ensemble de modèles considéré. Si M1, M2 et M3 décrivent tous mal le phénomène, M1 peut simplement être le moins mauvais des candidats proposés.

Kruschke résume particulièrement bien ce problème : une distribution postérieure indique quelles valeurs disponibles sont préférables aux autres à l’intérieur du modèle, mais elle ne dit pas nécessairement si les meilleures valeurs disponibles ajustent correctement les données.

Un concours entre trois mauvaises cartes produit toujours un classement.

Il ne produit pas automatiquement une bonne carte du territoire.

Un exemple : forcer une relation à être linéaire

Supposons que nous cherchions à comprendre la relation entre la température et la consommation électrique d’une ville.

Nous imposons un modèle linéaire :

consommation = a + b × température.

L’analyse bayésienne estime très précisément :

b = −2,1, avec un intervalle crédible extrêmement étroit.

Le résultat paraît solide.

Mais imaginons que la véritable relation soit en forme de U : la consommation est élevée lorsqu’il fait très froid à cause du chauffage, faible lorsque la température est modérée, puis augmente de nouveau pendant les fortes chaleurs à cause de la climatisation.

Un modèle linéaire peut alors produire une pente moyenne parfaitement estimée tout en manquant la structure essentielle du phénomène.

Le posterior peut devenir très concentré autour de la mauvaise représentation.

Une faible incertitude sur les paramètres n’implique pas une faible incertitude sur la validité du modèle.

Plus de données peuvent rendre une mauvaise réponse plus précise

Cette conséquence est particulièrement importante.

Nous disons souvent :

« avec davantage de données, le problème finira par disparaître ».

Davantage de données réduit généralement l’incertitude d’échantillonnage. Mais si le modèle est systématiquement mal spécifié, elles peuvent surtout nous permettre d’estimer avec une extraordinaire précision une quantité qui ne représente pas correctement ce que nous voulions comprendre.

Dans notre exemple précédent, un million d’observations peut rendre l’estimation de la pente moyenne extrêmement précise.

Cela ne transformera pas la droite en courbe en U.

La précision statistique peut donc augmenter pendant que la pertinence scientifique reste insuffisante.

Cette idée dépasse largement Bayes. L’étude classique de Halbert White sur les modèles mal spécifiés montre déjà que des procédures statistiques peuvent converger vers des valeurs bien définies même lorsque le modèle supposé n’est pas le véritable mécanisme générateur des données.

Il faut distinguer incertitude à l’intérieur du modèle et incertitude sur le modèle lui-même.

Toute analyse repose sur une histoire de génération des données

Un modèle statistique n’est pas seulement une équation.

Il contient implicitement une histoire sur la manière dont les observations apparaissent.

Nous pouvons supposer par exemple que :

les observations sont indépendantes ;

les erreurs suivent une certaine distribution ;

les personnes étudiées appartiennent à une population pertinente ;

les données manquantes ne créent pas de biais important ;

la relation entre les variables possède une certaine forme ;

les mesures représentent correctement les concepts étudiés.

Si ces hypothèses sont fausses, l’inférence peut être affectée même lorsque les calculs sont irréprochables.

Une analyse bayésienne n’est donc jamais simplement :

prior + données.

Elle est plutôt :

prior + modèle des données + observations.

Le terme intermédiaire est parfois tellement familier que nous cessons de le voir.

L’échantillon peut répondre à une autre population que celle qui nous intéresse

Supposons qu’une étude estime l’efficacité d’un programme éducatif à partir d’élèves volontaires provenant de quelques établissements très favorisés.

L’analyse statistique peut être excellente et montrer avec une forte probabilité postérieure que le programme améliore les résultats dans la population représentée par le modèle et les données.

Mais pouvons-nous généraliser directement cette conclusion à l’ensemble des élèves du pays ?

Pas nécessairement.

Le problème ne porte plus seulement sur la valeur d’un paramètre. Il concerne la relation entre l’échantillon observé et la population à laquelle nous voulons extrapoler.

La même difficulté apparaît lorsqu’une étude médicale exclut les personnes âgées ou les patients présentant plusieurs maladies, puis que ses résultats sont appliqués à ces groupes.

Bayes peut correctement mettre à jour ce que les données disent dans le cadre étudié. Il ne fournit pas automatiquement la validité externe qui manque à la collecte des données.

Une variable mal mesurée reste mal mesurée après Bayes

Supposons maintenant que nous voulions étudier « l’autonomie intellectuelle ».

Nous construisons un questionnaire de dix questions et appelons son score :

indice d’autonomie intellectuelle.

Une analyse sophistiquée peut ensuite fournir des posteriors très précis, des modèles hiérarchiques et des graphiques élégants.

Mais si le questionnaire mesure surtout le niveau d’éducation, l’assurance personnelle ou la capacité à reconnaître les réponses attendues, notre modèle peut parfaitement analyser la mauvaise variable.

Aucun théorème statistique ne peut garantir que la mesure opérationnelle correspond réellement au concept théorique.

Cette question relève de la validité de mesure, de la psychologie, de la méthodologie du domaine et de l’analyse conceptuelle.

Le problème statistique vient après.

Il est donc toujours possible d’obtenir une excellente réponse quantitative à une mauvaise opérationnalisation.

Une hypothèse oubliée peut renverser l’interprétation

Considérons maintenant une étude observationnelle montrant que les personnes buvant davantage d’une certaine boisson présentent une meilleure santé cardiovasculaire.

Nous comparons :

H1 : la boisson améliore la santé.

H2 : elle n’a aucun effet.

Les données peuvent fortement favoriser H1 relativement à H2.

Mais supposons qu’une troisième explication ait été oubliée :

H3 : les consommateurs réguliers de cette boisson appartiennent en moyenne à des catégories sociales ayant de meilleurs revenus, une meilleure alimentation et un meilleur accès aux soins.

La relation observée peut alors être expliquée sans effet causal direct de la boisson.

L’erreur ne réside pas nécessairement dans la formule de Bayes. Elle réside dans l’espace des hypothèses et la structure causale du modèle.

Cette distinction préparera la fiche suivante : une association probabiliste, même extrêmement bien estimée, ne nous indique pas automatiquement ce qui cause quoi.

Vérifier un modèle signifie lui demander de reproduire le monde observé

Comment détecter qu’un modèle ne convient pas ?

Une stratégie importante consiste à examiner ce qu’il prédit au-delà des seuls paramètres qui nous intéressent.

Après avoir ajusté un modèle bayésien, nous pouvons générer des données fictives à partir de sa distribution prédictive postérieure :

si mon modèle représentait suffisamment bien le mécanisme étudié, à quoi devraient ressembler de nouveaux jeux de données ?

Nous comparons ensuite ces données simulées aux observations réelles.

Si le modèle produit généralement des distributions régulières alors que les données comportent de nombreuses valeurs extrêmes, il manque quelque chose.

S’il prédit une variance constante alors que celle-ci augmente fortement avec la moyenne, quelque chose manque.

S’il reproduit bien la moyenne mais jamais la forme des données, quelque chose manque également.

Les posterior predictive checks ont précisément été développés pour ce type d’évaluation. Gelman, Meng et Stern présentent cette approche comme un moyen de comparer les données observées aux réplications que le modèle serait susceptible de produire.

Un modèle peut bien prédire certaines choses et mal en représenter d’autres

La vérification d’un modèle ne conduit pas nécessairement au verdict binaire :

« modèle vrai »

ou

« modèle faux ».

Tous les modèles scientifiques sont des simplifications.

Un modèle peut représenter suffisamment bien certains aspects d’un phénomène pour une tâche donnée tout en étant inadéquat pour une autre.

Un modèle météorologique peut prédire correctement les températures moyennes à quelques jours sans reproduire parfaitement certains événements extrêmes. Un modèle économique peut être utile pour étudier une relation agrégée tout en étant médiocre pour prévoir le comportement individuel.

La question pertinente devient donc :

« où le modèle échoue-t-il, et cet échec compromet-il l’usage que nous voulons en faire ? »

Gelman et Shalizi défendent précisément une conception itérative dans laquelle la critique du modèle sert à identifier ses insuffisances puis à construire une meilleure représentation.

Cette attitude est beaucoup plus réaliste que de rechercher un modèle définitivement « vrai ».

Les graphiques peuvent révéler ce qu’un nombre résume mal

Les vérifications de modèle rappellent également une vertu méthodologique très simple : regarder les données.

Un indicateur global d’ajustement peut sembler satisfaisant tout en dissimulant un problème évident dans certaines régions du jeu de données.

Gelman, Meng et Stern insistent sur l’intérêt des comparaisons graphiques entre données observées et données simulées, précisément parce qu’elles permettent de détecter des discordances qui ne sont pas nécessairement bien résumées par une statistique unique.

Un nuage de points peut révéler une courbure ignorée par un modèle linéaire.

Un histogramme peut montrer des queues beaucoup plus épaisses que prévu.

Une série temporelle peut révéler une autocorrélation alors que le modèle supposait des observations indépendantes.

La sophistication mathématique ne doit jamais devenir une raison de cesser d’examiner la forme réelle du phénomène.

Ajouter toujours plus de paramètres n’est pas automatiquement la solution

Une fois un défaut détecté, nous pourrions être tentés de rendre le modèle de plus en plus flexible.

Courbe au lieu de droite, dizaines d’interactions, mélanges de distributions, paramètres spécifiques à chaque sous-groupe : à la limite, un modèle suffisamment flexible peut épouser presque parfaitement les données observées.

Mais nous retrouvons alors le problème étudié avec les facteurs de Bayes : expliquer les données déjà observées n’est pas la même chose que bien prédire de nouvelles données.

Un modèle trop flexible peut apprendre une partie du bruit propre à l’échantillon.

La révision doit donc rechercher un équilibre : représenter les structures importantes sans transformer chaque particularité accidentelle en loi générale.

Le contrôle prédictif sur de nouvelles données ou par validation croisée devient alors particulièrement utile.

Comparer des modèles et vérifier un modèle sont deux opérations différentes

Cette distinction mérite d’être explicite.

La comparaison de modèles demande :

« parmi M1, M2 et M3, lequel est le mieux soutenu relativement aux autres ? »

La vérification du modèle demande :

« le modèle que j’utilise reproduit-il suffisamment les caractéristiques pertinentes des données ? »

Un facteur de Bayes peut répondre à la première question.

Il ne répond pas nécessairement à la seconde.

Kruschke insiste précisément sur cette différence : une comparaison bayésienne peut déterminer quel modèle disponible est préférable sans montrer que ce modèle est réellement satisfaisant ; les vérifications prédictives permettent de rechercher des écarts systématiques entre ses prédictions et les observations.

Les deux démarches sont donc complémentaires.

L’échec du modèle est une information

Lorsqu’un modèle échoue, nous pourrions considérer cela comme un simple problème technique à réparer.

Mais les discordances peuvent être scientifiquement très intéressantes.

Une distribution présentant plus de valeurs extrêmes que prévu peut révéler une population hétérogène.

Une relation non linéaire peut suggérer un mécanisme jusque-là ignoré.

Des erreurs systématiquement différentes entre deux groupes peuvent indiquer qu’un facteur important manque au modèle.

La mauvaise prédiction devient alors une nouvelle preuve sur la structure du phénomène.

C’est pourquoi la critique de modèle s’intègre naturellement dans une démarche scientifique : nous proposons une représentation, examinons ses conséquences, recherchons où elle échoue puis utilisons ces échecs pour construire une représentation meilleure.

L’apprentissage ne consiste plus seulement à modifier les paramètres d’un modèle fixe. Il consiste parfois à modifier le modèle lui-même.

Bayes ne peut pas attribuer une probabilité à l’inconnu inconnu

Une limite plus profonde subsiste.

Supposons que nous ayons soigneusement attribué des probabilités à vingt hypothèses possibles. Une vingt-et-unième explication, encore inimaginée, est en réalité correcte.

Comment lui attribuer un prior ?

Nous ne le pouvons pas sous sa forme précise tant que nous ne l’avons pas conçue.

C’est une limite de tout espace explicite d’hypothèses : l’inconnu que nous n’avons pas encore formulé n’entre pas directement dans le calcul.

On peut conserver une catégorie générale de type « autre explication » ou utiliser des modèles très flexibles, mais cela ne remplace pas entièrement la découverte conceptuelle.

La science exige donc une capacité que Bayes ne formalise pas à lui seul : inventer de nouvelles hypothèses lorsque les anciennes cessent de bien fonctionner.

C’est l’une des raisons pour lesquelles Gelman et Shalizi refusent d’identifier toute la logique de la recherche scientifique à la simple conditionalisation bayésienne.

Une bonne analyse doit pouvoir être surprise

Nous pouvons tirer de tout cela une règle importante.

Un modèle scientifique devrait laisser ouverte la possibilité que les données nous disent :

« vous avez mal posé le problème ».

Si chaque observation est automatiquement absorbée par le modèle et ne peut que modifier légèrement ses paramètres, nous risquons de rester enfermés dans un univers trop étroit.

Les vérifications prédictives ont justement cette fonction : rechercher des caractéristiques des données que le modèle n’avait pas correctement anticipées.

Gelman, Meng et Stern soulignent que l’évaluation d’un modèle bayésien est particulièrement importante parce qu’une analyse conditionnée sur un modèle peu plausible peut être profondément trompeuse.

Une bonne méthode ne doit donc pas seulement permettre au monde de choisir entre nos réponses.

Elle doit parfois lui permettre de nous signaler que nos réponses proposées ne conviennent pas.

Le réflexe d’autonomie intellectuelle : interroger le cadre

Cette leçon dépasse largement les statistiques.

Face à une argumentation très précise, nous nous concentrons facilement sur les nombres : le prior est-il correct ? Le rapport de vraisemblance vaut-il vraiment 10 ? Le posterior est-il de 80 ou 85 % ?

Mais une question plus fondamentale peut précéder toutes les autres :

« avons-nous correctement défini les possibilités ? »

Quelles hypothèses ont été exclues ? Quelles variables ont été oubliées ? Comment les données ont-elles été sélectionnées ? La mesure correspond-elle réellement au concept étudié ? L’échantillon représente-t-il la population visée ? Les observations sont-elles indépendantes ? Quel mécanisme pourrait produire une structure que le modèle ne prévoit pas ?

Ces questions ne rejettent pas le raisonnement bayésien. Elles le replacent à son niveau approprié.

Bayes est extraordinairement puissant pour raisonner conditionnellement à un modèle. L’esprit critique commence parfois une étape plus tôt : faut-il accepter ce modèle ?

Cette distinction prépare une autre limite essentielle. Même lorsqu’un modèle probabiliste décrit remarquablement bien les associations observées, il ne nous dit pas nécessairement ce qui cause quoi. Une probabilité conditionnelle et une intervention causale ne sont pas la même chose.

Pour aller plus loin

  • Gelman, A., & Shalizi, C. R. (2013). « Philosophy and the practice of Bayesian statistics ». *British Journal of Mathematical and Statistical Psychology*, 66(1), 8–38. DOI : 10.1111/j.2044-8317.2011.02037.x. Défend une conception de l’analyse bayésienne où construction, vérification et révision des modèles jouent un rôle central au-delà de la seule mise à jour du prior vers le posterior.
  • Gelman, A., Meng, X.-L., & Stern, H. (1996). « Posterior Predictive Assessment of Model Fitness via Realized Discrepancies ». *Statistica Sinica*, 6, 733–807. Article classique sur les vérifications prédictives postérieures et la détection des écarts entre modèles et données.
  • Kruschke, J. K. (2013). « Posterior predictive checks can and should be Bayesian ». *British Journal of Mathematical and Statistical Psychology*, 66(1), 45–56. DOI : 10.1111/j.2044-8317.2012.02063.x. Souligne qu’une distribution postérieure classe les possibilités à l’intérieur d’un modèle sans garantir que les meilleures possibilités disponibles décrivent correctement les données.
  • White, H. (1982). « Maximum Likelihood Estimation of Misspecified Models ». *Econometrica*, 50(1), 1–25. DOI : 10.2307/1912526. Référence classique sur le comportement de l’inférence statistique lorsque le modèle supposé est mal spécifié.
29 sur 35Retour à la catégorie