Analyse de sensibilité — que se passe-t-il si le prior change ?

Une analyse bayésienne produit un posterior à partir de deux ingrédients principaux : un modèle de vraisemblance, qui décrit ce que les données nous apprennent, et un prior, qui représente l’information ou les contraintes introduites avant ces données. Dès lors, une question s’impose : que se passerait-il si nous avions choisi un autre prior raisonnable ?

L’analyse de sensibilité consiste précisément à examiner cette dépendance. Si plusieurs priors défendables conduisent à des conclusions très proches, le résultat paraît robuste à ce choix. Si, au contraire, une modification modeste du prior transforme fortement le posterior ou inverse la conclusion, cette dépendance doit être rendue visible.

Ce principe dépasse largement le bayésianisme. Il exprime une règle générale d’esprit critique : ne pas demander seulement ce que produit une analyse, mais à quel point ce résultat dépend des choix qui ont permis de la construire.

Un résultat n’existe jamais sans hypothèses

Imaginons une étude dans laquelle nous cherchons à estimer l’effet d’une intervention. Avec un premier prior, l’analyse indique que les valeurs positives sont très plausibles. Avec un second prior, également compatible avec les connaissances disponibles, le posterior reste beaucoup plus incertain et conserve une probabilité non négligeable d’un effet nul ou négatif.

La réaction correcte n’est pas nécessairement de chercher lequel des deux priors permet d’obtenir « la bonne réponse ». Il faut d’abord constater que les données disponibles ne suffisent peut-être pas à rendre la conclusion indépendante de nos hypothèses initiales.

Cette information est scientifiquement importante.

Un résultat robuste à différents choix raisonnables est généralement plus rassurant qu’un résultat qui n’apparaît que sous une spécification particulière. Inversement, une forte sensibilité ne démontre pas automatiquement que l’analyse est mauvaise : elle peut simplement révéler que les données sont encore trop peu informatives pour trancher fortement.

L’analyse de sensibilité transforme donc une faiblesse potentielle en information explicite.

Un exemple simple

Supposons que nous disposions de peu de données sur l’efficacité d’un nouveau traitement. Les observations suggèrent un effet positif, mais avec une grande incertitude.

Un premier analyste utilise un prior faiblement informatif centré autour d’un effet nul, tout en laissant une large place à des effets positifs ou négatifs. Un second utilise un prior informatif fondé sur plusieurs études antérieures suggérant un effet modérément positif.

Les deux analyses intègrent exactement les mêmes nouvelles données. Pourtant, leurs posteriors peuvent différer.

Si l’échantillon actuel est très petit, l’étude antérieure représentée dans le second prior conserve une influence importante. Si l’échantillon devient beaucoup plus grand et fournit un signal très net, les deux analyses pourront progressivement converger.

L’analyse de sensibilité consiste alors à refaire l’inférence avec plusieurs priors plausibles et à regarder ce qui change réellement : estimation centrale, incertitude, probabilité d’un effet positif, décision pratique ou comparaison entre modèles.

Robuste ne signifie pas identique

Il ne faut pas exiger que tous les priors produisent exactement le même posterior. Ce serait contradictoire avec la logique bayésienne : si nous fournissons des informations initiales différentes, une partie de cette différence doit normalement subsister lorsque les données ne sont pas infiniment informatives.

La véritable question est plutôt : les différences sont-elles suffisamment importantes pour modifier l’interprétation du problème ?

Supposons que trois priors raisonnables conduisent respectivement à une estimation moyenne d’effet de 1,8, 1,9 et 2,0 unités, avec des intervalles postérieurs très proches. Le résultat est sensible au sens strict — les nombres ne sont pas identiques — mais il est probablement robuste sur le plan substantiel.

À l’inverse, si les trois analyses conduisent à « effet probablement négatif », « résultat indéterminé » et « effet probablement positif », le choix du prior devient central.

L’objectif n’est donc pas de rechercher une invariance parfaite, mais d’identifier les conclusions qui survivent aux variations raisonnables de nos hypothèses.

Quels priors faut-il tester ?

L’analyse de sensibilité n’a aucun intérêt si nous comparons uniquement des priors presque identiques. Mais tester volontairement des priors absurdes afin de faire paraître le résultat instable n’est pas plus instructif.

Il faut explorer un ensemble de choix raisonnablement défendables.

Supposons que des recherches antérieures suggèrent qu’un effet est probablement modeste, mais que leur qualité reste incertaine. Nous pourrions comparer un prior informatif tiré de cette littérature, un prior plus large représentant une confiance moindre dans ces études et un prior faiblement informatif imposant surtout des ordres de grandeur plausibles.

Si les trois conduisent à une conclusion similaire, nous apprenons que cette conclusion ne repose pas fortement sur notre manière exacte de représenter les connaissances antérieures.

Si elles divergent, nous devons déterminer pourquoi.

Le choix des scénarios de sensibilité est donc lui-même une décision à justifier.

Quand les données dominent

Considérons une situation où le prior autorise une grande variété de valeurs, puis où des milliers d’observations extrêmement informatives se concentrent dans une région étroite. Plusieurs priors raisonnables attribuant une probabilité non négligeable à cette région pourront alors produire des posteriors très similaires.

Dans ce cas, on dit parfois que les données dominent le prior.

Cette expression est utile mais doit rester prudente. Elle dépend du modèle, du paramètre considéré et de la quantité réelle d’information présente dans les données. Dans certains modèles complexes, certaines dimensions peuvent être fortement contraintes par les données tandis que d’autres restent très sensibles aux priors.

Il est donc préférable de vérifier cette domination plutôt que de la supposer.

Une pratique bayésienne rigoureuse inclut précisément des diagnostics de sensibilité parmi les étapes permettant d’évaluer la qualité et la robustesse d’un modèle. Schad, Betancourt et Vasishth intègrent ainsi la sensibilité du modèle aux différentes étapes d’un *Bayesian workflow*, aux côtés des contrôles prédictifs et des diagnostics computationnels.

Quand le prior domine

La situation inverse se produit lorsque les données contiennent peu d’information sur un paramètre.

Supposons que nous cherchions à estimer la fréquence d’un événement extrêmement rare à partir d’un très petit échantillon dans lequel aucun événement n’a encore été observé. De nombreux taux restent compatibles avec les données. Le choix du prior peut alors jouer un rôle considérable.

Cela ne signifie pas que Bayes « invente » le résultat. Cela signifie que l’expérience n’a pas encore fourni suffisamment d’information pour remplacer fortement ce que nous savions auparavant.

Le phénomène peut également apparaître dans des modèles comportant des paramètres difficiles à identifier. Plusieurs combinaisons de paramètres peuvent expliquer presque aussi bien les mêmes données. Les priors contribuent alors fortement à déterminer lesquelles reçoivent le plus de poids.

Une forte sensibilité devient ici un diagnostic utile : elle signale que la conclusion que nous aimerions tirer n’est peut-être pas aussi déterminée par les observations qu’une valeur numérique unique pourrait le laisser croire.

Le conflit entre prior et données

Une autre situation particulièrement informative apparaît lorsque le prior et les nouvelles données semblent pointer dans des directions très différentes.

Supposons qu’un ensemble important de connaissances antérieures rende les effets très importants hautement improbables, mais qu’une nouvelle expérience produise précisément une estimation spectaculaire.

Plusieurs explications sont possibles. La nouvelle étude peut avoir découvert quelque chose de réellement inattendu. Le prior peut être devenu obsolète ou avoir été mal construit. Mais l’étude peut également être affectée par une erreur, un biais de sélection ou un modèle inadéquat.

L’analyse de sensibilité aide à diagnostiquer ce type de conflit prior-données. Si le posterior change radicalement dès que le poids du prior est légèrement diminué, la tension mérite d’être examinée explicitement.

Des méthodes contemporaines cherchent d’ailleurs à détecter conjointement la sensibilité au prior et à la vraisemblance. Kallioinen, Paananen, Bürkner et Vehtari ont proposé une approche par *power-scaling* permettant d’évaluer comment de petites perturbations du prior ou de la vraisemblance affectent le posterior, notamment afin de repérer des conflits prior-données ou une vraisemblance peu informative.

La sensibilité à la vraisemblance compte aussi

Il serait réducteur de vérifier uniquement le prior.

Le posterior dépend également de la vraisemblance, donc du modèle choisi pour représenter la génération des données. Supposons que nous utilisions une distribution normale alors que les données contiennent de nombreuses valeurs extrêmes. Le résultat peut être davantage influencé par cette hypothèse de modélisation que par le choix précis du prior.

Une analyse complète devrait donc parfois examiner :

prior → vraisemblance → posterior,

et demander quelles parties du résultat dépendent de chacun de ces éléments.

Nous retrouverons ce problème avec la fiche consacrée au modèle oublié : Bayes peut calculer parfaitement à l’intérieur d’un modèle inadéquat.

L’analyse de sensibilité n’est donc pas seulement « changer le prior ». C’est une instance particulière d’une démarche plus générale de vérification de robustesse du modèle.

Sensibilité locale et sensibilité globale

Toutes les analyses de sensibilité ne fonctionnent pas de la même manière.

Une approche simple consiste à choisir plusieurs priors substantiellement différents mais plausibles, à refaire entièrement l’analyse et à comparer leurs posteriors. Cette méthode est intuitive et souvent suffisante pour une présentation pédagogique.

D’autres méthodes examinent plutôt ce qui se produit lorsqu’on modifie légèrement le prior autour de la spécification choisie. C’est une analyse de sensibilité plus locale : elle cherche à mesurer la vitesse à laquelle le résultat évolue lorsque les hypothèses changent un peu.

Des techniques plus sophistiquées permettent encore d’explorer des familles entières de priors ou d’estimer la sensibilité sans devoir ajuster complètement le modèle à chaque variation. Le principe reste pourtant le même : quantifier la dépendance entre nos choix initiaux et nos conclusions finales.

Pour l’esprit critique, il n’est pas nécessaire de maîtriser ces méthodes computationnelles. Il faut surtout comprendre ce qu’elles cherchent à révéler.

Le cas particulier des facteurs de Bayes

La question devient particulièrement importante lorsque les priors participent à une comparaison formelle entre modèles, par exemple à l’aide de facteurs de Bayes.

Dans ce contexte, le choix de la distribution a priori sur les paramètres peut parfois avoir une influence substantielle sur la mesure obtenue. Un prior très diffus peut notamment répartir beaucoup de probabilité sur des valeurs que les données ne soutiennent pas et modifier fortement la probabilité marginale du modèle.

Cela signifie qu’un facteur de Bayes ne devrait pas toujours être présenté comme un nombre auto-interprétable indépendant des choix de modélisation. La littérature recommande régulièrement d’examiner sa sensibilité à des priors alternatifs lorsque ces choix sont substantiellement discutables.

Nous reviendrons sur cette question dans la fiche consacrée aux facteurs de Bayes. Elle constitue un bon exemple d’un principe plus général : plus une conclusion dépend d’une hypothèse difficile à justifier précisément, plus il est important de montrer ce qui se produit lorsque cette hypothèse change.

Une analyse de sensibilité peut renforcer une conclusion

L’analyse de sensibilité n’est pas uniquement un outil destiné à trouver des failles.

Supposons qu’un résultat controversé soit analysé avec quatre priors reflétant des positions initiales très différentes mais toutes raisonnables. Les quatre analyses convergent vers un posterior fortement concentré dans la même région.

Cette convergence constitue une information supplémentaire : la conclusion n’est pas simplement le produit du prior préféré par l’analyste.

Elle ne prouve évidemment pas que le modèle est correct, que les données sont exemptes de biais ou que toutes les hypothèses concurrentes ont été envisagées. Mais elle répond à une objection précise : dans l’espace de priors étudié, la conclusion est robuste.

L’analyse de sensibilité peut donc soit affaiblir une certitude excessive, soit renforcer la confiance dans la stabilité d’un résultat.

Une instabilité n’invalide pas automatiquement l’analyse

Il faut également éviter l’erreur inverse : « si le résultat est sensible au prior, il est inutilisable ».

Une forte sensibilité peut être exactement ce que nous devrions observer lorsque les données sont faibles.

Supposons que deux expériences seulement existent sur une question nouvelle. Elles sont petites et donnent des résultats relativement incertains. Il serait presque inquiétant qu’une analyse prétende produire une conclusion extrêmement stable quelles que soient les connaissances antérieures introduites.

La sensibilité nous informe alors que l’incertitude réelle est importante.

Le bon message peut être : « les données actuelles favorisent légèrement H, mais la conclusion dépend encore fortement de choix raisonnables concernant le prior ».

C’est une conclusion moins spectaculaire, mais probablement plus honnête.

Comparer les conclusions, pas seulement les nombres

Une bonne analyse de sensibilité ne doit pas nécessairement présenter des dizaines de distributions ou de coefficients au lecteur.

Il faut identifier les conséquences pertinentes.

Par exemple :

  • le signe de l’effet change-t-il ?
  • l’ordre de grandeur change-t-il fortement ?
  • une décision pratique serait-elle différente ?
  • l’incertitude augmente-t-elle beaucoup ?
  • le classement des hypothèses est-il inversé ?
  • une conclusion présentée comme forte devient-elle seulement modérée ?

Ces questions traduisent la sensibilité statistique en sensibilité substantielle.

Un changement minuscule dans la troisième décimale est rarement important. Une conclusion passant de « très probable » à « incertaine » l’est beaucoup plus.

L’objectif n’est donc pas de produire davantage de chiffres, mais de savoir quelles affirmations sont réellement soutenues à travers plusieurs spécifications raisonnables.

Cette logique vaut bien au-delà de Bayes

Le principe d’analyse de sensibilité peut être appliqué presque partout.

Un modèle économique dépend d’hypothèses sur la croissance future : que devient la conclusion avec une croissance un peu plus faible ? Une estimation démographique dépend d’une définition particulière de la population : le résultat reste-t-il semblable avec une autre définition plausible ? Une analyse politique dépend du choix d’une période de référence : observe-t-on encore la tendance lorsqu’on décale légèrement cette période ?

Même un raisonnement qualitatif peut être soumis à cette épreuve. Si ma conclusion exige simultanément cinq hypothèses contestables, que se passe-t-il lorsque j’en modifie une ?

Cette démarche oblige à distinguer ce qui vient des observations de ce qui vient de nos choix analytiques.

Elle constitue donc un outil majeur d’autonomie intellectuelle.

L’équivalent qualitatif : « et si je me trompais sur ce point ? »

Nous pouvons appliquer l’idée sans aucune statistique.

Supposons que nous évaluions une hypothèse à partir d’un témoignage dont nous estimons la fiabilité assez élevée. Demandons-nous : si cette personne était un peu moins fiable que je ne le pense, ma conclusion changerait-elle beaucoup ?

Ou encore : je considère une explication improbable parce que je pense qu’un événement préalable était extrêmement rare. Si ce taux était dix fois supérieur à mon estimation, mon jugement final serait-il réellement différent ?

Ce sont des analyses de sensibilité qualitatives.

Elles sont particulièrement utiles lorsque les nombres précis seraient artificiels. Au lieu de prétendre savoir que notre prior vaut exactement 17 %, nous pouvons demander si notre conclusion reste valable dans une gamme plus large : faible, modéré, relativement élevé.

Si la réponse demeure la même sur toute cette plage, nous pouvons avoir davantage confiance dans sa robustesse. Si elle s’effondre dès que nous modifions légèrement notre estimation, nous savons exactement où se situe notre incertitude.

La robustesse comme vertu épistémique

L’analyse de sensibilité permet finalement de distinguer deux types de certitude.

La première est fragile : « voici le résultat produit par mes hypothèses ».

La seconde est plus robuste : « voici ce qui reste vrai lorsque je modifie plusieurs hypothèses raisonnables ».

Cette seconde forme de connaissance est particulièrement précieuse parce qu’elle ne dépend pas d’un réglage unique du modèle.

Elle ne dispense pas d’examiner la qualité des données, les biais possibles ou les hypothèses oubliées. Mais elle répond à une question fondamentale : notre conclusion est-elle portée par l’information disponible, ou repose-t-elle principalement sur un choix contestable que nous avons introduit nous-mêmes ?

Dans une perspective d’autonomie intellectuelle, ce réflexe peut devenir général. Face à une conclusion, ne demandons pas seulement : « quels arguments la soutiennent ? » Demandons aussi : « quels choix faut-il modifier pour qu’elle cesse d’être vraie ? »

Une croyance qui résiste à plusieurs variations raisonnables de ses hypothèses possède une robustesse que n’a pas une croyance dépendant d’un réglage précis.

Nous venons ainsi de terminer la partie consacrée au poids des connaissances antérieures. Nous savons désormais ce qu’est un taux de base, pourquoi les hypothèses ne commencent pas toutes avec la même plausibilité, comment différents priors peuvent représenter cette information et pourquoi leur influence doit être testée.

Il reste maintenant à examiner l’autre moitié de la mise à jour bayésienne : la force de la nouvelle preuve elle-même.

Pour cela, il faut introduire une notion centrale : la vraisemblance.

Pour aller plus loin

  • Berger, J. O. (1990). « Robust Bayesian Analysis: Sensitivity to the Prior ». *Journal of Statistical Planning and Inference*, 25, 303–328. Une référence importante sur l’analyse bayésienne robuste et la sensibilité aux spécifications a priori.
  • Schad, D. J., Betancourt, M., & Vasishth, S. (2021). « Toward a principled Bayesian workflow in cognitive science ». *Psychological Methods*, 26(1), 103–126. Présente l’analyse de sensibilité comme une étape d’un workflow bayésien plus large incluant vérification prédictive et diagnostics du modèle.
  • Kallioinen, N., Paananen, T., Bürkner, P.-C., & Vehtari, A. (2024). « Detecting and diagnosing prior and likelihood sensitivity with power-scaling ». *Statistics and Computing*, 34. Présente une méthode pratique permettant d’examiner la sensibilité du posterior au prior et à la vraisemblance ainsi que certains conflits entre prior et données.
  • Cameron, E., & Pettitt, A. N. (2014). « Recursive Pathways to Marginal Likelihood Estimation with Prior-Sensitivity Analysis ». *Statistical Science*, 29(3), 397–419. DOI : 10.1214/13-STS465. Exemple d’analyse de sensibilité appliquée notamment aux probabilités marginales et à la comparaison de modèles.
11 sur 35Retour à la catégorie