Intervalle crédible et intervalle de confiance — des phrases qui ne signifient pas la même chose

Une étude estime un effet à 12 unités, avec un intervalle allant de 4 à 20. Une autre présente un résultat presque identique. Dans le premier article, il s’agit d’un intervalle de confiance à 95 % ; dans le second, d’un intervalle crédible à 95 %.

À première vue, la différence paraît purement terminologique. Les deux intervalles peuvent même parfois avoir exactement les mêmes bornes. Pourtant, les phrases probabilistes qu’ils autorisent ne sont pas les mêmes.

Dans l’interprétation fréquentiste classique, le niveau de confiance de 95 % caractérise la procédure qui produit les intervalles dans des répétitions hypothétiques de l’expérience. Dans une analyse bayésienne, un intervalle crédible à 95 % contient 95 % de la probabilité postérieure du paramètre, conditionnellement aux données, au modèle et au prior.

Autrement dit, les deux intervalles peuvent se ressembler graphiquement tout en répondant à des questions différentes.

L’intervalle de confiance appartient à une procédure répétée

Supposons que nous cherchions à estimer une moyenne inconnue μ.

Nous prélevons un échantillon et obtenons un intervalle de confiance à 95 % :

[42 ; 58].

L’interprétation spontanée serait :

« Il y a 95 % de probabilité que μ soit compris entre 42 et 58. »

Dans l’interprétation fréquentiste classique, cette phrase n’est pas correcte.

Le paramètre μ est considéré comme fixe mais inconnu. Une fois l’échantillon observé et l’intervalle calculé, μ appartient à cet intervalle ou n’y appartient pas. La probabilité de 95 % se rapporte à la méthode ayant produit l’intervalle.

Si nous répétions un grand nombre de fois le même protocole d’échantillonnage et calculions chaque fois un intervalle selon cette procédure, environ 95 % des intervalles obtenus contiendraient la vraie valeur de μ, sous les hypothèses permettant cette propriété de couverture. Le NIST donne explicitement cette interprétation répétée des intervalles de confiance.

Le 95 % décrit donc une fréquence de succès à long terme de la procédure, et non une probabilité postérieure directement attribuée au paramètre dans l’intervalle particulier que nous avons sous les yeux.

Pourquoi cette interprétation paraît si étrange

La difficulté vient du fait que, dans la vie quotidienne, lorsqu’une quantité nous est inconnue, nous parlons naturellement de notre incertitude à son sujet.

Si quelqu’un nous dit :

« je suis confiant à 95 % que la valeur se situe entre 42 et 58 »,

nous comprenons spontanément :

« j’attribue 95 % de probabilité à cette plage ».

Le vocabulaire statistique fréquentiste utilise pourtant le mot *confiance* dans un sens plus technique.

Le NIST insiste précisément sur ce point : un intervalle de confiance à 95 % ne signifie pas qu’il existe 95 % de probabilité que l’intervalle calculé contienne la vraie moyenne ; le coefficient de confiance correspond à la proportion d’intervalles qui contiendraient la vraie valeur dans des répétitions du protocole.

Cela explique pourquoi l’interprétation erronée est si fréquente : elle est linguistiquement très naturelle, mais elle appartient en réalité davantage au cadre bayésien.

L’intervalle crédible permet cette phrase probabiliste

Dans une analyse bayésienne, le paramètre inconnu reçoit une distribution de probabilité.

Après combinaison du prior et des données, nous obtenons la distribution postérieure :

P(θ | données).

Un intervalle crédible à 95 % est alors une région contenant 95 % de cette probabilité postérieure.

Si notre analyse donne :

intervalle crédible à 95 % = [42 ; 58],

nous pouvons dire :

« Conditionnellement aux données, au modèle et au prior utilisés, la probabilité postérieure que θ soit compris entre 42 et 58 est de 95 %. »

Cette interprétation est directement celle donnée dans les présentations formelles des intervalles crédibles : un intervalle à \(1-\alpha\) contient \(1-\alpha\) de la probabilité postérieure.

Cette phrase ressemble beaucoup plus à ce que le grand public pense généralement entendre lorsqu’on lui présente un « intervalle à 95 % ».

Le même intervalle, deux significations

Imaginons que deux méthodes produisent toutes deux :

[42 ; 58].

La première est un intervalle de confiance fréquentiste à 95 %. La seconde est un intervalle crédible bayésien à 95 %.

Numériquement, nous voyons exactement les mêmes bornes.

Mais l’interprétation diffère :

Intervalle de confiance à 95 %Intervalle crédible à 95 %
Ce qui est probabiliséLa procédure d’échantillonnage et les intervalles qu’elle produiraitLe paramètre selon sa distribution postérieure
Interprétation principale95 % des intervalles construits ainsi couvriraient la vraie valeur à long terme95 % de la probabilité postérieure se trouve dans cet intervalle
Dépend d’un prior bayésienNonOui
Dépend d’un modèleOuiOui
« 95 % de probabilité que θ soit dans cet intervalle »Pas dans l’interprétation fréquentiste classiqueOui, conditionnellement au modèle, au prior et aux données

Cette différence ne doit pas être transformée en concours de vocabulaire. Les deux constructions possèdent leurs propres propriétés et servent des objectifs différents.

Pourquoi les deux intervalles peuvent parfois coïncider

Il serait facile de croire que deux philosophies si différentes doivent toujours produire des résultats différents.

Ce n’est pas le cas.

Dans certains modèles simples, avec certains priors faibles ou de référence, un intervalle crédible bayésien peut être numériquement identique ou très proche d’un intervalle de confiance fréquentiste.

Par exemple, dans certains modèles normaux simples avec un prior suffisamment peu informatif, les formules peuvent conduire aux mêmes bornes. Des notes de théorie statistique de l’Université d’Oxford montrent explicitement un cas où l’intervalle crédible bayésien tend vers l’intervalle de confiance fréquentiste lorsque l’information du prior devient négligeable.

Cette coïncidence numérique ne supprime pas la différence conceptuelle.

Deux routes peuvent conduire au même endroit sans constituer la même route.

Un intervalle crédible dépend du prior

L’interprétation apparemment plus intuitive de l’intervalle crédible possède une contrepartie importante : elle dépend de l’ensemble du modèle bayésien.

Supposons que les données soient relativement peu nombreuses. Un prior concentrant beaucoup de probabilité autour de certaines valeurs peut modifier sensiblement la distribution postérieure et donc l’intervalle crédible.

Deux analystes utilisant les mêmes données mais des priors substantiellement différents peuvent obtenir des intervalles crédibles différents.

Ce n’est pas nécessairement un défaut. Si l’un possède réellement des informations antérieures pertinentes, il peut être rationnel que son résultat diffère.

Mais la phrase :

« il y a 95 % de probabilité que θ soit dans cet intervalle »

doit toujours être mentalement complétée par :

« selon ce modèle, ce prior et ces données ».

Le logiciel Stan insiste d’ailleurs explicitement sur cette condition : l’interprétation probabiliste d’un intervalle postérieur est valide conditionnellement aux données et au modèle.

Un intervalle de confiance dépend lui aussi d’hypothèses

La dépendance au prior ne doit toutefois pas donner l’impression que l’intervalle fréquentiste serait entièrement indépendant de toute hypothèse.

Pour posséder sa couverture annoncée, l’intervalle de confiance dépend lui aussi des conditions sous lesquelles sa procédure a été construite : modèle statistique, mécanisme d’échantillonnage, hypothèses sur les erreurs, indépendance éventuelle des observations et autres propriétés du problème.

Le NIST précise ainsi que le taux de couverture annoncé vaut sous les hypothèses nécessaires à la construction de l’intervalle.

Si le modèle est mauvais, l’intervalle peut manquer la vraie valeur beaucoup plus souvent que prévu.

Un « intervalle de confiance à 95 % » n’est donc pas une garantie magique de 95 % valable indépendamment de la manière dont les données ont été produites.

Le bayésien doit examiner son prior et son modèle. Le fréquentiste doit examiner son modèle et les propriétés de sa procédure.

Il n’existe pas un unique intervalle crédible à 95 %

Une autre subtilité est facilement oubliée.

Supposons qu’une distribution postérieure contienne toute une gamme de valeurs possibles. Il existe généralement plusieurs intervalles différents contenant chacun 95 % de la probabilité postérieure.

On peut par exemple construire un intervalle central, en retirant 2,5 % de probabilité dans chaque queue.

Mais on peut également rechercher une région de plus haute densité postérieure, souvent appelée *highest posterior density* ou HPD, qui retient les valeurs possédant les densités postérieures les plus élevées jusqu’à atteindre 95 % de masse.

Pour une distribution symétrique et unimodale, ces intervalles peuvent être très proches. Pour une distribution fortement asymétrique ou plus complexe, ils peuvent différer sensiblement.

L’Université d’Oxford rappelle explicitement qu’une région crédible n’est pas unique et distingue notamment les régions de plus haute densité postérieure.

Dire « l’intervalle crédible à 95 % » suppose donc également de savoir quelle règle a été utilisée pour sélectionner les 95 % de probabilité postérieure.

Largeur de l’intervalle et incertitude

Dans les deux traditions, la largeur d’un intervalle nous renseigne généralement sur la précision de l’estimation, mais là encore il faut interpréter cette largeur dans son cadre.

Un intervalle très large indique que de nombreuses valeurs restent compatibles avec les informations disponibles selon la procédure ou le modèle considéré.

Un intervalle étroit indique une estimation plus précise.

Le NIST souligne que, toutes choses égales par ailleurs, l’augmentation de la taille de l’échantillon réduit généralement la largeur des intervalles de confiance parce que l’estimation devient plus précise.

Dans une analyse bayésienne, davantage de données peuvent également concentrer la distribution postérieure et réduire l’intervalle crédible.

Mais précision n’est pas exactitude.

Un modèle très mal spécifié peut produire un intervalle extrêmement étroit autour d’une mauvaise valeur. Une mesure systématiquement biaisée ne devient pas correcte simplement parce que son intervalle est minuscule.

Une incertitude bien quantifiée à l’intérieur d’un mauvais modèle reste une incertitude mal située.

Un intervalle ne contient pas forcément « les valeurs plausibles » au même sens

Le langage courant crée ici une autre ambiguïté.

Nous lisons parfois qu’un intervalle de confiance représente « les valeurs plausibles du paramètre ». Cette formulation peut être utile intuitivement, mais elle risque de faire glisser vers une interprétation bayésienne.

Dans une analyse fréquentiste, certaines valeurs appartiennent à l’intervalle parce qu’elles ne seraient pas rejetées par la procédure correspondante au niveau choisi. Dans de nombreux cas standards, intervalle de confiance et test d’hypothèse sont étroitement liés : les valeurs contenues dans un intervalle bilatéral à 95 % correspondent aux valeurs qui ne seraient pas rejetées par le test associé au niveau de 5 %. Le NIST présente explicitement cette relation.

Dans une analyse bayésienne, les valeurs de l’intervalle proviennent directement de la distribution postérieure.

Les deux peuvent donc être décrites informellement comme « plausibles », mais le mot ne désigne pas exactement la même construction probabiliste.

« L’intervalle contient zéro » ne signifie pas « aucun effet »

Un autre raccourci courant consiste à regarder si un intervalle de confiance contient une valeur particulière, souvent zéro.

Supposons qu’un effet soit estimé à :

5 unités, IC 95 % [−1 ; 11].

Dans un cadre fréquentiste standard, zéro n’est pas rejeté au niveau bilatéral de 5 % par le test correspondant.

Mais cela ne signifie pas :

« nous avons démontré qu’il n’y a aucun effet ».

L’intervalle contient aussi des effets positifs substantiels et quelques effets négatifs. Il indique surtout que les données ne permettent pas une estimation suffisamment précise pour exclure zéro selon cette procédure.

De la même manière, si un intervalle crédible à 95 % contient zéro, cela ne signifie pas automatiquement que « l’effet n’existe pas ». La distribution postérieure peut encore attribuer 90 % de probabilité à un effet positif tout en conservant une petite masse du côté négatif.

Un intervalle transporte davantage d’information qu’un simple verdict oui/non.

Un intervalle crédible ne rend pas tous ses points également probables

Supposons qu’un intervalle crédible à 95 % aille de 2 à 20.

Il serait également erroné d’imaginer que toutes les valeurs entre 2 et 20 possèdent la même probabilité.

La distribution postérieure peut être fortement concentrée autour de 10, avec très peu de densité près de 2 et de 20.

L’intervalle résume donc une distribution. Il ne la remplace pas.

Lorsque la forme de la distribution est importante — forte asymétrie, plusieurs modes, longue queue — afficher uniquement les deux bornes peut masquer une partie essentielle de l’information.

Cette observation vaut aussi plus largement pour les intervalles de confiance : réduire toute une analyse à deux nombres peut donner l’impression d’une précision conceptuelle supérieure à celle réellement disponible.

Intervalle du paramètre et intervalle de prédiction ne sont pas la même chose

Une autre confusion fréquente doit être évitée.

Un intervalle autour d’un paramètre moyen ne répond pas nécessairement à la question :

« où se situera la prochaine observation ? »

Supposons que nous estimions la pression moyenne produite par une machine avec une grande précision. Notre intervalle sur la moyenne peut être très étroit. Mais les mesures individuelles peuvent rester fortement dispersées.

Un intervalle de prédiction doit intégrer cette variabilité supplémentaire et sera généralement plus large qu’un intervalle décrivant seulement l’incertitude sur la moyenne. Le NIST souligne explicitement cette différence : prévoir une observation future exige de tenir compte à la fois de l’incertitude sur la réponse moyenne et de la variabilité propre à la nouvelle mesure.

La question « où est probablement le paramètre ? » et la question « que vais-je probablement observer ensuite ? » ne sont donc pas identiques.

Pourquoi le langage bayésien paraît souvent plus naturel

L’une des attractions du bayésianisme devient maintenant très claire.

Nous voulons souvent savoir :

« compte tenu de tout ce que nous savons, dans quelle plage la valeur inconnue se trouve-t-elle probablement ? »

L’intervalle crédible répond directement à une question de ce type.

Stan souligne d’ailleurs que l’interprétation probabiliste des intervalles postérieurs est intuitive et qu’elle est fréquemment — mais incorrectement — appliquée aux intervalles de confiance fréquentistes.

Cela constitue un avantage réel de communication.

Mais l’intuitivité d’une phrase ne garantit pas à elle seule la supériorité générale d’une méthode. Une procédure fréquentiste peut posséder d’excellentes garanties de couverture répétée, tandis qu’une analyse bayésienne peut être très sensible à un mauvais prior ou à un mauvais modèle.

Le choix statistique dépend donc toujours du problème et des propriétés recherchées.

Deux erreurs symétriques à éviter

Nous pouvons maintenant identifier deux mauvaises lectures opposées.

La première consiste à donner à l’intervalle de confiance l’interprétation bayésienne qu’il n’a pas :

« IC 95 % [42 ; 58], donc 95 % de probabilité que θ soit entre 42 et 58. »

La seconde consiste à voir un intervalle crédible et à oublier qu’il est conditionnel à un modèle et à un prior :

« 95 % de probabilité, donc ce chiffre est objectivement établi à 95 %. »

Dans le premier cas, nous attribuons au résultat une probabilité que la procédure fréquentiste ne fournit pas.

Dans le second, nous oublions les hypothèses qui ont permis de construire la distribution postérieure.

L’esprit critique doit conserver les deux précautions simultanément.

Lire un intervalle comme une phrase complète

Lorsqu’un article rapporte un intervalle, le bon réflexe consiste donc à ne pas regarder seulement ses bornes.

Demandons d’abord :

quel type d’intervalle est-ce ?

Puis :

quelle quantité est estimée ?

Ensuite :

quel modèle et quelles hypothèses permettent de le construire ?

Dans une analyse bayésienne, nous ajouterons :

quel prior a été utilisé et l’intervalle est-il sensible à ce choix ?

Dans une analyse fréquentiste :

quelle procédure possède la couverture annoncée et dans quelles conditions ?

Enfin, dans les deux cas :

la largeur de l’intervalle permet-elle réellement de répondre à la question scientifique qui nous intéresse ?

Cette série de questions transforme un intervalle statistique d’objet décoratif en véritable information sur l’incertitude.

Des phrases presque identiques, deux philosophies de l’incertitude

La différence peut finalement être résumée avec deux phrases.

Pour un intervalle de confiance fréquentiste à 95 % :

« La procédure utilisée est construite pour produire des intervalles contenant la vraie valeur dans 95 % des répétitions pertinentes, sous les hypothèses du modèle. »

Pour un intervalle crédible bayésien à 95 % :

« Selon la distribution postérieure produite par ce modèle, ce prior et ces données, 95 % de la probabilité du paramètre se trouve dans cet intervalle. »

Aucune de ces phrases n’est automatiquement plus « scientifique » que l’autre. Elles expriment deux manières différentes de formaliser l’incertitude.

Mais les confondre revient à répondre à une question probabiliste avec le résultat d’une autre.

Nous allons maintenant rencontrer une autre quantité qui porte souvent à confusion. Le facteur de Bayes permet de comparer formellement la capacité de deux modèles à prédire les données. Il ressemble à un rapport de vraisemblance, mais il doit tenir compte de l’ensemble des valeurs possibles autorisées par chaque modèle.

Pour aller plus loin

  • NIST/SEMATECH. « What are confidence intervals? », *e-Handbook of Statistical Methods*. Présentation claire de l’interprétation fréquentiste des intervalles de confiance par leur couverture dans des échantillonnages répétés.
  • NIST/SEMATECH. « Confidence Limits for the Mean », *e-Handbook of Statistical Methods*. Le texte souligne explicitement qu’un intervalle de confiance à 95 % ne signifie pas que l’intervalle observé possède 95 % de probabilité de contenir la vraie moyenne.
  • Reinert, G. « Credible intervals », University of Oxford, *Statistical Theory*. Présentation formelle d’un intervalle crédible comme région contenant une proportion déterminée de la probabilité postérieure et comparaison avec l’interprétation fréquentiste.
  • Stan Development Team. « Posterior uncertainty intervals », documentation *rstanarm*. Présentation pratique des intervalles postérieurs et de leur interprétation probabiliste conditionnelle aux données et au modèle.
26 sur 35Retour à la catégorie