Intervalle de confiance

Un intervalle de confiance, souvent abrégé IC, accompagne une estimation statistique afin d’indiquer son degré de précision.

Une étude peut par exemple estimer :

RR = 0,80

avec :

IC 95 % : 0,65–0,98.

L’estimation centrale suggère que le risque est environ 20 % plus faible dans le groupe traité. L’intervalle indique que les données restent compatibles avec une gamme d’effets plus ou moins importants.

Il est donc beaucoup plus informatif de lire :

RR = 0,80 ; IC 95 % 0,65–0,98

que simplement :

RR = 0,80.

Pourquoi avons-nous besoin d’un intervalle ?

Une étude porte généralement sur un échantillon et non sur toute la population possible.

Si l’expérience était répétée avec d’autres participants comparables, le résultat ne serait pas exactement identique.

Il existe une variabilité d’échantillonnage.

L’intervalle de confiance quantifie cette incertitude statistique.

Exemple simple

Supposons que l’on compare deux traitements et que l’on trouve :

RR = 0,80.

Cette valeur est notre meilleure estimation à partir des données observées.

Mais le véritable effet pourrait être légèrement différent.

L’intervalle de confiance permet de préciser la plage d’effets suffisamment compatibles avec les données et le modèle statistique utilisé.

Un résultat précis

Exemple :

RR = 0,80 ; IC 95 % : 0,77–0,83.

L’intervalle est étroit.

L’effet est donc estimé avec une grande précision statistique.

Un résultat imprécis

Autre étude :

RR = 0,80 ; IC 95 % : 0,35–1,82.

La même estimation centrale apparaît.

Mais l’incertitude est énorme.

Les données sont compatibles avec :

  • un bénéfice important ;
  • presque aucun effet ;
  • un dommage important.

Les deux études ne fournissent donc pas le même niveau d’information.

L’estimation ponctuelle

La valeur :

RR = 0,80

est appelée estimation ponctuelle.

C’est la valeur qui correspond le mieux aux données selon la méthode utilisée.

Mais elle ne doit jamais être interprétée comme si l’effet réel était connu exactement.

L’intervalle rappelle l’incertitude

Il protège contre une tendance cognitive naturelle :

prendre le chiffre publié pour une vérité exacte.

En réalité, une estimation statistique possède toujours une marge d’incertitude.

Que signifie exactement un IC à 95 % ?

L’interprétation fréquentiste rigoureuse est souvent mal comprise.

Un intervalle de confiance à 95 % est construit par une procédure qui, si l’on répétait indéfiniment l’étude dans les mêmes conditions, produirait des intervalles contenant la vraie valeur du paramètre environ 95 % du temps, sous les hypothèses du modèle.

Ce que cela ne signifie pas exactement

Après que l’intervalle a été calculé, l’interprétation fréquentiste classique ne dit pas :

« il y a 95 % de probabilité que la vraie valeur soit dans cet intervalle ».

Dans ce cadre, le paramètre véritable est considéré comme fixe.

C’est l’intervalle qui aurait varié d’un échantillon à l’autre.

Pourquoi cette distinction paraît étrange

Dans le langage courant, il est naturel de vouloir dire :

« nous sommes confiants à 95 % que la vraie valeur se trouve ici ».

Cette formulation est souvent utilisée pédagogiquement.

Elle traduit assez bien l’idée d’incertitude, mais ce n’est pas l’interprétation probabiliste stricte de l’intervalle fréquentiste.

Une analogie

Imaginez une méthode de pêche qui capture le poisson cible dans 95 % des lancers.

Une fois le filet lancé, le poisson est soit :

  • dans le filet ;
  • hors du filet.

Il n’est plus « à 95 % dedans ».

Le 95 % concerne la performance répétée de la méthode, pas une probabilité attachée au filet particulier après coup.

Intervalle bayésien

Dans une analyse bayésienne, on peut construire un intervalle de crédibilité.

Dans ce cadre, une formulation comme :

« la probabilité que le paramètre se trouve entre ces deux valeurs est de 95 % »

peut avoir un sens direct, conditionnellement :

  • aux données ;
  • au modèle ;
  • au prior.

Les deux approches ne doivent pas être confondues.

Mais dans la pratique

Pour lire une étude médicale, le point essentiel est surtout :

ne pas s’arrêter à l’estimation centrale.

Il faut regarder quelles tailles d’effet restent compatibles avec les données.

La valeur nulle

Chaque mesure possède une valeur correspondant à l’absence d’effet.

Pour une différence de risque ou de moyenne :

0.

Pour un ratio :

  • RR ;
  • OR ;
  • HR,

la valeur nulle est :

1.

Exemple avec un risque relatif

RR = 0,75 ; IC 95 % : 0,60–0,90.

Tout l’intervalle est inférieur à 1.

Les données soutiennent une diminution du risque, au niveau de confiance considéré.

Exemple traversant 1

RR = 0,75 ; IC 95 % : 0,50–1,12.

L’intervalle inclut :

1.

Les données sont donc compatibles avec l’absence d’effet, mais aussi avec un bénéfice assez important.

L’erreur fréquente

On résume alors parfois :

« le traitement ne fonctionne pas ».

C’est trop fort.

L’étude n’a pas démontré statistiquement une différence au seuil conventionnel, mais elle ne démontre pas nécessairement l’absence d’effet.

Absence de preuve versus preuve d’absence

Cette distinction est fondamentale.

Un intervalle :

0,50–1,12

est très différent d’un intervalle :

0,98–1,02.

Les deux traversent 1.

Mais ils racontent des histoires différentes.

Premier cas

RR = 0,75 ; IC 0,50–1,12.

Beaucoup d’incertitude.

Un bénéfice important reste plausible.

Deuxième cas

RR = 1,00 ; IC 0,98–1,02.

L’effet est estimé très précisément autour de l’absence d’effet.

Un effet important devient très improbable selon le modèle.

Cette seconde étude fournit beaucoup plus de preuve d’absence d’un effet substantiel.

La largeur de l’intervalle compte donc autant que son rapport à 1

Réduire l’interprétation à :

« traverse 1 ou pas ? »

fait perdre une grande partie de l’information.

La tyrannie du seuil

Considérons deux études.

Étude A

RR = 0,80 ; IC 95 % : 0,64–0,99.

Étude B

RR = 0,80 ; IC 95 % : 0,64–1,01.

La première sera souvent qualifiée de :

« statistiquement significative ».

La seconde :

« non significative ».

Pourtant, leurs résultats sont presque identiques.

La différence de 0,02 à la borne supérieure n’a rien de magique

Il serait absurde de conclure :

A prouve l’efficacité

mais

B prouve l’inefficacité.

Les données racontent pratiquement la même histoire.

Le seuil de 95 % est conventionnel

Un IC à 95 % est très courant.

Mais on peut calculer :

  • IC 90 % ;
  • IC 99 %.

Plus on exige un niveau de confiance élevé, plus l’intervalle devient généralement large.

Pourquoi ?

Pour construire une procédure qui couvre la vraie valeur plus souvent, il faut accepter une plage plus large.

C’est un compromis :

plus de confiance → moins de précision apparente.

Exemple

Même estimation :

RR = 0,80.

IC 90 % :

0,70–0,91.

IC 95 % :

0,68–0,94.

IC 99 % :

0,63–1,02.

Ces valeurs sont fictives mais illustrent le principe.

Un résultat peut donc être « significatif à 5 % » mais pas à 1 %

Ce n’est pas une contradiction.

On a simplement modifié le niveau d’exigence statistique.

Intervalle et p-value

Dans certains tests bilatéraux standards :

IC 95 % excluant la valeur nulle

correspond approximativement à :

p < 0,05.

Il existe donc un lien étroit entre intervalle de confiance et test de significativité.

Mais l’intervalle contient beaucoup plus d’information

La p-value répond essentiellement à :

« à quel point les données sont-elles incompatibles avec l’hypothèse nulle selon ce modèle ? »

L’intervalle montre :

quelles tailles d’effet sont encore compatibles avec les données.

Exemple

Deux études :

Étude A

RR = 0,50

IC = 0,30–0,80

p < 0,01.

Étude B

RR = 0,95

IC = 0,92–0,98

p < 0,01.

Toutes deux sont statistiquement significatives.

Mais les tailles d’effet sont radicalement différentes.

La p-value ne mesure pas la taille de l’effet

Une petite p-value peut accompagner :

  • un effet énorme ;
  • un effet minuscule.

La taille de l’échantillon joue un rôle majeur.

Exemple

Un traitement réduit une douleur moyenne de :

0,1 point sur 10.

Avec plusieurs centaines de milliers de participants, cette différence pourrait être extrêmement significative statistiquement.

Mais personne ne la ressent nécessairement.

L’intervalle permet de poser la question clinique

Supposons que l’on considère qu’une différence d’au moins :

1 point

est cliniquement importante.

Une étude trouve :

différence = −0,2

IC :

−0,3 à −0,1.

Le résultat est statistiquement très précis.

Mais l’ensemble de l’intervalle est bien inférieur au seuil d’importance clinique.

On peut raisonnablement conclure que l’effet est probablement trop faible pour être cliniquement pertinent selon ce seuil.

Seuil de pertinence clinique

On peut donc comparer l’intervalle non seulement à :

0 ou 1

mais aussi à un seuil d’effet cliniquement important.

C’est souvent beaucoup plus utile.

Exemple

Pour un RR, imaginons que seule une réduction d’au moins :

20 %

soit considérée importante.

Cela correspond à :

RR ≤ 0,80.

Étude :

RR = 0,90 ; IC 0,86–0,94.

Le résultat est statistiquement significatif.

Mais il exclut pratiquement un bénéfice de 20 %.

On peut conclure :

petit effet probable, grand bénéfice peu compatible avec les données.

Autre étude

RR = 0,90 ; IC 0,65–1,25.

Elle n’est pas statistiquement significative.

Mais un bénéfice cliniquement important reste parfaitement plausible.

La bonne conclusion est :

incertitude trop grande, pas « absence d’effet ».

Quatre situations utiles

On peut distinguer plusieurs configurations.

1. Intervalle étroit et effet important

Résultat précis et probablement cliniquement intéressant.

2. Intervalle étroit autour de l’absence d’effet

Preuve assez solide qu’un effet important est improbable.

3. Intervalle large avec effet central favorable

Résultat prometteur mais trop imprécis.

4. Intervalle large traversant bénéfice et dommage

Résultat réellement indéterminé.

Cette grille est beaucoup plus informative que « significatif / non significatif ».

Pourquoi un intervalle est-il large ?

La précision dépend notamment :

  • taille de l’échantillon ;
  • nombre d’événements ;
  • variabilité des données.

Plus l’information est faible, plus l’intervalle est large.

Taille de l’échantillon

En général :

plus de participants → intervalle plus étroit.

Mais l’amélioration n’est pas linéaire.

L’erreur standard diminue souvent approximativement comme :

1 / √n.

Conséquence

Pour diviser approximativement l’incertitude statistique par deux, il faut souvent multiplier la taille d’échantillon par environ :

quatre.

Augmenter légèrement l’effectif n’améliore donc pas toujours énormément la précision.

Nombre d’événements

Pour les critères binaires ou de survie, le nombre d’événements est souvent particulièrement important.

Une étude de :

100 000 personnes

avec seulement :

10 événements

peut produire un intervalle très large.

Exemple

Traitement :

1 événement.

Contrôle :

2 événements.

RR :

0,50.

Ce chiffre semble spectaculaire.

Mais l’intervalle sera immense.

Les données sont trop peu nombreuses pour conclure fermement.

Un énorme effet apparent avec peu d’événements doit être interprété avec prudence

Les petites études produisent davantage d’estimations extrêmes simplement par fluctuation aléatoire.

C’est l’une des raisons pour lesquelles les premiers résultats peuvent être révisés ensuite.

L’intervalle n’intègre pas tous les types d’incertitude

C’est un point crucial.

Un IC statistique peut être extrêmement étroit alors que l’étude est fortement biaisée.

Exemple

Une étude portant sur un million de personnes mesure mal l’exposition.

Elle trouve :

RR = 1,20 ; IC 1,19–1,21.

L’estimation est extrêmement précise statistiquement.

Mais si la mesure est systématiquement biaisée, le véritable effet causal peut être très différent.

Précision ≠ validité

L’intervalle de confiance décrit généralement l’erreur aléatoire dans le cadre du modèle.

Il ne corrige pas automatiquement :

  • biais de sélection ;
  • confusion ;
  • erreur de mesure ;
  • mauvaise spécification du modèle.

Une étude peut être précisément fausse.

Cible dans le mille

On peut reprendre la distinction classique :

précision = dispersion des tirs ;

exactitude = proximité de la cible.

Un intervalle étroit indique des tirs regroupés.

Il ne garantit pas qu’ils soient centrés sur la bonne cible.

Les hypothèses du modèle comptent

L’intervalle repose sur un modèle statistique.

Il suppose notamment que :

  • les observations sont correctement représentées ;
  • les erreurs sont traitées de manière appropriée.

Si le modèle est faux, la couverture réelle de l’intervalle peut être différente de 95 %.

Dépendance entre observations

Supposons une étude où les personnes appartiennent à des familles, écoles ou hôpitaux.

Les observations ne sont alors pas complètement indépendantes.

Ignorer cette corrélation peut produire des intervalles trop étroits.

Essais en grappes

Dans un essai randomisé par école, il serait incorrect de traiter 1 000 élèves comme 1 000 unités totalement indépendantes.

Il faut intégrer la corrélation intra-école.

Sinon la précision apparente est exagérée.

Données répétées

Même problème lorsqu’une même personne fournit de nombreuses observations.

Cent mesures chez une personne ne donnent pas la même information que cent personnes indépendantes.

Le modèle doit tenir compte de cette structure.

Multiplicité et intervalles

Si l’on calcule un IC 95 % pour une seule estimation, le taux de couverture est conçu autour de 95 % sous les hypothèses.

Mais si l’on calcule :

100 intervalles différents,

certains excluront la vraie valeur simplement par hasard.

Exemple

Sous des conditions idéales, avec 100 paramètres réellement nuls, on peut s’attendre à ce qu’environ :

5 intervalles à 95 %

excluent la valeur nulle par fluctuation.

C’est le problème de multiplicité.

Intervalles simultanés

Des méthodes peuvent ajuster les intervalles lorsque l’on souhaite contrôler la couverture simultanée d’un ensemble de comparaisons.

Mais cela élargit généralement les intervalles.

Sous-groupes

Un forest plot peut montrer :

  • hommes ;
  • femmes ;
  • jeunes ;
  • âgés.

Chaque sous-groupe possède son propre IC.

Voir qu’un intervalle exclut 1 dans un groupe mais pas dans l’autre ne suffit pas pour conclure à une différence d’effet.

Exemple

Hommes :

RR 0,80 ; IC 0,65–0,98.

Femmes :

RR 0,82 ; IC 0,65–1,04.

Il serait incorrect de conclure :

le traitement fonctionne chez les hommes mais pas chez les femmes.

Les estimations sont presque identiques.

Il faut tester la différence entre les effets

C’est le rôle du test d’interaction.

Comparer séparément deux tests de significativité n’est pas la même chose que tester la différence entre deux effets.

Une phrase classique

« La différence entre significatif et non significatif n’est pas nécessairement significative. »

C’est une règle très utile pour lire les analyses de sous-groupes.

Intervalle asymétrique

Les intervalles de ratios sont souvent asymétriques autour de l’estimation lorsqu’ils sont exprimés sur l’échelle originale.

Exemple :

OR = 2

IC :

1,2–3,4.

La distance vers le haut n’est pas identique à celle vers le bas.

Pourquoi ?

Les analyses sont souvent réalisées sur :

log(OR), log(RR) ou log(HR).

Sur l’échelle logarithmique, l’intervalle peut être symétrique.

Après exponentiation, il devient asymétrique.

La valeur 1 est centrale sur l’échelle multiplicative

Pour un ratio, un effet :

0,5

et

2

sont symétriques en sens inverse sur l’échelle logarithmique :

ln(0,5) = −ln(2).

C’est une raison importante d’utiliser les logarithmes pour ces mesures.

Intervalle d’une différence absolue

Supposons :

RAR :

4 points de pourcentage

IC :

1 à 7 points.

Le traitement pourrait éviter approximativement entre :

1 et 7 événements pour 100 personnes, sur la période considérée.

C’est une interprétation très concrète.

Intervalle du NNT

Le NNT est l’inverse de la différence absolue.

Lorsque la RAR est :

4 %

IC :

2–8 %,

le NNT central est :

25.

Les valeurs correspondant aux limites sont :

1 / 0,08 ≈ 13

et

1 / 0,02 = 50.

On peut donc obtenir approximativement :

NNT 13–50.

Mais si l’intervalle traverse zéro

Supposons :

RAR :

2 %

IC :

−1 à +5 %.

Le passage par zéro implique que le NNT passe mathématiquement par l’infini puis change de sens vers un NNH.

Présenter un simple intervalle numérique du NNT devient donc difficile.

Il vaut mieux montrer directement la différence de risque et son IC.

Intervalle et équivalence

Les intervalles jouent un rôle central dans les essais d’équivalence.

La question n’est pas :

« les traitements sont-ils exactement identiques ? »

mais :

« les différences plausibles sont-elles suffisamment petites pour être considérées comme cliniquement négligeables ? »

Exemple

On définit une marge acceptable :

−5 à +5 points.

Si l’IC complet de la différence est :

−2 à +3,

les données peuvent soutenir l’équivalence selon les critères préspécifiés.

Non-infériorité

Dans un essai de non-infériorité, on accepte qu’un nouveau traitement puisse être légèrement moins efficace, à condition que la perte ne dépasse pas une marge fixée.

L’intervalle de confiance est alors comparé à cette marge de non-infériorité.

Exemple

Nouveau traitement − standard.

Marge :

−5 points.

Estimation :

−1 point.

IC :

−3 à +1.

L’intervalle reste au-dessus de −5.

La non-infériorité peut être soutenue.

Si l’IC est :

−7 à +1,

la possibilité d’une perte supérieure à la marge reste compatible avec les données.

La non-infériorité n’est pas démontrée.

Non-infériorité ≠ équivalence ≠ absence de significativité

Ce sont trois concepts différents.

Dire :

« aucune différence significative »

ne démontre jamais à lui seul que deux traitements sont équivalents.

Une étude très petite peut simplement ne rien pouvoir distinguer.

Exemple

Traitement A :

50 % de succès.

Traitement B :

60 %.

IC de la différence :

−20 à +40 points.

p > 0,05.

Il serait absurde de conclure :

« ils sont équivalents ».

L’étude est simplement très imprécise.

Intervalle et étude négative

Lorsqu’une étude est dite « négative », l’IC est particulièrement important.

Il permet de distinguer :

effet important exclu

de

effet important encore possible.

Exemple A

RR :

1,00 ; IC 0,95–1,05.

Une réduction de 30 % paraît incompatible avec les données.

Exemple B

RR :

1,00 ; IC 0,60–1,67.

Une réduction de 40 % ou une forte augmentation restent possibles.

L’étude ne nous apprend presque rien.

Ce point est crucial pendant les controverses scientifiques

Une petite étude « négative » ne réfute pas nécessairement une hypothèse.

Une petite étude « positive » ne l’établit pas non plus.

Il faut toujours regarder :

l’étendue des effets plausibles.

Intervalle et méta-analyse

Dans un forest plot, chaque étude est représentée par :

  • une estimation ;
  • un intervalle de confiance.

Les petites études ont généralement des intervalles larges.

Les grandes études ont des intervalles étroits.

Poids des études

Les méta-analyses donnent généralement davantage de poids aux études plus précises.

L’estimation combinée possède à son tour un intervalle de confiance.

Mais la précision combinée peut tromper si les études partagent les mêmes biais

Dix études observationnelles mal contrôlées peuvent produire un intervalle extrêmement étroit autour d’une estimation biaisée.

Encore une fois :

réduire l’erreur aléatoire ne supprime pas l’erreur systématique.

Hétérogénéité

Une méta-analyse peut obtenir :

effet moyen précis

alors que les véritables effets diffèrent fortement entre contextes.

L’IC autour de la moyenne ne décrit pas nécessairement toute cette variation.

Intervalle de prédiction

Dans une méta-analyse à effets aléatoires, un intervalle de prédiction peut estimer la plage dans laquelle l’effet d’une future étude comparable pourrait se trouver.

Il peut être beaucoup plus large que l’IC de l’effet moyen.

Exemple conceptuel

Effet moyen :

RR = 0,80

IC :

0,75–0,85.

Mais intervalle de prédiction :

0,55–1,16.

La moyenne est précisément estimée, mais l’effet dans un contexte particulier reste beaucoup plus incertain.

C’est une distinction fondamentale

IC de l’effet moyen :

où se trouve probablement la moyenne ?

Intervalle de prédiction :

quelles valeurs peut-on raisonnablement rencontrer dans une nouvelle population ?

Les questions sont différentes.

Intervalle et reproductibilité

Une seconde étude n’est pas censée produire nécessairement une estimation comprise dans le premier IC 95 %.

C’est une erreur intuitive fréquente.

Les deux estimations possèdent leur propre variabilité.

Exemple

Étude 1 :

RR = 0,80 ; IC 0,70–0,92.

Étude 2 :

RR = 0,68 ; IC 0,55–0,85.

Le second RR central est inférieur à la borne du premier intervalle.

Cela ne prouve pas nécessairement une contradiction.

Il faut comparer les deux estimations avec une analyse appropriée.

Intervalle de confiance et erreur standard

Un IC classique est souvent construit à partir de :

estimation ± constante × erreur standard.

Pour un IC 95 % dans certaines conditions :

≈ estimation ± 1,96 × SE.

Mais les méthodes exactes varient selon :

  • mesure ;
  • taille d’échantillon ;
  • distribution.

Normalité asymptotique

Beaucoup d’intervalles reposent sur des approximations valides lorsque l’échantillon est suffisamment grand.

Pour de très petits nombres ou des événements très rares, ces approximations peuvent être mauvaises.

Intervalles exacts

Pour certaines données binomiales, on peut utiliser des méthodes dites :

exactes.

Elles peuvent être plus conservatrices mais évitent certaines approximations fragiles.

Bootstrap

Une autre méthode est le bootstrap.

On rééchantillonne de nombreuses fois les données observées afin d’étudier la distribution de l’estimation.

Cela peut aider à construire des intervalles pour des statistiques complexes.

Mais le bootstrap ne corrige toujours pas les biais structurels

Rééchantillonner mille fois une base biaisée produit mille versions du même problème.

Les méthodes d’incertitude statistique ne remplacent jamais un bon design.

Mesures très précises et données massives

Les bases de données modernes peuvent produire des IC minuscules.

Par exemple :

RR = 1,012 ; IC 1,009–1,015.

L’association peut être extrêmement précise.

Mais la question principale devient :

est-elle causalement crédible et cliniquement pertinente ?

Une précision extraordinaire ne rend pas un effet minuscule automatiquement important.

Données observationnelles massives

Avec plusieurs millions de personnes, presque toute petite association peut devenir statistiquement significative.

Il faut alors donner davantage de poids :

  • taille de l’effet ;
  • biais potentiels ;
  • pertinence.

Le seuil p < 0,05 devient particulièrement peu informatif.

Un intervalle peut aider à éviter ce piège

Si :

RR = 1,01 ; IC 1,005–1,015,

on voit immédiatement que même la borne supérieure reste proche de 1.

L’effet, s’il est causal, est faible sur l’échelle relative.

Mais faible relatif peut être important collectivement

Si l’exposition concerne toute la population et l’événement est très fréquent, même 1 % de différence relative peut représenter beaucoup de cas.

Il faut encore traduire en risques absolus.

L’intervalle absolu est souvent le plus utile cliniquement

Supposons :

RR :

0,80 ; IC 0,70–0,92.

Selon le risque de base, cela peut correspondre à des différences absolues très différentes.

Population à haut risque

Risque contrôle :

50 %.

Estimation traitée :

40 %.

Bénéfice absolu central :

10 points.

Population à faible risque

Risque contrôle :

1 %.

Estimation traitée :

0,8 %.

Bénéfice absolu :

0,2 point.

Même RR et même IC relatif.

Implications très différentes.

Une bonne publication peut donc présenter

  • effet relatif avec IC ;
  • risques absolus dans chaque groupe ;
  • différence absolue avec IC.

C’est beaucoup plus utile pour la décision.

Intervalle et graphiques

Les intervalles sont souvent représentés graphiquement par des :

  • barres d’erreur ;
  • forest plots ;
  • bandes autour d’une courbe.

Cela permet de visualiser la précision.

Attention à la disparition des intervalles

Un graphique montrant seulement deux moyennes sans leur incertitude peut donner une impression de différence beaucoup plus certaine qu’elle ne l’est réellement.

Les barres d’erreur sont essentielles, mais leur nature doit être précisée.

Barre d’erreur ≠ forcément IC 95 %

Une barre peut représenter :

  • écart-type ;
  • erreur standard ;
  • IC 95 %.

Ce ne sont pas les mêmes choses.

Toujours lire la légende.

Écart-type

Décrit la variabilité des individus dans l’échantillon.

Erreur standard

Décrit l’incertitude sur l’estimation de la moyenne.

Intervalle de confiance

Construit à partir de cette incertitude pour donner une plage d’estimations compatibles avec les données selon la méthode utilisée.

Confondre ces mesures peut conduire à des lectures erronées.

Chevauchement des IC

Autre erreur fréquente :

« les intervalles se chevauchent, donc il n’y a pas de différence significative ».

Ce n’est pas une règle générale.

Deux IC 95 % peuvent se chevaucher alors que la différence entre les groupes est statistiquement significative.

Il faut tester directement la différence

La bonne question n’est pas :

« les deux intervalles individuels se chevauchent-ils ? »

mais :

« quel est l’intervalle de confiance de la différence entre les deux groupes ? »

Exemple conceptuel

Moyenne A :

10, IC 9–11.

Moyenne B :

12, IC 11–13.

Les intervalles se touchent.

Pourtant, la différence A−B peut avoir un IC excluant zéro selon la structure des données.

Le chevauchement visuel est une règle approximative, pas un test.

Intervalle et publication sélective

Les études avec des intervalles excluant la valeur nulle sont plus susceptibles d’être publiées dans certains contextes.

Cela peut créer une littérature où les effets semblent plus certains qu’ils ne le sont réellement.

C’est le biais de publication étudié précédemment.

Winner’s curse

Lorsqu’une première étude est publiée parce qu’elle obtient un effet particulièrement spectaculaire, l’estimation initiale peut être exagérée.

Les études ultérieures produisent souvent des effets plus modestes.

L’intervalle de la première étude montre parfois déjà une grande incertitude.

Exemple

Première petite étude :

RR = 0,30 ; IC 0,10–0,90.

Grande réplication :

RR = 0,75 ; IC 0,65–0,87.

Il ne faut pas nécessairement y voir un retournement total.

La première estimation était extrêmement imprécise.

Prendre les intervalles au sérieux réduit les faux « revirements scientifiques »

La science paraît parfois changer brutalement parce que les médias comparent uniquement les estimations centrales.

Si l’on regarde les intervalles, les résultats successifs peuvent être beaucoup plus compatibles qu’il n’y paraît.

Exemple

Étude A :

RR 0,70 ; IC 0,40–1,20.

Étude B :

RR 1,05 ; IC 0,85–1,30.

Les estimations centrales semblent aller dans des directions opposées.

Mais leurs intervalles se recouvrent largement.

Les données ne sont pas forcément contradictoires.

Intervalle et autonomie critique

L’intervalle de confiance enseigne une attitude intellectuelle importante :

penser en plages plausibles plutôt qu’en chiffres exacts.

Une estimation scientifique n’est presque jamais :

« l’effet vaut précisément 20 % ».

Elle ressemble davantage à :

« les données soutiennent un effet autour de cette valeur, avec telle marge d’incertitude ».

Une bonne lecture d’un résultat

Face à :

RR = 0,78 ; IC 95 % 0,62–0,98,

on peut raisonner ainsi :

1. L’estimation centrale suggère un bénéfice relatif d’environ 22 %.

2. L’intervalle reste inférieur à 1.

3. Mais la taille exacte du bénéfice demeure incertaine.

4. Il faut traduire cet effet en risque absolu.

5. Il faut encore vérifier les biais possibles.

C’est beaucoup plus informatif que :

« p < 0,05 donc ça marche ».

Face à un résultat non significatif

Exemple :

RR = 0,78 ; IC 0,55–1,10.

Bonne lecture :

« l’étude suggère un bénéfice mais reste compatible avec une grande gamme d’effets, incluant une absence de bénéfice ; elle manque de précision pour conclure fermement ».

Mauvaise lecture :

« le traitement a été prouvé inefficace ».

Face à un intervalle étroit autour de 1

RR = 1,00 ; IC 0,97–1,03.

On peut raisonnablement dire :

« les données excluent un effet relatif important dans cette population et sur cette période ».

C’est une conclusion beaucoup plus forte que simplement :

« non significatif ».

La question centrale

Un intervalle doit être interrogé ainsi :

« quelles conclusions importantes cet intervalle permet-il encore ? »

Peut-il encore contenir :

  • grand bénéfice ?
  • petit bénéfice ?
  • absence d’effet ?
  • dommage ?

C’est cette lecture qui exploite réellement l’information.

Tableau d’interprétation

Estimation et ICLecture générale
RR 0,70 ; IC 0,65–0,75Bénéfice relativement précis
RR 0,70 ; IC 0,30–1,60Très grande incertitude
RR 1,00 ; IC 0,98–1,02Effet important peu compatible avec les données
RR 1,00 ; IC 0,50–2,00Étude presque non informative
RR 0,90 ; IC 0,88–0,92Petit effet précis, pertinence clinique à examiner

Une règle pratique en quatre questions

Lorsque vous voyez un intervalle de confiance, demandez :

1. Où se trouve l’estimation centrale ?

2. L’intervalle est-il large ou étroit ?

3. Quelles tailles d’effet cliniquement importantes contient-il encore ?

4. L’étude pourrait-elle être biaisée malgré cette précision ?

Ces quatre questions donnent une lecture beaucoup plus riche que le simple franchissement d’un seuil statistique.

À retenir

Un intervalle de confiance exprime l’incertitude statistique autour d’une estimation.

Un IC à 95 % est construit par une procédure qui, lors de répétitions théoriques de l’étude sous les mêmes conditions, contiendrait la vraie valeur environ 95 % du temps si les hypothèses statistiques sont correctes.

Il ne faut donc pas réduire son interprétation à :

« significatif ou non significatif ».

Un intervalle permet surtout de voir :

  • la précision de l’estimation ;
  • les tailles d’effet encore compatibles avec les données ;
  • si un bénéfice ou dommage cliniquement important peut être exclu.

Un intervalle large signifie généralement :

incertitude importante.

Un intervalle étroit signifie :

grande précision statistique.

Mais un intervalle étroit ne garantit pas que l’étude soit correcte causalement : un biais systématique peut produire une estimation très précise mais fausse.

Le principe fondamental est donc :

l’estimation centrale indique où les données situent l’effet ; l’intervalle de confiance indique à quel point nous pouvons être précis sur cet effet.

La bonne question n’est pas seulement :

« l’intervalle contient-il 1 ou 0 ? »

mais :

« quelles tailles d’effet importantes sont encore compatibles avec les données, et lesquelles pouvons-nous raisonnablement écarter ? »

Cette manière de lire les résultats remplace une pensée binaire par une pensée en degrés d’incertitude, beaucoup plus proche du fonctionnement réel de la science.

Pour aller plus loin

Geoff Cumming — Understanding the New Statistics. Une référence importante pour apprendre à raisonner à partir des tailles d’effet et des intervalles plutôt qu’à partir du seul seuil de significativité.

Stephen Senn — Statistical Issues in Drug Development. Une présentation approfondie des problèmes d’estimation, d’incertitude et d’interprétation des essais thérapeutiques.

Cochrane Handbook for Systematic Reviews of Interventions. Une référence méthodologique majeure pour l’interprétation des intervalles de confiance dans les essais et méta-analyses.

American Statistical Association — travaux sur l’interprétation des résultats statistiques. Ils ont contribué à rappeler les limites d’une lecture purement binaire fondée sur p < 0,05.