Intervalle de confiance
Un intervalle de confiance, souvent abrégé IC, accompagne une estimation statistique afin d’indiquer son degré de précision.
Une étude peut par exemple estimer :
RR = 0,80
avec :
IC 95 % : 0,65–0,98.
L’estimation centrale suggère que le risque est environ 20 % plus faible dans le groupe traité. L’intervalle indique que les données restent compatibles avec une gamme d’effets plus ou moins importants.
Il est donc beaucoup plus informatif de lire :
RR = 0,80 ; IC 95 % 0,65–0,98
que simplement :
RR = 0,80.
Pourquoi avons-nous besoin d’un intervalle ?
Une étude porte généralement sur un échantillon et non sur toute la population possible.
Si l’expérience était répétée avec d’autres participants comparables, le résultat ne serait pas exactement identique.
Il existe une variabilité d’échantillonnage.
L’intervalle de confiance quantifie cette incertitude statistique.
Exemple simple
Supposons que l’on compare deux traitements et que l’on trouve :
RR = 0,80.
Cette valeur est notre meilleure estimation à partir des données observées.
Mais le véritable effet pourrait être légèrement différent.
L’intervalle de confiance permet de préciser la plage d’effets suffisamment compatibles avec les données et le modèle statistique utilisé.
Un résultat précis
Exemple :
RR = 0,80 ; IC 95 % : 0,77–0,83.
L’intervalle est étroit.
L’effet est donc estimé avec une grande précision statistique.
Un résultat imprécis
Autre étude :
RR = 0,80 ; IC 95 % : 0,35–1,82.
La même estimation centrale apparaît.
Mais l’incertitude est énorme.
Les données sont compatibles avec :
- un bénéfice important ;
- presque aucun effet ;
- un dommage important.
Les deux études ne fournissent donc pas le même niveau d’information.
L’estimation ponctuelle
La valeur :
RR = 0,80
est appelée estimation ponctuelle.
C’est la valeur qui correspond le mieux aux données selon la méthode utilisée.
Mais elle ne doit jamais être interprétée comme si l’effet réel était connu exactement.
L’intervalle rappelle l’incertitude
Il protège contre une tendance cognitive naturelle :
prendre le chiffre publié pour une vérité exacte.
En réalité, une estimation statistique possède toujours une marge d’incertitude.
Que signifie exactement un IC à 95 % ?
L’interprétation fréquentiste rigoureuse est souvent mal comprise.
Un intervalle de confiance à 95 % est construit par une procédure qui, si l’on répétait indéfiniment l’étude dans les mêmes conditions, produirait des intervalles contenant la vraie valeur du paramètre environ 95 % du temps, sous les hypothèses du modèle.
Ce que cela ne signifie pas exactement
Après que l’intervalle a été calculé, l’interprétation fréquentiste classique ne dit pas :
« il y a 95 % de probabilité que la vraie valeur soit dans cet intervalle ».
Dans ce cadre, le paramètre véritable est considéré comme fixe.
C’est l’intervalle qui aurait varié d’un échantillon à l’autre.
Pourquoi cette distinction paraît étrange
Dans le langage courant, il est naturel de vouloir dire :
« nous sommes confiants à 95 % que la vraie valeur se trouve ici ».
Cette formulation est souvent utilisée pédagogiquement.
Elle traduit assez bien l’idée d’incertitude, mais ce n’est pas l’interprétation probabiliste stricte de l’intervalle fréquentiste.
Une analogie
Imaginez une méthode de pêche qui capture le poisson cible dans 95 % des lancers.
Une fois le filet lancé, le poisson est soit :
- dans le filet ;
- hors du filet.
Il n’est plus « à 95 % dedans ».
Le 95 % concerne la performance répétée de la méthode, pas une probabilité attachée au filet particulier après coup.
Intervalle bayésien
Dans une analyse bayésienne, on peut construire un intervalle de crédibilité.
Dans ce cadre, une formulation comme :
« la probabilité que le paramètre se trouve entre ces deux valeurs est de 95 % »
peut avoir un sens direct, conditionnellement :
- aux données ;
- au modèle ;
- au prior.
Les deux approches ne doivent pas être confondues.
Mais dans la pratique
Pour lire une étude médicale, le point essentiel est surtout :
ne pas s’arrêter à l’estimation centrale.
Il faut regarder quelles tailles d’effet restent compatibles avec les données.
La valeur nulle
Chaque mesure possède une valeur correspondant à l’absence d’effet.
Pour une différence de risque ou de moyenne :
0.
Pour un ratio :
- RR ;
- OR ;
- HR,
la valeur nulle est :
1.
Exemple avec un risque relatif
RR = 0,75 ; IC 95 % : 0,60–0,90.
Tout l’intervalle est inférieur à 1.
Les données soutiennent une diminution du risque, au niveau de confiance considéré.
Exemple traversant 1
RR = 0,75 ; IC 95 % : 0,50–1,12.
L’intervalle inclut :
1.
Les données sont donc compatibles avec l’absence d’effet, mais aussi avec un bénéfice assez important.
L’erreur fréquente
On résume alors parfois :
« le traitement ne fonctionne pas ».
C’est trop fort.
L’étude n’a pas démontré statistiquement une différence au seuil conventionnel, mais elle ne démontre pas nécessairement l’absence d’effet.
Absence de preuve versus preuve d’absence
Cette distinction est fondamentale.
Un intervalle :
0,50–1,12
est très différent d’un intervalle :
0,98–1,02.
Les deux traversent 1.
Mais ils racontent des histoires différentes.
Premier cas
RR = 0,75 ; IC 0,50–1,12.
Beaucoup d’incertitude.
Un bénéfice important reste plausible.
Deuxième cas
RR = 1,00 ; IC 0,98–1,02.
L’effet est estimé très précisément autour de l’absence d’effet.
Un effet important devient très improbable selon le modèle.
Cette seconde étude fournit beaucoup plus de preuve d’absence d’un effet substantiel.
La largeur de l’intervalle compte donc autant que son rapport à 1
Réduire l’interprétation à :
« traverse 1 ou pas ? »
fait perdre une grande partie de l’information.
La tyrannie du seuil
Considérons deux études.
Étude A
RR = 0,80 ; IC 95 % : 0,64–0,99.
Étude B
RR = 0,80 ; IC 95 % : 0,64–1,01.
La première sera souvent qualifiée de :
« statistiquement significative ».
La seconde :
« non significative ».
Pourtant, leurs résultats sont presque identiques.
La différence de 0,02 à la borne supérieure n’a rien de magique
Il serait absurde de conclure :
A prouve l’efficacité
mais
B prouve l’inefficacité.
Les données racontent pratiquement la même histoire.
Le seuil de 95 % est conventionnel
Un IC à 95 % est très courant.
Mais on peut calculer :
- IC 90 % ;
- IC 99 %.
Plus on exige un niveau de confiance élevé, plus l’intervalle devient généralement large.
Pourquoi ?
Pour construire une procédure qui couvre la vraie valeur plus souvent, il faut accepter une plage plus large.
C’est un compromis :
plus de confiance → moins de précision apparente.
Exemple
Même estimation :
RR = 0,80.
IC 90 % :
0,70–0,91.
IC 95 % :
0,68–0,94.
IC 99 % :
0,63–1,02.
Ces valeurs sont fictives mais illustrent le principe.
Un résultat peut donc être « significatif à 5 % » mais pas à 1 %
Ce n’est pas une contradiction.
On a simplement modifié le niveau d’exigence statistique.
Intervalle et p-value
Dans certains tests bilatéraux standards :
IC 95 % excluant la valeur nulle
correspond approximativement à :
p < 0,05.
Il existe donc un lien étroit entre intervalle de confiance et test de significativité.
Mais l’intervalle contient beaucoup plus d’information
La p-value répond essentiellement à :
« à quel point les données sont-elles incompatibles avec l’hypothèse nulle selon ce modèle ? »
L’intervalle montre :
quelles tailles d’effet sont encore compatibles avec les données.
Exemple
Deux études :
Étude A
RR = 0,50
IC = 0,30–0,80
p < 0,01.
Étude B
RR = 0,95
IC = 0,92–0,98
p < 0,01.
Toutes deux sont statistiquement significatives.
Mais les tailles d’effet sont radicalement différentes.
La p-value ne mesure pas la taille de l’effet
Une petite p-value peut accompagner :
- un effet énorme ;
- un effet minuscule.
La taille de l’échantillon joue un rôle majeur.
Exemple
Un traitement réduit une douleur moyenne de :
0,1 point sur 10.
Avec plusieurs centaines de milliers de participants, cette différence pourrait être extrêmement significative statistiquement.
Mais personne ne la ressent nécessairement.
L’intervalle permet de poser la question clinique
Supposons que l’on considère qu’une différence d’au moins :
1 point
est cliniquement importante.
Une étude trouve :
différence = −0,2
IC :
−0,3 à −0,1.
Le résultat est statistiquement très précis.
Mais l’ensemble de l’intervalle est bien inférieur au seuil d’importance clinique.
On peut raisonnablement conclure que l’effet est probablement trop faible pour être cliniquement pertinent selon ce seuil.
Seuil de pertinence clinique
On peut donc comparer l’intervalle non seulement à :
0 ou 1
mais aussi à un seuil d’effet cliniquement important.
C’est souvent beaucoup plus utile.
Exemple
Pour un RR, imaginons que seule une réduction d’au moins :
20 %
soit considérée importante.
Cela correspond à :
RR ≤ 0,80.
Étude :
RR = 0,90 ; IC 0,86–0,94.
Le résultat est statistiquement significatif.
Mais il exclut pratiquement un bénéfice de 20 %.
On peut conclure :
petit effet probable, grand bénéfice peu compatible avec les données.
Autre étude
RR = 0,90 ; IC 0,65–1,25.
Elle n’est pas statistiquement significative.
Mais un bénéfice cliniquement important reste parfaitement plausible.
La bonne conclusion est :
incertitude trop grande, pas « absence d’effet ».
Quatre situations utiles
On peut distinguer plusieurs configurations.
1. Intervalle étroit et effet important
Résultat précis et probablement cliniquement intéressant.
2. Intervalle étroit autour de l’absence d’effet
Preuve assez solide qu’un effet important est improbable.
3. Intervalle large avec effet central favorable
Résultat prometteur mais trop imprécis.
4. Intervalle large traversant bénéfice et dommage
Résultat réellement indéterminé.
Cette grille est beaucoup plus informative que « significatif / non significatif ».
Pourquoi un intervalle est-il large ?
La précision dépend notamment :
- taille de l’échantillon ;
- nombre d’événements ;
- variabilité des données.
Plus l’information est faible, plus l’intervalle est large.
Taille de l’échantillon
En général :
plus de participants → intervalle plus étroit.
Mais l’amélioration n’est pas linéaire.
L’erreur standard diminue souvent approximativement comme :
1 / √n.
Conséquence
Pour diviser approximativement l’incertitude statistique par deux, il faut souvent multiplier la taille d’échantillon par environ :
quatre.
Augmenter légèrement l’effectif n’améliore donc pas toujours énormément la précision.
Nombre d’événements
Pour les critères binaires ou de survie, le nombre d’événements est souvent particulièrement important.
Une étude de :
100 000 personnes
avec seulement :
10 événements
peut produire un intervalle très large.
Exemple
Traitement :
1 événement.
Contrôle :
2 événements.
RR :
0,50.
Ce chiffre semble spectaculaire.
Mais l’intervalle sera immense.
Les données sont trop peu nombreuses pour conclure fermement.
Un énorme effet apparent avec peu d’événements doit être interprété avec prudence
Les petites études produisent davantage d’estimations extrêmes simplement par fluctuation aléatoire.
C’est l’une des raisons pour lesquelles les premiers résultats peuvent être révisés ensuite.
L’intervalle n’intègre pas tous les types d’incertitude
C’est un point crucial.
Un IC statistique peut être extrêmement étroit alors que l’étude est fortement biaisée.
Exemple
Une étude portant sur un million de personnes mesure mal l’exposition.
Elle trouve :
RR = 1,20 ; IC 1,19–1,21.
L’estimation est extrêmement précise statistiquement.
Mais si la mesure est systématiquement biaisée, le véritable effet causal peut être très différent.
Précision ≠ validité
L’intervalle de confiance décrit généralement l’erreur aléatoire dans le cadre du modèle.
Il ne corrige pas automatiquement :
- biais de sélection ;
- confusion ;
- erreur de mesure ;
- mauvaise spécification du modèle.
Une étude peut être précisément fausse.
Cible dans le mille
On peut reprendre la distinction classique :
précision = dispersion des tirs ;
exactitude = proximité de la cible.
Un intervalle étroit indique des tirs regroupés.
Il ne garantit pas qu’ils soient centrés sur la bonne cible.
Les hypothèses du modèle comptent
L’intervalle repose sur un modèle statistique.
Il suppose notamment que :
- les observations sont correctement représentées ;
- les erreurs sont traitées de manière appropriée.
Si le modèle est faux, la couverture réelle de l’intervalle peut être différente de 95 %.
Dépendance entre observations
Supposons une étude où les personnes appartiennent à des familles, écoles ou hôpitaux.
Les observations ne sont alors pas complètement indépendantes.
Ignorer cette corrélation peut produire des intervalles trop étroits.
Essais en grappes
Dans un essai randomisé par école, il serait incorrect de traiter 1 000 élèves comme 1 000 unités totalement indépendantes.
Il faut intégrer la corrélation intra-école.
Sinon la précision apparente est exagérée.
Données répétées
Même problème lorsqu’une même personne fournit de nombreuses observations.
Cent mesures chez une personne ne donnent pas la même information que cent personnes indépendantes.
Le modèle doit tenir compte de cette structure.
Multiplicité et intervalles
Si l’on calcule un IC 95 % pour une seule estimation, le taux de couverture est conçu autour de 95 % sous les hypothèses.
Mais si l’on calcule :
100 intervalles différents,
certains excluront la vraie valeur simplement par hasard.
Exemple
Sous des conditions idéales, avec 100 paramètres réellement nuls, on peut s’attendre à ce qu’environ :
5 intervalles à 95 %
excluent la valeur nulle par fluctuation.
C’est le problème de multiplicité.
Intervalles simultanés
Des méthodes peuvent ajuster les intervalles lorsque l’on souhaite contrôler la couverture simultanée d’un ensemble de comparaisons.
Mais cela élargit généralement les intervalles.
Sous-groupes
Un forest plot peut montrer :
- hommes ;
- femmes ;
- jeunes ;
- âgés.
Chaque sous-groupe possède son propre IC.
Voir qu’un intervalle exclut 1 dans un groupe mais pas dans l’autre ne suffit pas pour conclure à une différence d’effet.
Exemple
Hommes :
RR 0,80 ; IC 0,65–0,98.
Femmes :
RR 0,82 ; IC 0,65–1,04.
Il serait incorrect de conclure :
le traitement fonctionne chez les hommes mais pas chez les femmes.
Les estimations sont presque identiques.
Il faut tester la différence entre les effets
C’est le rôle du test d’interaction.
Comparer séparément deux tests de significativité n’est pas la même chose que tester la différence entre deux effets.
Une phrase classique
« La différence entre significatif et non significatif n’est pas nécessairement significative. »
C’est une règle très utile pour lire les analyses de sous-groupes.
Intervalle asymétrique
Les intervalles de ratios sont souvent asymétriques autour de l’estimation lorsqu’ils sont exprimés sur l’échelle originale.
Exemple :
OR = 2
IC :
1,2–3,4.
La distance vers le haut n’est pas identique à celle vers le bas.
Pourquoi ?
Les analyses sont souvent réalisées sur :
log(OR), log(RR) ou log(HR).
Sur l’échelle logarithmique, l’intervalle peut être symétrique.
Après exponentiation, il devient asymétrique.
La valeur 1 est centrale sur l’échelle multiplicative
Pour un ratio, un effet :
0,5
et
2
sont symétriques en sens inverse sur l’échelle logarithmique :
ln(0,5) = −ln(2).
C’est une raison importante d’utiliser les logarithmes pour ces mesures.
Intervalle d’une différence absolue
Supposons :
RAR :
4 points de pourcentage
IC :
1 à 7 points.
Le traitement pourrait éviter approximativement entre :
1 et 7 événements pour 100 personnes, sur la période considérée.
C’est une interprétation très concrète.
Intervalle du NNT
Le NNT est l’inverse de la différence absolue.
Lorsque la RAR est :
4 %
IC :
2–8 %,
le NNT central est :
25.
Les valeurs correspondant aux limites sont :
1 / 0,08 ≈ 13
et
1 / 0,02 = 50.
On peut donc obtenir approximativement :
NNT 13–50.
Mais si l’intervalle traverse zéro
Supposons :
RAR :
2 %
IC :
−1 à +5 %.
Le passage par zéro implique que le NNT passe mathématiquement par l’infini puis change de sens vers un NNH.
Présenter un simple intervalle numérique du NNT devient donc difficile.
Il vaut mieux montrer directement la différence de risque et son IC.
Intervalle et équivalence
Les intervalles jouent un rôle central dans les essais d’équivalence.
La question n’est pas :
« les traitements sont-ils exactement identiques ? »
mais :
« les différences plausibles sont-elles suffisamment petites pour être considérées comme cliniquement négligeables ? »
Exemple
On définit une marge acceptable :
−5 à +5 points.
Si l’IC complet de la différence est :
−2 à +3,
les données peuvent soutenir l’équivalence selon les critères préspécifiés.
Non-infériorité
Dans un essai de non-infériorité, on accepte qu’un nouveau traitement puisse être légèrement moins efficace, à condition que la perte ne dépasse pas une marge fixée.
L’intervalle de confiance est alors comparé à cette marge de non-infériorité.
Exemple
Nouveau traitement − standard.
Marge :
−5 points.
Estimation :
−1 point.
IC :
−3 à +1.
L’intervalle reste au-dessus de −5.
La non-infériorité peut être soutenue.
Si l’IC est :
−7 à +1,
la possibilité d’une perte supérieure à la marge reste compatible avec les données.
La non-infériorité n’est pas démontrée.
Non-infériorité ≠ équivalence ≠ absence de significativité
Ce sont trois concepts différents.
Dire :
« aucune différence significative »
ne démontre jamais à lui seul que deux traitements sont équivalents.
Une étude très petite peut simplement ne rien pouvoir distinguer.
Exemple
Traitement A :
50 % de succès.
Traitement B :
60 %.
IC de la différence :
−20 à +40 points.
p > 0,05.
Il serait absurde de conclure :
« ils sont équivalents ».
L’étude est simplement très imprécise.
Intervalle et étude négative
Lorsqu’une étude est dite « négative », l’IC est particulièrement important.
Il permet de distinguer :
effet important exclu
de
effet important encore possible.
Exemple A
RR :
1,00 ; IC 0,95–1,05.
Une réduction de 30 % paraît incompatible avec les données.
Exemple B
RR :
1,00 ; IC 0,60–1,67.
Une réduction de 40 % ou une forte augmentation restent possibles.
L’étude ne nous apprend presque rien.
Ce point est crucial pendant les controverses scientifiques
Une petite étude « négative » ne réfute pas nécessairement une hypothèse.
Une petite étude « positive » ne l’établit pas non plus.
Il faut toujours regarder :
l’étendue des effets plausibles.
Intervalle et méta-analyse
Dans un forest plot, chaque étude est représentée par :
- une estimation ;
- un intervalle de confiance.
Les petites études ont généralement des intervalles larges.
Les grandes études ont des intervalles étroits.
Poids des études
Les méta-analyses donnent généralement davantage de poids aux études plus précises.
L’estimation combinée possède à son tour un intervalle de confiance.
Mais la précision combinée peut tromper si les études partagent les mêmes biais
Dix études observationnelles mal contrôlées peuvent produire un intervalle extrêmement étroit autour d’une estimation biaisée.
Encore une fois :
réduire l’erreur aléatoire ne supprime pas l’erreur systématique.
Hétérogénéité
Une méta-analyse peut obtenir :
effet moyen précis
alors que les véritables effets diffèrent fortement entre contextes.
L’IC autour de la moyenne ne décrit pas nécessairement toute cette variation.
Intervalle de prédiction
Dans une méta-analyse à effets aléatoires, un intervalle de prédiction peut estimer la plage dans laquelle l’effet d’une future étude comparable pourrait se trouver.
Il peut être beaucoup plus large que l’IC de l’effet moyen.
Exemple conceptuel
Effet moyen :
RR = 0,80
IC :
0,75–0,85.
Mais intervalle de prédiction :
0,55–1,16.
La moyenne est précisément estimée, mais l’effet dans un contexte particulier reste beaucoup plus incertain.
C’est une distinction fondamentale
IC de l’effet moyen :
où se trouve probablement la moyenne ?
Intervalle de prédiction :
quelles valeurs peut-on raisonnablement rencontrer dans une nouvelle population ?
Les questions sont différentes.
Intervalle et reproductibilité
Une seconde étude n’est pas censée produire nécessairement une estimation comprise dans le premier IC 95 %.
C’est une erreur intuitive fréquente.
Les deux estimations possèdent leur propre variabilité.
Exemple
Étude 1 :
RR = 0,80 ; IC 0,70–0,92.
Étude 2 :
RR = 0,68 ; IC 0,55–0,85.
Le second RR central est inférieur à la borne du premier intervalle.
Cela ne prouve pas nécessairement une contradiction.
Il faut comparer les deux estimations avec une analyse appropriée.
Intervalle de confiance et erreur standard
Un IC classique est souvent construit à partir de :
estimation ± constante × erreur standard.
Pour un IC 95 % dans certaines conditions :
≈ estimation ± 1,96 × SE.
Mais les méthodes exactes varient selon :
- mesure ;
- taille d’échantillon ;
- distribution.
Normalité asymptotique
Beaucoup d’intervalles reposent sur des approximations valides lorsque l’échantillon est suffisamment grand.
Pour de très petits nombres ou des événements très rares, ces approximations peuvent être mauvaises.
Intervalles exacts
Pour certaines données binomiales, on peut utiliser des méthodes dites :
exactes.
Elles peuvent être plus conservatrices mais évitent certaines approximations fragiles.
Bootstrap
Une autre méthode est le bootstrap.
On rééchantillonne de nombreuses fois les données observées afin d’étudier la distribution de l’estimation.
Cela peut aider à construire des intervalles pour des statistiques complexes.
Mais le bootstrap ne corrige toujours pas les biais structurels
Rééchantillonner mille fois une base biaisée produit mille versions du même problème.
Les méthodes d’incertitude statistique ne remplacent jamais un bon design.
Mesures très précises et données massives
Les bases de données modernes peuvent produire des IC minuscules.
Par exemple :
RR = 1,012 ; IC 1,009–1,015.
L’association peut être extrêmement précise.
Mais la question principale devient :
est-elle causalement crédible et cliniquement pertinente ?
Une précision extraordinaire ne rend pas un effet minuscule automatiquement important.
Données observationnelles massives
Avec plusieurs millions de personnes, presque toute petite association peut devenir statistiquement significative.
Il faut alors donner davantage de poids :
- taille de l’effet ;
- biais potentiels ;
- pertinence.
Le seuil p < 0,05 devient particulièrement peu informatif.
Un intervalle peut aider à éviter ce piège
Si :
RR = 1,01 ; IC 1,005–1,015,
on voit immédiatement que même la borne supérieure reste proche de 1.
L’effet, s’il est causal, est faible sur l’échelle relative.
Mais faible relatif peut être important collectivement
Si l’exposition concerne toute la population et l’événement est très fréquent, même 1 % de différence relative peut représenter beaucoup de cas.
Il faut encore traduire en risques absolus.
L’intervalle absolu est souvent le plus utile cliniquement
Supposons :
RR :
0,80 ; IC 0,70–0,92.
Selon le risque de base, cela peut correspondre à des différences absolues très différentes.
Population à haut risque
Risque contrôle :
50 %.
Estimation traitée :
40 %.
Bénéfice absolu central :
10 points.
Population à faible risque
Risque contrôle :
1 %.
Estimation traitée :
0,8 %.
Bénéfice absolu :
0,2 point.
Même RR et même IC relatif.
Implications très différentes.
Une bonne publication peut donc présenter
- effet relatif avec IC ;
- risques absolus dans chaque groupe ;
- différence absolue avec IC.
C’est beaucoup plus utile pour la décision.
Intervalle et graphiques
Les intervalles sont souvent représentés graphiquement par des :
- barres d’erreur ;
- forest plots ;
- bandes autour d’une courbe.
Cela permet de visualiser la précision.
Attention à la disparition des intervalles
Un graphique montrant seulement deux moyennes sans leur incertitude peut donner une impression de différence beaucoup plus certaine qu’elle ne l’est réellement.
Les barres d’erreur sont essentielles, mais leur nature doit être précisée.
Barre d’erreur ≠ forcément IC 95 %
Une barre peut représenter :
- écart-type ;
- erreur standard ;
- IC 95 %.
Ce ne sont pas les mêmes choses.
Toujours lire la légende.
Écart-type
Décrit la variabilité des individus dans l’échantillon.
Erreur standard
Décrit l’incertitude sur l’estimation de la moyenne.
Intervalle de confiance
Construit à partir de cette incertitude pour donner une plage d’estimations compatibles avec les données selon la méthode utilisée.
Confondre ces mesures peut conduire à des lectures erronées.
Chevauchement des IC
Autre erreur fréquente :
« les intervalles se chevauchent, donc il n’y a pas de différence significative ».
Ce n’est pas une règle générale.
Deux IC 95 % peuvent se chevaucher alors que la différence entre les groupes est statistiquement significative.
Il faut tester directement la différence
La bonne question n’est pas :
« les deux intervalles individuels se chevauchent-ils ? »
mais :
« quel est l’intervalle de confiance de la différence entre les deux groupes ? »
Exemple conceptuel
Moyenne A :
10, IC 9–11.
Moyenne B :
12, IC 11–13.
Les intervalles se touchent.
Pourtant, la différence A−B peut avoir un IC excluant zéro selon la structure des données.
Le chevauchement visuel est une règle approximative, pas un test.
Intervalle et publication sélective
Les études avec des intervalles excluant la valeur nulle sont plus susceptibles d’être publiées dans certains contextes.
Cela peut créer une littérature où les effets semblent plus certains qu’ils ne le sont réellement.
C’est le biais de publication étudié précédemment.
Winner’s curse
Lorsqu’une première étude est publiée parce qu’elle obtient un effet particulièrement spectaculaire, l’estimation initiale peut être exagérée.
Les études ultérieures produisent souvent des effets plus modestes.
L’intervalle de la première étude montre parfois déjà une grande incertitude.
Exemple
Première petite étude :
RR = 0,30 ; IC 0,10–0,90.
Grande réplication :
RR = 0,75 ; IC 0,65–0,87.
Il ne faut pas nécessairement y voir un retournement total.
La première estimation était extrêmement imprécise.
Prendre les intervalles au sérieux réduit les faux « revirements scientifiques »
La science paraît parfois changer brutalement parce que les médias comparent uniquement les estimations centrales.
Si l’on regarde les intervalles, les résultats successifs peuvent être beaucoup plus compatibles qu’il n’y paraît.
Exemple
Étude A :
RR 0,70 ; IC 0,40–1,20.
Étude B :
RR 1,05 ; IC 0,85–1,30.
Les estimations centrales semblent aller dans des directions opposées.
Mais leurs intervalles se recouvrent largement.
Les données ne sont pas forcément contradictoires.
Intervalle et autonomie critique
L’intervalle de confiance enseigne une attitude intellectuelle importante :
penser en plages plausibles plutôt qu’en chiffres exacts.
Une estimation scientifique n’est presque jamais :
« l’effet vaut précisément 20 % ».
Elle ressemble davantage à :
« les données soutiennent un effet autour de cette valeur, avec telle marge d’incertitude ».
Une bonne lecture d’un résultat
Face à :
RR = 0,78 ; IC 95 % 0,62–0,98,
on peut raisonner ainsi :
1. L’estimation centrale suggère un bénéfice relatif d’environ 22 %.
2. L’intervalle reste inférieur à 1.
3. Mais la taille exacte du bénéfice demeure incertaine.
4. Il faut traduire cet effet en risque absolu.
5. Il faut encore vérifier les biais possibles.
C’est beaucoup plus informatif que :
« p < 0,05 donc ça marche ».
Face à un résultat non significatif
Exemple :
RR = 0,78 ; IC 0,55–1,10.
Bonne lecture :
« l’étude suggère un bénéfice mais reste compatible avec une grande gamme d’effets, incluant une absence de bénéfice ; elle manque de précision pour conclure fermement ».
Mauvaise lecture :
« le traitement a été prouvé inefficace ».
Face à un intervalle étroit autour de 1
RR = 1,00 ; IC 0,97–1,03.
On peut raisonnablement dire :
« les données excluent un effet relatif important dans cette population et sur cette période ».
C’est une conclusion beaucoup plus forte que simplement :
« non significatif ».
La question centrale
Un intervalle doit être interrogé ainsi :
« quelles conclusions importantes cet intervalle permet-il encore ? »
Peut-il encore contenir :
- grand bénéfice ?
- petit bénéfice ?
- absence d’effet ?
- dommage ?
C’est cette lecture qui exploite réellement l’information.
Tableau d’interprétation
| Estimation et IC | Lecture générale |
|---|---|
| RR 0,70 ; IC 0,65–0,75 | Bénéfice relativement précis |
| RR 0,70 ; IC 0,30–1,60 | Très grande incertitude |
| RR 1,00 ; IC 0,98–1,02 | Effet important peu compatible avec les données |
| RR 1,00 ; IC 0,50–2,00 | Étude presque non informative |
| RR 0,90 ; IC 0,88–0,92 | Petit effet précis, pertinence clinique à examiner |
Une règle pratique en quatre questions
Lorsque vous voyez un intervalle de confiance, demandez :
1. Où se trouve l’estimation centrale ?
2. L’intervalle est-il large ou étroit ?
3. Quelles tailles d’effet cliniquement importantes contient-il encore ?
4. L’étude pourrait-elle être biaisée malgré cette précision ?
Ces quatre questions donnent une lecture beaucoup plus riche que le simple franchissement d’un seuil statistique.
À retenir
Un intervalle de confiance exprime l’incertitude statistique autour d’une estimation.
Un IC à 95 % est construit par une procédure qui, lors de répétitions théoriques de l’étude sous les mêmes conditions, contiendrait la vraie valeur environ 95 % du temps si les hypothèses statistiques sont correctes.
Il ne faut donc pas réduire son interprétation à :
« significatif ou non significatif ».
Un intervalle permet surtout de voir :
- la précision de l’estimation ;
- les tailles d’effet encore compatibles avec les données ;
- si un bénéfice ou dommage cliniquement important peut être exclu.
Un intervalle large signifie généralement :
incertitude importante.
Un intervalle étroit signifie :
grande précision statistique.
Mais un intervalle étroit ne garantit pas que l’étude soit correcte causalement : un biais systématique peut produire une estimation très précise mais fausse.
Le principe fondamental est donc :
l’estimation centrale indique où les données situent l’effet ; l’intervalle de confiance indique à quel point nous pouvons être précis sur cet effet.
La bonne question n’est pas seulement :
« l’intervalle contient-il 1 ou 0 ? »
mais :
« quelles tailles d’effet importantes sont encore compatibles avec les données, et lesquelles pouvons-nous raisonnablement écarter ? »
Cette manière de lire les résultats remplace une pensée binaire par une pensée en degrés d’incertitude, beaucoup plus proche du fonctionnement réel de la science.
Pour aller plus loin
Geoff Cumming — Understanding the New Statistics. Une référence importante pour apprendre à raisonner à partir des tailles d’effet et des intervalles plutôt qu’à partir du seul seuil de significativité.
Stephen Senn — Statistical Issues in Drug Development. Une présentation approfondie des problèmes d’estimation, d’incertitude et d’interprétation des essais thérapeutiques.
Cochrane Handbook for Systematic Reviews of Interventions. Une référence méthodologique majeure pour l’interprétation des intervalles de confiance dans les essais et méta-analyses.
American Statistical Association — travaux sur l’interprétation des résultats statistiques. Ils ont contribué à rappeler les limites d’une lecture purement binaire fondée sur p < 0,05.