Le raisonnement statistique : échantillons, variabilité et incertitude

Nous utilisons souvent quelques observations pour raisonner sur un ensemble beaucoup plus vaste. Un sondage interroge quelques milliers de personnes pour estimer l’opinion d’une population de plusieurs millions. Un essai clinique observe un groupe de patients pour évaluer un traitement destiné à beaucoup d’autres. Un service analyse quelques mois d’incidents pour déterminer si une évolution est durable.

Le raisonnement statistique organise ce passage entre ce que nous avons effectivement observé et ce que nous voulons connaître.

Trois questions sont alors essentielles : qui ou quoi avons-nous observé ? quelle variabilité aurait pu produire un autre résultat ? quelle incertitude reste attachée à notre estimation ?

Population et échantillon

La population est l’ensemble sur lequel nous voulons tirer une conclusion.

L’échantillon est la partie effectivement observée.

Supposons qu’un sondage interroge 1 500 personnes et que 53 % d’entre elles soutiennent une proposition.

Nous savons exactement quelque chose sur ces 1 500 réponses.

Mais nous voulons généralement connaître la proportion correspondante dans une population beaucoup plus grande.

Le passage :

échantillon → population

constitue donc déjà une inférence.

Le NIST rappelle que l’adéquation d’un échantillon dépend notamment de sa représentativité, de sa taille, de la variabilité de la population et de la précision recherchée.

Un grand échantillon peut être mauvais

Une intuition très répandue affirme :

« Plus il y a de participants, plus l’étude est fiable. »

Une grande taille d’échantillon réduit effectivement certaines fluctuations aléatoires.

Mais elle ne corrige pas automatiquement un biais systématique.

Supposons qu’un thermomètre ajoute systématiquement 2 °C à chaque mesure.

Effectuer dix mille mesures permettra de connaître très précisément la valeur indiquée par cet instrument.

Cela ne supprimera pas l’erreur de 2 °C.

De même, interroger énormément de personnes mal sélectionnées peut fournir une estimation extrêmement précise de la mauvaise population.

Précision et absence de biais ne sont pas la même chose.

Le *Literary Digest* : des millions de réponses peuvent se tromper

L’élection présidentielle américaine de 1936 fournit un exemple célèbre.

Le magazine *Literary Digest* envoya environ dix millions de questionnaires et reçut près de 2,4 millions de réponses. Son sondage prévoyait la victoire du républicain Alf Landon.

Franklin D. Roosevelt remporta pourtant très largement l’élection.

L’explication populaire insiste souvent sur l’utilisation d’annuaires téléphoniques et de fichiers de propriétaires automobiles, qui surreprésentaient certaines catégories sociales.

Ce problème existait, mais l’histoire est plus complexe.

L’analyse de Peverill Squire, fondée sur une enquête Gallup de 1937, conclut que la composition de l’échantillon et la non-réponse étaient toutes deux biaisées et ont conjointement produit l’erreur. Elle montre même que si toutes les personnes contactées avaient répondu, le sondage aurait au moins correctement désigné Roosevelt comme vainqueur.

La véritable leçon est donc plus intéressante que :

« Il ne faut pas utiliser les annuaires téléphoniques. »

Elle est :

une immense quantité de données ne compense pas nécessairement un mauvais processus de collecte.

L’échantillonnage produit naturellement de la variabilité

Supposons qu’exactement 50 % d’une population soutienne une proposition.

Si nous tirons plusieurs échantillons indépendants de 100 personnes, nous n’obtiendrons pas systématiquement 50 %.

Un échantillon pourra donner 47 %, un autre 54 %, un autre 51 %.

Ces fluctuations ne montrent pas que les sondages sont incohérents.

Elles apparaissent parce que nous n’observons qu’une partie de la population.

C’est la variabilité d’échantillonnage.

Le raisonnement statistique cherche notamment à déterminer quelle quantité de variation nous devons attendre simplement parce que l’échantillon aurait pu contenir d’autres individus.

La taille de l’échantillon réduit certaines incertitudes

Dans de nombreuses situations classiques, l’erreur standard diminue approximativement comme :

1 / √n

où *n* représente le nombre d’observations indépendantes.

Cela signifie qu’il faut souvent multiplier l’échantillon par quatre pour diviser approximativement cette composante d’incertitude par deux. Le NIST retrouve directement cette relation dans les formules usuelles de précision et de taille d’échantillon.

Il n’existe donc pas de règle universelle du type :

« À partir de 30 personnes, l’échantillon est fiable. »

La taille nécessaire dépend de la variabilité du phénomène, de la précision souhaitée, du type de mesure et de la question posée.

Une estimation ponctuelle ne suffit pas toujours

Supposons qu’un sondage donne :

52 % de soutien.

Ce nombre est une estimation ponctuelle.

Présenté seul, il peut donner l’impression que nous connaissons exactement la valeur recherchée.

Il est souvent préférable d’indiquer aussi l’incertitude de l’estimation.

Les intervalles de confiance constituent l’un des principaux outils fréquentistes utilisés à cette fin.

Dans une procédure produisant des intervalles de confiance à 95 %, si nous répétions très souvent l’échantillonnage et la construction de l’intervalle dans les mêmes conditions, environ 95 % des intervalles ainsi construits contiendraient la vraie valeur du paramètre.

Cette interprétation mérite d’être distinguée de :

« Il y a maintenant 95 % de chances que la vraie valeur soit dans cet intervalle. »

Dans l’interprétation fréquentiste classique, le 95 % caractérise la procédure de construction, pas une probabilité attribuée après coup au paramètre fixe.

Un intervalle ne mesure que les incertitudes qu’il modélise

Supposons que 100 000 personnes aient répondu à un sondage extrêmement biaisé.

L’intervalle statistique peut être très étroit parce que l’échantillon est énorme.

Pourtant, l’estimation peut rester éloignée de la vraie valeur.

Un intervalle de confiance ordinaire ne corrige pas automatiquement :

un mauvais échantillonnage, une mauvaise mesure, une non-réponse biaisée ou un mauvais modèle.

Il quantifie certaines sources d’incertitude sous les hypothèses utilisées pour le calcul.

C’est pourquoi une estimation peut être très précise statistiquement et pourtant peu fiable scientifiquement.

Que signifie une valeur *p* ?

La valeur p est probablement l’un des nombres les plus mal interprétés de la statistique.

Dans un test fréquentiste, elle indique essentiellement à quel point les données observées, ou des données jugées au moins aussi incompatibles avec le modèle selon la statistique choisie, seraient surprenantes si le modèle ou l’hypothèse nulle testée était correcte.

Une valeur :

p = 0,03

ne signifie donc pas :

« Il y a 3 % de chances que l’hypothèse nulle soit vraie. »

Elle ne signifie pas non plus :

« Il y a seulement 3 % de chances que le résultat soit dû au hasard. »

L’American Statistical Association a explicitement rappelé que la valeur *p* ne mesure ni la probabilité qu’une hypothèse soit vraie, ni la probabilité que les données aient été produites « par le hasard seul ».

Statistiquement significatif ne signifie pas important

Supposons qu’un traitement réduise la durée moyenne d’un symptôme :

de 7,00 jours

à :

6,95 jours.

Avec un échantillon gigantesque, une différence minuscule peut être détectée avec une grande précision et franchir un seuil conventionnel de significativité.

Cela ne la rend pas automatiquement importante pour les patients.

Inversement, une étude petite et imprécise peut manquer un effet potentiellement important.

Il faut donc distinguer :

existence statistique d’un signal ;

ampleur de l’effet ;

importance pratique ou clinique.

L’ASA souligne explicitement que la significativité statistique ne mesure ni la taille de l’effet ni l’importance d’un résultat.

Le seuil de 0,05 n’est pas une frontière naturelle

La convention :

p < 0,05

est très utilisée.

Mais la différence entre :

p = 0,049

et :

p = 0,051

ne représente évidemment pas une rupture soudaine dans la réalité.

Transformer ce seuil conventionnel en séparation entre :

« effet réel »

et :

« absence d’effet »

est donc abusif.

L’ASA recommande explicitement que les conclusions scientifiques ou les décisions ne reposent pas uniquement sur le franchissement d’un seuil de valeur *p*.

« Non significatif » ne signifie pas « aucun effet »

Supposons qu’une étude soit compatible avec :

une réduction importante ;

un effet presque nul ;

ou une légère augmentation.

Si elle ne franchit pas le seuil de significativité, nous ne pouvons pas simplement conclure :

« Il n’y a aucun effet. »

L’étude peut surtout manquer de précision.

C’est pourquoi une question comme :

« Quelle taille d’effet reste compatible avec les données ? »

est souvent plus informative que :

« p est-il inférieur à 0,05 ? »

Un résultat non significatif n’est pas une démonstration automatique d’équivalence ou d’absence d’effet.

Taille de l’effet et incertitude

Supposons que deux études estiment toutes deux une diminution de 5 %.

La première possède une estimation très précise.

La seconde est compatible avec des effets allant d’une forte amélioration à une légère détérioration.

Les deux estimations centrales sont identiques.

La quantité d’information ne l’est pas.

Une présentation statistique utile devrait donc généralement montrer :

l’effet estimé

et

l’incertitude qui l’entoure.

Cette combinaison est souvent plus informative qu’un verdict binaire « significatif / non significatif ».

Plus on cherche, plus on risque de trouver quelque chose

Supposons qu’une étude examine une seule hypothèse définie à l’avance.

Comparons avec une étude qui teste :

50 variables ;

20 sous-groupes ;

plusieurs périodes ;

différentes définitions du résultat.

Même si aucun effet réel particulier n’existe, certaines associations inhabituelles finiront plus facilement par apparaître simplement en raison du nombre d’analyses réalisées.

C’est le problème des comparaisons multiples.

L’analyse exploratoire reste utile.

Mais une découverte sélectionnée parmi de nombreux tests doit être interprétée différemment d’une prédiction précise formulée avant l’examen des données.

Cette distinction rejoint le raisonnement hypothético-déductif : ce que nous avons cherché avant d’observer les résultats n’a pas exactement le même statut que ce que nous avons remarqué après les avoir examinés.

La régression vers la moyenne

Un autre piège apparaît lorsque nous intervenons précisément après une valeur exceptionnelle.

Supposons qu’un service enregistre un mois inhabituellement élevé en erreurs.

Une nouvelle mesure est immédiatement adoptée.

Le mois suivant, les erreurs diminuent.

La mesure a peut-être fonctionné.

Mais les valeurs exceptionnellement élevées contiennent souvent une composante aléatoire et tendent donc à être suivies de résultats moins extrêmes.

C’est la régression vers la moyenne.

Elle rend particulièrement délicates les conclusions du type :

« Nous sommes intervenus après un pic et la situation s’est améliorée, donc l’intervention a nécessairement produit l’amélioration. »

Il faut comparer cette explication à l’évolution que nous aurions raisonnablement attendue sans intervention.

Très précis ne signifie pas causal

Supposons qu’une étude portant sur plusieurs millions de personnes trouve une association extrêmement précise entre X et Y.

La grande taille de l’échantillon peut rendre l’erreur aléatoire minuscule.

Mais si une troisième variable Z explique l’association, la conclusion causale reste incorrecte.

La statistique peut mesurer une relation avec une précision extraordinaire sans déterminer automatiquement pourquoi cette relation existe.

Il faut donc distinguer :

description statistique ;

prédiction ;

causalité.

Cette dernière exige le raisonnement causal développé dans la fiche précédente.

Cas pratique — Les erreurs ont diminué de moitié

Un service enregistre environ 20 erreurs par mois.

Une nouvelle procédure est introduite.

Pendant les trois mois suivants, la moyenne tombe à 10.

Le fait brut est simple :

les erreurs déclarées ont diminué dans les données disponibles.

Mais plusieurs conclusions différentes pourraient suivre.

Première possibilité :

il existe une diminution réelle et durable.

Deuxième :

les trois mois précédents étaient inhabituellement mauvais.

Troisième :

l’activité a diminué.

Quatrième :

la manière de déclarer les erreurs a changé.

Cinquième :

la nouvelle procédure a réellement produit la baisse.

Ces hypothèses ne sont pas équivalentes.

Le raisonnement statistique aide à évaluer la stabilité et l’incertitude de la diminution.

Le raisonnement causal est nécessaire pour déterminer ce qui l’a produite.

Cas pratique — « 100 000 personnes, donc l’étude est fiable »

Une étude observationnelle portant sur 100 000 personnes découvre une différence très faible entre deux groupes avec une valeur *p* extrêmement petite.

Le grand échantillon apporte une information réelle :

l’estimation peut être statistiquement très précise.

Mais plusieurs questions demeurent :

Comment les participants ont-ils été sélectionnés ?

Les groupes sont-ils comparables ?

Comment les variables ont-elles été mesurées ?

Quelle est la taille réelle de l’effet ?

L’association est-elle causale ?

La bonne conclusion n’est donc ni :

« 100 000 participants, donc c’est vrai »

ni :

« Les statistiques ne prouvent rien. »

Elle est :

une grande taille d’échantillon réduit certaines incertitudes, pas toutes.

Une méthode simple pour lire un résultat statistique

Face à un résultat quantitatif, quelques questions suffisent déjà à éviter beaucoup d’erreurs.

Quelle population veut-on connaître ?

Quel échantillon a réellement été observé ?

Comment a-t-il été sélectionné ?

Quelle est la taille de l’effet observé ?

Quelle incertitude entoure cette estimation ?

Combien d’analyses différentes ont été examinées ?

Le résultat est-il descriptif, prédictif ou causal ?

Ces questions sont souvent plus importantes qu’un nombre isolé.

À retenir

Le raisonnement statistique permet de passer des données observées à des conclusions plus générales, tout en représentant la variabilité et l’incertitude.

La taille d’un échantillon est importante, mais elle ne remplace pas sa qualité. Un échantillon énorme peut être fortement biaisé. Le cas du *Literary Digest* de 1936 l’illustre particulièrement bien : le biais de sélection et la non-réponse ont conjointement conduit à une prédiction électorale profondément erronée malgré environ 2,4 millions de réponses.

Les intervalles de confiance permettent de représenter certaines incertitudes d’échantillonnage, mais ils ne capturent pas automatiquement toutes les erreurs méthodologiques.

Une valeur *p* ne donne ni la probabilité qu’une hypothèse soit vraie, ni l’importance d’un effet. Un seuil comme 0,05 constitue une convention méthodologique, pas une frontière naturelle séparant vérité et erreur.

Il faut enfin distinguer :

précision statistique ;

importance pratique ;

interprétation causale.

La leçon centrale peut être formulée simplement :

un résultat statistique ne doit jamais être jugé uniquement par la quantité de données ou par un nombre isolé ; il faut comprendre comment les données ont été obtenues, quelle incertitude subsiste et quelle conclusion elles permettent réellement de soutenir.

18 sur 20Retour à la catégorie