Erreur aléatoire et erreur systématique

Toute mesure comporte une part d’incertitude. En épidémiologie, cette incertitude peut provenir de deux grandes familles de problèmes : l’erreur aléatoire et l’erreur systématique.

Elles ne se corrigent pas de la même manière.

L’erreur aléatoire correspond aux fluctuations imprévisibles liées au hasard. L’erreur systématique correspond à une déviation régulière de la mesure ou de l’estimation dans une direction particulière.

Cette distinction permet de comprendre pourquoi une étude portant sur des millions de personnes peut rester fausse si son dispositif est biaisé.

L’erreur aléatoire

Supposons que l’on mesure plusieurs fois la tension artérielle d’une même personne.

On peut obtenir :

  • 132 mmHg ;
  • 128 mmHg ;
  • 135 mmHg ;
  • 130 mmHg.

Ces variations peuvent venir :

  • de la mesure ;
  • de la position ;
  • du moment de la journée ;
  • de fluctuations physiologiques.

Elles ne poussent pas nécessairement les valeurs dans une seule direction.

C’est une forme d’erreur aléatoire.

L’erreur systématique

Imaginons maintenant que le tensiomètre soit mal calibré et ajoute systématiquement 10 mmHg.

On obtient des valeurs très régulières, mais toutes trop élevées.

Par exemple :

  • valeur réelle : 120 ;
  • mesure : 130 ;
  • valeur réelle : 125 ;
  • mesure : 135.

La mesure peut être extrêmement reproductible tout en étant systématiquement incorrecte.

C’est une erreur systématique.

Précision et exactitude

Deux notions permettent de mieux comprendre la différence :

précision : les mesures sont-elles proches les unes des autres ?

exactitude : les mesures sont-elles proches de la vraie valeur ?

On peut avoir :

SituationPrécisionExactitude
Mesures dispersées autour de la vraie valeurFaibleBonne en moyenne
Mesures très proches mais toutes décaléesÉlevéeMauvaise
Mesures dispersées et décaléesFaibleMauvaise
Mesures proches et centréesÉlevéeBonne

Une étude peut donc être très précise sans être exacte.

La cible de tir

Une métaphore classique consiste à imaginer une cible.

Si les impacts sont dispersés autour du centre, il existe beaucoup d’erreur aléatoire mais peu de biais systématique.

Si les impacts sont tous très proches les uns des autres mais décalés vers la droite, la précision est excellente mais l’erreur systématique importante.

L’idéal est évidemment d’avoir des impacts regroupés autour du centre.

Le rôle de la taille de l’échantillon

L’un des grands avantages d’un échantillon plus important est de réduire l’erreur aléatoire.

Supposons que l’on estime la prévalence d’une maladie.

Avec 50 personnes, quelques cas supplémentaires peuvent modifier fortement le résultat.

Avec 100 000 personnes, les fluctuations dues au hasard deviennent beaucoup plus faibles.

La taille améliore donc généralement la précision statistique.

Mais la taille ne corrige pas le biais

Supposons qu’une enquête de santé recrute uniquement des personnes fréquentant une salle de sport.

Même si l’on interroge 1 million de participants, l’échantillon risque de ne pas représenter correctement la population générale.

La marge d’erreur statistique peut devenir minuscule, mais le biais de sélection reste présent.

On peut alors obtenir une estimation très précise de la mauvaise valeur.

Exemple pédagogique

Imaginons que la prévalence réelle d’une maladie dans la population soit de 10 %.

Étude A

Petit échantillon correctement sélectionné.

Résultat :

12 % ± 5 points.

La précision est faible, mais la vraie valeur de 10 % reste compatible avec l’estimation.

Étude B

Énorme échantillon biaisé.

Résultat :

6,0 % ± 0,1 point.

La précision est spectaculaire.

Mais si l’échantillon sous-représente systématiquement les personnes malades, l’estimation peut être très éloignée de la réalité.

L’intervalle extrêmement étroit ne protège pas contre ce biais.

Variabilité d’échantillonnage

Lorsque l’on tire plusieurs échantillons aléatoires d’une même population, on n’obtiendra pas exactement le même résultat.

Supposons une vraie prévalence de 20 %.

Différents échantillons peuvent donner :

  • 18 % ;
  • 21 % ;
  • 19 % ;
  • 22 %.

Cette variabilité est normale.

Elle constitue une partie de l’erreur d’échantillonnage.

L’intervalle de confiance

L’intervalle de confiance cherche à quantifier une partie de l’incertitude due à l’erreur aléatoire.

Plus l’échantillon est grand, plus l’intervalle tend généralement à se resserrer.

Par exemple :

RR = 0,80 ; IC 95 % [0,45–1,42]

est beaucoup plus incertain que :

RR = 0,80 ; IC 95 % [0,76–0,84].

La seconde estimation est beaucoup plus précise.

Mais cette précision ne garantit toujours pas l’absence de biais systématique.

L’intervalle de confiance ne capture pas toutes les incertitudes

C’est un point fondamental.

Un intervalle de confiance statistique ne tient généralement pas compte directement de :

  • biais de sélection ;
  • erreur systématique de mesure ;
  • facteur de confusion non mesuré ;
  • erreurs de classification.

Il représente surtout l’incertitude liée au modèle statistique et à l’échantillonnage.

Un résultat peut donc présenter un intervalle extrêmement étroit tout en étant méthodologiquement fragile.

Erreur aléatoire dans la mesure

L’erreur aléatoire peut aussi concerner une variable individuelle.

Supposons que l’on demande aux participants leur poids et qu’ils commettent des petites erreurs dans les deux directions.

Certains se surestiment légèrement, d’autres se sous-estiment.

Ces erreurs peuvent introduire du bruit.

Lorsque le bruit est important, il devient plus difficile de détecter une véritable association.

Bruit et signal

On peut imaginer :

signal = relation réelle que l’on cherche à mesurer

et

bruit = fluctuations sans intérêt liées à l’erreur aléatoire.

Plus le bruit est important par rapport au signal, plus l’estimation devient instable.

Augmenter la taille de l’échantillon peut aider à détecter le signal malgré le bruit, mais seulement jusqu’à un certain point.

Erreur systématique de mesure

Supposons maintenant que tous les participants sous-déclarent leur consommation d’alcool.

La mesure n’est plus simplement bruitée.

Elle est systématiquement orientée dans une direction.

Si cette sous-déclaration diffère également selon l’état de santé, elle peut produire un biais encore plus important.

Biais et erreur systématique

En épidémiologie, on utilise souvent le terme biais pour désigner une erreur systématique dans l’estimation d’une association ou d’un paramètre.

Les grandes catégories comprennent notamment :

  • biais de sélection ;
  • biais d’information ;
  • biais de mémorisation ;
  • biais de survie ;
  • biais de publication.

Ces biais seront étudiés dans les fiches suivantes.

Erreur aléatoire et résultat extrême

Par hasard, une petite étude peut produire un effet énorme.

Supposons qu’un traitement n’ait aucun effet réel.

Dans plusieurs petites études, on peut malgré tout observer :

  • RR = 0,50 ;
  • RR = 1,10 ;
  • RR = 1,80 ;
  • RR = 0,70.

Les petites études produisent davantage d’estimations extrêmes simplement parce que leurs fluctuations aléatoires sont importantes.

Réplication

La réplication permet notamment de lutter contre ce problème.

Si une première étude obtient un résultat spectaculaire par hasard, les études suivantes auront peu de chances de reproduire exactement cette fluctuation.

Au contraire, si l’effet est réel, les estimations devraient progressivement converger autour d’une valeur compatible.

C’est l’une des raisons pour lesquelles une étude isolée doit être interprétée avec prudence.

Régression vers la moyenne

L’erreur aléatoire peut également expliquer en partie la régression vers la moyenne.

Supposons que l’on sélectionne des patients précisément parce qu’ils présentent aujourd’hui une pression artérielle exceptionnellement élevée.

Lors de la mesure suivante, une partie aura naturellement une valeur plus proche de sa moyenne habituelle.

On peut alors croire que l’intervention entre les deux mesures a produit toute l’amélioration.

Ce phénomène sera étudié plus précisément dans une fiche dédiée.

La significativité statistique et le hasard

Les tests statistiques cherchent notamment à déterminer si une différence observée pourrait raisonnablement être expliquée par les fluctuations aléatoires.

Mais ils ne disent pas si l’étude est exempte de biais.

Un résultat peut être :

hautement statistiquement significatif

et

entièrement expliqué par une erreur systématique.

La valeur p ne teste pas la qualité méthodologique générale de l’étude.

Exemple : biais énorme et p minuscule

Supposons qu’une base de 10 millions de personnes compare deux groupes profondément différents socialement.

On trouve :

RR = 1,08 ; p < 0,000001.

Le résultat est extrêmement incompatible avec l’hypothèse statistique d’absence d’association dans le modèle utilisé.

Mais si les groupes diffèrent fortement sur un facteur causal non mesuré, cette association peut être entièrement confondue.

Une valeur p minuscule ne transforme pas une étude biaisée en expérience randomisée.

Plus de données peuvent rendre un biais plus convaincant

C’est un paradoxe important.

Avec peu de données, une étude biaisée produit un résultat incertain.

Avec énormément de données, elle peut produire une estimation biaisée très stable et statistiquement impressionnante.

La masse de données peut alors renforcer l’apparence de certitude sans améliorer la validité.

C’est une difficulté importante à l’époque du big data.

Erreur systématique liée au choix des participants

Supposons qu’une étude sur l’activité physique recrute des volontaires via une application sportive.

Les personnes les plus sédentaires ont moins de chances d’entrer dans l’étude.

Même si toutes les mesures sont ensuite parfaitement précises, l’échantillon est systématiquement différent de la population cible.

C’est un biais de sélection.

Erreur systématique liée à la définition de l’exposition

Supposons que l’on définisse un « fumeur » comme une personne déclarant au moins une cigarette pendant la semaine précédente.

Un ancien gros fumeur ayant arrêté depuis trois jours est classé comme fumeur.

Un ancien gros fumeur ayant arrêté depuis huit jours devient non-fumeur.

La définition opérationnelle peut donc produire des classifications discutables.

Si ces erreurs ne sont pas aléatoires, elles peuvent déformer l’association.

Erreur différentielle et non différentielle

Les erreurs de mesure peuvent également dépendre du groupe.

On distingue souvent :

erreur non différentielle : la qualité de mesure est similaire dans les groupes ;

erreur différentielle : l’erreur varie selon la maladie ou l’exposition.

La seconde est généralement plus difficile à prévoir et peut déplacer les résultats dans différentes directions.

Exemple de biais de mémorisation

Dans une étude cas-témoins, des personnes atteintes d’un cancer peuvent se souvenir avec beaucoup plus de précision de leurs expositions professionnelles que les témoins.

L’exposition est alors mesurée différemment selon le statut de maladie.

Ce n’est plus un simple bruit.

C’est une erreur systématique pouvant créer ou amplifier une association.

Erreur non différentielle

Supposons que tous les participants utilisent un appareil qui mesure imparfaitement l’activité physique, avec des erreurs similaires dans tous les groupes.

Cette imprécision tend souvent à rendre les groupes plus semblables et à atténuer certaines associations.

Mais cette règle n’est pas universelle, notamment pour les variables complexes ou comportant plusieurs catégories.

Il faut éviter les recettes trop automatiques.

Le biais peut parfois masquer un effet réel

On imagine souvent que les biais créent de faux effets.

Mais ils peuvent aussi faire disparaître une relation véritable.

Supposons qu’une exposition toxique augmente fortement le risque de maladie, mais que la mesure de l’exposition soit tellement mauvaise que beaucoup de personnes soient classées dans le mauvais groupe.

La différence entre exposés et non-exposés peut devenir artificiellement faible.

Une étude peut donc sous-estimer, surestimer ou même inverser un effet.

Les biais ne sont pas toujours orientés dans la direction souhaitée

Lorsqu’une étude présente un biais, il ne suffit pas de dire :

« le résultat est forcément exagéré ».

Il faut comprendre le mécanisme.

Certains biais :

  • augmentent l’association ;
  • la réduisent ;
  • produisent une direction difficile à prévoir.

L’analyse d’un biais doit donc être causale, pas seulement rhétorique.

Précision et validité

On peut distinguer deux grandes qualités d’une estimation.

Précision

Quelle est l’incertitude aléatoire ?

Validité

L’estimation est-elle centrée sur la véritable valeur que l’on cherche ?

Une grande étude améliore souvent la première.

La seconde dépend surtout de la qualité du plan, des mesures et des comparaisons.

Validité interne

La validité interne concerne la capacité de l’étude à estimer correctement l’effet dans la population effectivement étudiée.

Elle peut être compromise par :

  • biais de sélection ;
  • biais de mesure ;
  • confusion.

Une étude très précise mais fortement biaisée possède une faible validité interne.

Validité externe

Même une étude parfaitement valide en interne peut ne pas se généraliser à toutes les populations.

Supposons qu’un essai soit réalisé uniquement chez des adultes de 20 à 40 ans en bonne santé.

L’effet chez les personnes de 85 ans peut rester incertain.

La généralisation est une question différente de l’erreur aléatoire et du biais interne.

Pourquoi la précision est séduisante

Les humains sont facilement impressionnés par :

  • grands échantillons ;
  • nombreux chiffres ;
  • intervalles étroits ;
  • plusieurs décimales.

Mais ces éléments concernent surtout la précision.

Une estimation affichée :

12,483 %

n’est pas nécessairement plus exacte qu’une estimation :

environ 12 %.

Les décimales ne créent pas de validité.

Fausse précision

On parle de fausse précision lorsqu’un résultat est présenté avec davantage de précision numérique que les données ne le justifient.

Supposons qu’une enquête fortement biaisée estime une prévalence à :

18,372 %.

Présenter trois décimales peut donner une illusion de contrôle scientifique.

Mais si le biais potentiel est de plusieurs points de pourcentage, les décimales sont sans intérêt.

Exactitude impossible à observer directement

Une difficulté fondamentale est que la « vraie valeur » est souvent inconnue.

Si nous la connaissions déjà, l’étude serait inutile.

On doit donc évaluer la validité indirectement à partir :

  • du plan d’étude ;
  • de la qualité des mesures ;
  • de la comparaison ;
  • de la cohérence avec d’autres données.

L’évaluation méthodologique sert précisément à estimer à quel point nous devons faire confiance au résultat.

Analyse de sensibilité

Les chercheurs peuvent examiner comment les résultats changeraient sous différentes hypothèses.

Par exemple :

Que se passerait-il si 10 % des participants avaient été mal classés ?

ou

Quel facteur de confusion non mesuré faudrait-il pour expliquer l’association ?

Ces analyses de sensibilité permettent de tester la robustesse d’une conclusion face à certaines erreurs potentielles.

Une conclusion robuste

Supposons qu’une association reste forte sous de nombreuses hypothèses raisonnables concernant :

  • données manquantes ;
  • erreurs de mesure ;
  • facteurs de confusion.

La confiance augmente.

À l’inverse, si une petite modification méthodologique fait disparaître complètement le résultat, l’interprétation doit être plus prudente.

Trois situations très différentes

Il est utile de distinguer :

1. Estimation imprécise mais peu biaisée

Le résultat est incertain mais globalement centré.

Solution fréquente : davantage de données.

2. Estimation précise mais biaisée

Le résultat est stable mais faux.

Ajouter davantage de participants ne résout pas le problème.

3. Estimation imprécise et biaisée

Le résultat cumule les deux difficultés.

Il faut améliorer à la fois le plan et la quantité d’information.

Le bon remède dépend du problème

On peut résumer :

ProblèmeRéponse possible
Erreur aléatoire importanteAugmenter l’échantillon, améliorer la précision
Mesure bruitéeAméliorer ou répéter les mesures
Biais de sélectionModifier le recrutement ou la comparaison
Erreur systématique de mesureRecalibrer ou redéfinir la mesure
ConfusionMeilleur design, randomisation ou ajustement adapté

Plus de données n’est donc qu’une des solutions possibles.

Une leçon d’esprit critique

Face à un résultat extrêmement précis, il est utile de séparer deux questions :

« Quelle est la marge d’erreur due au hasard ? »

et

« L’étude mesure-t-elle réellement ce qu’elle prétend mesurer ? »

La première concerne surtout l’erreur aléatoire.

La seconde concerne les erreurs systématiques.

Une étude peut répondre brillamment à la première et échouer complètement à la seconde.

C’est pourquoi il faut éviter une confusion fondamentale :

précision statistique ≠ vérité.

À retenir

L’erreur aléatoire correspond aux fluctuations imprévisibles dues au hasard. Elle diminue généralement lorsque la quantité d’information augmente et se reflète notamment dans la largeur des intervalles de confiance.

L’erreur systématique, ou biais, déplace l’estimation dans une direction particulière en raison de la manière dont l’étude est conçue, réalisée ou mesurée.

Augmenter la taille de l’échantillon réduit l’erreur aléatoire, mais ne corrige pas automatiquement les biais.

Une étude peut donc être :

imprécise mais globalement juste

ou

extrêmement précise mais systématiquement fausse.

La distinction fondamentale à conserver est :

la précision nous dit à quel point l’estimation est stable ; la validité nous dit si elle mérite réellement d’être crue.

Pour aller plus loin

Kenneth J. Rothman, Sander Greenland et Timothy L. Lash — Modern Epidemiology. Une référence centrale pour distinguer erreur aléatoire, biais et confusion dans l’interprétation des études épidémiologiques.

Leon Gordis — Epidemiology. Une introduction particulièrement claire aux notions de validité, précision et biais.

Douglas G. Altman — Practical Statistics for Medical Research. Une référence classique pour comprendre la précision statistique, les intervalles de confiance et les limites de l’inférence fondée uniquement sur les tests statistiques.