Mesurer : validité, fiabilité, précision et erreurs de mesure

Une mesure scientifique prend souvent la forme rassurante d’un nombre. Une température est annoncée à 38,2 °C, une concentration à 12,4 microgrammes par litre, une tension artérielle à 135 mmHg, un score psychologique à 27 points. Cette précision apparente peut donner l’impression que le phénomène a été saisi directement et sans ambiguïté.

Pourtant, mesurer n’est jamais simplement lire la réalité. Une mesure résulte d’un instrument, d’une procédure, d’une définition de ce qui doit être mesuré et de conditions qui peuvent toutes introduire des erreurs.

Deux appareils peuvent donner des valeurs légèrement différentes. Un instrument peut être très stable tout en étant systématiquement décalé. Une échelle psychologique peut produire des résultats réguliers sans représenter correctement le concept recherché. Une mesure extrêmement précise peut porter sur un échantillon qui ne représente pas la population à laquelle on souhaite généraliser.

Plusieurs notions doivent donc être distinguées : validité, fiabilité, précision, exactitude, résolution, erreur systématique, erreur aléatoire et incertitude. Elles répondent à des questions différentes et ne sont pas interchangeables.

Comprendre ces distinctions permet d’éviter une erreur fréquente : croire qu’un résultat devient nécessairement fiable dès lors qu’il est exprimé avec beaucoup de chiffres.

Fiabilité : obtenons-nous des résultats suffisamment stables ?

Une première qualité attendue d’une mesure est sa fiabilité. Dans son sens général, une mesure fiable fournit des résultats suffisamment cohérents lorsque le phénomène mesuré n’a pas changé et que les conditions pertinentes restent comparables.

Imaginons une balance sur laquelle un objet immobile donne successivement 10,1 kg, 14,7 kg, 8,3 kg puis 12,8 kg. Même sans connaître exactement la masse réelle de l’objet, nous savons déjà que l’instrument pose problème : les résultats varient beaucoup trop.

À l’inverse, si la balance donne systématiquement 10,1 kg, 10,2 kg, 10,1 kg puis 10,2 kg, sa répétabilité est bien meilleure.

Dans les instruments physiques, cette stabilité peut être évaluée en répétant la même mesure. Dans les questionnaires ou tests psychologiques, le problème devient plus complexe. On peut notamment examiner si plusieurs items censés participer à la mesure d’un même construit se comportent de manière cohérente, si deux évaluateurs aboutissent à des jugements similaires ou si un instrument fournit des résultats suffisamment stables lorsque la caractéristique étudiée n’est pas supposée avoir changé.

La fiabilité concerne donc principalement la variabilité de la mesure.

Elle ne suffit cependant pas.

Une mesure peut être très fiable et néanmoins fausse

Reprenons notre balance. Supposons qu’un objet dont la masse de référence est de 10 kg produise systématiquement une mesure de 11 kg.

L’instrument est remarquablement stable : 11,00 kg, 11,01 kg, 10,99 kg, 11,00 kg.

Il possède donc une excellente répétabilité. Pourtant, toutes ses mesures sont décalées d’environ un kilogramme.

Cette situation permet de comprendre une distinction essentielle : la cohérence des mesures ne garantit pas leur proximité avec la valeur recherchée.

Le NIST distingue précisément la précision — au sens de l’accord entre des résultats obtenus dans des conditions spécifiées — de l’accuracy, c’est-à-dire leur accord avec une valeur de référence. Il souligne également que ces termes sont facilement confondus et doivent être utilisés avec prudence.

Dans le vocabulaire métrologique français, on rencontre souvent exactitude pour traduire *accuracy*. Dans le langage courant, le mot « précision » est toutefois utilisé dans plusieurs sens, ce qui crée facilement des malentendus.

Il faut donc toujours demander ce que l’auteur entend réellement par ce terme.

Précision et exactitude ne décrivent pas la même chose

Une représentation classique consiste à imaginer des tirs sur une cible.

Des impacts très rapprochés les uns des autres mais décalés du centre correspondent à une bonne précision avec un biais important. Des impacts dispersés autour du centre peuvent avoir une moyenne correcte mais une faible précision. Des impacts à la fois serrés et proches du centre combinent les deux qualités.

Cette métaphore est imparfaite mais utile.

La précision décrit surtout le degré d’accord entre plusieurs mesures. L’exactitude concerne leur proximité avec une valeur de référence. Le NIST rappelle que l’exactitude dépend à la fois des composantes aléatoires et des erreurs systématiques.

Une conséquence importante en découle : répéter une mesure de nombreuses fois peut améliorer l’estimation lorsque l’erreur est principalement aléatoire, mais répéter une mesure systématiquement biaisée ne supprime pas le biais.

Cent pesées effectuées avec une balance ajoutant toujours 1 kg permettront de déterminer très précisément une mauvaise valeur.

Erreur aléatoire : les mesures fluctuent

Une partie de l’incertitude provient de variations qui ne poussent pas toujours la mesure dans la même direction.

Un signal électronique peut comporter du bruit. Une personne peut répondre légèrement différemment à un questionnaire selon son attention du moment. Le positionnement d’un instrument peut varier d’une mesure à l’autre. Deux prélèvements biologiques peuvent présenter une petite variabilité même lorsque les conditions générales sont identiques.

Ces fluctuations constituent des erreurs aléatoires.

Elles tendent généralement à augmenter la dispersion des résultats. Lorsque certaines conditions sont réunies, augmenter le nombre de mesures ou la taille de l’échantillon peut réduire leur influence sur l’estimation moyenne.

Le NIST définit l’erreur aléatoire comme la composante qui fait fluctuer un résultat autour de ce que donnerait la moyenne d’un très grand nombre de mesures réalisées dans des conditions de répétabilité.

Cela ne signifie pas que l’erreur aléatoire soit littéralement dépourvue de cause. Une variation apparemment aléatoire peut résulter de nombreux facteurs microscopiques ou non contrôlés. Le terme décrit surtout la manière dont cette erreur affecte les mesures.

Erreur systématique : se tromper toujours dans la même direction

Une erreur systématique produit au contraire un décalage persistant.

Une balance mal réglée peut ajouter systématiquement 500 grammes. Un thermomètre mal calibré peut sous-estimer toutes les températures. Une méthode de laboratoire peut produire des concentrations légèrement trop élevées. Un questionnaire peut sous-évaluer certains comportements parce que les participants hésitent régulièrement à les déclarer.

Le NIST décrit l’erreur systématique comme la composante persistante du décalage entre le processus de mesure et la valeur recherchée, et utilise également la notion de biais pour certaines tendances systématiques.

Cette distinction avec l’erreur aléatoire possède une conséquence pratique majeure.

Si une erreur est principalement aléatoire, multiplier les observations peut souvent améliorer la précision de l’estimation. Si l’erreur est systématique, un échantillon plus grand peut simplement rendre le biais plus précisément estimé sans le supprimer.

C’est l’une des raisons pour lesquelles la formule « plus de données = meilleur résultat » est trop simple.

La calibration permet de rechercher certains biais

Pour détecter un décalage systématique, il faut souvent comparer l’instrument à une référence connue ou mieux établie.

C’est le rôle de la calibration.

Si un thermomètre affiche régulièrement une valeur supérieure de 0,5 °C à celle d’un étalon de référence dans les mêmes conditions, ce décalage peut être identifié et éventuellement corrigé. Le NIST présente explicitement la comparaison à des références comme un moyen d’identifier certains biais de mesure.

La calibration ne signifie cependant pas que l’instrument devient parfait. La référence possède elle-même une incertitude, certaines erreurs peuvent dépendre de la température, du temps ou des conditions d’utilisation, et le comportement de l’instrument peut évoluer.

Il faut donc distinguer calibrer un instrument et démontrer qu’il mesure correctement dans toutes les situations pertinentes.

La calibration contrôle une partie du problème, pas l’ensemble.

Résolution : combien de différences l’instrument peut-il distinguer ?

Une autre notion est parfois confondue avec la précision : la résolution.

Une balance affichant les grammes possède une résolution plus fine qu’une balance affichant uniquement les kilogrammes. Un appareil capable d’afficher 37,52 °C possède une résolution numérique plus fine qu’un appareil arrondi au degré.

Mais davantage de décimales ne signifie pas nécessairement davantage d’exactitude.

Un appareil peut afficher 12,47381 tout en étant mal calibré. Les chiffres supplémentaires donnent alors une impression de précision qui dépasse ce que la mesure permet réellement de soutenir.

C’est ce que l’on pourrait appeler une fausse précision : présenter davantage de chiffres significatifs que ne le justifient l’instrument, les données ou l’incertitude réelle.

Lorsqu’une estimation est elle-même incertaine de plusieurs unités, annoncer cinq décimales n’ajoute pratiquement aucune information scientifique.

Incertitude et erreur ne sont pas synonymes

Une distinction plus subtile concerne l’erreur de mesure et l’incertitude de mesure.

L’erreur correspond, conceptuellement, à la différence entre un résultat et la valeur que l’on cherche à connaître. Mais cette valeur véritable n’est généralement pas connue exactement ; sinon il ne serait souvent pas nécessaire de la mesurer.

L’incertitude décrit plutôt ce que nous savons de la dispersion plausible des valeurs compatibles avec le processus de mesure et les informations disponibles.

Le NIST insiste sur cette distinction : l’erreur réelle d’une mesure est généralement inconnue précisément parce que la valeur du mesurande est elle-même inconnue, tandis que son incertitude peut être évaluée.

Cette nuance est importante. Dire qu’une mesure possède une incertitude de ±0,2 ne signifie pas que l’on sait qu’elle est erronée de 0,2. Cela signifie que le résultat doit être interprété dans un cadre qui reconnaît une certaine plage d’incertitude.

L’incertitude n’est donc pas un défaut embarrassant que le scientifique devrait cacher. L’exprimer correctement fait partie de la qualité de la mesure.

Validité : mesurons-nous réellement ce qui nous intéresse ?

Toutes les distinctions précédentes peuvent encore laisser intact un problème plus fondamental.

Un instrument peut être stable, précisément calibré et doté d’une faible incertitude tout en ne répondant pas à la question scientifique que l’on souhaitait poser.

Supposons qu’un chercheur veuille étudier la « qualité des soins » et utilise uniquement la durée moyenne d’hospitalisation. La durée peut être mesurée sans grande difficulté et avec une excellente précision administrative. Mais représente-t-elle à elle seule la qualité des soins ?

Probablement pas.

Une durée plus courte peut traduire une prise en charge efficace, mais aussi une politique de sortie précoce. Une durée plus longue peut refléter une mauvaise organisation, mais aussi la prise en charge de patients plus complexes.

Nous retrouvons ici la notion introduite dans la fiche précédente : la validité concerne l’interprétation de la mesure relativement au concept auquel on souhaite l’associer.

La métrologie d’un instrument et la validité d’un construit sont donc des problèmes liés mais distincts.

Une balance correctement calibrée peut mesurer très correctement la masse. Mais si la question porte sur « l’état nutritionnel », la masse seule ne suffit pas nécessairement à représenter le phénomène.

Une mesure peut échouer à plusieurs niveaux simultanément

Il est utile de distinguer plusieurs questions successives.

L’instrument donne-t-il des résultats suffisamment stables ? C’est une question de fiabilité ou de précision au sens de répétabilité.

Est-il correctement aligné sur une référence lorsque celle-ci existe ? C’est une question d’exactitude et de biais.

Permet-il de distinguer des variations suffisamment fines ? C’est notamment une question de résolution.

Connaissons-nous les limites plausibles du résultat obtenu ? C’est une question d’incertitude.

Enfin, la variable ainsi mesurée représente-t-elle correctement le phénomène auquel la conclusion scientifique fait référence ? C’est une question de validité.

Ces propriétés ne doivent pas être additionnées comme les cases d’une simple checklist. Elles concernent différents maillons de la chaîne de connaissance.

Exemple : mesurer la tension artérielle

La mesure de la tension artérielle illustre bien cette accumulation de problèmes.

Un appareil peut avoir été correctement calibré, mais une mesure prise immédiatement après un effort physique ne répond pas à la même question qu’une mesure effectuée après plusieurs minutes de repos. Un brassard mal adapté au bras peut modifier le résultat. Une seule mesure peut refléter une fluctuation momentanée. Certaines personnes présentent une élévation de la pression en contexte médical, phénomène souvent appelé effet blouse blanche.

Le problème ne vient donc pas seulement de la précision technique de l’appareil.

Il faut également standardiser les conditions de mesure, éventuellement répéter les mesures et savoir quelle interprétation clinique peut raisonnablement être tirée des résultats.

Le « nombre » obtenu à la fin est donc l’aboutissement d’un protocole de mesure, pas une donnée indépendante de son contexte.

Exemple : mesurer une température mondiale

Les problèmes deviennent encore plus visibles lorsqu’on souhaite mesurer une grandeur qui ne correspond pas à un seul objet accessible directement.

La température moyenne de la planète n’est pas la lecture d’un thermomètre gigantesque placé quelque part sur Terre. Elle est construite à partir de nombreuses observations effectuées dans l’espace et le temps avec différents instruments, stations terrestres, mesures océaniques et satellites.

Les chercheurs doivent gérer des changements d’instrument, des déplacements de stations, des différences de couverture géographique et différentes corrections méthodologiques.

L’existence de ces opérations ne signifie pas que la température globale serait arbitraire. Elle signifie que la mesure scientifique doit être accompagnée d’une traçabilité méthodologique permettant de comprendre comment l’estimation a été construite et quelles incertitudes lui sont associées.

C’est précisément parce que les mesures ne sont pas magiques que les procédures de calibration, de comparaison et de validation sont importantes.

Exemple : mesurer la douleur

À l’autre extrême, certaines grandeurs ne possèdent pas d’étalon physique directement accessible.

La douleur est une expérience subjective. Un soignant peut observer certains comportements ou certaines réponses physiologiques, mais aucun de ces indices ne fournit un accès direct et exhaustif à l’intensité vécue par une personne.

Une échelle numérique demandant au patient d’évaluer sa douleur entre 0 et 10 peut donc être pertinente même si elle ne possède pas la structure d’un thermomètre.

Cela ne signifie pas que « 8 » représente une quantité physique huit fois supérieure à « 1 ». L'interprétation dépend de la nature de l’échelle et de son usage.

Cet exemple rappelle une idée importante : toutes les mesures scientifiques ne possèdent pas la même structure. La qualité d’une mesure doit être évaluée relativement au phénomène, au type d’information disponible et à l’interprétation recherchée.

Une mesure correcte dans un contexte peut devenir mauvaise dans un autre

Un instrument peut fonctionner correctement dans certaines conditions et moins bien dans d’autres.

Un capteur peut devenir moins fiable à des températures extrêmes. Un questionnaire conçu pour des adultes peut mal fonctionner chez des adolescents. Un biomarqueur utile pour détecter une maladie dans une population symptomatique peut produire davantage de résultats trompeurs lorsqu’il est utilisé comme dépistage dans une population où la maladie est rare.

La qualité d’une mesure n’est donc pas toujours une propriété absolue de l’instrument.

Il faut considérer l’instrument, la procédure, la population, le contexte et l’usage auquel le résultat est destiné.

Cette remarque est particulièrement importante lorsqu’une technologie validée dans un environnement contrôlé est ensuite déployée à grande échelle dans des situations beaucoup plus variées.

Une erreur systématique peut produire des résultats statistiquement très convaincants

Imaginons maintenant une étude comportant un million de participants mais utilisant une mesure systématiquement biaisée.

Grâce au grand nombre d’observations, certaines estimations pourront être extrêmement précises et les intervalles statistiques très étroits. Pourtant, si la mesure elle-même est décalée ou représente mal le phénomène étudié, cette précision ne résout pas le problème.

On peut ainsi obtenir une estimation très précise d’une quantité mal mesurée.

Cette distinction devient particulièrement importante avec les bases de données massives. La taille de l’échantillon réduit principalement certaines formes d’incertitude aléatoire. Elle ne supprime pas automatiquement les erreurs systématiques.

Un biais minuscule peut même devenir très visible statistiquement dans une immense base de données sans que l’effet observé possède une importance scientifique ou pratique considérable.

La taille des données et la qualité de la mesure doivent donc être examinées séparément.

Une absence de variabilité peut elle-même être suspecte

La stabilité est généralement souhaitable, mais une mesure trop parfaitement stable peut parfois être un signal d’alerte.

Un instrument mesurant un phénomène biologique naturellement variable devrait normalement enregistrer une partie de cette variabilité. Si toutes les valeurs sont identiques, il peut être bloqué, arrondir excessivement ou être incapable de détecter les différences réellement présentes.

De même, un questionnaire où presque tous les participants obtiennent le score maximal peut souffrir d’un effet plafond : l’outil ne permet plus de distinguer correctement les personnes situées dans la partie supérieure de la distribution. Un effet plancher produit le problème inverse.

Une bonne mesure doit donc être suffisamment stable pour ne pas être dominée par le bruit, mais aussi suffisamment sensible pour détecter les différences pertinentes.

La mesure scientifique est un processus de contrôle permanent

Une fois un instrument validé ou calibré, le travail n’est pas nécessairement terminé.

Les appareils peuvent dériver. Les laboratoires mettent donc en place des contrôles de qualité, utilisent des standards, vérifient régulièrement certaines performances et comparent parfois leurs résultats à ceux d’autres laboratoires.

La même logique s’applique aux instruments non physiques. Un questionnaire utilisé dans une nouvelle population doit parfois être réévalué. Une définition diagnostique peut changer. Un algorithme de classification peut perdre en performance lorsque la population ou les pratiques évoluent.

La mesure fait donc elle-même partie du système de contrôle des erreurs décrit dans la fiche précédente.

Il ne suffit pas de disposer d’un instrument : il faut savoir dans quelles conditions ses résultats sont suffisamment fiables pour soutenir l’interprétation recherchée.

Plus de chiffres ne signifie pas plus de connaissance

Les technologies contemporaines permettent de mesurer énormément de variables avec une résolution croissante. Cette capacité peut être extraordinairement féconde, mais elle encourage parfois une confusion entre quantification et connaissance.

Produire un chiffre n’est pas encore expliquer un phénomène.

Le nombre n’acquiert une signification scientifique qu’à travers les raisons permettant de relier la mesure à une propriété du monde, les contrôles permettant d’en connaître les limites et l’interprétation que l’on peut raisonnablement en tirer.

Un résultat comme « 17,364 » semble plus scientifique que « environ 17 ». Il ne l’est que si les données justifient réellement cette précision.

La rigueur ne consiste donc pas à supprimer visuellement l’incertitude. Elle consiste à ne pas prétendre mesurer plus précisément que nous ne le pouvons réellement.

Les bonnes questions à poser devant une mesure

Face à un résultat scientifique, il est souvent plus instructif de reconstruire le processus de mesure que de regarder immédiatement le chiffre final.

Que cherche-t-on à mesurer ? Avec quel instrument ou quel indicateur ? Dans quelles conditions ? Quelle est sa répétabilité ? Existe-t-il une référence permettant d’en vérifier l’exactitude ? Quelles erreurs systématiques sont possibles ? Quelle incertitude accompagne le résultat ? Enfin, la mesure obtenue représente-t-elle suffisamment bien le phénomène auquel la conclusion fait référence ?

Ces questions permettent de distinguer plusieurs situations très différentes : une mesure bruyante mais globalement non biaisée, une mesure extrêmement stable mais systématiquement fausse, une mesure techniquement excellente mais conceptuellement peu pertinente, ou une mesure raisonnablement imparfaite mais suffisamment informative pour la question posée.

La science ne demande pas des instruments parfaits.

Elle demande de connaître suffisamment leurs imperfections pour ne pas leur faire dire davantage qu’ils ne peuvent montrer.


À retenir

Fiabilité, précision, exactitude et validité ne sont pas des synonymes. Une mesure peut être très stable sans être proche de la valeur recherchée, et elle peut être techniquement excellente tout en représentant mal le concept auquel on souhaite l’associer.

Les erreurs aléatoires augmentent surtout la dispersion des mesures ; leur influence peut souvent être réduite par la répétition et des échantillons plus importants. Les erreurs systématiques déplacent les mesures dans une direction persistante et ne disparaissent pas simplement parce que l’on collecte davantage de données. Le NIST distingue explicitement ces deux composantes.

L’incertitude ne doit pas non plus être confondue avec l’erreur réelle. Celle-ci est généralement inconnue puisque la valeur exacte recherchée ne l’est pas ; l’incertitude exprime les limites que nous pouvons attribuer raisonnablement au résultat compte tenu du processus de mesure.

Enfin, davantage de décimales ou un échantillon gigantesque ne garantissent pas une meilleure connaissance. Une mesure biaisée peut être estimée avec une extraordinaire précision.

La question fondamentale reste donc : que mesure réellement notre instrument, avec quelle stabilité, quelles erreurs possibles et quelle incertitude ?

Sources et références

  • National Institute of Standards and Technology, « Accuracy », NIST Glossary, définition fondée sur la terminologie ASTM.
  • National Institute of Standards and Technology, Technical Note 1297 — Guidelines for Evaluating and Expressing the Uncertainty of NIST Measurement Results, notamment les définitions de l’erreur aléatoire, de l’erreur systématique et de l’incertitude.
  • National Institute of Standards and Technology, « Bias and Accuracy », *Engineering Statistics Handbook*.
  • National Institute of Standards and Technology, « Bias, Statistical », NIST Glossary.
  • Kimberlin, Carole L. & Winterstein, Almut G., « Validity and reliability of measurement instruments used in research », *American Journal of Health-System Pharmacy*, 65(23), 2008, p. 2276–2284, DOI 10.2146/ajhp070364.
5 sur 39Retour à la catégorie