Construire un indicateur de santé
Un indicateur de santé est une mesure utilisée pour décrire un phénomène sanitaire dans une population : mortalité, incidence d’une maladie, espérance de vie, couverture vaccinale, hospitalisations, incapacité, qualité de vie ou exposition à un facteur de risque.
Un indicateur paraît souvent objectif parce qu’il prend la forme d’un nombre. Pourtant, un indicateur n’est jamais simplement « la réalité mise en chiffres ». Il résulte d’une série de choix : ce que l’on veut mesurer, comment on définit le phénomène, qui est inclus, pendant quelle période, avec quelles données et selon quelle méthode de calcul.
Comprendre ces choix est indispensable avant d’interpréter le résultat.
Mesurer suppose d’abord de définir
Avant de compter les cas d’une maladie, il faut définir ce qu’est un cas.
Cela peut sembler évident lorsque la maladie possède un diagnostic clair, mais beaucoup de situations sont plus complexes.
Une infection peut être définie par :
- un test biologique positif ;
- des symptômes compatibles ;
- un diagnostic médical ;
- une combinaison de plusieurs critères.
Une maladie chronique peut nécessiter un seuil biologique particulier.
Un trouble psychiatrique peut dépendre de critères diagnostiques précis.
Une définition légèrement différente peut donc modifier fortement le nombre de personnes considérées comme malades.
Le premier principe est simple : on ne peut compter correctement que ce que l’on a défini correctement.
La définition opérationnelle
En recherche, une notion abstraite doit généralement être traduite en définition opérationnelle, c’est-à-dire en critères permettant de décider concrètement si une observation entre ou non dans la catégorie étudiée.
Par exemple, « hypertension artérielle » peut être définie selon :
- certaines valeurs de pression artérielle ;
- plusieurs mesures successives ;
- la prise d’un traitement antihypertenseur ;
- des recommandations médicales données à une période particulière.
Si le seuil diagnostique change, le nombre de personnes classées comme hypertendues peut augmenter sans qu’aucun changement biologique réel ne soit survenu dans la population.
Les indicateurs dépendent donc aussi des conventions utilisées pour découper la réalité.
Le numérateur
Le numérateur correspond à ce que l’on compte.
Selon l’indicateur, il peut s’agir :
- de nouveaux cas ;
- de personnes actuellement malades ;
- de décès ;
- d’hospitalisations ;
- de personnes vaccinées ;
- de personnes présentant un facteur de risque.
Un numérateur doit être défini avec suffisamment de précision pour que les événements soient comptés de manière comparable.
Par exemple, « hospitalisation Covid » pourrait désigner selon la définition utilisée une hospitalisation causée principalement par le Covid, ou toute hospitalisation d’une personne ayant également un test positif.
Les deux indicateurs peuvent être utiles, mais ils ne répondent pas exactement à la même question.
Le dénominateur
Le dénominateur représente la population de référence.
Cent événements n’ont pas la même signification s’ils surviennent parmi 1 000 personnes ou parmi 10 millions.
Le dénominateur doit correspondre autant que possible à la population réellement concernée par le phénomène.
On peut utiliser :
- la population totale ;
- les personnes d’une classe d’âge ;
- les personnes exposées ;
- les personnes à risque ;
- les patients hospitalisés ;
- les personnes testées ;
- le temps total d’observation.
Choisir le mauvais dénominateur peut produire un indicateur mathématiquement exact mais scientifiquement peu pertinent.
La période de mesure
La plupart des indicateurs sanitaires dépendent du temps.
Dire :
« 1 % de la population a développé cette maladie »
est incomplet si l’on ne précise pas :
en une semaine, en un an, en dix ans ou au cours de toute la vie ?
La période influence aussi fortement les comparaisons.
Un nombre de décès observé sur trois mois ne doit pas être comparé directement à un nombre annuel sans ajustement approprié.
La définition temporelle fait donc partie intégrante de l’indicateur.
Le territoire
Un indicateur doit également préciser où les données ont été collectées.
La population peut correspondre :
- à un pays ;
- une région ;
- une ville ;
- un hôpital ;
- une cohorte particulière ;
- un groupe professionnel.
Les frontières administratives, les mobilités et les migrations compliquent parfois cette définition.
Une personne vivant dans une région mais hospitalisée dans une autre doit-elle être comptée selon son lieu de résidence ou selon l’établissement de soins ?
La réponse dépend de la question étudiée.
Mesurer une maladie ou mesurer sa détection ?
C’est une distinction fondamentale.
Le nombre de cas diagnostiqués dépend à la fois :
de la fréquence réelle de la maladie
et
de la probabilité qu’elle soit détectée.
Supposons qu’une maladie reste exactement aussi fréquente mais qu’un nouveau programme de dépistage double la probabilité de la découvrir.
Le nombre de diagnostics peut augmenter fortement sans augmentation équivalente de la maladie réelle.
Un indicateur basé sur les diagnostics mesure donc parfois un mélange de phénomène biologique et activité du système de santé.
Exemple : davantage de cancers diagnostiqués
Une augmentation des cancers diagnostiqués peut avoir plusieurs explications :
- véritable augmentation de l’incidence ;
- vieillissement de la population ;
- dépistage plus fréquent ;
- amélioration des technologies d’imagerie ;
- modification des critères diagnostiques ;
- meilleur enregistrement des cas.
Le chiffre seul ne permet pas de distinguer ces mécanismes.
Construire et interpréter un indicateur exige donc de comprendre le processus qui produit les données.
Indicateur direct et indicateur indirect
Certains phénomènes peuvent être mesurés relativement directement.
Le décès, par exemple, est généralement un événement assez clairement identifiable, même si l’attribution de sa cause peut être complexe.
D’autres phénomènes nécessitent des indicateurs indirects.
La « qualité de vie », par exemple, ne peut pas être observée avec un instrument biologique unique. Elle est estimée à partir de questionnaires, de limitations fonctionnelles ou d’autres dimensions.
Ces mesures ne sont pas nécessairement mauvaises. Elles demandent simplement davantage d’attention à la manière dont le concept a été traduit en variables observables.
Validité d’un indicateur
Un bon indicateur doit mesurer aussi correctement que possible ce qu’il prétend mesurer.
C’est la question de la validité.
Imaginons qu’on utilise le nombre de consultations médicales comme indicateur de la fréquence d’une maladie.
Cette mesure peut être imparfaite car certaines personnes malades ne consultent pas, tandis que l’accès aux soins varie selon les populations.
Le nombre de consultations peut alors mesurer simultanément :
- la fréquence de la maladie ;
- l’accès aux soins ;
- le comportement de recours ;
- l’organisation du système sanitaire.
Un indicateur peut donc être précis tout en étant imparfaitement valide.
Fiabilité et reproductibilité
La fiabilité concerne la stabilité de la mesure.
Si le même phénomène est mesuré plusieurs fois dans des conditions comparables, obtient-on des résultats similaires ?
Une mesure peut être valide mais peu fiable si elle fluctue énormément.
Inversement, une mesure peut être très reproductible tout en étant systématiquement fausse.
Une balance mal calibrée peut toujours ajouter exactement 3 kg. Elle est reproductible, mais elle ne mesure pas correctement le poids réel.
Cette distinction entre précision et justesse est fondamentale dans toute mesure scientifique.
Sensibilité d’un indicateur
Un indicateur peut être conçu pour détecter rapidement les changements.
Par exemple, certaines données de consultations ou de prescriptions peuvent fournir un signal précoce pendant une épidémie.
Un indicateur très sensible détecte facilement une variation, mais peut également réagir à des phénomènes qui ne correspondent pas exactement à ce que l’on cherche.
Il existe donc souvent un compromis entre :
détecter rapidement
et
identifier spécifiquement le phénomène réel.
Cette logique rappelle celle de la sensibilité et de la spécificité des tests diagnostiques.
Comparabilité
Un indicateur est particulièrement utile lorsque sa définition reste stable dans le temps et entre populations.
Si un pays modifie sa définition des cas tandis qu’un autre ne le fait pas, comparer directement leurs chiffres devient difficile.
La même difficulté apparaît lorsqu’un seuil diagnostique ou une méthode de laboratoire change.
Avant de conclure qu’un phénomène évolue, il faut donc demander :
l’indicateur est-il construit exactement de la même manière qu’auparavant ?
Quand l’indicateur change, la série temporelle peut se casser
Supposons qu’un système de surveillance recense pendant dix ans uniquement les cas confirmés biologiquement.
À partir de la onzième année, il inclut également les cas cliniquement probables.
On peut observer une brusque augmentation du nombre de cas.
Mais cette rupture peut provenir essentiellement du changement de définition.
Les épidémiologistes parlent parfois de rupture de série.
Un graphique ne doit donc pas être interprété comme si toutes les données avaient nécessairement été produites selon une méthode constante.
Un indicateur peut devenir une cible
Il existe un problème plus général : dès qu’un indicateur est utilisé pour évaluer une institution, les comportements peuvent s’adapter à la mesure.
Si un hôpital est jugé uniquement sur la durée moyenne de séjour, il peut être incité à réduire cette durée même lorsque cela n’améliore pas réellement les résultats pour les patients.
C’est une illustration de la loi de Goodhart, souvent résumée ainsi : lorsqu’une mesure devient une cible, elle risque de cesser d’être une bonne mesure.
Les indicateurs doivent donc être interprétés dans le contexte des incitations qu’ils créent.
Un indicateur ne résume jamais toute la santé
Supposons qu’un pays possède une espérance de vie très élevée.
Cela constitue une information importante, mais ne dit pas tout sur :
- les incapacités ;
- les douleurs chroniques ;
- les inégalités sociales ;
- la santé mentale ;
- l’accès aux soins ;
- les différences territoriales.
De même, une faible mortalité associée à une maladie ne signifie pas nécessairement une faible morbidité.
Il faut souvent utiliser plusieurs indicateurs complémentaires pour décrire correctement une situation sanitaire.
Indicateurs de fréquence, gravité et impact
On peut distinguer plusieurs grandes familles :
| Dimension | Exemples d’indicateurs |
|---|---|
| Fréquence | Incidence, prévalence |
| Mortalité | Taux de mortalité, mortalité spécifique |
| Gravité | Létalité, hospitalisations, soins intensifs |
| Charge de maladie | DALY, années de vie perdues |
| Qualité de vie | QALY, scores fonctionnels |
| Prévention | Couverture vaccinale, dépistage |
| Système de santé | Délais de prise en charge, accès aux soins |
Aucun indicateur n’est universellement supérieur aux autres. Son intérêt dépend de la question posée.
Choisir un indicateur implique une question
Avant de sélectionner une mesure, il faut préciser ce que l’on veut savoir.
Si la question est :
« Combien de personnes vivent actuellement avec cette maladie ? »
la prévalence est pertinente.
Si l’on demande :
« Combien de nouveaux cas apparaissent ? »
il faut une mesure d’incidence.
Si l’on veut savoir :
« Quel est l’impact sur les décès ? »
on s’intéressera à la mortalité.
Si l’objectif est :
« Quel est le poids global sur la santé ? »
il faudra probablement combiner mortalité, incapacité et qualité de vie.
Un indicateur doit donc être choisi à partir de la question, et non l’inverse.
Le danger de l’indicateur spectaculaire
Dans le débat public, on sélectionne parfois l’indicateur qui produit le résultat le plus impressionnant.
On peut choisir :
- le nombre absolu plutôt que le taux ;
- le taux brut plutôt que le taux standardisé ;
- le risque relatif plutôt que le risque absolu ;
- une période particulièrement favorable ou défavorable ;
- un sous-groupe spectaculaire.
Tous ces chiffres peuvent être exacts.
Le problème apparaît lorsque le choix de l’indicateur est guidé par la conclusion que l’on souhaite montrer plutôt que par la question scientifique pertinente.
Construire un bon indicateur
Un indicateur utile devrait idéalement être :
pertinent, parce qu’il répond réellement à la question ;
valide, parce qu’il mesure bien le phénomène visé ;
fiable, parce qu’il peut être reproduit ;
compréhensible, parce que son interprétation est claire ;
comparable, parce que sa définition est stable ;
réalisable, parce que les données nécessaires peuvent être collectées ;
transparent, parce que son mode de calcul peut être vérifié.
Il est rare qu’un indicateur remplisse parfaitement tous ces critères.
Il faut donc connaître ses limites.
Un exemple : mesurer la gravité d’une épidémie
Supposons qu’on veuille suivre la gravité d’une épidémie.
On pourrait regarder :
- nouveaux cas ;
- taux de positivité ;
- hospitalisations ;
- admissions en soins intensifs ;
- décès attribués à la maladie ;
- mortalité toutes causes ;
- surmortalité.
Chaque indicateur apporte une information différente.
Le nombre de cas dépend fortement du dépistage.
Les hospitalisations peuvent dépendre de l’organisation du système de soins.
Les décès apparaissent avec retard.
La surmortalité est plus robuste à certaines erreurs de classification, mais moins spécifique quant à la cause.
Il est donc préférable d’examiner un faisceau d’indicateurs cohérents plutôt que de rechercher un chiffre unique supposé résumer toute la situation.
Corrélation entre indicateurs
Lorsque plusieurs indicateurs indépendants évoluent dans la même direction, la conclusion peut devenir plus robuste.
Si augmentent simultanément :
- les consultations ;
- les tests positifs ;
- les hospitalisations ;
- les admissions en soins intensifs ;
- la mortalité ;
il devient plus difficile d’expliquer le phénomène uniquement par une modification du dépistage.
Cette convergence de mesures constitue une forme de triangulation, principe que nous retrouverons plus loin dans l’étude de la causalité.
Les données manquantes font partie de l’indicateur
Un indicateur dépend aussi de ce qui n’est pas observé.
Si 30 % des établissements ne transmettent pas leurs données une semaine donnée, une baisse apparente des hospitalisations peut être artificielle.
Si les personnes les plus défavorisées participent moins souvent à une enquête de santé, certains problèmes peuvent être sous-estimés.
La qualité d’un indicateur dépend donc autant de son mode de calcul que de l’exhaustivité et de la représentativité des données utilisées.
L’indicateur et la réalité
Une distinction importante doit toujours être conservée :
le phénomène sanitaire existe dans le monde réel ; l’indicateur est une représentation construite de ce phénomène.
Un thermomètre n’est pas la température. Il permet de l’estimer.
De la même manière, un taux de mortalité, une prévalence ou un score de qualité de vie ne sont pas la santé elle-même.
Ils constituent des outils permettant de rendre certains aspects du réel mesurables.
Cette distinction est profondément épistémologique : mesurer consiste toujours à sélectionner certaines propriétés du réel et à les traduire dans un système de représentation.
Une leçon d’esprit critique
Lorsque deux personnes présentent des chiffres contradictoires sur un même phénomène sanitaire, il ne faut pas nécessairement supposer que l’une ment.
Elles peuvent utiliser :
- des populations différentes ;
- des périodes différentes ;
- des définitions différentes ;
- des numérateurs différents ;
- des dénominateurs différents ;
- des indicateurs différents.
La première étape consiste donc à reconstruire précisément la mesure.
Face à un chiffre, il faut demander :
Que mesure exactement cet indicateur ? Comment est-il construit ? Quelle population représente-t-il ? Quelle période couvre-t-il ? Qu’est-ce qu’il ne mesure pas ?
C’est souvent seulement après ces questions qu’un désaccord peut être correctement analysé.
À retenir
Un indicateur de santé est une construction méthodologique destinée à représenter un aspect de la santé d’une population.
Sa valeur dépend de plusieurs choix : définition du phénomène, numérateur, dénominateur, population, période, source des données et méthode de calcul.
Un indicateur peut changer parce que la réalité sanitaire change, mais aussi parce que les méthodes de détection, les définitions ou les systèmes d’enregistrement évoluent.
Aucun indicateur ne décrit à lui seul toute une situation sanitaire. Les phénomènes complexes nécessitent généralement plusieurs mesures complémentaires.
La bonne question n’est donc jamais seulement :
« Quel est le chiffre ? »
mais aussi :
« Comment ce chiffre a-t-il été produit, et que permet-il réellement de conclure ? »
Pour aller plus loin
Leon Gordis — Epidemiology. Une introduction claire à la construction et à l’interprétation des principales mesures utilisées en épidémiologie.
Kenneth J. Rothman, Sander Greenland et Timothy L. Lash — Modern Epidemiology. Une référence approfondie sur les mesures, leur validité et leur interprétation.
Organisation mondiale de la santé — ressources sur les indicateurs de santé et les systèmes d’information sanitaire. Elles montrent comment mortalité, morbidité, couverture des soins et facteurs de risque peuvent être combinés pour surveiller l’état de santé d’une population.