Qualité, exhaustivité et retard des données
Les données sanitaires sont souvent présentées sous la forme de nombres précis : 12 438 cas, 1 284 hospitalisations, 327 décès. Cette précision visuelle peut donner l’impression que la mesure est complète et définitive.
En réalité, les données de santé sont fréquemment incomplètes, provisoires, corrigées ou consolidées avec retard.
Comprendre la qualité, l’exhaustivité et le calendrier de production des données est indispensable pour interpréter correctement les tendances, surtout lors d’une crise sanitaire suivie presque en temps réel.
La qualité des données
La qualité d’une donnée ne dépend pas d’un seul critère.
Une base peut être :
- très complète mais mal codée ;
- très précise mais peu représentative ;
- rapide mais provisoire ;
- détaillée mais limitée à une population particulière.
La qualité doit donc être évaluée selon plusieurs dimensions.
Les principales dimensions
On peut notamment distinguer :
| Dimension | Question |
|---|---|
| Exactitude | La valeur enregistrée correspond-elle bien à la réalité ? |
| Exhaustivité | Tous les événements pertinents sont-ils recensés ? |
| Cohérence | Les données sont-elles codées de manière comparable ? |
| Actualité | À quelle vitesse sont-elles disponibles ? |
| Stabilité | Les méthodes restent-elles identiques dans le temps ? |
| Représentativité | Les personnes observées représentent-elles la population visée ? |
Une donnée peut être excellente sur une dimension et médiocre sur une autre.
L’exhaustivité
L’exhaustivité correspond à la proportion des événements réels qui sont effectivement enregistrés.
Supposons que 1 000 cas surviennent réellement mais que le système n’en détecte que 800.
L’exhaustivité est alors approximativement de :
800 / 1 000 = 80 %.
Le problème est que le nombre réel de cas est justement souvent inconnu.
L’exhaustivité doit donc parfois être estimée indirectement.
Sous-déclaration
De nombreux systèmes souffrent de sous-déclaration.
Cela peut arriver parce que :
- les personnes ne consultent pas ;
- les médecins ne déclarent pas tous les cas ;
- les cas légers ne sont pas testés ;
- certains établissements transmettent leurs données avec retard ;
- les critères sont difficiles à appliquer.
Un faible nombre enregistré peut donc refléter soit un phénomène réellement rare, soit un système qui détecte mal.
Surdéclaration
L’erreur inverse est également possible.
Un système peut compter :
- des doublons ;
- des cas finalement infirmés ;
- plusieurs événements correspondant à la même personne ;
- des événements associés temporellement sans lien causal.
Une forte médiatisation peut aussi augmenter temporairement les signalements.
Le nombre enregistré peut alors surestimer le phénomène que l’on souhaite mesurer.
Les doublons
Supposons qu’une personne soit testée positive dans deux laboratoires et hospitalisée dans un établissement différent.
Si les bases ne permettent pas de relier correctement ces informations, elle peut apparaître plusieurs fois.
Les systèmes sanitaires doivent donc effectuer des opérations de déduplication.
Cette étape peut être complexe lorsqu’il faut préserver l’anonymat ou lorsque plusieurs identifiants sont utilisés.
Les erreurs de saisie
Même les systèmes informatisés restent vulnérables aux erreurs :
- date incorrecte ;
- mauvais code diagnostique ;
- unité de mesure erronée ;
- valeur impossible ;
- mauvaise catégorie d’âge.
Des contrôles automatiques permettent d’en éliminer une partie.
Mais toute base réelle contient un certain niveau d’erreur.
La question n’est pas d’exiger une perfection impossible, mais de savoir si ces erreurs sont suffisamment rares pour ne pas modifier substantiellement les conclusions.
Données manquantes
Certaines variables peuvent être absentes.
Supposons qu’une étude contienne l’âge de presque tous les participants mais que le statut tabagique manque pour 30 % d’entre eux.
La manière de traiter ces données manquantes peut influencer fortement les résultats.
Les personnes dont l’information manque peuvent aussi différer systématiquement des autres.
Les données manquantes ne sont donc pas simplement un problème de quantité : elles peuvent introduire un biais.
Données manquantes au hasard ou non
Imaginons une enquête sur la consommation d’alcool.
Si certaines personnes refusent de répondre précisément parce qu’elles consomment beaucoup, les données manquantes ne sont pas aléatoires.
Les répondants restants donneront une image artificiellement favorable de la consommation.
C’est un principe général :
ce qui manque peut être informatif.
Les données provisoires
Les chiffres publiés rapidement sont souvent qualifiés de provisoires.
Cela signifie qu’ils peuvent encore évoluer.
Des événements survenus aujourd’hui peuvent n’être déclarés que plusieurs jours plus tard.
Certains dossiers doivent être vérifiés.
Des doublons peuvent être supprimés.
Des classifications peuvent être corrigées.
Le chiffre définitif n’est donc pas toujours disponible immédiatement.
Le retard de notification
Supposons que 100 décès surviennent réellement cette semaine.
À la fin de la semaine, seuls 60 ont été enregistrés dans la base.
La semaine suivante, 25 supplémentaires sont ajoutés.
Les 15 derniers arrivent encore plus tard.
Si l’on consulte les données trop tôt, la semaine récente semble artificiellement moins meurtrière.
Ce phénomène est appelé retard de notification ou reporting delay.
Le bord droit trompeur des graphiques
Sur un graphique en temps réel, les dernières journées ou semaines sont souvent les moins complètes.
La courbe peut alors sembler diminuer brutalement à droite.
Cette baisse peut être entièrement artificielle.
C’est un piège classique : plus une donnée est récente, plus elle peut être incomplète.
Les organismes sérieux indiquent généralement que les dernières périodes doivent être interprétées avec prudence.
Date de survenue et date de déclaration
Il faut distinguer deux dates.
La date de survenue correspond au moment où l’événement a réellement eu lieu.
La date de déclaration correspond au moment où il est entré dans le système.
Supposons 1 000 cas diagnostiqués lundi mais déclarés progressivement jusqu’à jeudi.
Un graphique par date de déclaration peut créer un pic artificiel jeudi.
Un graphique par date de diagnostic ou de début des symptômes restitue mieux la dynamique réelle, mais nécessite que cette information soit disponible.
Backfill : remplir le passé
Lorsque les déclarations tardives arrivent, les bases sont souvent corrigées rétrospectivement.
On parle parfois de backfill.
Le nombre attribué à une semaine précédente peut ainsi augmenter après publication initiale.
Cela signifie que l’historique lui-même évolue.
Un graphique téléchargé aujourd’hui peut donc différer légèrement du même graphique téléchargé un mois plus tard.
Réviser une donnée n’est pas nécessairement reconnaître une erreur
Une idée fréquente est :
« Le chiffre a changé, donc il était faux. »
C’est trop simple.
Dans de nombreux systèmes, le premier chiffre est explicitement une estimation provisoire basée sur les informations disponibles à cet instant.
Sa révision fait partie du processus normal de consolidation.
Il faut distinguer :
- une erreur méthodologique ;
- une fraude ;
- une donnée provisoire normalement révisée.
Ces situations ne sont pas équivalentes.
Rapidité contre exhaustivité
Il existe souvent un compromis.
Si l’on attend que toutes les données soient parfaitement vérifiées, on obtient une information de grande qualité mais trop tardive pour certaines décisions.
Si l’on publie très rapidement, l’information est plus utile en temps réel mais davantage susceptible d’être révisée.
Pendant une épidémie, les autorités peuvent avoir besoin de détecter une tendance avant que toutes les données soient consolidées.
Le système doit donc arbitrer entre :
rapidité et précision finale.
Surveillance syndromique
Certaines méthodes privilégient volontairement la rapidité.
On peut suivre :
- appels aux services d’urgence ;
- consultations pour syndrome grippal ;
- ventes de certains médicaments ;
- passages aux urgences.
Ces indicateurs ne donnent pas nécessairement un diagnostic précis.
Mais ils peuvent détecter rapidement un changement.
Ils constituent donc parfois des signaux précoces, ensuite confirmés par des données plus spécifiques.
Un indicateur rapide peut être utile même s’il est imparfait
C’est un principe important.
Une mesure n’a pas besoin d’être parfaite pour être utile.
Si un indicateur imparfait mais stable augmente brutalement, il peut signaler un phénomène réel.
La question devient :
l’erreur de mesure est-elle suffisamment stable pour que les variations restent informatives ?
Une boussole légèrement mal calibrée peut encore indiquer qu’on change de direction.
Les changements de méthode
Une série de données peut devenir difficile à interpréter si la manière de collecter les informations change.
Supposons qu’avant 2020, seuls les cas sévères soient testés.
À partir de 2021, toute personne symptomatique peut facilement accéder à un test.
Le nombre de cas enregistrés devient beaucoup plus élevé.
Une partie de l’augmentation peut provenir uniquement de la meilleure détection.
Comparer les deux périodes comme si la méthode était identique serait trompeur.
Rupture de série
Lorsqu’un changement méthodologique rend les données avant et après difficilement comparables, on parle de rupture de série.
Elle peut être causée par :
- nouveau test ;
- nouvelle définition diagnostique ;
- nouvelle base informatique ;
- modification légale ;
- extension du nombre d’établissements déclarants.
Les graphiques devraient idéalement signaler ces ruptures.
L’exemple des définitions de cas
Supposons qu’une maladie soit initialement définie uniquement par un test biologique positif.
Plus tard, les cas cliniques fortement probables sont également inclus.
Le nombre de cas peut augmenter immédiatement.
Cette hausse ne signifie pas nécessairement que l’épidémie s’est aggravée.
La catégorie mesurée a changé.
Exhaustivité géographique
Toutes les régions ne transmettent pas toujours leurs données avec la même qualité.
Certaines disposent de systèmes très performants.
D’autres peuvent rencontrer :
- manque de personnel ;
- retards administratifs ;
- problèmes informatiques ;
- couverture sanitaire faible.
Une carte peut alors refléter partiellement la capacité à mesurer plutôt que seulement la fréquence du phénomène.
Le paradoxe de la meilleure surveillance
Une région dotée d’un excellent système de dépistage peut sembler avoir davantage de maladies qu’une région où elles sont peu diagnostiquées.
Cela peut donner l’impression que la première est en moins bonne santé alors qu’elle mesure simplement mieux.
Ce paradoxe est fréquent en santé publique :
mieux chercher peut faire augmenter les problèmes enregistrés.
Les décès sont généralement plus complets que les cas
Dans les pays dotés d’un bon état civil, la plupart des décès finissent par être enregistrés.
Les infections bénignes, en revanche, peuvent rester massivement invisibles.
C’est pourquoi la mortalité toutes causes est souvent plus exhaustive que le nombre d’infections.
Mais même les décès peuvent être disponibles avec plusieurs semaines ou mois de retard selon les systèmes.
Qualité différente selon la variable
Une même base peut contenir :
- âge presque toujours fiable ;
- diagnostic moyennement fiable ;
- consommation de tabac souvent manquante ;
- cause précise de décès plus incertaine.
Il serait donc incorrect de qualifier globalement une base de « bonne » ou « mauvaise ».
La qualité doit être évaluée variable par variable.
Cohérence interne
Les épidémiologistes effectuent de nombreux contrôles.
Par exemple :
- une date de décès ne peut pas précéder la date de naissance ;
- un âge doit être compatible avec les autres informations ;
- certaines doses ou valeurs biologiques ont des plages plausibles.
Les données impossibles ou incohérentes peuvent être corrigées ou exclues.
Validation externe
On peut également comparer les résultats avec d’autres sources.
Supposons qu’une base hospitalière indique une forte augmentation d’une maladie.
Si les consultations, laboratoires et décès montrent simultanément une tendance compatible, la conclusion devient plus crédible.
Cette comparaison entre sources constitue une forme de validation externe.
L’incertitude liée aux données doit être distinguée de l’incertitude statistique
Une étude peut calculer un intervalle de confiance extrêmement étroit grâce à des millions d’observations.
Mais si 20 % des événements sont mal classés, cet intervalle ne reflète pas nécessairement cette erreur.
L’incertitude statistique liée à l’échantillonnage n’est qu’une partie de l’incertitude totale.
Il existe aussi :
- erreurs de mesure ;
- biais ;
- données manquantes ;
- erreurs de classification.
Un résultat peut être très précis statistiquement mais peu exact.
Exemple : énorme base biaisée
Supposons qu’une application de santé rassemble les données de 5 millions d’utilisateurs.
Une estimation de prévalence peut avoir une marge statistique minuscule.
Mais si les utilisateurs sont principalement jeunes, sportifs et aisés, l’estimation peut être très éloignée de celle de la population générale.
Augmenter encore le nombre d’utilisateurs similaires n’éliminera pas ce biais.
La taille réduit le bruit aléatoire, pas nécessairement le biais systématique.
Révisions et confiance scientifique
La révision régulière des données peut sembler déstabilisante.
Mais un système qui corrige publiquement ses chiffres à mesure que de meilleures informations arrivent peut être plus fiable qu’un système prétendant produire immédiatement des valeurs définitives.
La transparence devrait notamment préciser :
- date de dernière mise à jour ;
- caractère provisoire ou définitif ;
- principales corrections effectuées ;
- méthodes utilisées.
La capacité à réviser constitue souvent une qualité scientifique, pas un défaut.
Attention aux captures d’écran anciennes
Dans les controverses, il arrive qu’une ancienne capture d’une base soit comparée à sa version actuelle pour suggérer qu’un événement a été « supprimé ».
Il peut exister de nombreuses explications légitimes :
- doublon retiré ;
- diagnostic corrigé ;
- date réattribuée ;
- erreur administrative ;
- consolidation.
Cela ne signifie pas qu’aucune manipulation n’est possible.
Cela signifie qu’une différence entre deux versions ne suffit pas à elle seule à la démontrer.
Il faut examiner les règles de mise à jour de la base.
Données temps réel et réseaux sociaux
Les données provisoires circulent aujourd’hui très rapidement.
Une variation quotidienne peut être transformée en conclusion avant même que le système ait consolidé les chiffres.
Quelques jours plus tard, la courbe peut être corrigée, mais l’interprétation initiale a déjà circulé.
La vitesse de diffusion de l’information peut donc être supérieure à la vitesse de validation des données.
C’est une difficulté majeure de la science en temps réel.
Moyennes mobiles
Pour réduire les fluctuations quotidiennes, on utilise souvent une moyenne mobile.
Par exemple, une moyenne sur sept jours remplace le chiffre d’une journée par la moyenne des valeurs autour de cette période.
Cela permet de réduire les variations liées :
- aux week-ends ;
- aux jours fériés ;
- aux retards administratifs.
Mais cela lisse aussi les changements rapides.
Une moyenne mobile est donc une transformation utile des données, pas la mesure brute elle-même.
Les jours de la semaine
Les systèmes de déclaration présentent souvent un rythme hebdomadaire.
Moins de données peuvent être enregistrées le week-end.
Elles sont ensuite rattrapées en début de semaine.
Une courbe quotidienne peut alors montrer artificiellement :
baisse le dimanche → pic le mardi → baisse → nouveau pic.
La tendance hebdomadaire est généralement plus informative.
Quand peut-on faire confiance à une tendance ?
Une tendance devient plus crédible lorsqu’elle :
- persiste plusieurs périodes ;
- dépasse les fluctuations habituelles ;
- apparaît dans plusieurs sources ;
- reste visible après consolidation ;
- possède une explication compatible avec d’autres données.
Une variation isolée mérite généralement davantage de prudence.
Une leçon d’esprit critique
Les données sanitaires ne se divisent pas simplement entre :
« vraies » et « fausses ».
Il existe tout un continuum :
- données préliminaires ;
- données partielles ;
- données consolidées ;
- estimations ;
- corrections ;
- mesures directes ;
- indicateurs indirects.
Une attitude critique ne consiste ni à croire automatiquement le premier chiffre publié ni à rejeter toute donnée parce qu’elle pourra être corrigée.
Elle consiste à demander :
À quel stade du processus cette donnée se trouve-t-elle, quelles sont ses limites et la conclusion résiste-t-elle aux révisions raisonnables ?
À retenir
La qualité d’une donnée sanitaire dépend notamment de son exactitude, son exhaustivité, sa représentativité, sa cohérence et sa rapidité de disponibilité.
Les données les plus récentes sont souvent provisoires et incomplètes en raison des retards de déclaration.
Les chiffres peuvent être révisés lorsque de nouvelles informations arrivent, des doublons sont retirés ou des classifications sont corrigées.
Ces révisions font souvent partie du fonctionnement normal d’un système de surveillance.
Enfin, un très grand nombre de données ne garantit pas l’absence de biais.
La bonne question n’est donc pas uniquement :
« Combien de données avons-nous ? »
mais :
« De quelle qualité sont-elles, qui manque, et à quel point sont-elles déjà consolidées ? »
Pour aller plus loin
Organisation mondiale de la santé — cadres de qualité des données sanitaires. Des ressources utiles pour comprendre l’exhaustivité, la cohérence et les méthodes d’évaluation des systèmes d’information.
ECDC — surveillance et qualité des données épidémiologiques. Des exemples concrets de données provisoires, retards de notification et harmonisation entre pays.
EuroMOMO — méthodologie de surveillance de la mortalité. Une ressource particulièrement utile pour comprendre les délais d’enregistrement, les corrections et l’interprétation prudente des périodes récentes.