Qualité, exhaustivité et retard des données

Les données sanitaires sont souvent présentées sous la forme de nombres précis : 12 438 cas, 1 284 hospitalisations, 327 décès. Cette précision visuelle peut donner l’impression que la mesure est complète et définitive.

En réalité, les données de santé sont fréquemment incomplètes, provisoires, corrigées ou consolidées avec retard.

Comprendre la qualité, l’exhaustivité et le calendrier de production des données est indispensable pour interpréter correctement les tendances, surtout lors d’une crise sanitaire suivie presque en temps réel.

La qualité des données

La qualité d’une donnée ne dépend pas d’un seul critère.

Une base peut être :

  • très complète mais mal codée ;
  • très précise mais peu représentative ;
  • rapide mais provisoire ;
  • détaillée mais limitée à une population particulière.

La qualité doit donc être évaluée selon plusieurs dimensions.

Les principales dimensions

On peut notamment distinguer :

DimensionQuestion
ExactitudeLa valeur enregistrée correspond-elle bien à la réalité ?
ExhaustivitéTous les événements pertinents sont-ils recensés ?
CohérenceLes données sont-elles codées de manière comparable ?
ActualitéÀ quelle vitesse sont-elles disponibles ?
StabilitéLes méthodes restent-elles identiques dans le temps ?
ReprésentativitéLes personnes observées représentent-elles la population visée ?

Une donnée peut être excellente sur une dimension et médiocre sur une autre.

L’exhaustivité

L’exhaustivité correspond à la proportion des événements réels qui sont effectivement enregistrés.

Supposons que 1 000 cas surviennent réellement mais que le système n’en détecte que 800.

L’exhaustivité est alors approximativement de :

800 / 1 000 = 80 %.

Le problème est que le nombre réel de cas est justement souvent inconnu.

L’exhaustivité doit donc parfois être estimée indirectement.

Sous-déclaration

De nombreux systèmes souffrent de sous-déclaration.

Cela peut arriver parce que :

  • les personnes ne consultent pas ;
  • les médecins ne déclarent pas tous les cas ;
  • les cas légers ne sont pas testés ;
  • certains établissements transmettent leurs données avec retard ;
  • les critères sont difficiles à appliquer.

Un faible nombre enregistré peut donc refléter soit un phénomène réellement rare, soit un système qui détecte mal.

Surdéclaration

L’erreur inverse est également possible.

Un système peut compter :

  • des doublons ;
  • des cas finalement infirmés ;
  • plusieurs événements correspondant à la même personne ;
  • des événements associés temporellement sans lien causal.

Une forte médiatisation peut aussi augmenter temporairement les signalements.

Le nombre enregistré peut alors surestimer le phénomène que l’on souhaite mesurer.

Les doublons

Supposons qu’une personne soit testée positive dans deux laboratoires et hospitalisée dans un établissement différent.

Si les bases ne permettent pas de relier correctement ces informations, elle peut apparaître plusieurs fois.

Les systèmes sanitaires doivent donc effectuer des opérations de déduplication.

Cette étape peut être complexe lorsqu’il faut préserver l’anonymat ou lorsque plusieurs identifiants sont utilisés.

Les erreurs de saisie

Même les systèmes informatisés restent vulnérables aux erreurs :

  • date incorrecte ;
  • mauvais code diagnostique ;
  • unité de mesure erronée ;
  • valeur impossible ;
  • mauvaise catégorie d’âge.

Des contrôles automatiques permettent d’en éliminer une partie.

Mais toute base réelle contient un certain niveau d’erreur.

La question n’est pas d’exiger une perfection impossible, mais de savoir si ces erreurs sont suffisamment rares pour ne pas modifier substantiellement les conclusions.

Données manquantes

Certaines variables peuvent être absentes.

Supposons qu’une étude contienne l’âge de presque tous les participants mais que le statut tabagique manque pour 30 % d’entre eux.

La manière de traiter ces données manquantes peut influencer fortement les résultats.

Les personnes dont l’information manque peuvent aussi différer systématiquement des autres.

Les données manquantes ne sont donc pas simplement un problème de quantité : elles peuvent introduire un biais.

Données manquantes au hasard ou non

Imaginons une enquête sur la consommation d’alcool.

Si certaines personnes refusent de répondre précisément parce qu’elles consomment beaucoup, les données manquantes ne sont pas aléatoires.

Les répondants restants donneront une image artificiellement favorable de la consommation.

C’est un principe général :

ce qui manque peut être informatif.

Les données provisoires

Les chiffres publiés rapidement sont souvent qualifiés de provisoires.

Cela signifie qu’ils peuvent encore évoluer.

Des événements survenus aujourd’hui peuvent n’être déclarés que plusieurs jours plus tard.

Certains dossiers doivent être vérifiés.

Des doublons peuvent être supprimés.

Des classifications peuvent être corrigées.

Le chiffre définitif n’est donc pas toujours disponible immédiatement.

Le retard de notification

Supposons que 100 décès surviennent réellement cette semaine.

À la fin de la semaine, seuls 60 ont été enregistrés dans la base.

La semaine suivante, 25 supplémentaires sont ajoutés.

Les 15 derniers arrivent encore plus tard.

Si l’on consulte les données trop tôt, la semaine récente semble artificiellement moins meurtrière.

Ce phénomène est appelé retard de notification ou reporting delay.

Le bord droit trompeur des graphiques

Sur un graphique en temps réel, les dernières journées ou semaines sont souvent les moins complètes.

La courbe peut alors sembler diminuer brutalement à droite.

Cette baisse peut être entièrement artificielle.

C’est un piège classique : plus une donnée est récente, plus elle peut être incomplète.

Les organismes sérieux indiquent généralement que les dernières périodes doivent être interprétées avec prudence.

Date de survenue et date de déclaration

Il faut distinguer deux dates.

La date de survenue correspond au moment où l’événement a réellement eu lieu.

La date de déclaration correspond au moment où il est entré dans le système.

Supposons 1 000 cas diagnostiqués lundi mais déclarés progressivement jusqu’à jeudi.

Un graphique par date de déclaration peut créer un pic artificiel jeudi.

Un graphique par date de diagnostic ou de début des symptômes restitue mieux la dynamique réelle, mais nécessite que cette information soit disponible.

Backfill : remplir le passé

Lorsque les déclarations tardives arrivent, les bases sont souvent corrigées rétrospectivement.

On parle parfois de backfill.

Le nombre attribué à une semaine précédente peut ainsi augmenter après publication initiale.

Cela signifie que l’historique lui-même évolue.

Un graphique téléchargé aujourd’hui peut donc différer légèrement du même graphique téléchargé un mois plus tard.

Réviser une donnée n’est pas nécessairement reconnaître une erreur

Une idée fréquente est :

« Le chiffre a changé, donc il était faux. »

C’est trop simple.

Dans de nombreux systèmes, le premier chiffre est explicitement une estimation provisoire basée sur les informations disponibles à cet instant.

Sa révision fait partie du processus normal de consolidation.

Il faut distinguer :

  • une erreur méthodologique ;
  • une fraude ;
  • une donnée provisoire normalement révisée.

Ces situations ne sont pas équivalentes.

Rapidité contre exhaustivité

Il existe souvent un compromis.

Si l’on attend que toutes les données soient parfaitement vérifiées, on obtient une information de grande qualité mais trop tardive pour certaines décisions.

Si l’on publie très rapidement, l’information est plus utile en temps réel mais davantage susceptible d’être révisée.

Pendant une épidémie, les autorités peuvent avoir besoin de détecter une tendance avant que toutes les données soient consolidées.

Le système doit donc arbitrer entre :

rapidité et précision finale.

Surveillance syndromique

Certaines méthodes privilégient volontairement la rapidité.

On peut suivre :

  • appels aux services d’urgence ;
  • consultations pour syndrome grippal ;
  • ventes de certains médicaments ;
  • passages aux urgences.

Ces indicateurs ne donnent pas nécessairement un diagnostic précis.

Mais ils peuvent détecter rapidement un changement.

Ils constituent donc parfois des signaux précoces, ensuite confirmés par des données plus spécifiques.

Un indicateur rapide peut être utile même s’il est imparfait

C’est un principe important.

Une mesure n’a pas besoin d’être parfaite pour être utile.

Si un indicateur imparfait mais stable augmente brutalement, il peut signaler un phénomène réel.

La question devient :

l’erreur de mesure est-elle suffisamment stable pour que les variations restent informatives ?

Une boussole légèrement mal calibrée peut encore indiquer qu’on change de direction.

Les changements de méthode

Une série de données peut devenir difficile à interpréter si la manière de collecter les informations change.

Supposons qu’avant 2020, seuls les cas sévères soient testés.

À partir de 2021, toute personne symptomatique peut facilement accéder à un test.

Le nombre de cas enregistrés devient beaucoup plus élevé.

Une partie de l’augmentation peut provenir uniquement de la meilleure détection.

Comparer les deux périodes comme si la méthode était identique serait trompeur.

Rupture de série

Lorsqu’un changement méthodologique rend les données avant et après difficilement comparables, on parle de rupture de série.

Elle peut être causée par :

  • nouveau test ;
  • nouvelle définition diagnostique ;
  • nouvelle base informatique ;
  • modification légale ;
  • extension du nombre d’établissements déclarants.

Les graphiques devraient idéalement signaler ces ruptures.

L’exemple des définitions de cas

Supposons qu’une maladie soit initialement définie uniquement par un test biologique positif.

Plus tard, les cas cliniques fortement probables sont également inclus.

Le nombre de cas peut augmenter immédiatement.

Cette hausse ne signifie pas nécessairement que l’épidémie s’est aggravée.

La catégorie mesurée a changé.

Exhaustivité géographique

Toutes les régions ne transmettent pas toujours leurs données avec la même qualité.

Certaines disposent de systèmes très performants.

D’autres peuvent rencontrer :

  • manque de personnel ;
  • retards administratifs ;
  • problèmes informatiques ;
  • couverture sanitaire faible.

Une carte peut alors refléter partiellement la capacité à mesurer plutôt que seulement la fréquence du phénomène.

Le paradoxe de la meilleure surveillance

Une région dotée d’un excellent système de dépistage peut sembler avoir davantage de maladies qu’une région où elles sont peu diagnostiquées.

Cela peut donner l’impression que la première est en moins bonne santé alors qu’elle mesure simplement mieux.

Ce paradoxe est fréquent en santé publique :

mieux chercher peut faire augmenter les problèmes enregistrés.

Les décès sont généralement plus complets que les cas

Dans les pays dotés d’un bon état civil, la plupart des décès finissent par être enregistrés.

Les infections bénignes, en revanche, peuvent rester massivement invisibles.

C’est pourquoi la mortalité toutes causes est souvent plus exhaustive que le nombre d’infections.

Mais même les décès peuvent être disponibles avec plusieurs semaines ou mois de retard selon les systèmes.

Qualité différente selon la variable

Une même base peut contenir :

  • âge presque toujours fiable ;
  • diagnostic moyennement fiable ;
  • consommation de tabac souvent manquante ;
  • cause précise de décès plus incertaine.

Il serait donc incorrect de qualifier globalement une base de « bonne » ou « mauvaise ».

La qualité doit être évaluée variable par variable.

Cohérence interne

Les épidémiologistes effectuent de nombreux contrôles.

Par exemple :

  • une date de décès ne peut pas précéder la date de naissance ;
  • un âge doit être compatible avec les autres informations ;
  • certaines doses ou valeurs biologiques ont des plages plausibles.

Les données impossibles ou incohérentes peuvent être corrigées ou exclues.

Validation externe

On peut également comparer les résultats avec d’autres sources.

Supposons qu’une base hospitalière indique une forte augmentation d’une maladie.

Si les consultations, laboratoires et décès montrent simultanément une tendance compatible, la conclusion devient plus crédible.

Cette comparaison entre sources constitue une forme de validation externe.

L’incertitude liée aux données doit être distinguée de l’incertitude statistique

Une étude peut calculer un intervalle de confiance extrêmement étroit grâce à des millions d’observations.

Mais si 20 % des événements sont mal classés, cet intervalle ne reflète pas nécessairement cette erreur.

L’incertitude statistique liée à l’échantillonnage n’est qu’une partie de l’incertitude totale.

Il existe aussi :

  • erreurs de mesure ;
  • biais ;
  • données manquantes ;
  • erreurs de classification.

Un résultat peut être très précis statistiquement mais peu exact.

Exemple : énorme base biaisée

Supposons qu’une application de santé rassemble les données de 5 millions d’utilisateurs.

Une estimation de prévalence peut avoir une marge statistique minuscule.

Mais si les utilisateurs sont principalement jeunes, sportifs et aisés, l’estimation peut être très éloignée de celle de la population générale.

Augmenter encore le nombre d’utilisateurs similaires n’éliminera pas ce biais.

La taille réduit le bruit aléatoire, pas nécessairement le biais systématique.

Révisions et confiance scientifique

La révision régulière des données peut sembler déstabilisante.

Mais un système qui corrige publiquement ses chiffres à mesure que de meilleures informations arrivent peut être plus fiable qu’un système prétendant produire immédiatement des valeurs définitives.

La transparence devrait notamment préciser :

  • date de dernière mise à jour ;
  • caractère provisoire ou définitif ;
  • principales corrections effectuées ;
  • méthodes utilisées.

La capacité à réviser constitue souvent une qualité scientifique, pas un défaut.

Attention aux captures d’écran anciennes

Dans les controverses, il arrive qu’une ancienne capture d’une base soit comparée à sa version actuelle pour suggérer qu’un événement a été « supprimé ».

Il peut exister de nombreuses explications légitimes :

  • doublon retiré ;
  • diagnostic corrigé ;
  • date réattribuée ;
  • erreur administrative ;
  • consolidation.

Cela ne signifie pas qu’aucune manipulation n’est possible.

Cela signifie qu’une différence entre deux versions ne suffit pas à elle seule à la démontrer.

Il faut examiner les règles de mise à jour de la base.

Données temps réel et réseaux sociaux

Les données provisoires circulent aujourd’hui très rapidement.

Une variation quotidienne peut être transformée en conclusion avant même que le système ait consolidé les chiffres.

Quelques jours plus tard, la courbe peut être corrigée, mais l’interprétation initiale a déjà circulé.

La vitesse de diffusion de l’information peut donc être supérieure à la vitesse de validation des données.

C’est une difficulté majeure de la science en temps réel.

Moyennes mobiles

Pour réduire les fluctuations quotidiennes, on utilise souvent une moyenne mobile.

Par exemple, une moyenne sur sept jours remplace le chiffre d’une journée par la moyenne des valeurs autour de cette période.

Cela permet de réduire les variations liées :

  • aux week-ends ;
  • aux jours fériés ;
  • aux retards administratifs.

Mais cela lisse aussi les changements rapides.

Une moyenne mobile est donc une transformation utile des données, pas la mesure brute elle-même.

Les jours de la semaine

Les systèmes de déclaration présentent souvent un rythme hebdomadaire.

Moins de données peuvent être enregistrées le week-end.

Elles sont ensuite rattrapées en début de semaine.

Une courbe quotidienne peut alors montrer artificiellement :

baisse le dimanche → pic le mardi → baisse → nouveau pic.

La tendance hebdomadaire est généralement plus informative.

Quand peut-on faire confiance à une tendance ?

Une tendance devient plus crédible lorsqu’elle :

  • persiste plusieurs périodes ;
  • dépasse les fluctuations habituelles ;
  • apparaît dans plusieurs sources ;
  • reste visible après consolidation ;
  • possède une explication compatible avec d’autres données.

Une variation isolée mérite généralement davantage de prudence.

Une leçon d’esprit critique

Les données sanitaires ne se divisent pas simplement entre :

« vraies » et « fausses ».

Il existe tout un continuum :

  • données préliminaires ;
  • données partielles ;
  • données consolidées ;
  • estimations ;
  • corrections ;
  • mesures directes ;
  • indicateurs indirects.

Une attitude critique ne consiste ni à croire automatiquement le premier chiffre publié ni à rejeter toute donnée parce qu’elle pourra être corrigée.

Elle consiste à demander :

À quel stade du processus cette donnée se trouve-t-elle, quelles sont ses limites et la conclusion résiste-t-elle aux révisions raisonnables ?

À retenir

La qualité d’une donnée sanitaire dépend notamment de son exactitude, son exhaustivité, sa représentativité, sa cohérence et sa rapidité de disponibilité.

Les données les plus récentes sont souvent provisoires et incomplètes en raison des retards de déclaration.

Les chiffres peuvent être révisés lorsque de nouvelles informations arrivent, des doublons sont retirés ou des classifications sont corrigées.

Ces révisions font souvent partie du fonctionnement normal d’un système de surveillance.

Enfin, un très grand nombre de données ne garantit pas l’absence de biais.

La bonne question n’est donc pas uniquement :

« Combien de données avons-nous ? »

mais :

« De quelle qualité sont-elles, qui manque, et à quel point sont-elles déjà consolidées ? »

Pour aller plus loin

Organisation mondiale de la santé — cadres de qualité des données sanitaires. Des ressources utiles pour comprendre l’exhaustivité, la cohérence et les méthodes d’évaluation des systèmes d’information.

ECDC — surveillance et qualité des données épidémiologiques. Des exemples concrets de données provisoires, retards de notification et harmonisation entre pays.

EuroMOMO — méthodologie de surveillance de la mortalité. Une ressource particulièrement utile pour comprendre les délais d’enregistrement, les corrections et l’interprétation prudente des périodes récentes.