Comparer des pays sans se tromper

Comparer la santé de deux pays paraît intuitif : on regarde les décès, les cas, l’espérance de vie, les hospitalisations ou les performances du système de soins, puis on établit un classement.

Mais les populations, les systèmes de mesure et les contextes nationaux diffèrent souvent profondément.

Un taux plus élevé dans un pays ne signifie donc pas automatiquement que ses habitants sont en moins bonne santé ou que sa politique sanitaire est moins efficace. Pour interpréter correctement une comparaison internationale, il faut s’assurer que les populations, les définitions et les méthodes sont suffisamment comparables.

Une même statistique peut mesurer des réalités différentes

Supposons que deux pays publient le nombre annuel de cas d’une maladie.

Le pays A annonce 100 000 cas.

Le pays B en annonce 50 000.

On pourrait conclure que la maladie est deux fois plus fréquente dans le pays A.

Mais plusieurs informations manquent :

  • la taille des populations ;
  • leur âge ;
  • la stratégie de dépistage ;
  • les critères diagnostiques ;
  • l’exhaustivité des déclarations.

Le nombre absolu est donc seulement le début de l’analyse.

Première étape : tenir compte de la taille de la population

Un pays de 80 millions d’habitants produira naturellement davantage de cas qu’un pays de 8 millions si le risque individuel est comparable.

Il faut donc généralement rapporter les événements à la population.

Supposons :

  • pays A : 100 000 cas pour 100 millions d’habitants ;
  • pays B : 50 000 cas pour 10 millions.

Les taux sont :

100 pour 100 000 habitants dans le pays A

et

500 pour 100 000 dans le pays B.

Le pays qui comptait le moins de cas absolus présente en réalité un taux cinq fois plus élevé.

La structure d’âge

Même après correction pour la taille de la population, la comparaison peut rester trompeuse.

L’âge influence fortement :

  • mortalité ;
  • cancer ;
  • maladies cardiovasculaires ;
  • démence ;
  • gravité de nombreuses infections.

Un pays âgé peut donc présenter davantage de décès qu’un pays jeune même lorsque le risque à âge égal y est identique ou inférieur.

C’est pourquoi les comparaisons sérieuses utilisent souvent des taux standardisés sur l’âge.

Exemple simplifié

Imaginons deux pays ayant chacun 1 million d’habitants.

Le pays A compte 10 % de personnes très âgées.

Le pays B en compte 25 %.

Si le risque annuel de décès est :

  • 0,2 % chez les autres adultes ;
  • 8 % chez les personnes très âgées,

le pays B connaîtra mécaniquement davantage de décès simplement parce qu’il comporte beaucoup plus de personnes appartenant au groupe le plus exposé.

Comparer uniquement la mortalité brute attribuerait à la qualité du système de santé une différence qui peut être essentiellement démographique.

Taux brut et taux standardisé répondent à deux questions

Le taux brut indique ce qui se passe réellement dans la population telle qu’elle existe.

Le taux standardisé aide à répondre à :

« Que se passerait-il si les populations avaient la même structure d’âge ? »

Les deux mesures sont utiles.

Si l’objectif est de prévoir les besoins hospitaliers réels, le taux brut compte.

Si l’on veut comparer les risques entre pays, la standardisation est souvent plus informative.

Il ne faut donc pas remplacer automatiquement l’un par l’autre.

Des populations socialement différentes

L’âge n’est pas la seule différence.

Deux pays peuvent aussi différer par :

  • pauvreté ;
  • niveau d’éducation ;
  • conditions de logement ;
  • tabagisme ;
  • alimentation ;
  • obésité ;
  • activité physique ;
  • pollution ;
  • exposition professionnelle.

Ces facteurs influencent eux aussi fortement la santé.

Une différence entre deux pays ne peut donc pas être attribuée automatiquement à une politique particulière.

Le système de santé influence ce qui est détecté

Un pays doté d’un accès facile au diagnostic peut enregistrer davantage de maladies qu’un pays où une grande partie de la population consulte rarement.

Cela peut sembler paradoxal :

mieux diagnostiquer peut donner l’impression d’être plus malade.

Par exemple, un pays réalisant beaucoup de dépistages peut détecter davantage de cancers précoces.

Le nombre de diagnostics augmente, mais cela ne signifie pas nécessairement que l’incidence biologique a augmenté dans les mêmes proportions.

Le paradoxe du bon système de surveillance

Imaginons deux pays possédant exactement la même incidence réelle d’une infection.

Le pays A détecte 90 % des infections.

Le pays B seulement 30 %.

Si 100 000 infections surviennent réellement :

  • A en enregistrera environ 90 000 ;
  • B environ 30 000.

Une lecture naïve des statistiques donnerait l’impression que l’épidémie est trois fois plus importante dans le pays A.

En réalité, la différence vient uniquement de la capacité de détection.

Les définitions de cas

Deux pays peuvent utiliser des définitions différentes.

Un « cas » peut nécessiter :

  • un test biologique ;
  • un diagnostic clinique ;
  • une hospitalisation ;
  • un ensemble de symptômes.

Si les critères diffèrent, les taux ne sont pas directement comparables.

Même une différence apparemment mineure peut modifier fortement le nombre de cas enregistrés.

Les définitions peuvent aussi changer dans le temps

Un pays peut modifier ses critères diagnostiques ou son système de déclaration pendant une crise.

La comparaison avec une période antérieure devient alors délicate.

Si le second pays n’a pas effectué la même modification, une comparaison internationale peut devenir encore plus difficile.

Il faut donc demander :

les définitions utilisées sont-elles réellement harmonisées ?

La mortalité est-elle plus comparable ?

Le décès est généralement plus facile à identifier qu’une infection ou un symptôme.

Les statistiques de mortalité peuvent donc être plus robustes que les nombres de cas.

Mais la cause du décès reste dépendante :

  • des diagnostics ;
  • des certificats ;
  • des règles de codage ;
  • des pratiques administratives.

Deux pays peuvent compter différemment un décès impliquant plusieurs maladies.

La mortalité toutes causes contourne une partie de ce problème.

Surmortalité et comparaisons internationales

La surmortalité est souvent utile pour comparer l’impact global d’une crise entre pays parce qu’elle dépend moins de la classification des causes.

Mais elle n’est pas totalement standardisée par nature.

Il faut encore tenir compte :

  • du vieillissement ;
  • des tendances historiques ;
  • de la saisonnalité ;
  • de la méthode utilisée pour calculer la mortalité attendue.

Deux estimations de surmortalité utilisant des modèles différents peuvent produire des résultats différents sans que l’une soit nécessairement incorrecte.

Le calendrier des épidémies

Comparer deux pays sur une même date civile peut être trompeur lorsque l’épidémie n’y a pas commencé au même moment.

Supposons que le pays A soit frappé deux mois avant le pays B.

Au 1er avril, A peut avoir déjà traversé son pic tandis que B commence seulement sa vague.

Comparer leurs décès cumulés à cette date ne constitue pas une comparaison à stade épidémique équivalent.

Il peut être préférable d’aligner les courbes sur :

  • le début de la circulation ;
  • un certain seuil de cas ;
  • le début d’une vague.

La géographie et la densité

Les pays diffèrent également par leur organisation spatiale.

Une population dense et urbaine peut connaître des dynamiques de transmission différentes d’une population dispersée.

Les flux internationaux, le tourisme, les transports, le climat et la taille des ménages peuvent également jouer un rôle.

Attribuer toute différence d’épidémie à une seule politique sanitaire ignore donc de nombreux facteurs.

La structure des ménages

Deux pays peuvent posséder la même proportion de personnes âgées mais des modes de vie différents.

Dans l’un, les générations vivent souvent ensemble.

Dans l’autre, les personnes âgées vivent davantage seules ou en institution.

Ces différences peuvent modifier la transmission de certaines infections.

Une variable démographique apparemment identique peut donc avoir des conséquences différentes selon le contexte social.

Les établissements pour personnes âgées

La proportion de personnes vivant en maison de retraite ou établissement médicalisé peut influencer fortement la mortalité lors d’une épidémie touchant particulièrement les personnes fragiles.

Une forte mortalité peut alors dépendre :

  • de la structure institutionnelle ;
  • des conditions de vie ;
  • de la circulation du pathogène dans ces établissements ;
  • de la protection mise en place.

Ces facteurs peuvent produire des écarts importants entre pays.

Les capacités hospitalières

Comparer les décès sans regarder les capacités de soins peut également être trompeur.

Deux pays connaissant le même nombre d’infections peuvent présenter des résultats différents si l’un connaît une saturation massive des services hospitaliers.

Il peut être utile d’examiner :

  • lits disponibles ;
  • personnel ;
  • soins intensifs ;
  • accès géographique ;
  • ressources matérielles.

Mais ces indicateurs sont eux-mêmes difficiles à comparer.

Un « lit de réanimation » n’est pas toujours la même chose

Une statistique comme :

« nombre de lits de réanimation pour 100 000 habitants »

peut sembler parfaitement comparable.

Mais la définition d’un lit de soins critiques peut varier selon les pays.

La disponibilité réelle dépend également du personnel qualifié.

Un lit physique sans équipe capable de l’utiliser ne représente pas la même capacité opérationnelle.

La comparaison d’un indicateur exige donc parfois de comprendre sa définition institutionnelle précise.

Les comportements changent indépendamment des lois

Lorsqu’on compare l’effet de politiques publiques, un problème majeur apparaît : la population peut modifier son comportement avant même qu’une mesure soit imposée.

Face à une épidémie, les personnes peuvent spontanément :

  • réduire leurs déplacements ;
  • éviter certains rassemblements ;
  • télétravailler ;
  • porter un masque.

Si les cas diminuent après une réglementation, l’effet observé peut provenir à la fois de la règle et des comportements déjà en cours.

Comparer deux pays ayant adopté des mesures différentes ne suffit donc pas à isoler l’effet causal de chaque politique.

Les politiques ne sont pas attribuées au hasard

Un autre problème est que les pays renforcent souvent leurs mesures parce que la situation est mauvaise.

On peut alors observer que :

les pays ayant pris les mesures les plus fortes ont connu davantage de décès.

Une lecture naïve pourrait conclure que les mesures ont provoqué les décès.

Mais la causalité peut être partiellement inversée :

l’aggravation de la situation a provoqué les mesures.

C’est un exemple classique de causalité inverse et de confusion temporelle.

Comparer avant et après ne suffit pas

Supposons qu’un pays introduise une intervention et que les cas diminuent ensuite.

Ce résultat est compatible avec son efficacité.

Mais plusieurs alternatives existent :

  • la vague aurait diminué naturellement ;
  • la saison a changé ;
  • l’immunité a augmenté ;
  • d’autres mesures ont été introduites ;
  • les comportements ont changé.

Une comparaison internationale peut fournir un groupe de référence, mais seulement si les pays sont suffisamment comparables.

L’indice composite

Certains classements combinent plusieurs dimensions dans un score unique :

  • mortalité ;
  • accès aux soins ;
  • prévention ;
  • dépenses ;
  • satisfaction.

Ces indicateurs composites peuvent être pratiques, mais leur résultat dépend fortement de :

  • la sélection des variables ;
  • leur pondération ;
  • leur normalisation.

Deux classements sérieux peuvent donc produire des positions différentes pour le même pays simplement parce qu’ils ne définissent pas « performance sanitaire » de la même manière.

Le problème des classements

Transformer des données continues en classement peut amplifier artificiellement de petites différences.

Supposons :

PaysScore
A82,1
B82,0
C81,9

On peut écrire :

A est premier et C troisième.

Cette formulation donne une impression de différence importante.

En réalité, les trois valeurs sont presque identiques et peuvent même être impossibles à distinguer compte tenu de l’incertitude statistique.

Le rang masque souvent l’ampleur réelle des écarts.

Moyenne nationale et hétérogénéité interne

Un pays n’est pas une population homogène.

Il peut exister de grandes différences entre :

  • régions ;
  • villes ;
  • catégories sociales ;
  • communautés ;
  • groupes professionnels.

Deux pays possédant le même taux national peuvent avoir des distributions très différentes.

Dans l’un, le risque peut être relativement homogène.

Dans l’autre, certaines régions peuvent être extrêmement touchées et d’autres presque épargnées.

Une moyenne nationale peut donc masquer une partie importante de la réalité.

Le sophisme écologique

Les comparaisons internationales utilisent souvent des données agrégées.

Supposons que les pays consommant davantage d’un aliment présentent moins de maladies cardiovasculaires.

Cela ne signifie pas que les individus consommant le plus cet aliment sont ceux qui présentent le moins de maladie.

Les pays diffèrent simultanément par des centaines de facteurs.

Déduire une relation individuelle à partir d’une corrélation entre pays constitue un sophisme écologique.

Corrélations internationales spectaculaires

Avec près de deux cents pays et des milliers de variables disponibles, il est relativement facile de trouver des corrélations étonnantes.

On peut mettre en relation :

  • alimentation ;
  • pollution ;
  • PIB ;
  • vaccination ;
  • nombre de médecins ;
  • consommation de café ;
  • accès à internet ;
  • mortalité.

Certaines corrélations seront fortes simplement par hasard ou parce qu’elles reflètent une troisième variable.

Une belle corrélation internationale est donc souvent le début d’une question, pas la fin d’une démonstration.

Les pays riches mesurent souvent davantage

La richesse influence également la qualité des données.

Les pays disposant d’un système de surveillance performant peuvent détecter :

  • davantage de maladies rares ;
  • davantage de cancers ;
  • davantage d’effets indésirables ;
  • davantage de troubles psychiatriques.

Un pays enregistrant peu de cas peut donc être réellement moins touché, ou simplement moins capable de les identifier.

La qualité du système de mesure fait partie du phénomène observé.

Données manquantes et modèles

Pour certains pays, les données sont incomplètes.

Les organisations internationales doivent alors utiliser :

  • extrapolations ;
  • modèles ;
  • données régionales ;
  • estimations indirectes.

Ces méthodes peuvent fournir les meilleures estimations disponibles, mais elles comportent davantage d’incertitude.

Il faut donc distinguer les valeurs directement observées des valeurs largement modélisées.

Comparer les dépenses de santé

Un autre exemple fréquent consiste à comparer les dépenses par habitant.

Mais un pays dépensant davantage peut avoir :

  • des prix médicaux plus élevés ;
  • des salaires différents ;
  • une population plus âgée ;
  • davantage de technologies ;
  • un système moins efficace.

Le niveau de dépense ne mesure donc ni directement la quantité de soins reçus ni leur qualité.

Pour comparer les dépenses, il faut souvent corriger les différences de pouvoir d’achat et examiner simultanément les résultats sanitaires.

Corriger peut aussi aller trop loin

Face à toutes ces différences, on pourrait vouloir ajuster statistiquement pour des dizaines de variables.

Mais cela ne garantit pas une comparaison parfaite.

Certaines variables peuvent être mal mesurées.

D’autres peuvent être des conséquences de la politique étudiée et ne devraient donc pas nécessairement être contrôlées.

L’ajustement statistique doit être guidé par une réflexion causale, pas par l’idée qu’ajouter davantage de variables rend toujours l’analyse meilleure.

Comparer plusieurs indicateurs

Une comparaison robuste repose généralement sur un ensemble de mesures.

Pour évaluer l’impact sanitaire d’une épidémie, on peut examiner :

DimensionIndicateur possible
Circulationinfections, tests positifs
Gravitéhospitalisations
Formes critiquessoins intensifs
Mortalité spécifiquedécès attribués
Impact globalmortalité toutes causes
Impact relatifsurmortalité
Structure démographiquetaux par âge
Charge à long termeannées de vie perdues, séquelles

Si plusieurs indicateurs convergent, l’interprétation devient plus robuste.

Une méthode pratique de comparaison

Avant de comparer deux pays, on peut suivre une petite grille.

1. Le phénomène est-il défini de la même manière ?

Même diagnostic, même cause, même critère.

2. La période est-elle comparable ?

Même durée, même stade de l’épidémie, même saison si nécessaire.

3. Les populations ont-elles la même structure ?

Âge, sexe, facteurs de risque principaux.

4. La détection est-elle comparable ?

Tests, accès aux soins, déclaration.

5. Les données ont-elles la même qualité ?

Exhaustivité, délais, systèmes d’enregistrement.

6. Utilise-t-on le bon indicateur ?

Nombre absolu, taux brut, taux standardisé, surmortalité.

7. Quelles autres différences pourraient expliquer le résultat ?

Contexte social, économique, sanitaire, géographique.

Une comparaison peut être utile sans être parfaite

Exiger une comparabilité absolument parfaite rendrait toute comparaison internationale impossible.

L’objectif n’est pas d’éliminer toute différence.

Il est de déterminer si les différences restantes sont suffisamment faibles ou suffisamment prises en compte pour que la comparaison apporte une information raisonnable.

La qualité d’une conclusion dépend donc d’un degré de confiance, pas d’une opposition absolue entre comparaison parfaite et comparaison inutile.

Triangulation entre pays

Lorsque plusieurs pays ayant des contextes différents connaissent des résultats compatibles après une même exposition ou intervention, cela peut renforcer une hypothèse.

Inversement, si l’effet n’apparaît que dans un pays particulier, il faut examiner ce qui le rend différent.

Les comparaisons internationales peuvent donc être extrêmement instructives lorsqu’elles sont utilisées comme une source de preuve parmi d’autres.

Le risque de choisir les pays qui arrangent

Une pratique particulièrement trompeuse consiste à sélectionner après coup deux pays produisant exactement le contraste souhaité.

Par exemple :

« Regardez le pays A, il a appliqué X et a fait mieux que B. »

Avec de nombreux pays disponibles, il est presque toujours possible de trouver un exemple soutenant une conclusion.

Une analyse plus sérieuse doit expliquer :

  • pourquoi ces pays sont comparables ;
  • pourquoi ils ont été sélectionnés ;
  • ce qui se passe dans l’ensemble des pays pertinents.

Sinon, la comparaison risque de devenir du cherry-picking géographique.

Les « expériences naturelles »

Certaines différences entre pays peuvent néanmoins devenir de véritables opportunités scientifiques.

Si deux populations très similaires adoptent des politiques différentes pour des raisons largement indépendantes de leur situation sanitaire, il peut être possible d’utiliser cette variation comme expérience naturelle.

Mais cela nécessite une méthodologie rigoureuse.

Il ne suffit pas de juxtaposer deux courbes.

Les expériences naturelles feront l’objet d’une fiche spécifique dans le chapitre consacré aux méthodes épidémiologiques.

Une leçon d’esprit critique

Les comparaisons internationales sont particulièrement séduisantes parce qu’elles permettent de raconter des histoires simples :

« Ce pays a fait X et a obtenu Y. »

Mais un pays n’est pas une expérience de laboratoire.

Les populations n’ont pas été réparties aléatoirement entre différents systèmes politiques, alimentaires, médicaux ou sanitaires.

De nombreuses variables changent simultanément.

Une comparaison internationale doit donc être utilisée avec humilité : elle peut révéler des contrastes intéressants, suggérer des hypothèses et parfois soutenir fortement une conclusion, mais elle exige presque toujours davantage d’analyse que la simple lecture d’un classement ou de deux courbes.

À retenir

Comparer correctement des pays nécessite beaucoup plus que comparer leurs nombres de cas ou de décès.

Il faut notamment tenir compte :

de la taille de la population, de l’âge, des caractéristiques sociales, des définitions de cas, de la stratégie de dépistage, des systèmes d’enregistrement, du calendrier, de la qualité des données et des méthodes de standardisation.

Une différence entre pays peut provenir d’un véritable écart sanitaire, mais aussi d’une différence dans la manière de détecter, enregistrer ou structurer les populations.

Les comparaisons internationales sont donc particulièrement utiles lorsqu’elles reposent sur plusieurs indicateurs harmonisés et qu’elles sont combinées à d’autres formes de preuve.

Avant de conclure qu’un pays a « mieux » ou « moins bien » réussi, la question essentielle reste :

« Sommes-nous réellement en train de comparer des situations comparables ? »

Pour aller plus loin

Organisation mondiale de la santé — statistiques sanitaires internationales. Une source essentielle pour comprendre les efforts d’harmonisation des indicateurs entre pays et leurs limites.

OCDE — Health at a Glance. Un ensemble d’indicateurs comparatifs sur les systèmes de santé, accompagné de précautions méthodologiques utiles pour interpréter les différences internationales.

Eurostat — statistiques européennes de santé et de mortalité. Une source importante pour les comparaisons utilisant des définitions et méthodes davantage harmonisées entre pays européens.

Kenneth J. Rothman, Sander Greenland et Timothy L. Lash — Modern Epidemiology. Une référence utile pour comprendre pourquoi les comparaisons observationnelles nécessitent de distinguer association, confusion et causalité.