Expériences naturelles

Une expérience naturelle survient lorsqu’un événement extérieur à l’étude répartit des personnes, des groupes ou des territoires entre différentes expositions d’une manière suffisamment indépendante de leurs caractéristiques pour permettre une comparaison causale intéressante.

Les chercheurs ne contrôlent pas l’attribution comme dans un essai randomisé. Ils exploitent une situation créée par le monde réel : réforme, frontière administrative, pénurie, catastrophe, changement réglementaire ou règle d’éligibilité.

L’objectif reste le même que dans toute étude causale : approcher la question « que se serait-il passé sans l’exposition ? »

Une expérience sans expérimentateur

Dans un essai randomisé, le chercheur décide qui reçoit l’intervention.

Dans une expérience naturelle, il observe une variation qui s’est produite indépendamment de sa volonté.

Par exemple :

  • une région change de réglementation, une autre non ;
  • une usine ferme brutalement ;
  • une réforme s’applique uniquement aux personnes nées après une certaine date ;
  • une pénurie limite temporairement l’accès à un médicament.

Ces situations peuvent créer des groupes exposés et non exposés suffisamment comparables pour fournir une information causale.

Exemple simple

Supposons qu’une nouvelle loi réduisant la pollution automobile soit appliquée dans une ville mais pas dans une ville voisine très similaire.

Si la pollution diminue dans la première ville et qu’un indicateur respiratoire s’améliore ensuite davantage que dans la seconde, cette différence peut suggérer un effet causal.

Mais la conclusion dépend de la comparabilité des villes et de l’absence d’autres changements majeurs spécifiques à l’une d’elles.

Pourquoi parler d’« expérience » ?

Le terme peut sembler étrange puisque personne n’a été randomisé.

L’idée est que certains événements créent une variation d’exposition qui ressemble partiellement à ce qu’aurait produit une expérience contrôlée.

Si la variation est suffisamment indépendante des caractéristiques individuelles, elle peut réduire la confusion.

On parle parfois de randomisation par la nature, mais cette expression doit être utilisée avec prudence : la répartition n’est généralement pas aussi parfaitement aléatoire que dans un véritable essai randomisé.

Une frontière peut créer une comparaison

Les frontières administratives constituent parfois de bonnes expériences naturelles.

Supposons que deux communes voisines se ressemblent fortement mais appartiennent à deux juridictions appliquant des politiques différentes.

Les habitants situés de part et d’autre de la frontière peuvent partager :

  • climat ;
  • environnement ;
  • culture ;
  • structure économique.

La politique publique constitue alors une différence particulièrement intéressante.

Mais il faut vérifier que la frontière ne sépare pas aussi des populations très différentes.

Exemple sanitaire

Imaginons qu’une politique de vaccination soit appliquée à partir d’un certain âge.

Les personnes nées juste avant et juste après le seuil peuvent être presque identiques sur de nombreux aspects.

Si leur accès au vaccin diffère fortement, cette situation peut être utilisée pour estimer l’effet de la vaccination autour de ce seuil.

On retrouve ici une logique proche de la régression discontinue.

Les réformes nationales

Certaines réformes peuvent créer des expériences naturelles lorsqu’elles affectent une population clairement définie.

Par exemple :

  • extension d’une assurance maladie ;
  • modification de l’âge légal d’accès à un produit ;
  • interdiction d’une substance ;
  • nouvelle réglementation environnementale.

On peut comparer les populations affectées aux populations non affectées avant et après la réforme.

La qualité de l’expérience dépend toutefois de la manière dont la réforme a été décidée.

Une réforme peut ne pas être indépendante

Supposons qu’une région adopte une politique sanitaire précisément parce qu’elle connaît une crise particulièrement grave.

La région exposée est alors différente dès le départ.

L’attribution de la politique n’est pas indépendante du risque.

L’expérience naturelle devient plus difficile à interpréter.

Une variation réglementaire ne suffit donc pas automatiquement à créer une bonne expérience naturelle.

Les catastrophes naturelles

Certaines catastrophes peuvent modifier brutalement les expositions.

Par exemple :

  • fermeture temporaire d’infrastructures ;
  • baisse du trafic ;
  • déplacement de population ;
  • interruption d’une activité industrielle.

Ces événements peuvent permettre d’étudier certains effets environnementaux.

Mais une catastrophe modifie généralement de nombreux facteurs simultanément, ce qui complique fortement l’interprétation.

Exemple : pollution

Supposons qu’une fermeture industrielle provoque une baisse brutale de la pollution atmosphérique.

On observe parallèlement une diminution des consultations respiratoires.

Cette situation peut fournir une preuve intéressante d’un effet de la pollution.

Mais il faut également vérifier :

  • saison ;
  • météo ;
  • circulation ;
  • migration de population ;
  • accès aux soins.

L’événement naturel ne supprime pas le besoin d’analyse.

Grèves et perturbations

Certaines grèves ou fermetures temporaires peuvent créer des variations inhabituelles.

Par exemple, une interruption des transports peut réduire temporairement :

  • trafic automobile ;
  • pollution ;
  • accidents.

Comparer les périodes avant, pendant et après peut fournir une information causale.

Mais ces événements peuvent également modifier les comportements de nombreuses autres manières.

Pénuries de médicaments

Une pénurie peut parfois créer une variation d’exposition presque indépendante des choix des patients.

Supposons qu’un médicament devienne temporairement indisponible dans certaines régions en raison d’un problème logistique.

Si les patients sont alors contraints d’utiliser une alternative, cette situation peut permettre de comparer les résultats.

Mais la pénurie peut ne pas être répartie au hasard : certaines régions ou structures peuvent être davantage touchées.

Variations de politique entre régions

Dans certains systèmes politiques, les régions ou États adoptent des politiques différentes.

Cela peut permettre d’étudier l’effet de :

  • taxes ;
  • limitations de vitesse ;
  • interdictions de fumer ;
  • lois sur l’alcool ;
  • politiques de prévention.

Ces variations produisent de nombreuses occasions d’expériences naturelles.

Mais elles sont également exposées au problème classique :

les régions qui adoptent une politique peuvent déjà être différentes des autres.

Le calendrier peut aider

Une réforme introduite brutalement à une date précise crée une rupture temporelle.

Si l’indicateur évolue nettement autour de cette date alors que la tendance était stable auparavant, l’hypothèse causale est renforcée.

Mais une coïncidence temporelle ne suffit toujours pas.

Il faut vérifier si d’autres événements se sont produits au même moment.

Le problème des co-interventions

Supposons qu’une ville interdise le tabac dans les lieux publics tout en lançant simultanément :

  • campagne médiatique ;
  • hausse des taxes ;
  • remboursement d’un traitement de sevrage.

Une baisse du tabagisme après la réforme peut être réelle, mais il devient difficile d’attribuer précisément l’effet à une seule composante.

L’expérience naturelle peut alors permettre d’évaluer un ensemble de politiques, plutôt qu’une mesure isolée.

L’indépendance de l’exposition

La force d’une expérience naturelle dépend largement de cette question :

pourquoi certaines personnes ont-elles été exposées et d’autres non ?

Si la réponse est essentiellement :

« à cause d’une règle externe indépendante de leurs caractéristiques personnelles »,

la comparaison peut être très convaincante.

Si la réponse est :

« parce que les personnes ont choisi leur exposition en fonction de leur santé »,

la confusion redevient importante.

Exemple : date de naissance

Une politique peut s’appliquer uniquement aux personnes nées après le 1er janvier d’une certaine année.

Une personne née le 31 décembre et une autre née le 2 janvier sont probablement très similaires.

Si leur accès à une intervention diffère fortement à cause de cette règle, le seuil crée une quasi-randomisation locale.

Cette comparaison peut fournir une estimation causale très crédible autour de la date limite.

Exemple : loterie

Certaines politiques attribuent une ressource par loterie lorsque la demande dépasse l’offre.

Dans ce cas, l’expérience naturelle se rapproche fortement d’un véritable essai randomisé.

On peut comparer :

  • personnes tirées au sort ;
  • personnes non tirées au sort.

Si la loterie est réellement aléatoire, la qualité causale peut être remarquable.

Loteries d’assurance ou de logement

Des travaux célèbres ont exploité des loteries pour étudier les effets de :

  • couverture d’assurance maladie ;
  • accès au logement ;
  • programmes sociaux.

Ces situations montrent qu’une expérience naturelle peut parfois bénéficier d’une attribution presque aussi claire qu’un essai.

Le chercheur n’a pas créé la loterie, mais peut l’utiliser scientifiquement.

Les règles administratives

De nombreux systèmes attribuent des ressources selon :

  • âge ;
  • revenu ;
  • score ;
  • localisation ;
  • date.

Ces règles peuvent parfois créer des groupes très similaires de part et d’autre d’un seuil.

C’est une source importante de variation quasi expérimentale.

Mais les personnes peuvent parfois manipuler le critère.

Manipulation du seuil

Supposons qu’une aide soit accordée aux personnes dont le revenu est inférieur à un seuil.

Si les individus ou administrations peuvent modifier artificiellement le revenu déclaré pour obtenir l’aide, les personnes juste au-dessus et juste en dessous du seuil ne sont plus nécessairement comparables.

La crédibilité de l’expérience naturelle dépend donc aussi du fait que l’exposition ne puisse pas être facilement manipulée.

Les catastrophes sanitaires

Une épidémie elle-même peut créer des expériences naturelles.

Certaines régions sont touchées plus tôt que d’autres.

Certaines structures subissent des introductions accidentelles du pathogène.

Ces différences peuvent parfois permettre d’étudier :

  • transmission ;
  • effets indirects ;
  • organisation des soins.

Mais l’exposition au pathogène est rarement totalement indépendante des caractéristiques locales.

Migration et déplacements

Les migrations peuvent parfois être utilisées pour distinguer influence génétique et environnementale.

Supposons qu’une population ayant un certain risque de maladie migre vers un pays où le risque est très différent.

Si les générations suivantes se rapprochent progressivement du niveau de risque du pays d’accueil, cela peut suggérer un rôle important :

  • environnemental ;
  • alimentaire ;
  • comportemental.

Ces études ne constituent pas toujours des expériences naturelles strictes, mais elles exploitent une variation environnementale particulièrement informative.

Exemple : maladies cardiovasculaires

Des populations migrant d’un pays à faible risque cardiovasculaire vers un environnement à risque plus élevé peuvent voir leurs taux évoluer au fil des générations.

Cela suggère que les différences internationales ne sont pas nécessairement uniquement génétiques.

Mais les migrants sont une population sélectionnée et changent simultanément de nombreux aspects de leur mode de vie.

L’interprétation nécessite donc de la prudence.

Étudier des catastrophes environnementales

Les accidents industriels peuvent malheureusement fournir des informations sur les effets d’expositions importantes.

Ils ont parfois permis d’étudier :

  • radiations ;
  • substances chimiques ;
  • pollution massive.

Ces données peuvent être uniques.

Mais elles présentent souvent des difficultés :

  • mesure de l’exposition ;
  • déplacement des habitants ;
  • stress ;
  • surveillance médicale plus intense.

La catastrophe modifie elle-même le système de mesure.

Surveillance accrue après exposition

Après un accident environnemental, les personnes exposées peuvent faire l’objet de davantage d’examens.

On peut alors détecter davantage de maladies simplement parce qu’on les cherche davantage.

Il faut distinguer :

augmentation réelle du risque

et

augmentation de la détection.

C’est un problème fréquent dans les études après catastrophe.

L’effet Hawthorne à grande échelle

Lorsqu’une population sait qu’elle fait l’objet d’une surveillance particulière, ses comportements peuvent également changer.

Les habitants peuvent :

  • consulter davantage ;
  • modifier leur alimentation ;
  • éviter certaines expositions.

La situation post-événement n’est donc pas nécessairement comparable à la situation antérieure sur un seul facteur.

Une expérience naturelle ne garantit pas une seule différence

C’est probablement la limite la plus importante.

Dans un véritable essai randomisé, la randomisation vise à faire de l’intervention la principale différence systématique entre les groupes.

Dans une expérience naturelle, plusieurs différences peuvent subsister.

Le chercheur doit donc analyser soigneusement le mécanisme d’attribution.

Le mécanisme d’attribution est plus important que le nom de la méthode

Une étude peut se présenter comme une « expérience naturelle » sans être particulièrement convaincante.

La bonne question n’est pas :

« Les auteurs utilisent-ils cette expression ? »

mais :

« Quelle force extérieure a créé l’exposition et pourquoi devrait-elle produire des groupes comparables ? »

L’étiquette méthodologique ne remplace pas la justification causale.

Combiner plusieurs méthodes

Une expérience naturelle peut être analysée avec :

  • différence de différences ;
  • série temporelle interrompue ;
  • régression discontinue ;
  • variable instrumentale ;
  • contrôle synthétique.

L’expérience naturelle correspond donc principalement à la source de variation, tandis que ces techniques correspondent aux méthodes permettant de l’analyser.

Avant-après avec groupe contrôle

Une bonne expérience naturelle possède souvent :

  • plusieurs mesures avant ;
  • plusieurs mesures après ;
  • une population exposée ;
  • une population contrôle.

Cela permet de vérifier :

  • tendances préexistantes ;
  • rupture après exposition ;
  • différences temporelles.

Plusieurs éléments convergents renforcent l’interprétation.

Placebo temporel

On peut tester si un effet similaire apparaît à une date où aucune réforme n’a eu lieu.

Si le modèle détecte des « effets » partout, il est peu crédible.

Les analyses placebo permettent donc d’examiner la robustesse du résultat.

Placebo géographique

On peut également appliquer artificiellement l’analyse à une région qui n’a pas reçu l’intervention.

Si elle montre le même effet, cela suggère que la variation observée n’est probablement pas spécifique à la politique.

Résultats de contrôle

Supposons qu’une politique réduise théoriquement les accidents de circulation.

On peut examiner simultanément un événement qui ne devrait pas être affecté.

Si tous les indicateurs de santé diminuent brutalement au même moment, une cause plus générale peut être responsable.

Ces contrôles augmentent la crédibilité de l’analyse.

Covid-19 et expériences naturelles

La pandémie a créé de nombreuses variations non planifiées :

  • politiques différentes entre régions ;
  • calendriers scolaires différents ;
  • introductions virales décalées ;
  • différences de disponibilité vaccinale ;
  • règles administratives distinctes.

Ces situations ont parfois permis d’étudier certains effets.

Mais elles étaient difficiles à interpréter parce que :

  • les comportements changeaient rapidement ;
  • plusieurs mesures étaient combinées ;
  • l’épidémie elle-même influençait les politiques.

Toutes les différences régionales n’étaient donc pas de bonnes expériences naturelles.

Exemple : vaccination par seuil d’âge

Lorsque l’accès à la vaccination est ouvert progressivement selon l’âge, des personnes proches d’un seuil peuvent recevoir le vaccin à des moments différents.

Si cette variation est suffisamment nette, elle peut être exploitée pour estimer certains effets.

Mais il faut tenir compte :

  • du calendrier épidémique ;
  • de l’adhésion réelle ;
  • des différences même faibles d’âge.

La conception peut néanmoins être particulièrement intéressante.

Forces des expériences naturelles

Elles permettent parfois :

  • une forte inférence causale sans randomisation expérimentale ;
  • l’étude de politiques impossibles à randomiser ;
  • l’analyse de grandes populations ;
  • l’exploitation de situations rares ;
  • une bonne validité dans le monde réel.

Elles constituent donc un outil majeur de l’épidémiologie moderne et de la santé publique.

Limites principales

Leurs principales difficultés sont :

  • attribution pas toujours réellement indépendante ;
  • co-interventions ;
  • facteurs de confusion ;
  • groupes parfois imparfaitement comparables ;
  • événements exceptionnels modifiant de nombreuses variables ;
  • généralisabilité parfois limitée.

Une expérience naturelle doit donc être évaluée aussi rigoureusement qu’une autre étude.

Une preuve causale parfois très forte

Lorsque le mécanisme d’attribution est clair, une expérience naturelle peut produire une preuve causale extrêmement convaincante.

Une loterie véritablement aléatoire ou un seuil administratif strict peut créer des conditions proches d’une randomisation.

Dans ce cas, opposer mécaniquement :

« observationnel »

à

« expérimental »

devient trop simple.

La force de la preuve dépend du mécanisme qui produit la comparaison.

Le rôle de la triangulation

Une expérience naturelle devient particulièrement intéressante lorsque ses résultats convergent avec :

  • essais randomisés ;
  • cohortes ;
  • études cas-témoins ;
  • mécanismes biologiques ;
  • autres quasi-expériences.

Les méthodes n’ont pas nécessairement les mêmes biais.

Une convergence entre approches indépendantes réduit alors la probabilité qu’un seul biais explique l’ensemble.

Une leçon d’esprit critique

Face à une expérience naturelle, la question la plus importante est :

« Pourquoi ces groupes ont-ils reçu des expositions différentes ? »

Si la différence vient d’un mécanisme externe presque arbitraire, la comparaison peut être très informative.

Si elle vient de choix personnels, de différences sociales ou de situations sanitaires déjà différentes, la conclusion causale est plus fragile.

Il faut donc examiner :

le mécanisme d’attribution, la comparabilité des groupes, les événements simultanés et les tendances préexistantes.

Une expérience naturelle n’est pas une preuve causale parce que la nature aurait mystérieusement « randomisé » les personnes. Elle devient convaincante lorsque l’on peut expliquer précisément pourquoi la variation observée constitue un bon substitut à une expérience contrôlée.

À retenir

Une expérience naturelle exploite une variation d’exposition créée par un événement extérieur plutôt que par les chercheurs.

Cette variation peut provenir :

  • d’une réforme ;
  • d’un seuil administratif ;
  • d’une frontière ;
  • d’une loterie ;
  • d’une pénurie ;
  • d’un événement environnemental.

Elle peut parfois créer une comparaison proche de la randomisation et fournir une preuve causale très forte.

Mais tout dépend du mécanisme d’attribution.

Le simple fait que deux régions aient connu des politiques différentes ne suffit pas.

La question centrale reste :

« L’exposition a-t-elle été attribuée d’une manière suffisamment indépendante des autres déterminants du résultat pour que la comparaison représente un contrefactuel crédible ? »

Pour aller plus loin

John Snow et l’épidémie de choléra de Londres. Son utilisation des différences d’approvisionnement en eau constitue l’un des exemples historiques les plus célèbres d’une logique proche de l’expérience naturelle.

Joshua Angrist et Jörn-Steffen Pischke — Mostly Harmless Econometrics. Une introduction influente aux méthodes exploitant des variations quasi expérimentales pour l’inférence causale.

Michael Rutter — travaux sur les expériences naturelles. Une réflexion importante sur leur utilisation pour étudier les relations causales lorsqu’une expérimentation contrôlée est impossible.

Cochrane et ressources méthodologiques sur les études non randomisées. Elles permettent d’évaluer les biais et la crédibilité des comparaisons issues du monde réel.