Expériences naturelles et quasi-expériences

L’essai randomisé possède un avantage remarquable pour l’inférence causale : lorsqu’il est correctement conduit, le chercheur organise lui-même une situation dans laquelle l’exposition au traitement ne dépend pas systématiquement des caractéristiques des participants.

Mais de nombreuses questions importantes ne peuvent pas être étudiées ainsi.

On ne peut pas attribuer aléatoirement des personnes à trente années de tabagisme. Il serait impossible de décider par tirage au sort quelles villes doivent connaître une forte pollution atmosphérique. Une réforme fiscale, une fermeture d’usine, une nouvelle limite d’âge ou une catastrophe naturelle ne sont généralement pas déclenchées pour les besoins d’une expérience scientifique.

Cela ne condamne pas la recherche à comparer naïvement des personnes exposées et non exposées.

Dans certaines circonstances, la manière dont le monde distribue lui-même une intervention crée une comparaison particulièrement informative. Une loi s’applique à partir d’une date précise. Un traitement devient accessible seulement au-dessus d’un seuil administratif. Une loterie attribue un nombre limité de places. Une politique est introduite dans certaines régions mais pas dans d’autres.

Ces situations peuvent être exploitées à l’aide d’expériences naturelles ou de plans quasi-expérimentaux.

Leur ambition est toujours la même : se rapprocher de la logique de l’expérience contrôlée sans disposer d’une véritable randomisation organisée par le chercheur.

Mais leur crédibilité causale dépend alors fortement de la structure particulière qui a créé la comparaison. Il ne suffit jamais qu’une étude soit appelée « quasi-expérimentale » pour qu’elle possède la force d’un essai randomisé.

Une expérience naturelle n’est pas nécessairement produite par la nature

L’expression expérience naturelle peut prêter à confusion.

Elle ne désigne pas nécessairement un événement naturel comme une tempête, une éruption volcanique ou une sécheresse.

Dans un sens méthodologique courant, il s’agit d’une situation dans laquelle un événement ou un processus extérieur au chercheur distribue une exposition entre différents individus, groupes ou périodes d’une manière pouvant être exploitée pour une comparaison causale.

Une réforme législative peut donc produire une expérience naturelle.

Une modification administrative aussi.

Une loterie, une frontière territoriale ou une règle d’éligibilité peuvent jouer le même rôle.

Une revue de référence en santé publique définit ainsi largement l’expérience naturelle comme une situation où un événement non contrôlé par le chercheur répartit une population entre groupes exposés et non exposés. Elle souligne cependant que cette répartition n’est généralement pas garantie d’être aléatoire et que les processus déterminant l’exposition doivent être examinés avec soin.

Le mot « naturel » ne doit donc surtout pas être traduit par :

« les groupes se sont formés naturellement, donc ils sont comparables ».

Ils peuvent ne pas l’être du tout.

Qu’est-ce qu’une quasi-expérience ?

Une quasi-expérience cherche à estimer un effet causal en exploitant une structure particulière des données ou de l’attribution d’une intervention, mais sans randomisation expérimentale classique.

Les frontières terminologiques varient selon les disciplines. Certaines traditions utilisent « quasi-expérience » comme catégorie large comprenant plusieurs expériences naturelles ; d’autres distinguent davantage les deux expressions.

Pour notre objectif, la distinction la plus utile est la suivante :

l’expérience naturelle décrit surtout l’origine de la variation, produite par un événement extérieur au chercheur ;

le plan quasi-expérimental décrit surtout la stratégie méthodologique utilisée pour transformer cette variation en comparaison causale.

Une réforme politique peut ainsi constituer l’expérience naturelle, tandis qu’une analyse en différences de différences constitue le plan quasi-expérimental utilisé pour l’évaluer.

Les revues méthodologiques recensent parmi les principaux dispositifs la régression sur discontinuité, les séries temporelles interrompues comparatives, les variables instrumentales et certaines stratégies d’appariement ou de pondération.

Pourquoi ces méthodes peuvent être plus fortes qu’une simple étude observationnelle

Supposons que l’on souhaite connaître l’effet d’une assurance maladie sur la santé.

Une comparaison ordinaire entre assurés et non-assurés est difficile à interpréter.

Les deux groupes peuvent différer par le revenu, l’emploi, l’âge, l’état de santé, le recours habituel aux soins ou de nombreuses autres caractéristiques.

Une régression peut tenter d’ajuster ces différences, comme nous l’avons vu dans la fiche précédente.

Une quasi-expérience cherche plutôt à exploiter une source de variation dans l’exposition qui dépend moins directement de ces caractéristiques individuelles.

Par exemple :

une loterie ;

un seuil administratif ;

un changement de réglementation à une date précise ;

une règle appliquée à un territoire mais pas au territoire voisin.

Dans les meilleurs cas, cette structure fournit une comparaison beaucoup plus proche de celle qu’aurait produite une expérience.

C’est pourquoi certaines quasi-expériences peuvent fournir des preuves causales remarquablement solides. Une synthèse méthodologique souligne que, sous certaines conditions, certains plans quasi-expérimentaux peuvent approcher la crédibilité d’expériences randomisées, mais seulement lorsque leurs hypothèses d’identification sont réellement défendables.

Le cas exceptionnel d’une loterie : l’expérience de l’Oregon

En 2008, l’Oregon disposait d’un nombre limité de places pour étendre Medicaid, son programme public d’assurance maladie destiné notamment à certaines populations à faibles revenus.

Environ 90 000 personnes s’étaient inscrites sur une liste d’attente.

Comme toutes ne pouvaient pas être admises, l’État utilisa une loterie pour sélectionner les personnes autorisées à déposer une demande.

Les chercheurs n’avaient évidemment pas organisé cette loterie dans un objectif expérimental.

Mais elle créa une situation méthodologiquement exceptionnelle : la possibilité de demander Medicaid avait été attribuée par tirage au sort.

Les chercheurs purent ainsi comparer les personnes sélectionnées avec celles qui ne l’avaient pas été.

Après environ deux ans, l’étude rapporta notamment une augmentation du recours aux soins, davantage de détection et de prise en charge du diabète, une réduction importante des dépenses médicales catastrophiques et une diminution des dépistages positifs de dépression. Elle ne mit pas en évidence d’amélioration statistiquement significative de plusieurs mesures physiques moyennes étudiées, comme la pression artérielle ou l’hémoglobine glyquée sur cette période.

L’intérêt méthodologique du cas est encore plus important que ses résultats particuliers.

Une expérience naturelle peut parfois contenir une véritable randomisation

L’Oregon montre pourquoi les catégories ne doivent pas être trop rigides.

L’étude est souvent appelée expérience naturelle parce que les chercheurs n’ont pas créé la politique.

Mais la politique elle-même utilisait une véritable loterie.

L’attribution de l’opportunité de demander l’assurance était donc réellement randomisée.

Il s’agit ainsi d’un cas beaucoup plus fort que la plupart des expériences naturelles ordinaires. Les auteurs du *New England Journal of Medicine* décrivent explicitement la loterie comme une occasion d’étudier les effets de Medicaid grâce à une assignation aléatoire.

Cette situation est rare.

Dans beaucoup d’expériences naturelles, l’exposition n’est pas distribuée aléatoirement.

Il faut donc exploiter une autre propriété permettant de rendre la comparaison crédible.

Première stratégie : la régression sur discontinuité

Supposons qu’une règle administrative établisse :

les patients dont la pression artérielle systolique atteint 140 mmHg reçoivent un traitement ; ceux situés juste en dessous ne le reçoivent généralement pas.

Un patient à 139 mmHg et un patient à 141 mmHg peuvent être très similaires sur de nombreuses caractéristiques.

Pourtant, la règle crée une différence importante dans leur probabilité de traitement.

Le plan de régression sur discontinuité (*regression discontinuity design*, RDD) exploite précisément ce type de seuil.

On compare alors les résultats des individus situés juste de part et d’autre du seuil.

Si le risque cardiovasculaire change brusquement à 140 mmHg en même temps que l’accès au traitement, alors que les autres caractéristiques évoluent continûment autour de cette valeur, cette rupture peut fournir une information causale sur l’effet du traitement.

Un guide méthodologique du *BMJ* utilise justement l’exemple d’un seuil de pression artérielle pour expliquer ce principe.

Pourquoi comparer autour du seuil est puissant

Supposons que l’on compare tous les patients recevant le traitement à tous ceux qui ne le reçoivent pas.

Les deux groupes peuvent être très différents : les personnes traitées sont peut-être beaucoup plus malades.

Mais autour de 140 mmHg, un patient à 139 et un autre à 141 sont souvent beaucoup plus comparables.

Si les individus ne peuvent pas manipuler précisément leur position par rapport au seuil, le fait de se trouver juste au-dessus ou juste en dessous peut devenir presque arbitraire relativement à de nombreux autres facteurs.

C’est ce qui donne sa puissance au dessin.

La revue systématique des RDD en santé explique justement que, lorsque l’affectation dépend d’un seuil continu ne pouvant être précisément manipulé, la comparaison locale autour de ce seuil peut permettre une inférence causale relativement robuste face à la confusion non observée.

Mais le mot important est locale.

La régression sur discontinuité estime généralement un effet autour du seuil

Supposons que nous trouvions un effet du traitement chez les patients ayant une pression artérielle proche de 140 mmHg.

Nous ne pouvons pas automatiquement appliquer le même chiffre aux patients à 220 mmHg.

Le dessin identifie surtout l’effet pour les personnes proches du seuil qui détermine l’attribution.

Des guides récents insistent explicitement sur cette limite : l’estimation obtenue par une RDD concerne généralement une région autour du point de coupure plutôt qu’un effet universel dans l’ensemble de la population.

Cette limitation n’est pas nécessairement une faiblesse grave.

Les essais randomisés possèdent eux aussi des populations d’éligibilité particulières.

Il faut simplement ne pas confondre forte validité locale et généralisation automatique.

Une régression sur discontinuité peut échouer si le seuil est manipulé

Supposons qu’une aide financière soit accordée uniquement aux entreprises déclarant un revenu inférieur à un seuil précis.

Si les entreprises peuvent facilement modifier leur déclaration pour passer juste sous le seuil, celles situées immédiatement de part et d’autre ne sont plus nécessairement comparables.

Le mécanisme qui créait la quasi-randomisation locale est compromis.

De même, un médecin connaissant exactement une règle thérapeutique peut éventuellement modifier une mesure ou une classification afin de rendre un patient éligible.

Les bonnes analyses RDD examinent donc notamment la distribution des observations près du seuil, la continuité des autres caractéristiques et les possibilités de manipulation. Le *BMJ* souligne que la validité du dessin dépend d’un ensemble d’hypothèses pour lesquelles existent des procédures de falsification et de diagnostic.

La puissance du dessin vient de la règle d’attribution.

Si cette règle n’est pas réellement respectée ou peut être contournée, la comparaison perd une partie de sa force.

Deuxième stratégie : les différences de différences

Considérons maintenant une réforme qui entre en vigueur dans une région mais pas dans une autre.

Nous pourrions comparer directement les deux régions après la réforme.

Mais elles étaient peut-être différentes auparavant.

Nous pourrions comparer la région traitée avant et après la réforme.

Mais beaucoup d’autres phénomènes ont pu changer au même moment.

La méthode des différences de différences (*difference-in-differences*, DiD) combine les deux comparaisons.

Elle demande, schématiquement :

comment le résultat a-t-il changé dans le groupe exposé relativement à la manière dont il a changé pendant la même période dans le groupe non exposé ?

Supposons :

  • région A : mortalité de 100 à 80 ;
  • région B : mortalité de 80 à 75.

A s’améliore de 20 points.

B s’améliore également de 5 points alors qu’elle n’a pas reçu l’intervention.

La différence de différences attribuable à la réforme serait alors, dans cette représentation extrêmement simplifiée :

−20 − (−5) = −15 points.

L’idée est de retirer la tendance commune qui aurait éventuellement eu lieu même sans intervention.

L’hypothèse cruciale : les tendances parallèles

La méthode semble élégante, mais elle repose sur une hypothèse importante.

En l’absence de réforme, le groupe traité aurait dû connaître une évolution suffisamment comparable à celle du groupe témoin.

C’est l’hypothèse dite des tendances parallèles.

Elle ne signifie pas que les deux groupes doivent avoir exactement le même niveau avant l’intervention.

Une région peut toujours présenter une mortalité plus élevée que l’autre.

Ce qui importe est que leur trajectoire contrefactuelle aurait évolué de manière comparable sans intervention.

Le problème est évident : cette trajectoire contrefactuelle n’est jamais directement observable après que la réforme a eu lieu.

On peut examiner les tendances avant l’intervention pour vérifier si elles étaient suffisamment semblables, mais cette vérification ne prouve pas que la tendance parallèle aurait nécessairement continué.

La crédibilité causale dépend donc de la connaissance du contexte et de l’absence de changements simultanés différents entre les groupes.

Une différence de différences peut être trompée par un événement simultané

Supposons qu’une région introduise une politique antipollution en janvier.

La pollution diminue beaucoup plus que dans la région témoin.

Mais la même région ferme également une grande usine polluante en février pour une raison indépendante.

La méthode peut alors attribuer à la politique ce qui provient en partie de la fermeture.

Le problème n’est pas résolu simplement parce que l’analyse est « quasi-expérimentale ».

Il faut examiner les co-interventions et événements concomitants.

Plusieurs améliorations méthodologiques peuvent être utilisées : plusieurs groupes témoins, plusieurs périodes pré-intervention, analyses de placebo à des dates fictives, résultats de contrôle et différentes spécifications.

L’objectif reste celui que nous retrouvons depuis le début : mettre activement les explications concurrentes en difficulté.

Troisième stratégie : la série temporelle interrompue

Supposons qu’un hôpital introduise brutalement une nouvelle politique d’utilisation des antibiotiques le 1er janvier.

Comparer simplement décembre à janvier serait fragile.

Le nombre d’infections peut fluctuer naturellement d’un mois à l’autre.

Une série temporelle interrompue (*interrupted time series*, ITS) utilise au contraire de nombreuses observations avant et après l’intervention.

Elle cherche alors à déterminer si, au moment de l’intervention, apparaît :

une modification brutale du niveau ;

une modification de la tendance ;

ou les deux.

Si le taux d’infection diminuait déjà régulièrement depuis trois ans avant la politique, une baisse observée après son introduction est moins convaincante que si une rupture nette apparaît précisément au moment du changement.

Les revues méthodologiques recommandent ainsi les séries temporelles interrompues comme une amélioration substantielle par rapport aux simples études avant-après, particulièrement pour l’évaluation d’interventions ou de politiques appliquées à une population entière.

Une longue série avant l’intervention permet de connaître la tendance préalable

L’avantage principal est évident.

Une comparaison avant-après portant sur seulement deux points ne permet pas de distinguer une intervention d’une fluctuation temporaire.

Une série temporelle comportant de nombreuses observations permet d’estimer :

la tendance antérieure ;

la saisonnalité ;

la variabilité ordinaire du phénomène ;

et parfois des changements déjà engagés avant l’intervention.

Supposons que les prescriptions d’un médicament diminuent de 2 % chaque mois depuis deux ans.

Une nouvelle recommandation est introduite et six mois plus tard les prescriptions ont encore diminué.

Il faut savoir si leur rythme de diminution s’est réellement accéléré relativement à ce qui aurait été attendu à partir de la tendance précédente.

La question causale ne porte donc pas simplement sur « avant contre après », mais sur la rupture par rapport à une trajectoire attendue.

Une série temporelle interrompue reste vulnérable aux événements concomitants

Supposons qu’au moment exact où l’hôpital introduit une politique, une nouvelle épidémie survienne ou un test diagnostique soit changé.

La rupture temporelle peut alors provenir d’autre chose.

La date de l’intervention ne constitue pas, à elle seule, une randomisation.

Une stratégie particulièrement forte consiste à ajouter une série témoin : un autre hôpital ou une autre population non exposée à l’intervention mais soumise autant que possible aux mêmes événements généraux.

On obtient alors une série temporelle interrompue comparative, qui combine certains avantages du suivi temporel et d’un groupe contrôle.

Les revues sur les quasi-expériences la considèrent justement parmi les dessins les plus solides lorsqu’une véritable randomisation n’est pas disponible.

Quatrième stratégie : les variables instrumentales

La méthode des variables instrumentales est plus abstraite.

Supposons que l’exposition X soit fortement confondue.

Nous cherchons alors une variable Z qui influence la probabilité de recevoir X mais qui, sous des hypothèses fortes, n’agit sur le résultat Y que par son effet sur X et ne partage pas les confondeurs pertinents.

Z peut alors jouer le rôle d’instrument.

La loterie de Medicaid en Oregon fournit une illustration remarquable.

Gagner la loterie augmente la probabilité d’obtenir Medicaid.

Mais la loterie elle-même n’est pas supposée améliorer directement la santé autrement qu’en modifiant l’accès à cette couverture.

Elle peut donc être utilisée comme instrument pour étudier certains effets de l’assurance. La discussion méthodologique publiée dans le *New England Journal of Medicine* souligne précisément ce rôle de la loterie comme variable instrumentale issue d’une assignation aléatoire.

Un instrument doit respecter plusieurs conditions exigeantes

L’existence d’une variable corrélée avec l’exposition ne suffit pas.

Un instrument doit notamment avoir une relation suffisamment forte avec l’exposition.

Il ne doit pas partager avec le résultat des causes communes qui recréeraient de la confusion.

Et, dans la version classique de l’approche, il ne doit influencer le résultat que par l’intermédiaire de l’exposition étudiée : c’est l’hypothèse d’exclusion.

Ces exigences sont fortes.

Certaines ne peuvent pas être totalement testées dans les données.

Une variable instrumentale mal choisie peut donc produire une estimation causale trompeuse tout en donnant l’apparence d’une méthode extrêmement sophistiquée.

La technique ne vaut que par la crédibilité de l’histoire causale qui justifie l’instrument.

« Instrumental » ne signifie pas nécessairement appareil de mesure

Le vocabulaire peut encore induire en erreur.

Une variable instrumentale n’est pas nécessairement un instrument physique.

Elle peut être :

une loterie ;

une règle administrative ;

une variation géographique dans certaines pratiques ;

un changement de réglementation ;

ou un autre facteur modifiant l’exposition de manière suffisamment exogène.

Le terme « instrument » désigne sa fonction dans l’identification causale : la variable permet d’isoler une variation particulière de l’exposition dont on espère qu’elle est débarrassée d’une partie de la confusion habituelle.

Les quatre grandes logiques ne posent pas la même question

Ces méthodes sont souvent rangées ensemble, mais elles exploitent des structures différentes.

PlanSource principale de comparaisonHypothèse centrale simplifiée
Régression sur discontinuitéIndividus juste de part et d’autre d’un seuilRien d’autre de pertinent ne change brutalement au seuil et celui-ci n’est pas précisément manipulé
Différences de différencesÉvolution d’un groupe exposé relativement à celle d’un groupe témoinLes tendances auraient évolué parallèlement sans intervention
Série temporelle interrompueRupture d’une trajectoire avant/aprèsAucun autre événement simultané ne produit la rupture observée
Variable instrumentaleVariation de l’exposition produite par un instrumentL’instrument affecte suffisamment l’exposition sans agir sur le résultat par d’autres voies pertinentes

Aucune de ces hypothèses n’est identique à la randomisation d’un essai contrôlé.

Mais chacune cherche à créer une situation dans laquelle certaines explications concurrentes deviennent moins plausibles.

Le dessin est plus important que le nom de la méthode

Supposons qu’un article utilise une régression extrêmement sophistiquée mais compare seulement un hôpital avant et après une réforme à partir d’une mesure unique de chaque période.

Supposons qu’un autre article utilise une analyse statistique relativement simple mais bénéficie d’une véritable loterie administrative indépendante des caractéristiques des participants.

Le second peut fournir une bien meilleure identification causale.

Cela illustre un principe fondamental de l’inférence causale :

un bon dessin d’étude peut être plus précieux qu’une analyse mathématique très complexe appliquée à une mauvaise comparaison.

Le statisticien ne peut pas créer après coup une quasi-randomisation qui n’existait pas dans le mécanisme ayant produit les données.

« Expérience naturelle » n’est pas un label de qualité

Le terme est parfois utilisé de manière rhétorique.

Une réforme s’est produite.

On mesure quelque chose avant et après.

L’étude est présentée comme une « expérience naturelle ».

Mais si toutes les autres conditions ont changé simultanément et qu’aucun groupe ou mécanisme de comparaison crédible n’existe, la seule présence d’un événement extérieur ne suffit pas à identifier son effet.

Craig et ses collègues insistent précisément sur ce danger : même lorsqu’un effet important apparaît rapidement après une intervention naturelle, la confiance causale nécessite d’examiner soigneusement la sélection dans l’exposition et les explications alternatives, idéalement en ajoutant plusieurs éléments de dessin permettant de les tester.

Une expérience naturelle n’est donc pas trouvée uniquement parce qu’une politique a changé.

Elle doit être construite analytiquement à partir des particularités de ce changement.

Les expériences naturelles ont aussi leurs biais de sélection

Supposons qu’une nouvelle infrastructure sportive soit installée uniquement dans les quartiers ayant volontairement déposé un dossier particulièrement convaincant.

Comparer ensuite ces quartiers aux autres peut rester fortement confondu.

Les collectivités les plus organisées disposaient peut-être déjà de davantage de ressources, d’une population plus active ou d’une gouvernance différente.

Le changement était extérieur aux individus, mais l’exposition n’était pas indépendante de leurs caractéristiques.

Cette situation diffère fortement d’une loterie ou d’un seuil arbitraire.

Il faut donc reconstituer :

qui a été exposé ?

pourquoi ?

qui aurait pu être exposé mais ne l’a pas été ?

La crédibilité causale dépend énormément des réponses.

Les frontières géographiques peuvent fournir des comparaisons — parfois

Une nouvelle réglementation peut s’appliquer dans une région mais pas dans une région voisine.

Comparer des populations situées près de la frontière peut parfois être intéressant, puisque leur environnement économique ou culturel peut être relativement similaire tandis que la règle juridique diffère.

Mais « voisin » ne signifie pas « identique ».

La frontière peut elle-même correspondre à des différences importantes : institutions, fiscalité, système de santé, composition démographique ou histoire régionale.

Une comparaison géographique n’est donc quasi-expérimentale que lorsque les raisons pour lesquelles le territoire est différent sont suffisamment comprises et contrôlées.

Les dates administratives peuvent créer des seuils intéressants

Supposons qu’une réforme scolaire concerne uniquement les enfants nés après une certaine date.

Deux enfants nés à quelques jours d’intervalle peuvent être très semblables mais soumis à des règles différentes.

Cette structure peut être exploitée comme une discontinuité.

Mais là encore, il faut vérifier qu’aucune autre règle importante ne change exactement à la même date.

Si le seuil détermine simultanément l’entrée à l’école, un programme social et un calendrier de vaccination, il devient beaucoup plus difficile de savoir quel mécanisme produit le résultat.

Une quasi-expérience dépend donc toujours de l’exclusivité ou au moins de la compréhension de la variation exploitée.

Des tests de falsification renforcent la crédibilité

Puisque les hypothèses causales ne sont pas toutes directement vérifiables, les chercheurs peuvent chercher des conséquences qui devraient apparaître si leur dessin était biaisé.

Dans une RDD, on peut vérifier si d’autres caractéristiques des participants sautent mystérieusement au même seuil.

Dans une différence de différences, on peut examiner si une prétendue « intervention » placée à une date antérieure fictive produit déjà un effet.

Dans une série temporelle, on peut étudier des résultats que l’intervention ne devrait pas modifier.

Dans une étude géographique, on peut comparer plusieurs zones plus ou moins proches de la frontière.

Ces analyses sont souvent appelées tests placebo, contrôles négatifs ou tests de falsification.

Elles ne prouvent pas définitivement que le dessin est valide.

Mais elles peuvent faire échouer certaines explications concurrentes.

Nous retrouvons exactement la logique du test sévère.

Une belle figure ne suffit pas

Les quasi-expériences produisent souvent des graphiques particulièrement convaincants : deux tendances parallèles puis une divergence nette, ou une rupture spectaculaire au niveau d’un seuil.

Ces visualisations sont importantes.

Mais elles peuvent devenir trompeuses si l’échelle, la fenêtre temporelle ou la largeur autour du seuil sont choisies après avoir examiné les résultats.

Comme dans toute analyse, les décisions méthodologiques doivent être justifiées.

La revue systématique des RDD en santé a ainsi retrouvé 325 études répondant à ses critères, mais seulement 12 % satisfaisaient pleinement les huit critères de qualité utilisés par les auteurs.

Cette observation est instructive : une méthode réputée forte peut être mal appliquée.

Plus le dessin repose sur une rupture artificielle, plus il faut vérifier que cette rupture est réelle

Une RDD nécessite un véritable mécanisme de seuil.

Une série temporelle interrompue nécessite un moment d’intervention suffisamment identifiable.

Une différence de différences nécessite un groupe témoin plausible.

Une variable instrumentale nécessite un instrument réellement défendable.

Si ces éléments n’existent pas dans le monde réel, une méthode statistique portant le même nom ne peut pas les fabriquer.

Cette règle est capitale pour lire les études :

la stratégie d’identification doit provenir de la manière dont les données ont été produites, pas seulement du modèle statistique appliqué ensuite.

Certaines quasi-expériences identifient seulement un effet particulier

L’effet obtenu peut également concerner une population très précise.

Dans une RDD, il s’agit surtout des personnes proches du seuil.

Dans une analyse instrumentale, l’effet peut concerner principalement les individus dont l’exposition change réellement en réponse à l’instrument — selon les hypothèses et le cadre formel utilisés.

Dans une différence de différences, l’estimation dépend des groupes et périodes comparés.

Il faut donc éviter de convertir automatiquement un effet causal localement bien identifié en effet moyen universel.

Cette prudence prolonge directement notre discussion sur la validité externe.

Une quasi-expérience peut parfois être plus pertinente qu’un essai très artificiel

Il serait également erroné de considérer les quasi-expériences comme des substituts nécessairement inférieurs.

Un essai randomisé peut être très bien contrôlé mais concerner quelques centaines de volontaires particulièrement sélectionnés.

Une politique publique peut ensuite être appliquée à des millions de personnes.

Une quasi-expérience étudiant son implantation réelle peut alors apporter des informations sur l’efficacité en conditions ordinaires, les comportements d’adaptation et les effets à l’échelle de la population que l’essai initial ne pouvait pas fournir.

La question n’est donc pas seulement :

« Quelle étude se rapproche le plus de l’expérience idéale ? »

mais aussi :

« Quelle étude répond à la question qui nous intéresse réellement ? »

Une stratégie de preuve solide peut combiner essais randomisés, quasi-expériences et observations à grande échelle.

Une quasi-expérience réussie transforme une contrainte en avantage

Les chercheurs n’ont souvent aucun contrôle sur l’événement étudié.

Mais ils peuvent parfois exploiter une particularité de son déroulement.

Le traitement n’est disponible qu’après un seuil.

La politique n’est appliquée que dans certaines zones.

Le calendrier d’implantation varie.

Une loterie attribue les places disponibles.

La science utilise alors le mécanisme institutionnel lui-même comme outil de comparaison.

Ce principe explique l’importance qu’ont acquise les quasi-expériences en économie, en épidémiologie, en santé publique et dans l’évaluation des politiques.

L’intérêt scientifique vient moins de la sophistication du calcul que de l’ingéniosité avec laquelle une variation du monde réel est transformée en test causal.

Mais aucune quasi-expérience n’échappe aux hypothèses

L’expression « quasi-expérimental » peut donner l’impression qu’une étude observationnelle est devenue presque expérimentale et n’a plus besoin d’hypothèses.

C’est faux.

Chaque dessin déplace plutôt le problème vers une hypothèse structurante différente.

Dans une différence de différences : tendances parallèles.

Dans une discontinuité : continuité autour du seuil et absence de manipulation précise.

Dans une série interrompue : absence d’autre rupture pertinente au même moment.

Dans une variable instrumentale : validité de l’instrument.

La bonne lecture consiste donc à identifier l’hypothèse dont dépend principalement l’inférence, puis à demander comment elle est défendue.

La force vient souvent de la combinaison des contrôles

Une quasi-expérience devient particulièrement convaincante lorsque plusieurs éléments convergent.

Une série temporelle montre une rupture.

Une population témoin n’en montre aucune.

Les tendances étaient similaires avant l’intervention.

Un résultat que la politique ne devrait pas affecter reste stable.

Des analyses avec plusieurs fenêtres temporelles aboutissent aux mêmes conclusions.

Une autre région ayant adopté ultérieurement la politique présente une évolution comparable.

Aucune de ces observations n’est décisive isolément.

Ensemble, elles rendent plus difficiles les explications concurrentes.

Nous retrouvons une nouvelle fois le fil directeur de toute la méthode scientifique : la fiabilité vient rarement d’un label unique ; elle vient de contrôles partiellement indépendants qui convergent.

Comment lire une quasi-expérience

Lorsqu’une étude revendique une inférence causale quasi-expérimentale, plusieurs questions deviennent prioritaires.

Quelle circonstance extérieure crée la comparaison ?

Pourquoi l’exposition peut-elle être considérée comme suffisamment indépendante des caractéristiques initiales ?

Quel serait le contrefactuel si l’intervention n’avait pas eu lieu ?

Pourquoi le groupe ou la période de comparaison représente-t-il correctement ce contrefactuel ?

Quelle est l’hypothèse principale du dessin ?

Peut-elle être partiellement testée ?

D’autres événements se produisent-ils au même moment ?

Les individus peuvent-ils manipuler leur position autour du seuil ?

Les tendances étaient-elles comparables auparavant ?

Des tests placebo ou contrôles négatifs ont-ils été réalisés ?

Enfin, à quelle population l’effet effectivement identifié s’applique-t-il ?

Ces questions disent beaucoup plus que la simple présence du mot « quasi-expérimental » dans le titre.

Entre observation et expérimentation

Les quasi-expériences montrent finalement que la frontière entre « étude observationnelle » et « expérience » n’est pas toujours aussi nette qu’on l’imagine.

Dans un essai classique, le chercheur organise l’attribution.

Dans une expérience naturelle, le monde institutionnel ou physique produit l’attribution.

Dans une quasi-expérience, le chercheur exploite ensuite cette structure pour créer une comparaison.

La différence centrale n’est donc pas seulement :

« le chercheur a-t-il manipulé quelque chose ? »

Elle est :

« pourquoi les groupes comparés diffèrent-ils dans leur exposition, et cette raison permet-elle d’isoler suffisamment l’effet causal recherché ? »

Une loterie répond parfois remarquablement bien à cette question.

Un seuil administratif peut également fournir une excellente comparaison locale.

Une simple réforme avant-après peut au contraire y répondre très mal.

L’expérience idéale reste une référence, pas une obligation

Pour évaluer ces études, il est souvent utile d’imaginer l’essai randomisé hypothétique auquel elles cherchent à se substituer.

Quelle population aurait été incluse ?

Quelles interventions auraient été assignées ?

À quel moment aurait commencé le suivi ?

Quel résultat aurait été mesuré ?

Quel serait le groupe témoin ?

La quasi-expérience peut ensuite être évaluée selon la manière dont la variation disponible rapproche ou éloigne l’étude de cette comparaison idéale.

Mais l’objectif n’est pas de déclarer toute étude non randomisée inférieure.

Il est de rendre explicite ce qui permet malgré tout l’interprétation causale.

Ce que les quasi-expériences enseignent sur la méthode scientifique

Ces méthodes révèlent un aspect particulièrement important de la démarche scientifique : il n’existe pas une unique procédure permettant de découvrir les causes.

Lorsque la randomisation est possible et éthiquement acceptable, elle constitue souvent un outil très puissant.

Lorsqu’elle ne l’est pas, la recherche peut exploiter des seuils, des calendriers, des loteries, des changements institutionnels ou des variations géographiques.

Mais chaque stratégie doit gagner sa crédibilité en montrant pourquoi les principales explications concurrentes deviennent improbables.

La causalité n’est donc ni conférée magiquement par le mot « expérience », ni interdite par l’absence de randomisation.

Elle dépend de la qualité de la comparaison causale que l’étude parvient réellement à construire.


À retenir

Une expérience naturelle exploite une variation de l’exposition produite par un événement ou un processus extérieur au chercheur. Une réforme, une loterie, une règle administrative ou une frontière peuvent ainsi créer des groupes exposés différemment. Mais le caractère « naturel » de l’événement ne garantit pas la comparabilité : la sélection dans l’exposition et les explications alternatives doivent être examinées explicitement.

Les quasi-expériences exploitent des structures particulières permettant de renforcer l’inférence causale en l’absence d’un essai randomisé classique. Parmi les principaux plans figurent les régressions sur discontinuité, les différences de différences, les séries temporelles interrompues et les variables instrumentales. Chacun repose cependant sur des hypothèses spécifiques, parfois fortes et seulement partiellement vérifiables.

La loterie de Medicaid en Oregon représente un cas exceptionnellement fort : l’opportunité de demander la couverture avait réellement été attribuée au hasard, permettant aux chercheurs d’exploiter une véritable randomisation créée par la politique publique plutôt que par l’équipe scientifique.

Une régression sur discontinuité compare notamment des individus proches de part et d’autre d’un seuil d’éligibilité ; elle peut fournir une inférence causale très robuste si le seuil n’est pas précisément manipulable et si les autres déterminants du résultat évoluent continûment autour de celui-ci. Son effet est toutefois généralement local au voisinage du seuil.

Enfin, l’étiquette « quasi-expérimental » n’est jamais un certificat de causalité. La question fondamentale reste :

« Quelle particularité du monde réel rend ici la comparaison crédible, et quelles autres explications pourraient encore produire le même résultat ? »

Sources et références

  • Craig, Peter et al., « Natural Experiments: An Overview of Methods, Approaches, and Contributions to Public Health Intervention Research », *Annual Review of Public Health*, 2017, 38:39–56, DOI 10.1146/annurev-publhealth-031816-044327.
  • Handley, Margaret A., Lyles, Courtney R., McCulloch, Charles & Cattamanchi, Adithya, « Selecting and Improving Quasi-Experimental Designs in Effectiveness and Implementation Research », sur les séries temporelles interrompues, différences de différences, contrôles synthétiques, variables instrumentales et autres stratégies quasi-expérimentales.
  • Kim, Yongnam & Steiner, Peter M., « Quasi-Experimental Designs for Causal Inference », *Educational Psychologist*, présentation des principaux dessins quasi-expérimentaux et de leurs hypothèses d’identification.
  • Calonico, Sebastian et al., « Regression discontinuity design studies: a guide for health researchers », *BMJ*, 2024;384:e072254, DOI 10.1136/bmj-2022-072254.
  • Moscoe, Ellen, Bor, Jacob & Bärnighausen, Till et al., travaux méthodologiques et revues systématiques sur les regression discontinuity designs en épidémiologie et santé publique.
  • Baicker, Katherine et al., « The Oregon Experiment — Effects of Medicaid on Clinical Outcomes », *New England Journal of Medicine*, 2013;368:1713–1722, DOI 10.1056/NEJMsa1212321.
  • Baicker, Katherine & Finkelstein, Amy, « The Effects of Medicaid Coverage — Learning from the Oregon Experiment », *New England Journal of Medicine*, 2011;365:683–685, DOI 10.1056/NEJMp1108222.
17 sur 39Retour à la catégorie