Études quasi expérimentales
Les études quasi expérimentales cherchent à estimer l’effet causal d’une intervention lorsqu’une randomisation véritable n’est pas possible.
Elles sont particulièrement utilisées pour évaluer :
- politiques publiques ;
- changements de réglementation ;
- réformes hospitalières ;
- campagnes sanitaires ;
- interventions éducatives ;
- changements environnementaux.
Le principe général consiste à construire une comparaison suffisamment crédible pour approcher la question contrefactuelle :
« Que se serait-il passé si cette intervention n’avait pas eu lieu ? »
La difficulté est que, contrairement à un essai randomisé, les groupes ne sont pas constitués par tirage au sort.
Pourquoi utiliser une approche quasi expérimentale ?
De nombreuses interventions ne peuvent pas être randomisées.
Un gouvernement peut décider d’interdire un produit à une date donnée.
Une ville peut modifier sa politique de transport.
Un hôpital peut changer son organisation.
Une région peut appliquer une nouvelle réglementation.
Dans ces situations, les chercheurs n’ont pas choisi expérimentalement qui reçoit l’intervention.
Ils peuvent néanmoins exploiter la structure de la situation pour construire une comparaison.
L’idée centrale : créer un contrefactuel crédible
Supposons qu’un pays introduise une taxe sur le tabac et que les hospitalisations cardiovasculaires diminuent ensuite.
La simple comparaison :
avant la taxe / après la taxe
ne suffit pas.
La diminution peut également être liée à :
- amélioration des traitements ;
- baisse générale du tabagisme ;
- changement démographique ;
- autre politique sanitaire.
Il faut donc essayer d’estimer ce qui se serait probablement passé en l’absence de la taxe.
C’est le problème central de toute inférence causale.
Avant-après simple
La forme la plus élémentaire est une comparaison avant-après.
On mesure un indicateur avant l’intervention, puis après.
Par exemple :
| Période | Hospitalisations mensuelles |
|---|---|
| Avant intervention | 1 000 |
| Après intervention | 800 |
On observe une baisse de 20 %.
Mais cette méthode est très vulnérable aux changements qui auraient eu lieu de toute façon.
Elle constitue souvent un premier indice, pas une preuve causale solide.
Pourquoi le « avant-après » est dangereux
Supposons qu’une campagne contre la grippe soit lancée précisément au moment où l’épidémie atteint naturellement son pic.
Les cas diminuent ensuite.
On pourrait attribuer cette baisse à la campagne.
Mais les épidémies finissent souvent par diminuer même sans intervention.
Sans comparaison, il est impossible de distinguer :
effet de l’intervention
et
évolution naturelle du phénomène.
Groupe de comparaison
Une amélioration importante consiste à utiliser une population qui n’a pas reçu l’intervention.
Supposons :
- région A : nouvelle politique ;
- région B : politique inchangée.
On compare leur évolution.
Si les deux régions étaient auparavant similaires et que seule A change brutalement après l’intervention, l’hypothèse causale devient plus crédible.
Mais il faut encore vérifier que rien d’autre n’a changé spécifiquement dans A.
Différence de différences
Une méthode très utilisée est la différence de différences, ou difference-in-differences.
Elle compare l’évolution d’un groupe exposé à l’intervention à l’évolution d’un groupe contrôle.
Imaginons :
| Avant | Après | Évolution | |
|---|---|---|---|
| Région intervention | 100 | 70 | −30 |
| Région contrôle | 90 | 80 | −10 |
La région intervention a diminué de 30 unités.
Mais le groupe contrôle a lui-même diminué de 10.
L’effet supplémentaire associé à l’intervention est donc approximativement :
−30 − (−10) = −20.
La méthode cherche ainsi à soustraire la tendance générale.
L’hypothèse des tendances parallèles
La différence de différences repose sur une hypothèse cruciale :
sans intervention, les deux groupes auraient suivi des tendances comparables.
On parle d’hypothèse des tendances parallèles.
On ne peut pas l’observer directement après l’intervention, puisque le contrefactuel n’existe pas.
Mais on peut examiner plusieurs années avant l’intervention.
Si les tendances étaient déjà très différentes avant, le groupe contrôle est probablement mauvais.
Exemple
Supposons que deux régions connaissent depuis cinq ans une diminution régulière de 2 % par an des admissions hospitalières.
L’une introduit ensuite une intervention et sa baisse passe brutalement à 8 % par an tandis que l’autre reste autour de 2 %.
Cette rupture est compatible avec un effet de l’intervention.
Elle est beaucoup plus informative qu’une simple observation avant-après dans la région traitée.
Séries temporelles interrompues
Une autre méthode importante est la série temporelle interrompue.
On dispose de nombreuses mesures avant et après une intervention.
On cherche à déterminer si celle-ci correspond à :
- un changement brutal de niveau ;
- un changement de tendance ;
- les deux.
Par exemple, on suit mensuellement pendant dix ans les prescriptions d’antibiotiques, puis une nouvelle réglementation entre en vigueur.
Exemple de série temporelle
Avant l’intervention, les prescriptions diminuent lentement de 1 % par an.
Après l’intervention, elles chutent immédiatement de 15 %, puis continuent à diminuer.
Une analyse de série temporelle permet de distinguer :
la tendance déjà présente
du
changement associé au moment de l’intervention.
Cette méthode peut être très puissante lorsque de nombreuses observations pré-intervention sont disponibles.
Une seule mesure avant et après est insuffisante
Supposons :
janvier : 1 000 cas
février : intervention
mars : 800 cas.
La variation peut n’être qu’une fluctuation.
Avec plusieurs années de données mensuelles, on peut mieux connaître :
- variation habituelle ;
- saisonnalité ;
- tendance de fond.
La profondeur temporelle améliore fortement l’interprétation.
Régression discontinue
La régression discontinue exploite une règle comportant un seuil précis.
Supposons qu’un programme médical soit réservé aux personnes ayant un score de risque supérieur ou égal à 50.
Une personne avec un score de 49 ne reçoit pas le programme.
Une personne avec 50 le reçoit.
Ces deux personnes sont probablement très similaires, sauf pour leur accès à l’intervention.
On peut donc comparer les individus proches du seuil.
Pourquoi cette méthode peut être puissante
Autour du seuil, l’attribution peut devenir presque arbitraire du point de vue des autres caractéristiques.
Si le risque de maladie change brutalement exactement à partir du seuil d’accès au programme, cela peut fournir une preuve causale forte.
Mais cette méthode estime surtout l’effet chez les personnes proches du seuil, pas nécessairement dans toute la population.
Le seuil doit être réellement appliqué
Si les médecins contournent fréquemment la règle et donnent le traitement aux personnes juste en dessous du seuil, la comparaison devient moins nette.
La force de la méthode dépend donc du caractère suffisamment déterministe de la règle d’attribution.
Variables instrumentales
Les méthodes quasi expérimentales peuvent parfois utiliser une variable instrumentale.
L’idée est d’identifier un facteur qui influence la probabilité de recevoir une exposition sans influencer directement l’issue autrement que par cette exposition.
Exemple simplifié :
la distance à un centre spécialisé peut influencer la probabilité de recevoir un traitement particulier.
Si cette distance n’a pas d’autre effet pertinent sur le résultat, elle peut parfois servir d’instrument.
Une méthode conceptuellement puissante mais exigeante
Les variables instrumentales reposent sur des hypothèses très fortes.
L’instrument doit :
- influencer réellement l’exposition ;
- ne pas partager de causes cachées importantes avec le résultat ;
- ne pas affecter directement le résultat par une autre voie.
Ces conditions sont souvent difficiles à démontrer.
Une analyse instrumentale n’est donc pas automatiquement crédible parce qu’elle utilise une technique sophistiquée.
Expérience naturelle et quasi-expérimental
Les deux notions se recouvrent partiellement.
Une expérience naturelle désigne généralement une situation où un événement extérieur crée une variation d’exposition proche d’une expérience.
Une étude quasi expérimentale désigne davantage la méthode utilisée pour analyser cette variation.
Par exemple, une réforme appliquée dans une région mais pas dans une autre peut constituer une expérience naturelle et être analysée par différence de différences.
La fiche suivante sera consacrée plus précisément aux expériences naturelles.
Réformes politiques
Les politiques publiques fournissent de nombreux exemples.
On peut étudier l’impact de :
- interdiction de fumer dans les lieux publics ;
- taxe sur les boissons sucrées ;
- changement de limitation de vitesse ;
- extension d’une couverture vaccinale ;
- modification de l’âge légal d’accès à un produit.
Ces interventions seraient souvent impossibles à évaluer par randomisation individuelle.
Exemple : interdiction de fumer
Supposons qu’une région interdise le tabagisme dans les restaurants.
On observe ensuite une baisse des admissions pour infarctus.
La conclusion causale devient plus crédible si :
- la baisse commence au moment de la réglementation ;
- la tendance était stable auparavant ;
- des régions comparables sans interdiction ne connaissent pas la même baisse ;
- aucun autre changement majeur ne survient simultanément.
Plus ces conditions sont réunies, plus l’interprétation est robuste.
Choc externe
Certains événements créent des variations d’exposition indépendantes des choix individuels.
Par exemple :
- fermeture soudaine d’une usine polluante ;
- modification administrative d’une frontière ;
- catastrophe naturelle ;
- pénurie temporaire d’un médicament.
Ces situations peuvent offrir une occasion exceptionnelle d’étudier certains effets.
Mais elles introduisent souvent elles-mêmes plusieurs changements simultanés.
Le grand problème : d’autres choses changent en même temps
Supposons qu’une ville introduise une zone à faibles émissions.
Au même moment :
- nouveaux bus électriques ;
- piste cyclable ;
- campagne de mobilité ;
- prix du carburant augmente.
Si la pollution diminue, attribuer l’ensemble du changement à la seule zone réglementée devient difficile.
C’est le problème des co-interventions.
Régression vers la moyenne
Les interventions sont souvent déclenchées parce qu’un indicateur est exceptionnellement mauvais.
Supposons qu’un hôpital adopte un nouveau programme après une année où son taux d’infection a atteint un niveau inhabituellement élevé.
L’année suivante, le taux diminue.
Une partie de cette baisse peut simplement correspondre à une régression vers la moyenne.
Les valeurs extrêmes sont souvent suivies de valeurs moins extrêmes même sans intervention.
Exemple
Un service connaît habituellement entre 8 et 12 infections par mois.
Un mois exceptionnel en compte 20.
Une intervention est immédiatement lancée.
Le mois suivant, il n’y en a que 11.
Il serait imprudent d’attribuer automatiquement les 9 infections « évitées » au programme.
Une comparaison sur une longue période est nécessaire.
Saison et quasi-expériences
Les phénomènes sanitaires sont souvent saisonniers.
Comparer :
hiver avant intervention
à
été après intervention
peut produire une amélioration qui n’a rien à voir avec le programme.
Les méthodes doivent donc prendre en compte :
- saisonnalité ;
- jours de semaine ;
- tendances calendaires.
C’est particulièrement important pour les infections respiratoires ou certaines hospitalisations.
Anticipation de l’intervention
Les comportements peuvent changer avant l’entrée en vigueur officielle d’une politique.
Supposons qu’une taxe soit annoncée six mois avant son application.
Les consommateurs et entreprises peuvent commencer à modifier leur comportement immédiatement.
Si l’analyse utilise uniquement la date officielle comme rupture, elle risque de mal estimer le véritable début de l’effet.
Effets retardés
À l’inverse, certaines interventions mettent du temps à produire leur effet.
Une campagne alimentaire ne modifie pas nécessairement la mortalité cardiovasculaire dès la semaine suivante.
La période de latence attendue doit être biologiquement plausible.
Chercher un effet trop tôt ou trop tard peut conduire à une mauvaise interprétation.
Tester des résultats « placebo »
Une manière d’évaluer la crédibilité d’une analyse consiste à chercher un effet là où il ne devrait pas apparaître.
Supposons qu’une politique entre en vigueur en 2020.
On peut tester artificiellement une « fausse intervention » en 2018.
Si l’analyse détecte également un énorme effet à cette date fictive, le modèle est probablement capturé par autre chose que la vraie intervention.
Ces tests placebo sont très utiles.
Résultats négatifs de contrôle
On peut également étudier un résultat qui ne devrait pas être affecté par l’intervention.
Si une politique visant la pollution semble simultanément réduire un événement complètement sans rapport biologique, cela peut signaler un facteur de confusion ou un problème dans l’analyse.
Les contrôles négatifs aident à détecter certaines explications alternatives.
Comparateur synthétique
Lorsqu’aucune région unique ne constitue un bon témoin, il est parfois possible de créer un contrôle synthétique.
Supposons qu’un pays adopte une politique unique.
On construit statistiquement une combinaison pondérée d’autres pays qui reproduisait bien sa trajectoire avant l’intervention.
Ce « pays synthétique » sert ensuite de contrefactuel.
On compare l’évolution réelle après intervention à celle de ce contrôle construit.
Exemple schématique
Avant une réforme, le pays A évolue presque exactement comme une combinaison de :
- 40 % du pays B ;
- 35 % du pays C ;
- 25 % du pays D.
Après la réforme, A diverge fortement de cette trajectoire synthétique.
Cette divergence peut fournir une estimation de l’effet.
Mais la méthode dépend toujours de l’hypothèse qu’aucun facteur spécifique non mesuré n’a simultanément changé dans A.
Correspondance statistique
On peut aussi tenter de rendre groupes intervention et contrôle plus comparables grâce au matching.
Par exemple, chaque personne exposée est comparée à une personne non exposée ayant :
- même âge ;
- même sexe ;
- même niveau de risque ;
- caractéristiques similaires.
Cette méthode réduit certaines différences observées.
Mais elle ne corrige pas les facteurs non mesurés.
Le matching ne recrée donc pas une véritable randomisation.
Score de propension
Le score de propension estime la probabilité de recevoir l’intervention à partir des caractéristiques mesurées.
On peut ensuite :
- apparier ;
- pondérer ;
- stratifier.
Le but est de rendre les groupes plus similaires sur ces caractéristiques.
Mais la règle fondamentale reste :
on ne peut ajuster que sur ce que l’on a correctement mesuré.
Une variable cachée peut toujours produire de la confusion.
Sophistication statistique et crédibilité causale
Une analyse comprenant des modèles complexes peut sembler extrêmement convaincante.
Mais la question essentielle reste conceptuelle :
Pourquoi le groupe contrôle représente-t-il correctement ce qui serait arrivé au groupe intervention sans intervention ?
Si aucune bonne réponse n’existe, la sophistication du modèle ne résout pas le problème.
L’identification causale repose d’abord sur la structure de comparaison.
Forces des études quasi expérimentales
Elles permettent :
- d’étudier des interventions impossibles à randomiser ;
- d’évaluer des politiques réelles ;
- d’utiliser de grandes bases de données ;
- d’exploiter des ruptures temporelles ou administratives ;
- de se rapprocher parfois fortement d’une expérience.
Dans certaines situations, elles produisent des preuves causales remarquablement fortes.
Limites principales
Leurs principales difficultés sont :
- absence de randomisation réelle ;
- facteurs de confusion ;
- tendances différentes entre groupes ;
- co-interventions ;
- régression vers la moyenne ;
- choix opportuniste des périodes ou comparateurs.
La crédibilité dépend donc fortement des hypothèses utilisées.
Une quasi-expérience peut parfois être plus informative qu’une mauvaise expérience
Il ne faut pas utiliser une hiérarchie rigide.
Un excellent changement réglementaire analysé sur des millions de personnes avec un groupe contrôle très comparable peut être extrêmement convaincant.
À l’inverse, un petit essai randomisé comportant de graves problèmes de suivi peut être peu informatif.
La randomisation reste un avantage majeur, mais la force d’une preuve dépend de l’ensemble de la conception.
Covid et quasi-expériences
Pendant la pandémie de Covid-19, de nombreuses interventions ont été introduites sans randomisation :
- restrictions de rassemblement ;
- fermetures ;
- règles de masque ;
- politiques scolaires.
Les chercheurs ont tenté d’évaluer leurs effets à partir :
- séries temporelles ;
- comparaisons régionales ;
- différences de différences ;
- expériences naturelles.
Ces études étaient nécessaires, mais particulièrement difficiles à interpréter parce que plusieurs mesures étaient souvent introduites simultanément et que les comportements changeaient spontanément.
« Après donc à cause de »
Les études quasi expérimentales sont précisément conçues pour dépasser le raisonnement :
« B survient après A, donc A a causé B. »
Le simple ordre temporel est nécessaire à la causalité, mais il ne suffit pas.
Une bonne quasi-expérience cherche à montrer que la rupture observée est plus forte que celle que l’on aurait raisonnablement attendue sans intervention.
Une leçon d’esprit critique
Lorsqu’une politique est suivie d’une amélioration spectaculaire, la première question ne devrait pas être seulement :
« L’indicateur a-t-il diminué après ? »
mais :
« Qu’aurait-il probablement fait sans la politique ? »
Il faut alors examiner :
Quelle était la tendance avant ?
Existe-t-il un groupe de comparaison ?
Les groupes évoluaient-ils parallèlement auparavant ?
D’autres changements sont-ils survenus simultanément ?
La rupture correspond-elle précisément au calendrier attendu ?
Ces questions transforment une simple observation historique en véritable raisonnement causal.
À retenir
Les études quasi expérimentales cherchent à évaluer causalement une intervention sans randomisation véritable.
Elles utilisent des structures particulières du monde réel pour construire un contrefactuel crédible.
Parmi les principales méthodes figurent :
- comparaisons contrôlées avant-après ;
- différence de différences ;
- séries temporelles interrompues ;
- régression discontinue ;
- contrôles synthétiques ;
- certaines approches par variables instrumentales.
Elles sont particulièrement importantes pour évaluer les politiques publiques et interventions populationnelles.
Leur force dépend moins de la complexité statistique que de la qualité de la comparaison contrefactuelle.
La question centrale reste toujours :
« Pourquoi devrions-nous croire que ce groupe, cette tendance ou ce seuil nous indique réellement ce qui se serait passé sans l’intervention ? »
Pour aller plus loin
Cook et Campbell — Quasi-Experimentation: Design & Analysis Issues for Field Settings. Une référence historique majeure sur le raisonnement quasi expérimental.
Angrist et Pischke — Mostly Harmless Econometrics. Une introduction influente aux méthodes d’identification causale utilisant des variations quasi expérimentales.
Bernal, Cummins et Gasparrini — travaux méthodologiques sur les séries temporelles interrompues. Des références particulièrement utiles pour l’évaluation des interventions de santé publique.
Cochrane Effective Practice and Organisation of Care — ressources sur les études non randomisées et séries temporelles interrompues. Une référence pratique pour évaluer la qualité méthodologique de ces études.