Causalité, randomisation et expériences naturelles : comment savoir si une intervention produit réellement un effet ?

Observer une différence ne suffit pas

Une étude montre que les personnes ayant reçu une intervention obtiennent de meilleurs résultats que celles qui ne l’ont pas reçue. Il est tentant d’en conclure que l’intervention a produit cette amélioration. Mais les deux groupes peuvent différer avant même l’intervention.

Les personnes qui suivent une formation peuvent être :

  • plus motivées ;
  • mieux informées ;
  • davantage soutenues ;
  • moins exposées à certaines difficultés.

Les patients recevant un traitement particulier peuvent être plus malades, plus jeunes ou mieux suivis que les autres. Les communes adoptant une politique publique peuvent rencontrer des problèmes différents de celles qui ne l’adoptent pas.

La différence finale peut donc venir :

  • de l’intervention ;
  • de différences initiales ;
  • d’un événement extérieur ;
  • d’une sélection ;
  • d’une modification de la mesure ;
  • d’une combinaison de plusieurs facteurs.

Pour établir une relation causale, il faut répondre à une question plus exigeante :

Que se serait-il passé pour les mêmes personnes, au même moment et dans les mêmes conditions, si elles n’avaient pas reçu l’intervention ?

Cette situation alternative est appelée contrefactuel. Elle ne peut pas être directement observée. Une personne ne peut pas simultanément recevoir et ne pas recevoir le même traitement au même moment. Toute inférence causale cherche donc à construire une comparaison crédible représentant ce scénario non observé. La question centrale n’est pas simplement :

« Les groupes sont-ils différents après l’intervention ? »

mais :

« La comparaison permet-elle d’estimer ce qui se serait produit en l’absence de l’intervention ? »


Le problème fondamental de l’inférence causale

Pour chaque individu, nous pouvons imaginer au moins deux résultats potentiels :

  • le résultat s’il reçoit l’intervention ;
  • le résultat s’il ne la reçoit pas.

L’effet causal individuel correspond à la différence entre ces deux résultats. Mais nous n’en observons qu’un seul.

Si une personne reçoit le traitement, nous observons son résultat traité. Son résultat non traité reste contrefactuel. Si elle ne le reçoit pas, la situation est inversée. Cette impossibilité est parfois appelée problème fondamental de l’inférence causale. La science ne peut donc généralement pas mesurer directement l’effet causal individuel. Elle cherche plutôt à estimer des effets moyens dans des groupes :

  • effet moyen dans la population ;
  • effet moyen parmi les personnes traitées ;
  • effet moyen dans un sous-groupe ;
  • effet d’une politique dans un contexte donné.

La validité de cette estimation dépend de la qualité de la comparaison entre les résultats observés et les résultats contrefactuels reconstruits.


Le groupe de contrôle

Un groupe de contrôle sert à représenter ce qui se serait produit sans l’intervention. Pour jouer correctement ce rôle, il doit être comparable au groupe traité sur toutes les caractéristiques influençant le résultat. Supposons que des patients recevant un nouveau traitement guérissent plus souvent que les patients ne le recevant pas. Le groupe de contrôle est utile seulement si les groupes ne diffèrent pas systématiquement par :

  • âge ;
  • gravité initiale ;
  • diagnostic ;
  • accès aux soins ;
  • comorbidités ;
  • comportements ;
  • durée du suivi.

Plus les groupes sont comparables, plus leur différence finale peut être raisonnablement attribuée à l’intervention. Mais l’égalité parfaite est impossible.

La randomisation cherche à rendre ces différences indépendantes de l’attribution du traitement.


La randomisation

Dans un essai randomisé, l’attribution au groupe traité ou au groupe de contrôle est déterminée par un mécanisme aléatoire. Chaque participant possède une probabilité connue de recevoir l’intervention. La randomisation ne rend pas les individus identiques. Elle rend l’attribution du traitement indépendante, en moyenne, de leurs caractéristiques antérieures. Elle tend donc à répartir entre les groupes :

  • facteurs connus ;
  • facteurs inconnus ;
  • caractéristiques mesurées ;
  • caractéristiques non mesurées.

Cette propriété constitue son avantage principal.

Dans une étude observationnelle, un facteur inconnu peut expliquer l’association. Dans un essai correctement randomisé, les facteurs antérieurs ne devraient pas être systématiquement liés à l’attribution du traitement, sauf fluctuation aléatoire ou défaut de procédure.


La randomisation ne garantit pas l’équilibre parfait

Dans un échantillon particulier, les groupes randomisés peuvent différer par hasard.

Un groupe peut contenir davantage :

  • de personnes âgées ;
  • de cas graves ;
  • de participants présentant un facteur de risque.

La randomisation garantit une propriété de la procédure, non une identité parfaite dans chaque expérience. Plus l’échantillon est grand, plus les déséquilibres majeurs deviennent généralement moins probables. Mais un déséquilibre observé ne prouve pas que la randomisation a échoué. Inversement, un bon équilibre sur quelques variables mesurées ne prouve pas qu’une étude non randomisée soit équivalente à une expérience. La force de la randomisation vient de la méthode d’attribution, pas uniquement de la ressemblance visible des groupes.


Pourquoi ne pas simplement équilibrer les variables connues ?

Une étude observationnelle peut chercher à construire deux groupes comparables selon :

  • âge ;
  • sexe ;
  • revenu ;
  • état de santé ;
  • niveau initial.

Cette stratégie réduit certains biais. Mais elle ne contrôle que les variables :

  • identifiées ;
  • mesurées ;
  • correctement modélisées.

Un facteur non mesuré peut continuer à expliquer la différence.

La randomisation agit aussi sur les facteurs inconnus, à condition que la procédure soit correctement réalisée et que les groupes restent comparables après l’attribution. Elle ne supprime pas toute incertitude, mais elle réduit fortement la dépendance à une connaissance complète des causes du résultat.


L’assignation aléatoire et l’échantillonnage aléatoire

Deux notions sont souvent confondues.

Échantillonnage aléatoire

Les personnes sont sélectionnées aléatoirement dans une population.

Cette procédure aide à généraliser les résultats à cette population.

Assignation aléatoire

Les participants déjà recrutés sont répartis aléatoirement entre les groupes.

Cette procédure aide à estimer un effet causal à l’intérieur de l’étude.

Une expérience peut avoir une excellente assignation aléatoire mais utiliser un échantillon très particulier, par exemple des volontaires jeunes et en bonne santé.

Elle possède alors une forte validité causale interne, mais une généralisation limitée.

Inversement, une enquête représentative sans assignation aléatoire peut décrire correctement une population sans établir facilement une causalité.


Le placebo

Dans un essai thérapeutique, le groupe de contrôle peut recevoir un placebo ressemblant au traitement sans contenir son composant actif.

Le placebo permet de contrôler plusieurs effets :

  • attente ;
  • attention médicale ;
  • rituel de soin ;
  • comportement du patient ;
  • perception des symptômes.

La comparaison ne porte alors pas simplement sur :

traitement contre absence de traitement,

mais sur :

composant actif ajouté à une situation de soin comparable.

Cette distinction est particulièrement importante lorsque les résultats sont sensibles aux attentes, comme :

  • douleur ;
  • fatigue ;
  • anxiété ;
  • satisfaction.

L’effet placebo ne signifie pas que la maladie est imaginaire

Un effet lié au contexte du traitement peut produire des modifications réelles.

Les attentes, la relation thérapeutique ou le conditionnement peuvent influencer :

  • perception ;
  • comportement ;
  • symptômes ;
  • certaines réponses physiologiques.

Dire qu’une amélioration possède une composante placebo ne signifie pas qu’elle serait inventée.

La question scientifique est de distinguer :

  • effet spécifique du traitement ;
  • effet du contexte ;
  • évolution naturelle ;
  • retour à la moyenne ;
  • biais de mesure.

L’aveuglement

Dans une étude en aveugle, les participants, les soignants, les évaluateurs ou les analystes ignorent l’attribution des groupes. L’aveuglement réduit les différences produites après la randomisation. Un participant connaissant son traitement peut modifier :

  • ses attentes ;
  • ses déclarations ;
  • son comportement.

Un soignant peut accorder davantage d’attention à un groupe. Un évaluateur peut interpréter différemment une situation ambiguë. L’aveuglement protège donc contre certains biais de mesure et de traitement. Il n’est cependant pas toujours possible. Une personne sait généralement si elle suit une psychothérapie, une formation ou une politique particulière.


L’absence d’aveuglement ne détruit pas automatiquement l’étude

Lorsque l’aveuglement est impossible, la force de la preuve dépend notamment :

  • de l’objectivité du critère ;
  • de l’automatisation de la mesure ;
  • de l’aveuglement de l’évaluateur ;
  • de la symétrie du suivi ;
  • de la transparence.

Un résultat comme la mortalité est généralement moins sensible à l’interprétation qu’un jugement subjectif sur l’amélioration. Mais même une mesure apparemment objective peut dépendre :

  • de la fréquence des examens ;
  • de la décision de rechercher un événement ;
  • de la classification.

Il faut donc examiner la chaîne complète de production du résultat.


L’intervention de contrôle

Le bon groupe de contrôle dépend de la question.

Comparer un traitement à aucune intervention répond à :

Le traitement fait-il mieux que l’absence de prise en charge ?

Comparer le traitement à un placebo répond davantage à :

Son composant spécifique produit-il un effet supplémentaire ?

Comparer deux traitements actifs répond à :

Le nouveau traitement fait-il mieux, aussi bien ou moins bien que la pratique existante ?

Ces questions ne sont pas interchangeables.

Une intervention peut être supérieure à l’absence de traitement tout en ne pas être supérieure à un traitement déjà disponible.


L’analyse en intention de traiter

L’analyse en intention de traiter compare les participants selon le groupe auquel ils ont été initialement assignés. Elle conserve donc l’avantage de la randomisation, même si certains participants :

  • ne suivent pas le traitement ;
  • changent de groupe ;
  • arrêtent l’intervention.

Cette analyse estime l’effet d’une stratégie d’attribution dans les conditions réelles de l’essai. Elle répond à une question pratique :

Quel est l’effet d’offrir ou d’assigner cette intervention à une population ?

Elle peut néanmoins sous-estimer l’effet biologique de la prise effective si de nombreux participants ne suivent pas le protocole.


L’analyse per protocole

L’analyse per protocole conserve uniquement les participants ayant suffisamment respecté le traitement prévu. Elle cherche à estimer l’effet dans des conditions d’adhésion plus idéales. Mais elle perd une partie de la protection de la randomisation.

Les participants observants peuvent être :

  • plus motivés ;
  • moins malades ;
  • mieux soutenus ;
  • moins affectés par les effets indésirables.

La comparaison devient alors partiellement observationnelle.

Les deux analyses répondent à des questions différentes. Il ne faut pas choisir après coup uniquement celle qui produit le résultat le plus favorable.


La non-observance comme phénomène causal

L’observance n’est pas seulement une imperfection méthodologique. Elle peut faire partie de l’efficacité pratique d’un traitement.

Une intervention peut être biologiquement très efficace mais :

  • trop contraignante ;
  • difficile à comprendre ;
  • mal tolérée ;
  • inaccessible.

Son efficacité réelle dans une population sera alors limitée.

Distinguer efficacité idéale et effectivité pratique permet d’éviter de transformer l’échec d’utilisation en simple faute du patient.


La contamination entre groupes

Les participants du groupe de contrôle peuvent être exposés à l’intervention. Par exemple :

  • des enseignants échangent leurs méthodes ;
  • des patients accèdent au traitement ailleurs ;
  • une campagne publique atteint les deux groupes.

Cette contamination réduit la différence entre groupes. Elle peut conduire à sous-estimer l’effet. Mais tenter d’exclure après coup les participants contaminés peut introduire un biais de sélection.

La prévention et l’analyse de la contamination doivent donc être prévues dans le protocole.


Les pertes de suivi

La randomisation protège la comparaison au moment de l’attribution. Elle ne garantit pas que les groupes restent comparables si les abandons diffèrent. Supposons que les participants subissant des effets indésirables quittent plus souvent le groupe traité. Si leurs résultats disparaissent de l’analyse, le traitement paraît plus sûr ou plus efficace qu’il ne l’est. Il faut examiner :

  • le taux de perte ;
  • ses raisons ;
  • sa répartition ;
  • les scénarios plausibles pour les données manquantes.

Une faible valeur de *p* ne corrige pas une attrition fortement sélective.


Les événements survenant après la randomisation

Plusieurs variables apparaissent après l’attribution :

  • observance ;
  • changement de traitement ;
  • effet indésirable ;
  • hospitalisation ;
  • abandon.

Conditionner l’analyse sur ces variables peut créer des biais. Par exemple, comparer uniquement les participants ayant survécu assez longtemps pour terminer l’intervention sélectionne un groupe influencé par le traitement et par l’état de santé.

La randomisation initiale ne protège pas nécessairement les sous-groupes définis après le traitement.


L’effet moyen du traitement

Un essai randomisé estime généralement un effet moyen. Cet effet peut cacher une grande diversité.

Le traitement peut :

  • aider fortement certains participants ;
  • ne rien changer chez d’autres ;
  • nuire à une minorité.

Une moyenne positive ne garantit pas un bénéfice individuel universel.

L’analyse de l’hétérogénéité est donc importante. Mais les sous-groupes doivent être examinés avec prudence pour éviter les faux positifs produits par les comparaisons multiples.


Les interactions

Pour montrer qu’un effet diffère entre deux groupes, il ne suffit pas qu’il soit significatif dans l’un et non significatif dans l’autre.

Il faut tester directement une interaction :

La différence entre les effets est-elle elle-même suffisamment soutenue ?

Une interaction devient plus crédible lorsqu’elle est :

  • prévue ;
  • théoriquement justifiée ;
  • suffisamment précise ;
  • reproduite ;
  • liée à un mécanisme mesurable.

Les traitements personnalisés demandent davantage qu’une succession de sous-groupes exploratoires.


Les essais en grappes

Certaines interventions s’appliquent à des groupes entiers :

  • écoles ;
  • hôpitaux ;
  • communes ;
  • services.

La randomisation peut alors porter sur ces unités plutôt que sur les individus. Les observations d’une même grappe sont corrélées. Les élèves d’une école partagent :

  • enseignants ;
  • environnement ;
  • règles ;
  • public.

Le nombre réel d’unités indépendantes est donc plus proche du nombre d’écoles que du nombre total d’élèves.

Ignorer cette structure produit une fausse précision.


Les interventions collectives

Une intervention appliquée à une communauté peut modifier les interactions entre les personnes. L’effet ne se réduit pas à une somme d’effets individuels. Une politique peut produire des normes, de l’imitation, de la congestion, des effets de réseau et des déplacements.

Ces interactions violent parfois l’hypothèse selon laquelle le traitement d’une personne n’influence pas le résultat des autres.

Le dessin de l’étude doit intégrer les effets collectifs.


L’interférence

L’interférence apparaît lorsque le traitement d’une unité influence une autre unité. Un vaccin peut protéger indirectement les personnes non vaccinées en réduisant la transmission. Une formation peut bénéficier à des collègues non formés. Une aide économique peut modifier les prix locaux. Dans ces situations, le groupe de contrôle n’est pas totalement non exposé. L’effet individuel et l’effet collectif doivent être distingués.


L’essai croisé

Dans un essai croisé, chaque participant reçoit successivement plusieurs interventions.

Il sert alors en partie de contrôle pour lui-même. Cette méthode réduit la variation entre individus. Elle convient lorsque :

  • l’état est relativement stable ;
  • l’effet est réversible ;
  • une période de lavage est possible ;
  • l’ordre des traitements peut être randomisé.

Elle devient problématique lorsqu’un traitement possède des effets durables ou modifie définitivement le participant.


Les effets de période et de séquence

Dans un essai croisé, le résultat peut dépendre :

  • du moment ;
  • de l’ordre ;
  • de l’apprentissage ;
  • d’un effet résiduel.

Un traitement administré en premier peut influencer la réponse au second. La randomisation de l’ordre et l’analyse des effets résiduels sont donc nécessaires. L’utilisation d’une même personne comme contrôle ne supprime pas automatiquement tous les biais.


Les expériences de terrain

Une expérience de terrain randomise une intervention dans un environnement réel. Elle peut mieux représenter :

  • comportements ordinaires ;
  • contraintes institutionnelles ;
  • interactions ;
  • effectivité.

Mais elle possède souvent moins de contrôle qu’une expérience de laboratoire. Des événements extérieurs peuvent affecter le protocole. L’expérience de terrain améliore parfois la validité écologique tout en rendant la mesure plus complexe.


Les expériences de laboratoire

Le laboratoire permet :

  • contrôle ;
  • standardisation ;
  • mesure précise ;
  • manipulation ciblée.

Mais les participants peuvent savoir qu’ils sont observés. Les enjeux peuvent être faibles ou artificiels. Une décision prise dans une expérience courte ne correspond pas nécessairement à une décision réelle impliquant :

  • réputation ;
  • conséquences durables ;
  • normes ;
  • incertitude.

Le laboratoire permet souvent d’identifier un mécanisme possible. Sa généralisation demande des preuves supplémentaires.


Validité interne et validité externe

La validité interne concerne la crédibilité de la relation causale dans l’étude.

La validité externe concerne la possibilité de généraliser cette relation à :

  • d’autres personnes ;
  • d’autres lieux ;
  • d’autres périodes ;
  • d’autres modalités d’intervention.

Une étude peut avoir une excellente validité interne et une portée étroite.

Un essai mené chez des participants sélectionnés peut établir que le traitement fonctionne dans ce groupe sans montrer qu’il fonctionne :

  • chez les personnes âgées ;
  • chez les patients polypathologiques ;
  • dans un système de soins moins équipé.

La validité interne est nécessaire à l’inférence causale. Elle ne suffit pas à la généralisation.


L’efficacité et l’effectivité

L’efficacité désigne souvent la capacité d’une intervention à fonctionner dans des conditions contrôlées.

L’effectivité concerne son fonctionnement dans la pratique ordinaire.

La différence peut venir :

  • de l’observance ;
  • de la compétence ;
  • des ressources ;
  • du public ;
  • de l’organisation ;
  • des interactions.

Une intervention ne doit pas être jugée uniquement selon son mécanisme idéal. Elle doit aussi être évaluée dans les conditions réelles de son utilisation.


Les essais pragmatiques

Un essai pragmatique cherche à estimer l’effet d’une intervention dans des conditions proches de la pratique. Il peut inclure :

  • populations diversifiées ;
  • protocoles souples ;
  • professionnels ordinaires ;
  • critères pratiques.

Il améliore souvent la pertinence pour la décision. Mais cette ouverture peut augmenter :

  • variation ;
  • contamination ;
  • non-observance ;
  • difficulté d’interprétation.

Les essais explicatifs et pragmatiques répondent à des questions complémentaires.


Les limites éthiques de la randomisation

Toutes les interventions ne peuvent pas être randomisées.

Il serait contraire à l’éthique d’attribuer délibérément :

  • une exposition dangereuse ;
  • un acte violent ;
  • une privation grave ;
  • une condition sociale dommageable.

Il peut également être impossible de randomiser :

  • événements historiques ;
  • institutions nationales ;
  • caractéristiques personnelles ;
  • catastrophes.

L’absence d’expérience randomisée ne signifie donc pas absence possible de connaissance causale. Elle conduit à utiliser d’autres méthodes.


Quand la randomisation est-elle éthique ?

Une randomisation suppose généralement une incertitude raisonnable sur la meilleure option. Cette situation est parfois appelée équipoise. Si une intervention est déjà connue comme nettement supérieure, priver délibérément le groupe de contrôle de ce bénéfice peut être injustifiable. Mais l’incertitude n’est pas toujours simple. Une intervention peut présenter :

  • bénéfices possibles ;
  • risques inconnus ;
  • coûts ;
  • effets différents selon les groupes.

L’éthique dépend du niveau réel de connaissance, des alternatives et du consentement.


Le consentement

Le consentement éclairé vise à garantir que les participants comprennent notamment :

  • l’objectif ;
  • la randomisation ;
  • les risques ;
  • les alternatives ;
  • leur liberté de retrait.

Mais la compréhension peut être limitée.

Certains participants pensent que le médecin choisira personnellement le meilleur traitement pour eux, alors que l’attribution est aléatoire. Cette confusion entre soin individualisé et recherche doit être explicitement corrigée.


La randomisation des politiques publiques

Une politique peut parfois être déployée progressivement ou en raison de ressources limitées.

L’ordre d’accès peut être randomisé. Cette organisation permet d’apprendre tout en distribuant progressivement l’intervention. Elle soulève néanmoins des questions :

  • qui peut attendre ;
  • combien de temps ;
  • quelles conséquences ;
  • l’accès est-il équitable ?

Une expérimentation rigoureuse doit être associée à une justification politique et morale.


L’expérience naturelle

Une expérience naturelle apparaît lorsqu’un événement extérieur produit une variation de traitement ressemblant à une assignation aléatoire ou quasi aléatoire. Cette variation peut venir :

  • d’une règle ;
  • d’un seuil ;
  • d’un tirage ;
  • d’une date ;
  • d’une frontière ;
  • d’une réforme ;
  • d’un événement imprévu.

Le chercheur n’attribue pas lui-même l’intervention.

Il exploite une situation où des personnes comparables ont été exposées différemment pour une raison relativement indépendante du résultat étudié.


Naturelle ne signifie pas automatiquement valide

Le mot *naturelle* peut donner une impression excessive de solidité. Une variation extérieure n’est utile que si son mécanisme d’attribution est crédible. Il faut montrer que les groupes comparés ne diffèrent pas systématiquement sur d’autres causes du résultat. Une réforme appliquée dans une région peut coïncider avec :

  • autre politique ;
  • changement économique ;
  • modification démographique ;
  • crise locale.

L’expérience naturelle doit donc être justifiée comme une comparaison quasi expérimentale, et pas seulement décrite comme un événement intéressant.


Les quasi-expériences

Les quasi-expériences regroupent des méthodes cherchant à produire une comparaison causale sans randomisation contrôlée directe. Elles peuvent exploiter :

  • discontinuité de seuil ;
  • différence de calendrier ;
  • variation institutionnelle ;
  • instrument externe ;
  • réforme ;
  • choc.

Ces méthodes reposent sur des hypothèses plus spécifiques que la randomisation. Elles peuvent produire des preuves très fortes lorsque le dessin est crédible. Mais leur validité dépend davantage d’une connaissance du contexte.


La discontinuité de régression

Une règle attribue parfois une intervention selon un seuil :

  • âge ;
  • score ;
  • revenu ;
  • résultat électoral.

Les personnes situées juste de part et d’autre du seuil peuvent être très similaires. La différence d’accès à l’intervention devient alors quasi aléatoire localement. La méthode de discontinuité de régression compare les résultats autour de cette frontière. Elle peut fournir une estimation causale crédible si :

  • le seuil est réellement appliqué ;
  • les personnes ne peuvent pas manipuler précisément leur score ;
  • aucune autre règle ne change au même seuil ;
  • la relation aurait été continue sans intervention.

Un effet local

La discontinuité de régression estime généralement l’effet pour les personnes proches du seuil. Elle ne montre pas nécessairement que l’intervention produirait le même effet :

  • loin du seuil ;
  • dans une autre population ;
  • avec un autre niveau initial.

La précision causale locale ne doit pas être transformée automatiquement en généralisation universelle.


La manipulation du seuil

Si les personnes ou institutions peuvent influencer leur position autour du seuil, les groupes ne sont plus comparables. Par exemple, un score administratif peut être ajusté pour obtenir une aide. La concentration anormale d’observations d’un côté du seuil peut signaler une manipulation. Il faut également vérifier qu’aucune autre caractéristique ne change brutalement à la même frontière.


La différence de différences

La méthode des différences de différences compare l’évolution de deux groupes :

  • un groupe exposé à une intervention ;
  • un groupe non exposé.

Elle calcule :

  1. la variation avant-après dans le groupe traité ;
  2. la variation avant-après dans le groupe de comparaison ;
  3. la différence entre ces deux variations.

Cette méthode élimine certains écarts permanents entre les groupes et certains événements temporels communs. Mais elle repose sur une hypothèse importante :

En l’absence d’intervention, les deux groupes auraient suivi des tendances parallèles.


L’hypothèse des tendances parallèles

Les tendances avant l’intervention peuvent fournir un indice. Si les groupes évoluaient de manière similaire avant la politique, l’hypothèse devient plus plausible. Mais elle ne peut pas être directement vérifiée pour la période postérieure sans intervention. Deux groupes peuvent avoir des tendances parallèles auparavant et diverger ensuite pour une autre raison. Il faut donc examiner :

  • contexte ;
  • événements concomitants ;
  • composition ;
  • changements de mesure ;
  • anticipations.

L’anticipation

Les individus peuvent modifier leur comportement avant l’entrée officielle d’une politique s’ils l’anticipent. L’intervention commence alors en pratique avant la date retenue. Cette anticipation peut réduire ou déplacer l’effet estimé. Elle peut également rendre la période pré-intervention déjà contaminée. La chronologie institutionnelle réelle importe davantage que la date administrative formelle.


Les études d’événement

Une étude d’événement examine la trajectoire du résultat avant et après une intervention. Elle peut montrer :

  • tendances préexistantes ;
  • délai ;
  • dynamique ;
  • disparition ou persistance de l’effet.

Mais sélectionner une date parce qu’un changement visible se produit à ce moment peut produire un raisonnement circulaire.

La date doit être justifiée indépendamment de la courbe observée.


Les variables instrumentales

Une variable instrumentale influence l’exposition ou le traitement sans affecter directement le résultat par une autre voie. Elle sert à isoler une variation de traitement relativement indépendante des facteurs confondants.

Un bon instrument doit satisfaire au moins plusieurs conditions :

  • il modifie réellement la probabilité de traitement ;
  • il n’est pas associé aux causes non mesurées du résultat ;
  • il n’influence pas le résultat autrement que par le traitement.

Ces conditions sont exigeantes.

La validité d’un instrument est rarement démontrée par les données seules. Elle dépend d’un argument causal et institutionnel.


Un instrument faible

Si l’instrument influence très peu le traitement, l’estimation devient instable. Une petite violation des hypothèses peut alors produire un biais important. La présence d’une corrélation statistique entre instrument et traitement ne suffit pas. Il faut examiner :

  • force ;
  • mécanisme ;
  • exclusion des voies alternatives ;
  • population concernée.

L’interprétation locale des variables instrumentales

L’effet estimé peut concerner seulement les personnes dont le traitement change en réponse à l’instrument. Il ne représente pas nécessairement l’effet moyen dans toute la population. Par exemple, une règle incitative peut modifier le comportement de certaines personnes seulement.

L’estimation porte alors sur ce groupe particulier. Cette limitation doit être clairement reconnue.


Les expériences naturelles liées aux frontières

Une frontière administrative peut créer des politiques différentes de part et d’autre.

Les populations proches géographiquement semblent comparables. Mais elles peuvent encore différer par :

  • institutions ;
  • culture ;
  • composition ;
  • mobilité ;
  • marché du travail.

Les personnes peuvent également choisir leur lieu de résidence selon les politiques.

La proximité spatiale ne garantit donc pas une assignation aléatoire.


Les réformes nationales

Une réforme appliquée à l’ensemble d’un pays ne possède pas de groupe de contrôle évident.

Les chercheurs peuvent comparer :

  • autres pays ;
  • générations ;
  • secteurs ;
  • périodes.

Mais ces groupes peuvent connaître des évolutions différentes. Une méthode statistique sophistiquée ne remplace pas la crédibilité de la comparaison. Il faut reconstruire soigneusement :

  • contexte ;
  • tendances ;
  • autres réformes ;
  • événements communs.

Le contrôle synthétique

La méthode du contrôle synthétique construit un groupe de comparaison à partir d’une combinaison pondérée de plusieurs unités non traitées. Elle cherche à reproduire la trajectoire pré-intervention de l’unité traitée. Si la trajectoire diverge après l’intervention, cette différence peut être attribuée à la politique sous certaines hypothèses. La méthode est particulièrement utile lorsqu’une seule région ou un seul pays reçoit l’intervention. Mais sa crédibilité dépend :

  • de la qualité de l’ajustement avant l’intervention ;
  • de l’absence d’autres chocs spécifiques ;
  • du choix des unités ;
  • de la stabilité de la relation.

L’appariement

L’appariement compare des personnes traitées et non traitées ressemblant sur plusieurs variables observées. Il peut réduire les différences mesurées. Mais il ne contrôle pas les facteurs non observés.

La qualité dépend :

  • des variables disponibles ;
  • de la mesure ;
  • du recouvrement ;
  • de la règle d’appariement.

Apparier des individus très différents selon un score résumé peut encore laisser des déséquilibres importants.


Le score de propension

Le score de propension estime la probabilité de recevoir le traitement selon certaines caractéristiques observées.

Les personnes possédant des scores proches peuvent être :

  • appariées ;
  • pondérées ;
  • stratifiées.

Cette méthode vise à équilibrer les variables mesurées. Elle ne transforme pas l’étude en expérience randomisée. Si une cause importante du traitement et du résultat n’est pas mesurée, le biais persiste. Le score de propension organise les informations disponibles ; il ne crée pas celles qui manquent.


La confusion résiduelle

Même après ajustement, une confusion peut subsister parce que :

  • certaines variables sont absentes ;
  • les mesures sont imparfaites ;
  • les relations sont mal modélisées ;
  • les catégories sont trop larges.

Une association ajustée n’est donc pas automatiquement causale.

Il faut évaluer la sensibilité du résultat à des facteurs non mesurés.


Les analyses de sensibilité aux facteurs non mesurés

Une analyse de sensibilité peut demander :

Quelle force devrait posséder une variable non mesurée pour expliquer entièrement l’association ?

Cette approche ne prouve pas que le biais est absent. Elle indique si la conclusion serait renversée par :

  • un facteur faible ;
  • un facteur très puissant.

Une association fragile à une confusion modeste mérite une confiance limitée.

Une association nécessitant un facteur extrêmement fort pour disparaître est plus robuste, sans devenir certaine.


Les contrôles négatifs

Un contrôle négatif utilise :

  • une exposition ne devant pas produire l’effet ;
  • ou un résultat ne devant pas être influencé par l’exposition.

Si une association apparaît malgré cette absence de mécanisme attendu, elle peut signaler :

  • confusion ;
  • biais de sélection ;
  • erreur de mesure ;
  • artefact analytique.

Les contrôles négatifs ne détectent pas tous les biais.

Ils testent certaines conséquences que devrait produire une étude défectueuse.


Le test placebo temporel

Une politique future ne devrait pas causer un résultat passé.

Si l’analyse trouve un effet avant la mise en œuvre, cela peut révéler :

  • tendance préexistante ;
  • mauvaise date ;
  • sélection ;
  • modèle inadéquat.

Ce test placebo constitue un contrôle important dans les études quasi expérimentales. Mais une anticipation réelle peut parfois produire un effet avant la date officielle.

L’interprétation dépend donc du contexte.


Le mécanisme causal

Une relation quasi expérimentale gagne en crédibilité lorsqu’un mécanisme intermédiaire est également observé. Supposons qu’une politique soit censée réduire un problème par :

  1. une augmentation d’une ressource ;
  2. une modification de comportement ;
  3. une diminution du résultat final.

Observer uniquement le résultat final constitue déjà une preuve possible.

Observer aussi les étapes prévues renforce l’explication. Mais les analyses de médiation introduisent de nouvelles hypothèses, notamment lorsqu’elles conditionnent sur des variables postérieures au traitement.


Médiateur et effet total

Un médiateur est une variable située sur le chemin causal entre l’intervention et le résultat. Contrôler ce médiateur retire une partie de l’effet que l’on cherche peut-être à estimer. Il faut distinguer :

  • effet total ;
  • effet direct ;
  • effet indirect.

L’effet total répond :

Que produit globalement l’intervention ?

L’effet direct cherche à isoler une voie particulière.

Les deux questions demandent des méthodes et des hypothèses différentes.


Le surcontrôle

Contrôler une variable postérieure au traitement peut éliminer une partie réelle de l’effet. Supposons qu’une formation augmente les compétences, lesquelles augmentent ensuite l’emploi. Contrôler le niveau de compétences dans l’analyse peut faire disparaître l’effet de la formation. Cela ne montre pas que la formation est inefficace. Cela retire précisément le mécanisme par lequel elle agit. Un grand nombre de contrôles n’améliore donc pas toujours l’inférence.


Le collidant post-traitement

Une variable postérieure peut être influencée à la fois par :

  • le traitement ;
  • un autre facteur lié au résultat.

Conditionner sur cette variable crée une association artificielle. Par exemple, analyser uniquement les participants ayant terminé une formation peut relier l’attribution initiale à la motivation ou à la santé.

La sélection sur les résultats intermédiaires est une source fréquente de biais.


L’effet causal et le mécanisme ne sont pas la même question

Un essai randomisé peut montrer qu’une intervention produit un effet sans expliquer précisément comment. Inversement, une étude biologique peut montrer un mécanisme plausible sans établir un bénéfice global. Une connaissance complète demande souvent de combiner :

  • estimation causale ;
  • preuve mécaniste ;
  • validité de la mesure ;
  • généralisation.

Les méthodes ne sont donc pas concurrentes. Elles répondent à plusieurs niveaux de la question.


Les causes complexes

Une intervention peut fonctionner uniquement si d’autres conditions sont présentes. Elle interagit avec :

  • environnement ;
  • institution ;
  • comportement ;
  • ressources ;
  • caractéristiques individuelles.

L’effet causal n’est pas nécessairement une propriété fixe de l’intervention. Il peut être une propriété de la relation entre :

  • intervention ;
  • population ;
  • contexte ;
  • mise en œuvre.

Dire qu’une politique « fonctionne » sans préciser ces conditions est souvent trop vague.


L’effet de mise en œuvre

Une intervention théorique peut être appliquée avec des niveaux variables de fidélité.

Un programme éducatif peut différer selon :

  • formation des enseignants ;
  • temps disponible ;
  • matériel ;
  • soutien institutionnel.

Un résultat faible peut venir d’une théorie inefficace, d’une mauvaise mise en œuvre, d’une faible adhésion ou d’un contexte défavorable. Mais invoquer systématiquement une mauvaise mise en œuvre peut protéger artificiellement une intervention.

Il faut mesurer la mise en œuvre et préciser à l’avance ce qui est nécessaire.


L’effet d’être évalué

La participation à une étude peut modifier les comportements.

Les équipes reçoivent :

  • attention ;
  • ressources ;
  • formation ;
  • surveillance.

Le résultat observé peut dépendre en partie de cette situation exceptionnelle. Lorsque l’intervention est généralisée, ces conditions supplémentaires disparaissent. La performance réelle peut alors être moindre.


Les effets d’échelle

Une intervention réussissant dans un petit programme pilote peut échouer à grande échelle.

Le déploiement général peut modifier :

  • ressources par participant ;
  • qualité du personnel ;
  • sélection ;
  • motivation ;
  • prix ;
  • comportements des autres acteurs.

Une expérimentation locale établit un effet dans un contexte limité.

Le passage à l’échelle constitue une nouvelle hypothèse causale.


Les effets d’équilibre général

Une intervention peut être avantageuse pour les premiers bénéficiaires mais produire un résultat différent lorsqu’elle est largement adoptée. Par exemple, une formation peut améliorer la position d’un groupe sur le marché du travail. Si tout le monde reçoit la même formation, l’avantage relatif peut diminuer. Les expériences individuelles estiment souvent des effets partiels. Les politiques générales demandent aussi de considérer :

  • réactions des institutions ;
  • concurrence ;
  • prix ;
  • déplacement des ressources.

Le déplacement des effets

Une politique peut améliorer un résultat dans une zone en déplaçant le problème ailleurs. Une surveillance accrue peut réduire les infractions dans un quartier et les déplacer vers un autre. Une aide ciblée peut avantager certains bénéficiaires au détriment de personnes devenues moins prioritaires. L’évaluation doit donc examiner :

  • résultat local ;
  • effet global ;
  • populations non traitées ;
  • effets indirects.

Les conséquences non intentionnelles

Une intervention peut produire :

  • bénéfice attendu ;
  • adaptation ;
  • contournement ;
  • effets secondaires ;
  • nouvelles inégalités.

Une estimation limitée à un seul critère peut donc donner une image incomplète. La causalité de l’effet principal doit être distinguée de l’évaluation globale de la politique. Une intervention causalement efficace sur une cible peut rester indésirable si ses dommages dépassent ses bénéfices.


L’effet sur les personnes traitées et l’effet dans la population

Plusieurs effets causaux peuvent être distingués.

Effet moyen dans la population

Quel serait l’effet moyen si toute la population était traitée plutôt que non traitée ?

Effet moyen parmi les personnes traitées

Quel a été l’effet pour celles qui ont effectivement reçu l’intervention ?

Effet local

Quel est l’effet pour les personnes dont le traitement change en raison d’un instrument ou d’un seuil ?

Ces estimations peuvent être différentes.

Une étude doit préciser la population concernée par sa conclusion.


La transportabilité

Pour appliquer un résultat ailleurs, il faut identifier ce qui change entre l’étude et la nouvelle situation.

Les différences peuvent concerner :

  • risque initial ;
  • mécanismes ;
  • institutions ;
  • qualité de mise en œuvre ;
  • interactions ;
  • ressources.

La généralisation ne repose pas seulement sur la ressemblance démographique. Elle dépend des facteurs modifiant l’effet.

Comprendre le mécanisme aide à déterminer si l’intervention peut être transportée.


L’extrapolation à des populations exclues

Les essais excluent parfois :

  • personnes âgées ;
  • femmes enceintes ;
  • patients polypathologiques ;
  • cas graves ;
  • personnes prenant plusieurs traitements.

Ces exclusions réduisent certaines complications méthodologiques. Mais elles limitent la pertinence pour les patients réels.

Il faut éviter de présenter un résultat obtenu dans une population sélectionnée comme une preuve universelle.


Les effets de contexte

Une politique peut fonctionner dans une institution possédant :

  • personnel qualifié ;
  • financement ;
  • confiance ;
  • infrastructure.

La même politique peut échouer ailleurs. Le contexte n’est pas toujours un détail externe. Il peut faire partie du mécanisme causal. Une théorie utile doit préciser quelles conditions permettent ou empêchent l’effet.


Une absence d’effet peut-elle réfuter le mécanisme ?

Un résultat nul peut avoir plusieurs causes :

  • intervention inefficace ;
  • effet trop faible ;
  • mauvaise mise en œuvre ;
  • contamination ;
  • mesure inadéquate ;
  • puissance insuffisante ;
  • compensation.

Il ne faut pas protéger indéfiniment la théorie par cette liste. Chaque explication alternative doit produire des indices testables. Si l’intervention a été correctement mise en œuvre, que la mesure était précise et que l’étude pouvait détecter un effet important, le résultat nul réduit sérieusement la crédibilité de l’hypothèse.


Une différence significative suffit-elle ?

Une différence significative dans un essai randomisé constitue une preuve importante. Mais il faut encore examiner :

  • taille d’effet ;
  • intervalle ;
  • attrition ;
  • multiplicité ;
  • qualité de l’aveuglement ;
  • critères ;
  • dommages ;
  • généralisation.

La randomisation réduit fortement la confusion antérieure au traitement. Elle ne transforme pas automatiquement toute différence en conclusion définitive.


Le risque de biais dans les essais financés

Un essai randomisé peut rester influencé par :

  • choix du comparateur ;
  • dose ;
  • critère principal ;
  • durée ;
  • publication ;
  • analyse ;
  • présentation.

Choisir un comparateur insuffisamment dosé ou une durée trop courte peut favoriser le nouveau traitement. Un conflit d’intérêts ne prouve pas que le résultat est faux. Il augmente le besoin de :

  • transparence ;
  • protocole public ;
  • réplication indépendante ;
  • accès aux données.

La modification du critère principal

Une étude peut enregistrer plusieurs résultats. Changer le critère principal après observation permet de mettre en avant celui qui réussit. Cette pratique réduit fortement la valeur confirmatoire. Le protocole et le registre permettent de comparer :

  • intention initiale ;
  • rapport final.

Une modification peut être scientifiquement justifiée, mais elle doit être explicitement présentée comme postérieure et exploratoire.


Les analyses intermédiaires

Une étude peut prévoir des analyses avant la fin afin :

  • d’arrêter pour bénéfice évident ;
  • d’arrêter pour dommage ;
  • d’arrêter pour futilité.

Ces décisions doivent suivre des règles statistiques adaptées. Un arrêt précoce pour bénéfice peut surestimer l’amplitude de l’effet, car les résultats extrêmes franchissent plus facilement le seuil initial. Une confirmation supplémentaire peut être nécessaire.


Les essais négatifs interrompus trop tôt

Une étude peut également être arrêtée faute de financement, de recrutement ou d’intérêt. Le résultat devient non significatif mais imprécis. Il ne permet pas de conclure à l’absence d’effet. Il faut distinguer :

  • preuve d’absence ;
  • étude inachevée ;
  • manque d’information.

L’importance du protocole

Le protocole précise :

  • hypothèse ;
  • population ;
  • traitement ;
  • comparateur ;
  • critères ;
  • durée ;
  • analyse.

Il rend visible la question réellement testée.

Une conclusion plus large que le protocole devient une extrapolation. Par exemple, un essai de six semaines ne démontre pas automatiquement :

  • effet durable ;
  • sécurité à long terme ;
  • prévention d’événements rares.

La causalité historique

Les événements historiques ne peuvent pas être reproduits expérimentalement. Il est néanmoins possible de construire des explications causales à partir :

  • chronologie ;
  • comparaison ;
  • mécanismes ;
  • archives ;
  • cas contraires ;
  • variation institutionnelle.

La causalité historique reste plus dépendante de la qualité du raisonnement comparatif. Elle n’est pas inférieure par principe, mais elle possède d’autres contraintes.


Les preuves convergentes

Une conclusion causale devient particulièrement solide lorsque plusieurs méthodes convergent :

  • essai randomisé ;
  • observation ;
  • mécanisme ;
  • variation de dose ;
  • expérience naturelle ;
  • réplication ;
  • prédiction.

Chaque méthode possède ses propres biais. La convergence réduit la probabilité qu’une seule erreur explique l’ensemble. Mais les preuves doivent être suffisamment indépendantes. Plusieurs analyses de la même base ne constituent pas plusieurs expériences indépendantes.


Le pluralisme causal

Il n’existe pas toujours une méthode unique supérieure pour toute question.

L’essai randomisé est particulièrement fort pour estimer certains effets d’intervention. Mais d’autres méthodes sont nécessaires pour :

  • dommages rares ;
  • effets à long terme ;
  • mécanismes ;
  • conséquences collectives ;
  • événements historiques ;
  • généralisation.

Une hiérarchie rigide des méthodes peut devenir trompeuse.

La qualité dépend de l’adéquation entre :

  • question ;
  • dessin ;
  • données ;
  • hypothèses.

La preuve causale en médecine

Pour évaluer un traitement, plusieurs types de données peuvent contribuer :

  • essais randomisés pour l’efficacité ;
  • études observationnelles pour les effets rares ;
  • pharmacologie pour le mécanisme ;
  • surveillance pour la sécurité réelle ;
  • études qualitatives pour l’expérience des patients.

Aucune source ne répond seule à toutes les questions.

Une décision clinique doit combiner :

  • effet moyen ;
  • profil du patient ;
  • risques ;
  • alternatives ;
  • préférences.

La preuve causale en sciences sociales

Les interventions sociales sont souvent :

  • contextuelles ;
  • complexes ;
  • interactives ;
  • difficiles à standardiser.

Une même politique peut contenir plusieurs composantes. Les personnes adaptent leur comportement. Les institutions modifient l’application. L’évaluation doit donc examiner à la fois :

  • effet moyen ;
  • mécanisme ;
  • variation locale ;
  • mise en œuvre ;
  • conséquences non intentionnelles.

La difficulté ne justifie pas l’abandon de la causalité. Elle exige une conception plus riche du dessin de recherche.


Une politique efficace n’est pas automatiquement légitime

Une étude peut montrer qu’une intervention produit effectivement un résultat. Elle ne décide pas si l’intervention doit être adoptée.

Il faut encore examiner :

  • dommages ;
  • coût ;
  • liberté ;
  • équité ;
  • alternatives ;
  • répartition des bénéfices.

La causalité répond :

L’intervention produit-elle cet effet ?

La décision politique demande aussi :

Cet effet justifie-t-il les moyens utilisés et les conséquences produites ?


La causalité et la responsabilité

Montrer qu’un facteur contribue à un résultat ne suffit pas à attribuer une responsabilité morale ou juridique.

Une personne peut être causalement impliquée sans :

  • intention ;
  • connaissance ;
  • contrôle ;
  • obligation.

Inversement, une institution peut porter une responsabilité normative même si la chaîne causale est distribuée entre de nombreux acteurs.

Les questions causales et morales doivent être articulées sans être confondues.


Le seuil de décision

Une intervention ne demande pas toujours le même degré de certitude.

Une mesure :

  • peu coûteuse ;
  • réversible ;
  • faiblement risquée,

peut être raisonnable avec une preuve modérée.

Une intervention :

  • dangereuse ;
  • irréversible ;
  • privative de droits,

demande une preuve plus forte.

La science estime l’effet et l’incertitude.

La décision dépend aussi du coût des erreurs.


Le principe de précaution

Le principe de précaution est parfois invoqué lorsqu’un dommage potentiel est grave mais incertain. Il ne signifie pas qu’il faut agir contre tout risque imaginable.

Il demande notamment d’examiner :

  • plausibilité ;
  • gravité ;
  • irréversibilité ;
  • coût de la prévention ;
  • risques de l’inaction ;
  • risques de l’action.

Une mauvaise application peut conduire à ignorer les dommages produits par la précaution elle-même.

L’analyse causale doit donc comparer plusieurs scénarios.


Une méthode pratique pour évaluer une affirmation causale

Définir l’intervention

Qu’est-ce qui est réellement modifié ?

Définir le résultat

Quelle conséquence est mesurée et à quel moment ?

Identifier le contrefactuel

À quoi le groupe traité est-il comparé ?

Examiner l’attribution

L’intervention a-t-elle été randomisée ou déterminée par un processus identifiable ?

Vérifier la comparabilité

Les groupes diffèrent-ils avant l’intervention ?

Examiner les événements postérieurs

Existe-t-il de l’attrition, de la contamination ou une sélection après traitement ?

Examiner la mesure

Les évaluateurs étaient-ils aveugles ? Le critère est-il fiable ?

Lire l’effet

Quelle est son amplitude et son incertitude ?

Examiner les alternatives

Une autre cause ou un événement concomitant peut-il expliquer le résultat ?

Évaluer la portée

À quelles personnes, conditions et interventions le résultat s’applique-t-il ?


Questions pour examiner un essai randomisé

  • Comment l’assignation a-t-elle été réalisée ?
  • La séquence était-elle réellement imprévisible ?
  • L’attribution était-elle dissimulée avant l’inclusion ?
  • Les groupes ont-ils été suivis de manière comparable ?
  • Les participants étaient-ils aveugles à leur attribution ?
  • Les soignants ou intervenants connaissaient-ils les groupes ?
  • Les évaluateurs étaient-ils aveugles ?
  • Le groupe de contrôle répond-il à la bonne question ?
  • Le comparateur actif était-il utilisé correctement ?
  • L’analyse principale suivait-elle l’intention de traiter ?
  • Combien de participants ont changé de groupe ?
  • L’attrition diffère-t-elle entre les groupes ?
  • Les données manquantes peuvent-elles dépendre du résultat ?
  • Existe-t-il une contamination ?
  • Le critère principal était-il défini à l’avance ?
  • Plusieurs résultats ou sous-groupes ont-ils été testés ?
  • L’étude a-t-elle été arrêtée précocement ?
  • L’effet est-il important ou seulement significatif ?
  • Les dommages ont-ils été mesurés avec la même rigueur ?
  • La durée permet-elle d’évaluer les effets importants ?
  • L’échantillon ressemble-t-il à la population cible ?
  • L’intervention peut-elle être reproduite dans la pratique ?
  • Existe-t-il des effets collectifs ou des interférences ?
  • Le financement ou l’analyse peuvent-ils influencer la présentation ?
  • Le protocole et le registre correspondent-ils à l’article final ?

Questions pour examiner une expérience naturelle

  • Quel événement a produit la variation d’exposition ?
  • Pourquoi cette variation serait-elle indépendante des autres causes du résultat ?
  • Les groupes étaient-ils comparables avant l’intervention ?
  • Une autre politique a-t-elle changé en même temps ?
  • Les individus pouvaient-ils choisir leur exposition ?
  • La règle ou le seuil pouvait-il être manipulé ?
  • Les tendances antérieures étaient-elles parallèles ?
  • Des effets apparaissent-ils avant la date supposée ?
  • La fenêtre temporelle a-t-elle été choisie après observation ?
  • La mesure a-t-elle changé au même moment ?
  • L’effet est-il local à un seuil ou généralisable ?
  • L’instrument possède-t-il une autre voie vers le résultat ?
  • Le groupe de contrôle représente-t-il un contrefactuel crédible ?
  • Un choc particulier pourrait-il expliquer la divergence ?
  • Des tests placebo ou contrôles négatifs ont-ils été utilisés ?
  • Le résultat est-il robuste à d’autres spécifications ?
  • D’autres populations ou périodes reproduisent-elles l’effet ?
  • Le mécanisme prévu est-il également observé ?
  • Quelle hypothèse non testable est nécessaire à l’interprétation ?
  • Quelle conclusion plus limitée serait directement soutenue ?

Erreurs fréquentes

Confondre différence observée et effet causal

Les groupes peuvent différer avant l’intervention.

Croire qu’un groupe de contrôle suffit

Il doit représenter un contrefactuel crédible.

Croire que la randomisation rend les groupes identiques

Elle équilibre les facteurs en moyenne, pas parfaitement dans chaque échantillon.

Confondre assignation aléatoire et échantillonnage aléatoire

L’une aide à établir la causalité, l’autre à généraliser.

Ignorer les pertes de suivi

Une attrition sélective peut détruire la comparabilité initiale.

Sélectionner les seuls participants observants

Cette sélection peut réintroduire des différences initiales.

Contrôler les variables postérieures au traitement

Cela peut supprimer une partie de l’effet ou créer un biais.

Croire qu’un placebo ne produit rien

Le contexte du soin peut avoir des effets réels.

Considérer un essai non aveugle comme automatiquement invalide

La gravité dépend du critère, de la mesure et de la procédure.

Généraliser un effet moyen à chaque individu

Les effets peuvent être hétérogènes.

Déduire une différence entre sous-groupes à partir de significativités différentes

Il faut tester l’interaction.

Traiter une expérience naturelle comme une randomisation automatique

La plausibilité de l’attribution doit être démontrée.

Croire qu’une tendance parallèle passée prouve le contrefactuel futur

Elle ne constitue qu’un indice.

Utiliser une variable instrumentale sans examiner ses voies alternatives

L’hypothèse d’exclusion est centrale.

Confondre bonne prédiction et effet d’intervention

Un indicateur prédictif n’est pas nécessairement une cause manipulable.

Extrapoler un effet local à toute la population

Les méthodes quasi expérimentales identifient souvent des effets limités.

Croire qu’une méthode statistique sophistiquée corrige les variables inconnues

L’ajustement dépend toujours des hypothèses et des données disponibles.

Confondre efficacité causale et légitimité politique

Une intervention efficace peut rester coûteuse, injuste ou disproportionnée.


À retenir

Une relation causale indique qu’une modification de l’intervention produit une modification du résultat dans certaines conditions.

Pour chaque individu, nous ne pouvons observer simultanément le résultat avec et sans intervention.

L’effet causal repose donc sur la comparaison entre un résultat observé et un contrefactuel non observé.

Le groupe de contrôle cherche à représenter ce contrefactuel.

La randomisation rend l’attribution du traitement indépendante, en moyenne, des caractéristiques antérieures.

Elle réduit ainsi l’influence des facteurs confondants connus et inconnus.

La randomisation ne garantit pas un équilibre parfait dans chaque échantillon.

Sa force vient de la procédure d’attribution, non de la seule ressemblance visible des groupes.

L’assignation aléatoire aide à établir une causalité dans l’étude. L’échantillonnage aléatoire aide à généraliser à une population.

Le placebo et l’aveuglement réduisent les effets liés aux attentes, au comportement des intervenants et à l’évaluation.

L’analyse en intention de traiter conserve la comparaison randomisée et estime l’effet d’une stratégie d’attribution.

L’analyse per protocole répond à une autre question mais réintroduit des risques de sélection.

Les pertes de suivi, la contamination et les variables postérieures au traitement peuvent fragiliser un essai randomisé.

Un essai estime généralement un effet moyen, qui peut masquer une grande diversité individuelle.

La validité interne concerne la crédibilité de la causalité dans l’étude. La validité externe concerne la généralisation.

Une expérience naturelle exploite une variation d’exposition produite par une règle, un seuil, une réforme ou un événement extérieur.

Elle n’est convaincante que si le processus d’attribution produit une comparaison crédible.

Les méthodes de discontinuité, de différences de différences, de variable instrumentale ou de contrôle synthétique reposent chacune sur des hypothèses particulières.

Une analyse quasi expérimentale peut produire une preuve causale forte, mais ses hypothèses doivent être explicitement défendues.

L’ajustement statistique contrôle les variables mesurées. Il ne garantit pas l’absence de confusion non mesurée.

Les analyses de sensibilité, contrôles négatifs et tests placebo permettent d’examiner certaines sources de biais.

Une relation causale peut être localement valide sans se généraliser à d’autres populations ou contextes.

La mise en œuvre, les interactions, les institutions et les effets d’échelle peuvent modifier le résultat.

Une intervention peut produire l’effet attendu tout en causer d’autres dommages.

Établir une causalité ne suffit donc pas à décider qu’une politique ou un traitement est souhaitable.

La meilleure preuve causale provient souvent de la convergence entre :

  • expérimentation ;
  • observation ;
  • mécanisme ;
  • quasi-expérience ;
  • réplication ;
  • généralisation.

La question centrale n’est donc pas seulement :

« Les personnes exposées obtiennent-elles un résultat différent ? »

mais :

« Quel résultat auraient-elles probablement obtenu sans cette exposition, et la méthode utilisée permet-elle réellement d’isoler cette différence des effets de la sélection, du contexte, de la mesure et des autres causes possibles ? »


Repères et prolongements

Cette fiche prépare notamment les questions suivantes :

  • Qu’est-ce qu’un contrefactuel ?
  • Pourquoi ne peut-on pas observer directement un effet causal individuel ?
  • Quel rôle joue un groupe de contrôle ?
  • Pourquoi la randomisation réduit-elle les facteurs confondants ?
  • Quelle différence existe entre assignation aléatoire et échantillonnage aléatoire ?
  • À quoi servent le placebo et l’aveuglement ?
  • Quelle différence existe entre analyse en intention de traiter et analyse per protocole ?
  • Comment l’attrition peut-elle fragiliser un essai randomisé ?
  • Qu’est-ce que l’interférence entre participants ?
  • Quelle différence existe entre validité interne et validité externe ?
  • Qu’est-ce qu’une expérience naturelle ?
  • Comment fonctionne une discontinuité de régression ?
  • Sur quelle hypothèse repose la méthode des différences de différences ?
  • Qu’est-ce qu’une variable instrumentale ?
  • Pourquoi l’appariement ne remplace-t-il pas la randomisation ?
  • Comment les scores de propension réduisent-ils certains biais ?
  • Pourquoi contrôler une variable postérieure au traitement peut-il être trompeur ?
  • Comment généraliser un effet causal à une autre population ?
  • Pourquoi une intervention causalement efficace n’est-elle pas automatiquement souhaitable ?

Quelques références

  • David Hume, *Enquête sur l’entendement humain*.
  • John Stuart Mill, *Système de logique*.
  • Ronald Fisher, *The Design of Experiments*.
  • Jerzy Neyman, travaux sur les résultats potentiels et les expériences randomisées.
  • Donald Rubin, travaux sur le modèle des résultats potentiels.
  • Paul Holland, « Statistics and Causal Inference ».
  • Donald Campbell et Julian Stanley, *Experimental and Quasi-Experimental Designs for Research*.
  • Thomas Cook et Donald Campbell, *Quasi-Experimentation*.
  • Judea Pearl, *Causality*.
  • James Woodward, *Making Things Happen*.
  • Miguel Hernán et James Robins, *Causal Inference: What If*.
  • Paul Rosenbaum, *Observational Studies*.
  • Guido Imbens et Donald Rubin, *Causal Inference for Statistics, Social, and Biomedical Sciences*.
  • Joshua Angrist et Jörn-Steffen Pischke, *Mostly Harmless Econometrics*.
  • David Card, travaux sur les expériences naturelles.
  • Joshua Angrist, Guido Imbens et Donald Rubin, travaux sur les variables instrumentales et les effets locaux.
  • Donald Rubin, travaux sur les scores de propension.
  • Paul Rosenbaum et Donald Rubin, travaux sur l’appariement et les scores de propension.
  • David Lee et Thomas Lemieux, travaux sur les discontinuités de régression.
  • Alberto Abadie, Alexis Diamond et Jens Hainmueller, travaux sur le contrôle synthétique.
  • Nancy Cartwright et Jeremy Hardie, *Evidence-Based Policy*.
  • Angus Deaton et Nancy Cartwright, travaux critiques sur la portée des essais randomisés.
  • Stephen Senn, travaux sur les essais cliniques.
  • John Ioannidis, travaux sur la validité et la reproductibilité des recherches médicales.
45 sur 60Retour à la catégorie