Validité interne, validité externe et transportabilité : un résultat vrai ici le sera-t-il ailleurs ?
Un résultat peut être solide sans être universel
Une étude rigoureuse montre qu’une intervention produit un effet dans un groupe précis, à un moment précis, selon un protocole précis. Cette conclusion peut être parfaitement valide. Elle ne permet pourtant pas encore d’affirmer que l’intervention produira le même résultat :
- dans toute la population ;
- dans un autre pays ;
- dix ans plus tard ;
- avec d’autres professionnels ;
- à grande échelle ;
- dans des conditions ordinaires.
Deux questions doivent donc être distinguées.
La première concerne la validité interne :
L’intervention est-elle réellement responsable de l’effet observé dans l’étude ?
La seconde concerne la validité externe :
Cet effet se retrouverait-il chez d’autres personnes et dans d’autres situations ?
Une étude peut posséder une forte validité interne et une faible validité externe.
Un essai très contrôlé peut isoler correctement une relation causale, mais sur une population très sélectionnée et dans des conditions rarement accessibles en pratique. À l’inverse, une vaste observation menée dans des conditions ordinaires peut représenter fidèlement la réalité sociale, mais ne pas permettre d’isoler correctement la cause du résultat.
La difficulté n’est donc pas de choisir entre contrôle et réalisme. Elle consiste à comprendre ce que chaque étude établit, puis à examiner les raisons permettant — ou non — de transporter sa conclusion.
La validité interne
La validité interne désigne la crédibilité de l’interprétation causale à l’intérieur de l’étude. Une étude possède une forte validité interne lorsque les différences observées peuvent raisonnablement être attribuées à l’intervention plutôt qu’à :
- une sélection initiale ;
- un événement extérieur ;
- une erreur de mesure ;
- une attrition différente ;
- une contamination ;
- une analyse flexible ;
- une autre cause.
Dans un essai randomisé, la validité interne dépend notamment :
- de la qualité de la randomisation ;
- du maintien de la comparabilité ;
- de l’aveuglement ;
- de la mesure ;
- du suivi ;
- de l’analyse.
Dans une étude observationnelle, elle dépend davantage :
- de la crédibilité du groupe de comparaison ;
- du contrôle des causes communes ;
- de la temporalité ;
- du dessin quasi expérimental ;
- des analyses de sensibilité.
Une grande représentativité ne corrige pas une mauvaise comparaison causale.
Une étude portant sur toute une population peut décrire une association avec une immense précision tout en rester incapable de montrer que cette association est causale.
La validité externe
La validité externe concerne la portée de la conclusion. Elle demande si l’effet observé serait similaire :
- chez d’autres personnes ;
- dans d’autres lieux ;
- sous d’autres institutions ;
- avec d’autres professionnels ;
- à une autre période ;
- selon une autre modalité d’intervention.
Cette question ne se résume pas à savoir si l’échantillon est statistiquement représentatif. Un échantillon représentatif aide à estimer certaines caractéristiques d’une population. Mais la généralisation causale dépend surtout de la stabilité des mécanismes et des conditions modifiant l’effet. Une intervention étudiée sur un échantillon non représentatif peut parfois révéler un mécanisme très général. Inversement, une étude représentative d’un pays peut mal se transférer à un autre pays possédant :
- un système de santé différent ;
- d’autres institutions ;
- d’autres comportements ;
- un autre risque de départ.
La validité externe exige donc une analyse causale du transfert.
Généralisation et transportabilité
Deux notions proches peuvent être distinguées.
Généralisation
La généralisation étend le résultat de l’échantillon étudié à la population dont il a été extrait.
Par exemple :
Le résultat observé chez les participants de l’étude s’applique-t-il aux autres patients répondant aux mêmes critères dans le même système de soins ?
Transportabilité
La transportabilité étend le résultat à une autre population ou à un autre contexte.
Par exemple :
Un programme testé dans des écoles urbaines françaises fonctionnerait-il de la même manière dans des établissements ruraux ou dans un autre pays ?
Le transport demande généralement davantage d’hypothèses.
Il faut déterminer quelles différences entre les contextes sont pertinentes pour l’effet.
L’échantillon étudié
Toute étude définit une population par ses critères :
- inclusion ;
- exclusion ;
- recrutement ;
- consentement ;
- disponibilité ;
- suivi.
La population réellement étudiée est souvent plus restreinte que la population évoquée dans le titre ou la conclusion.
Un essai sur des patients adultes peut exclure :
- personnes âgées ;
- femmes enceintes ;
- patients souffrant de plusieurs maladies ;
- personnes prenant certains traitements ;
- cas les plus graves ;
- personnes incapables de suivre le protocole.
Ces exclusions peuvent améliorer le contrôle et la sécurité. Elles réduisent aussi la portée de la conclusion.
Il faut donc distinguer :
- la population théorique visée ;
- les personnes éligibles ;
- les personnes invitées ;
- les volontaires ;
- les personnes ayant terminé l’étude.
Chaque filtre peut modifier la composition du groupe.
Les volontaires sont-ils représentatifs ?
Les personnes acceptant de participer peuvent différer des autres. Elles peuvent être :
- plus motivées ;
- plus disponibles ;
- plus confiantes envers les institutions ;
- en meilleure santé ;
- davantage intéressées par le sujet.
Dans une expérimentation comportementale, les volontaires peuvent mieux accepter :
- l’incertitude ;
- les questionnaires ;
- l’observation ;
- les nouvelles technologies.
Cette sélection ne rend pas l’étude inutile. Elle demande d’examiner si les caractéristiques distinguant les volontaires modifient également l’effet de l’intervention.
Un échantillon particulier limite la généralisation surtout lorsque la sélection porte sur un facteur modérateur de l’effet.
Un effet causal dépend d’une population
L’effet d’une intervention n’est pas toujours une propriété fixe du traitement.
Il dépend de la distribution des caractéristiques dans la population. Supposons qu’un traitement soit :
- très efficace chez un sous-groupe ;
- inutile chez les autres.
L’effet moyen sera élevé dans une population où le sous-groupe est fréquent et faible ailleurs. La différence entre études peut donc venir d’une variation de composition, même si le mécanisme individuel reste stable. Un effet moyen doit toujours être interprété comme l’effet moyen dans une population déterminée.
L’hétérogénéité des effets
L’hétérogénéité signifie que l’intervention ne produit pas le même effet dans tous les cas.
L’effet peut varier selon :
- âge ;
- sexe ;
- génétique ;
- gravité initiale ;
- environnement ;
- institution ;
- comportement ;
- qualité de mise en œuvre.
Une étude rapportant un effet moyen positif peut regrouper :
- de grands bénéfices ;
- de petits bénéfices ;
- aucun effet ;
- des dommages.
Cette diversité ne réduit pas nécessairement la validité de l’étude. Elle transforme la question :
Pour qui et dans quelles conditions l’intervention fonctionne-t-elle ?
Les modérateurs
Un modérateur est une variable modifiant l’intensité ou la direction d’un effet. Par exemple :
- un traitement peut agir davantage chez les patients présentant un marqueur particulier ;
- une politique éducative peut dépendre des ressources de l’établissement ;
- une campagne d’information peut fonctionner différemment selon la confiance préalable.
Les modérateurs sont essentiels à la transportabilité. Pour appliquer un résultat ailleurs, il faut savoir si les facteurs modifiant l’effet sont présents dans la nouvelle population. Mais la recherche de modérateurs est exposée aux faux positifs. Les analyses de sous-groupes doivent être :
- justifiées ;
- suffisamment puissantes ;
- testées par des interactions ;
- répliquées.
Facteur pronostique et modérateur
Une variable pronostique prédit le résultat indépendamment du traitement. Un modérateur prédit la différence d’effet entre plusieurs traitements ou conditions. Supposons que les patients les plus graves obtiennent de moins bons résultats, quel que soit le traitement. La gravité est alors un facteur pronostique. Si le nouveau traitement est particulièrement bénéfique chez les patients graves, la gravité devient aussi un modérateur. Cette distinction est importante.
Une caractéristique associée au résultat n’indique pas nécessairement que l’intervention doit être ciblée selon cette caractéristique.
Le risque de départ
Le bénéfice absolu dépend souvent du risque initial.
Un traitement réduisant un risque relatif de 20 % produit des effets absolus très différents :
- si le risque initial est de 50 %, il passe à 40 % ;
- s’il est de 1 %, il passe à 0,8 %.
La réduction relative reste identique. Le nombre d’événements évités change considérablement. Une intervention peut donc être pertinente dans une population à haut risque et presque sans intérêt dans une population à faible risque. Transporter une estimation exige de connaître le risque de départ.
Effet relatif et effet absolu
Les effets relatifs sont parfois plus stables entre populations que les effets absolus. Mais cette stabilité ne doit pas être supposée sans vérification. Les mécanismes, les comportements et les traitements associés peuvent aussi modifier l’effet relatif. Pour la décision, l’effet absolu est souvent central, car il détermine :
- le nombre de bénéficiaires ;
- le nombre nécessaire à traiter ;
- le rapport entre bénéfices et dommages.
Une étude menée dans une population très sélectionnée ne fournit pas directement l’impact absolu dans une population différente.
La composition démographique
L’âge, le sexe, la situation sociale ou l’origine géographique peuvent influencer :
- exposition ;
- vulnérabilité ;
- réponse ;
- accès ;
- observance ;
- mesure.
Mais une différence démographique ne suffit pas à conclure qu’un résultat ne se transporte pas. Il faut identifier la relation causale pertinente. Deux populations démographiquement différentes peuvent réagir de manière similaire si le mécanisme ne dépend pas de ces caractéristiques. Deux populations apparemment semblables peuvent réagir différemment si elles sont intégrées à des institutions distinctes.
Les populations historiquement sous-représentées
Certaines populations ont été insuffisamment incluses dans la recherche :
- femmes ;
- personnes âgées ;
- minorités ;
- patients polypathologiques ;
- personnes handicapées ;
- populations vivant hors des grands centres.
Cette sous-représentation crée une incertitude réelle.
L’absence de données ne signifie pas nécessairement que le traitement ne fonctionne pas. Elle signifie que l’estimation est moins directement fondée.
Les recommandations doivent distinguer :
- preuve d’inefficacité ;
- absence de preuve spécifique ;
- extrapolation plausible ;
- besoin de données supplémentaires.
Le contexte matériel
Une intervention ne fonctionne pas dans le vide. Elle dépend parfois :
- d’un équipement ;
- de personnel ;
- d’un temps disponible ;
- d’une infrastructure ;
- d’un accès au suivi ;
- d’un financement.
Un traitement efficace dans un centre spécialisé peut produire un bénéfice plus faible si :
- le diagnostic est plus tardif ;
- la surveillance est moins fréquente ;
- les effets secondaires sont moins bien gérés ;
- les équipes sont moins formées.
Le contexte matériel peut faire partie du mécanisme.
Le contexte institutionnel
Une politique publique interagit avec :
- le droit ;
- l’administration ;
- les incitations ;
- les pratiques professionnelles ;
- la confiance ;
- les autres politiques.
Un programme scolaire identique sur le papier peut produire des résultats différents selon :
- autonomie des enseignants ;
- taille des classes ;
- sélection des élèves ;
- financement ;
- évaluation.
Transporter une politique consiste rarement à copier un objet isolé.
Il faut transporter ou adapter un ensemble de conditions.
Le contexte culturel
Les normes et significations peuvent modifier l’effet d’une intervention.
Une campagne publique peut dépendre de :
- la perception de l’autorité ;
- la confiance institutionnelle ;
- la manière d’exprimer une émotion ;
- les normes familiales ;
- le sens attribué au message.
Cela ne signifie pas que chaque culture serait totalement incomparable. Il faut identifier les étapes du mécanisme sensibles aux significations. La formule vague « cela dépend de la culture » ne suffit pas. Elle doit être transformée en hypothèses précises et testables.
Le contexte linguistique
Une traduction littérale ne conserve pas toujours :
- la connotation ;
- l’intensité ;
- la compréhension ;
- la difficulté ;
- la relation au concept.
Un questionnaire ou une intervention verbale peut changer de nature en changeant de langue.
La transportabilité exige parfois :
- traduction ;
- retraduction ;
- adaptation ;
- test cognitif ;
- vérification de l’invariance de mesure.
Une différence observée entre populations peut venir de l’instrument plutôt que du phénomène.
L’invariance de mesure
Comparer des groupes suppose que la mesure possède la même signification.
Un score de confiance, de douleur ou d’anxiété peut fonctionner différemment selon :
- langue ;
- âge ;
- culture ;
- situation sociale.
Deux personnes ayant le même état réel peuvent utiliser l’échelle différemment. Une intervention peut également modifier la manière de répondre sans modifier le phénomène. Avant de comparer les effets, il faut vérifier que :
- les items représentent le même concept ;
- les seuils ont un sens comparable ;
- le fonctionnement de l’instrument reste stable.
Le changement de référentiel
Une intervention peut modifier les critères par lesquels les personnes évaluent leur situation. Après un programme éducatif ou thérapeutique, un participant comprend mieux un concept et devient plus exigeant dans son autoévaluation. Son score peut stagner ou diminuer alors que ses compétences ont progressé. À l’inverse, une sensibilisation peut augmenter la déclaration d’un problème en améliorant sa reconnaissance. La mesure change alors avec l’intervention. Ce phénomène complique la comparaison avant-après et le transfert entre populations possédant des référentiels différents.
Le temps
Un résultat peut dépendre de la période historique. Les comportements, les institutions et les technologies évoluent. Une relation observée il y a vingt ans peut être modifiée par :
- Internet ;
- nouvelles normes ;
- nouveaux traitements ;
- évolution démographique ;
- réglementation.
Les mécanismes biologiques peuvent être relativement stables, mais leur manifestation dépend encore de l’environnement.
La validité externe possède donc une dimension temporelle.
Le vieillissement des preuves
Une étude ancienne ne devient pas fausse simplement parce qu’elle est ancienne. Il faut demander si les conditions pertinentes ont changé. Une étude sur un mécanisme physiologique fondamental peut rester valable. Une étude sur l’usage d’un média ou une politique économique peut rapidement devenir moins transportable. La pertinence temporelle dépend de la stabilité :
- du mécanisme ;
- de la population ;
- de l’intervention ;
- du contexte.
Les événements exceptionnels
Une étude menée pendant :
- une crise ;
- une pandémie ;
- une guerre ;
- une récession ;
- une campagne électorale,
peut capturer un état inhabituel.
Les comportements observés ne représentent pas nécessairement la période ordinaire. Mais les crises peuvent également révéler des mécanismes cachés ou tester les limites des institutions.
Le résultat doit être interprété comme une connaissance sur ce contexte, puis transféré avec prudence.
La durée du suivi
Une intervention peut produire :
- un effet immédiat ;
- une adaptation ;
- une diminution progressive ;
- des effets différés ;
- des dommages tardifs.
Une étude courte ne permet pas d’établir la persistance.
Transporter un résultat dans le temps demande de comprendre :
- la durée du mécanisme ;
- les comportements d’adaptation ;
- la répétition nécessaire ;
- les effets cumulés.
Un bénéfice observé après une semaine ne garantit pas un bénéfice après un an.
L’effet de nouveauté
Une nouvelle intervention peut produire un effet temporaire simplement parce qu’elle attire l’attention.
Les participants peuvent être :
- plus motivés ;
- davantage observés ;
- encouragés par la nouveauté.
Lorsque l’intervention devient ordinaire, cet effet disparaît. L’étude pilote peut alors surestimer l’effet durable. Il faut distinguer :
- effet spécifique ;
- effet de nouveauté ;
- intensité exceptionnelle de l’accompagnement.
L’effet Hawthorne
L’effet Hawthorne désigne généralement une modification du comportement liée au fait de participer à une étude ou d’être observé.
Son importance varie selon les situations.
Les participants peuvent :
- respecter davantage les consignes ;
- modifier temporairement leurs pratiques ;
- chercher à répondre aux attentes.
Les professionnels impliqués dans une expérimentation peuvent également déployer un effort exceptionnel.
La mise en œuvre ordinaire peut être moins intensive.
Les équipes pionnières
Les premiers essais d’une intervention sont souvent conduits par :
- ses concepteurs ;
- des équipes très motivées ;
- des spécialistes ;
- des institutions bien équipées.
Ces conditions peuvent maximiser le succès.
Lors du déploiement, l’intervention sera appliquée par :
- des professionnels moins spécialisés ;
- des institutions plus contraintes ;
- des personnes moins convaincues.
La dépendance au savoir-faire des pionniers constitue une limite fréquente de transportabilité.
L’effet de l’expérimentateur
Les convictions et compétences de l’équipe peuvent influencer :
- la manière d’expliquer l’intervention ;
- le soutien apporté ;
- le suivi ;
- l’évaluation.
Un programme psychologique ou éducatif peut sembler efficace surtout lorsqu’il est délivré par ses créateurs.
Une réplication indépendante permet d’examiner si l’effet appartient :
- au programme ;
- à l’équipe ;
- à leur combinaison.
La fidélité de mise en œuvre
La fidélité mesure à quel point l’intervention réelle correspond au protocole prévu.
Une faible fidélité peut concerner :
- dose ;
- durée ;
- contenu ;
- compétence ;
- ordre des étapes ;
- public atteint.
Si l’effet disparaît lors du déploiement, plusieurs interprétations sont possibles :
- le programme est inefficace en pratique ;
- ses éléments essentiels n’ont pas été appliqués ;
- le contexte empêche son fonctionnement.
Il faut mesurer la mise en œuvre au lieu de l’invoquer après coup comme excuse générale.
Fidélité et adaptation
Transporter une intervention exige souvent de l’adapter. Une copie rigide peut échouer parce qu’elle ignore le contexte local. Une adaptation excessive peut supprimer le mécanisme essentiel. Il faut distinguer :
- noyau causal ;
- éléments adaptables ;
- conditions nécessaires ;
- formes locales possibles.
La question n’est pas seulement :
Le programme a-t-il été reproduit exactement ?
mais :
Les composants responsables de l’effet ont-ils été conservés ?
Les interventions complexes
Une intervention sociale ou médicale peut combiner :
- information ;
- accompagnement ;
- incitation ;
- modification de l’environnement ;
- suivi ;
- sanction.
Un effet observé pour l’ensemble ne montre pas quelle composante est nécessaire. Le transfert peut échouer si le nouveau site conserve les éléments visibles et supprime un composant discret mais essentiel. Les études de mécanisme, de médiation et de démantèlement peuvent aider à identifier le noyau actif.
Le traitement réel n’est pas toujours celui annoncé
Le nom d’un programme peut recouvrir des pratiques différentes.
Deux institutions déclarent appliquer :
- la même pédagogie ;
- la même politique ;
- le même protocole.
Mais les contenus, la fréquence et les compétences peuvent varier. Comparer les étiquettes sans examiner l’intervention réelle crée une fausse impression de réplication. La transportabilité demande une description suffisamment précise de ce qui a été fait.
La dose
L’effet peut dépendre de la dose :
- quantité ;
- fréquence ;
- durée ;
- intensité.
Une intervention appliquée à moitié ne représente pas nécessairement la même cause. Mais augmenter la dose peut aussi produire :
- saturation ;
- fatigue ;
- effets secondaires ;
- rejet.
Une relation dose-réponse doit être étudiée plutôt que supposée linéaire.
L’adhésion des participants
L’effet réel dépend parfois de la participation active. Une intervention peut être efficace chez les personnes qui l’acceptent et presque inutilisable chez celles qui la rejettent. L’adhésion peut elle-même dépendre :
- de la confiance ;
- du coût ;
- de la compréhension ;
- des normes ;
- du temps disponible.
Un essai avec des volontaires très motivés surestime alors la portée pratique.
La faible adhésion n’est pas extérieure à l’efficacité populationnelle.
L’accès
Une intervention efficace mais difficilement accessible peut produire peu d’effet collectif.
L’accès dépend :
- du prix ;
- de la distance ;
- de l’information ;
- des horaires ;
- des critères administratifs ;
- des inégalités.
Transporter un résultat clinique vers une politique de santé demande donc de relier :
- efficacité individuelle ;
- couverture ;
- adhésion ;
- qualité de mise en œuvre.
L’impact populationnel est approximativement le produit de ces dimensions, pas seulement de l’efficacité biologique.
L’échelle du déploiement
Un programme pilote bénéficie souvent de ressources exceptionnelles.
À grande échelle, il faut :
- recruter davantage de professionnels ;
- standardiser ;
- financer ;
- contrôler ;
- atteindre des publics moins sélectionnés.
La qualité moyenne peut diminuer. Des contraintes absentes du pilote apparaissent. L’effet d’une intervention à petite échelle n’est donc pas automatiquement l’effet de la politique générale.
Les effets d’échelle
Le passage à l’échelle peut modifier le phénomène lui-même. Une aide économique limitée ne change pas nécessairement les prix. Une aide généralisée peut influencer :
- loyers ;
- salaires ;
- offre ;
- comportements des entreprises.
Une formation rare peut donner un avantage sur le marché du travail. Si elle devient universelle, l’avantage relatif peut disparaître. Les effets d’équilibre général doivent être distingués des effets individuels observés dans un échantillon limité.
Les ressources rares
Une intervention peut fonctionner parce qu’elle mobilise une ressource rare :
- spécialiste ;
- place ;
- attention ;
- équipement ;
- financement.
La généralisation à toute la population peut être impossible sans modifier :
- quantité ;
- qualité ;
- organisation.
Le résultat du pilote ne répond pas automatiquement à la question :
Que se passerait-il si tout le monde recevait cette intervention ?
Le déplacement
Une politique peut améliorer le résultat d’un groupe en déplaçant le problème. Une mesure contre la criminalité peut déplacer certains actes vers une zone voisine. Une politique d’emploi peut aider ses bénéficiaires à obtenir les postes disponibles sans augmenter le nombre total d’emplois. Une intervention scolaire peut améliorer le classement relatif de certains élèves. L’effet direct sur les participants ne représente pas toujours l’effet net sur le système.
Les effets indirects
Une intervention peut influencer les personnes non traitées.
Les effets peuvent être :
- positifs ;
- négatifs ;
- imitants ;
- concurrentiels ;
- normatifs.
Un vaccin peut réduire la transmission. Une formation peut diffuser des pratiques aux collègues. Une aide ciblée peut réduire les ressources disponibles pour d’autres groupes. La validité externe doit intégrer les réseaux d’interaction.
L’interférence entre unités
De nombreuses méthodes supposent que le traitement d’une personne n’affecte pas les autres. Cette hypothèse est souvent irréaliste dans :
- éducation ;
- épidémiologie ;
- réseaux sociaux ;
- économie ;
- politiques territoriales.
Lorsque l’interférence existe, plusieurs effets doivent être distingués :
- effet direct ;
- effet indirect ;
- effet global ;
- effet selon le niveau de couverture.
Le résultat d’un essai à faible couverture peut ne pas prévoir le résultat d’une politique universelle.
Les comportements stratégiques
Les acteurs peuvent s’adapter à une intervention. Une règle produit d’abord l’effet attendu. Puis les personnes apprennent à :
- la contourner ;
- l’exploiter ;
- déplacer leurs activités ;
- modifier les indicateurs.
Une politique peut donc perdre en efficacité au fil du temps.
La transportabilité temporelle exige de considérer la réaction des acteurs, particulièrement lorsque l’intervention modifie :
- incitations ;
- contrôles ;
- récompenses ;
- sanctions.
La loi de Goodhart
Lorsqu’un indicateur devient une cible, les acteurs peuvent améliorer le score sans améliorer le phénomène. Une politique testée pendant une courte période peut sembler efficace avant que les participants comprennent comment optimiser la mesure. À long terme, l’indicateur se détache de l’objectif. Transporter un résultat demande alors d’examiner :
- l’exposition des acteurs à la règle ;
- leur capacité d’apprentissage ;
- les possibilités de contournement.
La réflexivité
Dans les sciences humaines, les connaissances peuvent modifier leur objet. Une prévision économique influence les anticipations. Une catégorie diagnostique modifie les comportements et les récits. Une politique connue à l’avance provoque des adaptations. Une relation observée avant sa diffusion peut devenir moins stable après sa publication. La validité externe n’est donc pas toujours une propriété permanente.
La transportabilité du mécanisme
Une stratégie importante consiste à identifier le mécanisme responsable de l’effet. Supposons qu’un programme améliore la réussite scolaire parce qu’il :
- augmente le temps de pratique ;
- fournit un retour rapide ;
- réduit les erreurs répétées.
Pour le transporter, il faut savoir si la nouvelle situation permet :
- le même temps ;
- le même retour ;
- la même qualité ;
- la même motivation.
La simple ressemblance des établissements est moins informative que la présence des composants causaux.
Les médiateurs
Un médiateur est une étape entre l’intervention et le résultat.
Étudier les médiateurs peut aider à comprendre :
- pourquoi l’effet apparaît ;
- pourquoi il disparaît ;
- comment l’adapter.
Mais l’analyse de médiation est difficile.
Le médiateur se produit après le traitement. Il peut être influencé par :
- l’intervention ;
- d’autres causes ;
- le résultat anticipé ;
- la sélection.
Il ne suffit pas d’observer que le médiateur et le résultat sont associés.
Un mécanisme plausible ne garantit pas le transfert
Même si le mécanisme existe dans la nouvelle population, son effet global peut être modifié par :
- mécanismes compensateurs ;
- dose ;
- fréquence ;
- environnement ;
- interactions.
Un traitement peut agir sur la même cible biologique, mais produire des résultats différents selon :
- métabolisme ;
- traitements associés ;
- gravité ;
- accès aux soins.
Le mécanisme augmente la compréhension du transfert sans le garantir.
Le transport d’une composante
Une intervention globale peut fonctionner grâce à plusieurs composants. Dans un nouveau contexte, seul un composant est adopté. Le résultat de l’étude initiale ne s’applique plus automatiquement. Inversement, un composant jugé secondaire peut être remplacé sans modifier l’effet. Il faut donc distinguer :
- intervention comme étiquette ;
- ensemble concret d’activités ;
- mécanisme actif.
La réplication directe
Une réplication directe reproduit le plus fidèlement possible :
- population ;
- procédure ;
- mesure ;
- analyse.
Elle teste la stabilité locale.
Un échec peut indiquer :
- faux positif initial ;
- effet surestimé ;
- différence cachée ;
- difficulté de mise en œuvre.
Une réussite montre que l’effet ne dépendait pas uniquement de l’échantillon initial. Elle ne démontre pas encore une large transportabilité.
La réplication conceptuelle
Une réplication conceptuelle teste la même hypothèse avec :
- une autre mesure ;
- une autre opérationnalisation ;
- un autre contexte ;
- une autre population.
Elle examine si le mécanisme dépasse le dispositif initial. Mais une modification importante crée davantage d’interprétations possibles en cas d’échec.
L’étude initiale était-elle fausse, ou la nouvelle mesure représente-t-elle mal le concept ?
Les réplications directes et conceptuelles sont donc complémentaires.
Les réplications multisites
Une étude multisite applique un protocole coordonné dans plusieurs lieux. Elle permet d’estimer :
- effet moyen ;
- variation entre sites ;
- influence du contexte ;
- stabilité du protocole.
Cette méthode est particulièrement informative pour la validité externe. Elle peut montrer qu’un effet :
- se retrouve presque partout ;
- dépend de certaines institutions ;
- apparaît seulement dans quelques sites ;
- varie davantage que prévu.
L’hétérogénéité ne doit pas être traitée comme une simple nuisance. Elle peut révéler les conditions du phénomène.
Les analyses de site
Une forte variation entre sites demande plusieurs vérifications :
- qualité de mise en œuvre ;
- composition des participants ;
- mesure ;
- événement local ;
- ressources ;
- pratiques.
Mais l’analyse de nombreux modérateurs après coup augmente le risque de faux positifs.
Les explications des différences doivent être testées prospectivement.
Les méta-analyses
Une méta-analyse combine plusieurs études. Elle peut estimer :
- effet moyen ;
- hétérogénéité ;
- modérateurs ;
- intervalle de prédiction.
Mais une moyenne ne doit pas être interprétée comme l’effet attendu dans chaque contexte. Si les effets varient fortement, l’intervalle de prédiction peut être plus utile que l’intervalle autour de la moyenne. La synthèse reste aussi dépendante :
- des études publiées ;
- de leur qualité ;
- de la comparabilité des interventions ;
- des mesures.
L’intervalle de prédiction
L’intervalle de confiance d’une méta-analyse représente l’incertitude sur l’effet moyen. L’intervalle de prédiction représente plutôt l’éventail plausible de l’effet dans une nouvelle étude comparable.
Une moyenne positive peut coexister avec un intervalle de prédiction comprenant :
- absence d’effet ;
- effet négatif ;
- effet important.
Cette différence est essentielle pour la décision.
Savoir que l’effet moyen est positif ne suffit pas à prévoir ce qui se produira dans un nouveau site.
L’hétérogénéité statistique
Les indicateurs d’hétérogénéité résument la variation entre études. Ils ne disent pas automatiquement :
- pourquoi les effets diffèrent ;
- si les différences sont importantes ;
- si les études mesurent réellement la même intervention.
Une hétérogénéité faible peut venir d’études très similaires partageant les mêmes limites. Une hétérogénéité élevée peut révéler des contextes scientifiquement importants. L’interprétation doit rester substantielle, pas uniquement statistique.
La représentativité
Un échantillon représentatif reproduit certaines caractéristiques d’une population. Mais il ne garantit pas que chaque mécanisme causal soit correctement représenté. La représentativité dépend des variables considérées. Un échantillon peut être représentatif selon :
- âge ;
- sexe ;
- région,
tout en sous-représenter :
- les personnes très malades ;
- les non-francophones ;
- les personnes sans accès numérique ;
- certains contextes institutionnels.
Il n’existe pas une représentativité absolue.
Il existe une représentativité relativement à une population et à des caractéristiques pertinentes.
La pondération vers une population cible
Lorsqu’un échantillon diffère de la population cible, des pondérations peuvent ajuster la composition. Elles donnent davantage de poids aux profils sous-représentés et moins aux profils surreprésentés. Cette méthode peut généraliser un effet si :
- les variables modifiant l’effet sont mesurées ;
- les groupes comparables existent dans l’échantillon ;
- les modèles sont corrects ;
- les poids ne deviennent pas excessifs.
Elle ne corrige pas un modérateur inconnu ou absent.
Le recouvrement
Pour transporter un résultat, les profils de la population cible doivent être suffisamment représentés dans l’étude. Si l’étude contient uniquement des personnes de 20 à 50 ans, estimer l’effet chez des personnes de plus de 85 ans exige une extrapolation. Un modèle peut produire un chiffre, mais les données ne contiennent pas la comparaison nécessaire. Le manque de recouvrement limite la généralisation. Il est parfois plus honnête de restreindre la population cible que d’étendre artificiellement l’estimation.
L’extrapolation
L’extrapolation applique une relation au-delà de la plage observée. Elle peut concerner :
- âge ;
- dose ;
- durée ;
- gravité ;
- contexte.
Une relation approximativement linéaire sur une plage limitée peut changer :
- de pente ;
- de direction ;
- de mécanisme.
L’extrapolation doit être soutenue par une théorie ou un mécanisme, pas seulement par la continuité du modèle mathématique.
Les essais d’efficacité comparative
Comparer une intervention à un placebo ne répond pas toujours à la décision réelle. Le décideur doit souvent choisir entre plusieurs options existantes. Une étude de transport utile compare :
- pratiques actuelles ;
- alternatives ;
- coûts ;
- dommages ;
- faisabilité.
Un traitement supérieur au placebo peut être inférieur à une option standard.
La pertinence externe dépend donc aussi du comparateur.
Les critères étudiés
Une intervention peut améliorer un résultat intermédiaire sans améliorer le résultat final important. Par exemple :
- améliorer un marqueur biologique ;
- augmenter un score ;
- modifier une attitude déclarée.
Le décideur s’intéresse peut-être à :
- mortalité ;
- qualité de vie ;
- comportement durable ;
- autonomie ;
- réussite à long terme.
La transportabilité de l’intervention ne compense pas une faible validité du critère.
Il faut transporter le bon résultat.
Les critères de substitution
Un critère de substitution est utilisé à la place d’un événement plus difficile à mesurer. Il peut être utile si la relation avec le résultat final est bien validée. Mais une intervention peut améliorer le substitut sans améliorer le résultat important.
Le transfert entre contextes peut encore modifier cette relation.
Un marqueur validé dans un type de traitement n’est pas automatiquement valable pour tous les mécanismes.
La pertinence pour les personnes concernées
Une étude peut mesurer un effet statistiquement clair mais peu perceptible ou peu important pour les bénéficiaires. La validité externe ne concerne pas uniquement la reproduction du chiffre. Elle concerne aussi la pertinence pratique dans la population cible. Il faut examiner :
- importance minimale ;
- préférences ;
- effets secondaires ;
- contraintes ;
- distribution des bénéfices.
Une intervention transportable mais peu utile ne devient pas souhaitable.
Les dommages
Les bénéfices et dommages ne se transportent pas toujours de la même manière.
Un effet indésirable peut être plus fréquent dans une population :
- plus âgée ;
- plus fragile ;
- prenant d’autres traitements ;
- moins bien suivie.
Un essai sélectionnant des participants en bonne santé peut sous-estimer les risques dans la pratique.
La généralisation doit donc porter séparément sur :
- efficacité ;
- sécurité ;
- acceptabilité.
Les événements rares
Les essais sont souvent trop petits ou trop courts pour détecter les événements rares.
Après le déploiement, une population beaucoup plus grande révèle :
- effets indésirables ;
- interactions ;
- cas particuliers.
Les études observationnelles et les systèmes de surveillance complètent alors les essais.
La validité externe ne peut pas toujours être établie avant l’utilisation. Elle se construit aussi par un suivi continu.
La surveillance après déploiement
Une intervention validée doit continuer à être évaluée.
Le monde réel peut révéler :
- faible adhésion ;
- effets rares ;
- différences entre groupes ;
- détournements ;
- changements de comportement ;
- perte d’efficacité.
La validation n’est pas un événement unique. Elle devient un processus de réévaluation.
Le déplacement de distribution
Un modèle prédictif est construit sur une distribution de données. Il peut échouer lorsque :
- la population change ;
- les pratiques changent ;
- les instruments changent ;
- les comportements s’adaptent.
Ce phénomène est appelé déplacement de distribution. La performance initiale ne garantit pas une performance durable. Un modèle doit être surveillé dans la population où il est utilisé.
Le changement de concept
Le lien entre les variables et le résultat peut lui-même évoluer. Un indicateur de fraude devient moins utile lorsque les fraudeurs apprennent à le contourner. Un critère médical change avec les pratiques de dépistage. Un modèle scolaire perd sa validité lorsque l’enseignement s’adapte au test. Ce changement est parfois appelé dérive conceptuelle. La transportabilité temporelle demande donc davantage qu’une stabilité des données d’entrée.
Calibration locale
Un modèle peut bien classer les personnes selon leur risque tout en mal estimer les probabilités absolues dans une nouvelle population. Supposons qu’il identifie correctement les personnes les plus à risque. Si le taux de base diffère, une probabilité annoncée de 30 % peut ne plus correspondre à 30 % d’événements. Le modèle doit être recalibré. La discrimination et la calibration sont deux qualités différentes.
Performance moyenne et groupes
Un modèle peut conserver une bonne performance globale tout en mal fonctionner chez certains groupes.
Il faut examiner :
- sensibilité ;
- spécificité ;
- calibration ;
- faux positifs ;
- faux négatifs ;
selon les populations pertinentes.
La transportabilité moyenne peut masquer une dégradation localisée. Ces différences peuvent venir des données, de la mesure, du mécanisme ou du taux de base.
Le paradoxe de l’universalité
Plus une intervention est décrite de manière abstraite, plus elle paraît universelle. Mais cette abstraction peut effacer les composants nécessaires à son effet.
Dire :
L’éducation améliore l’autonomie
est plus général que décrire une méthode précise. Mais l’énoncé devient moins testable et moins informatif.
Une généralisation utile doit conserver assez de détails pour préciser :
- quelle intervention ;
- sur qui ;
- par quel mécanisme ;
- dans quelles conditions.
La portée déclarée
Une bonne étude distingue plusieurs niveaux de conclusion.
Conclusion locale
Dans cette étude, selon ce protocole, l’intervention a produit cet effet.
Généralisation raisonnable
Le résultat est probablement applicable à des populations et contextes proches.
Transport conditionnel
Le résultat pourrait être transféré ailleurs si certaines conditions sont présentes.
Universalité
L’effet serait attendu dans une très grande diversité de contextes.
Plus la portée est large, plus les preuves nécessaires sont diversifiées.
L’universalité demande de la variation
Pour montrer qu’un effet est général, il ne suffit pas de répéter la même étude dans des échantillons très similaires.
Il faut tester le phénomène à travers :
- populations ;
- langues ;
- institutions ;
- lieux ;
- périodes ;
- modalités.
La variation contrôlée révèle ce qui reste stable.
Une théorie universelle doit survivre à des contextes qui mettent réellement sa portée à l’épreuve.
La stabilité sous intervention
Une relation transportable est souvent une relation qui reste stable lorsque certaines conditions changent. Mais toutes les variations ne sont pas pertinentes.
Une intervention peut être robuste à :
- des différences démographiques ;
- des variations mineures de protocole,
tout en être sensible à :
- la dose ;
- l’infrastructure ;
- la confiance.
Cartographier les invariances et les sensibilités est plus utile que chercher une universalité abstraite.
La validité écologique
La validité écologique concerne la proximité entre la situation étudiée et la vie réelle.
Une tâche de laboratoire peut isoler un mécanisme tout en simplifier :
- enjeux ;
- durée ;
- interactions ;
- conséquences.
Un faible réalisme ne rend pas automatiquement l’expérience invalide. Il limite le type de généralisation. Une tâche artificielle peut tester proprement un mécanisme général. Elle ne permet pas nécessairement de prévoir directement un comportement complexe dans la vie quotidienne.
Réalisme de surface et réalisme psychologique
Une situation peut ressembler visuellement à la vie réelle sans mobiliser les mêmes processus. Inversement, une tâche très abstraite peut recréer correctement une structure psychologique ou stratégique. Il faut distinguer :
- réalisme de surface ;
- réalisme du mécanisme.
Une simulation de décision financière peut sembler réaliste mais utiliser de l’argent fictif sans conséquence.
Une tâche simple peut reproduire la même tension entre risque et récompense que la situation réelle.
Les enjeux
Le comportement peut changer selon :
- montant ;
- responsabilité ;
- anonymat ;
- durée ;
- conséquences pour autrui.
Une expérience avec un enjeu faible peut mal prévoir une décision importante. Mais augmenter l’enjeu ne garantit pas automatiquement un meilleur réalisme. Les individus peuvent aussi se comporter différemment sous stress extrême. La transportabilité dépend du mécanisme que l’enjeu modifie.
Le cadre social
Une expérience individuelle peut ignorer :
- réputation ;
- normes ;
- observation ;
- relation hiérarchique ;
- groupe.
Or ces éléments modifient souvent les comportements réels. Une intervention testée anonymement peut fonctionner différemment lorsqu’elle devient publique. Les relations sociales doivent être intégrées lorsque leur rôle est causalement pertinent.
La réactivité à l’étude
Le simple fait de mesurer peut modifier :
- attention ;
- comportement ;
- réponses ;
- motivation.
Dans le monde réel, cette mesure intensive n’existe pas toujours. Une intervention testée avec des questionnaires fréquents bénéficie peut-être d’un suivi qui agit lui-même. Il faut distinguer l’effet :
- de l’intervention ;
- de la mesure ;
- du contact avec l’équipe.
L’effet du protocole
Un essai comprend parfois davantage qu’un traitement :
- rappels ;
- consultations ;
- encouragements ;
- suivi rapproché.
Lors du déploiement, seul le composant principal est conservé.
La différence de résultats ne signifie pas nécessairement que l’intervention ne se transporte pas. Elle montre que le véritable traitement était l’ensemble du protocole.
Les essais explicatifs
Un essai explicatif cherche à savoir si l’intervention peut fonctionner dans des conditions idéales.
Il privilégie :
- sélection ;
- observance ;
- contrôle ;
- standardisation.
Il estime une efficacité dans un cadre optimisé. Cette connaissance est utile pour établir le potentiel causal. Elle doit être complétée avant une généralisation pratique.
Les essais pragmatiques
Un essai pragmatique cherche à savoir si l’intervention fonctionne dans des conditions ordinaires.
Il privilégie :
- diversité ;
- pratiques réelles ;
- comparateurs courants ;
- critères pertinents ;
- souplesse.
Il estime davantage l’effectivité. Mais il peut être plus difficile d’identifier précisément pourquoi le programme réussit ou échoue. Les essais explicatifs et pragmatiques ne s’opposent pas. Ils répondent à des étapes différentes de l’évaluation.
Le continuum entre idéal et réel
Une étude n’est pas entièrement explicative ou pragmatique. Elle se situe sur plusieurs dimensions :
- population ;
- recrutement ;
- intervention ;
- suivi ;
- critères ;
- analyse.
Une recherche peut être pragmatique sur la population et très contrôlée sur la mise en œuvre.
Il faut examiner concrètement le dessin plutôt que se fier à l’étiquette.
La transportabilité d’une expérience naturelle
Une expérience naturelle produit souvent un effet local. Une réforme appliquée selon un seuil estime l’effet autour de ce seuil. Une variable instrumentale estime l’effet chez les personnes dont le comportement change en réponse à l’instrument. Ces effets peuvent être très solides mais concerner une population particulière. La précision interne ne garantit pas la portée. La conclusion doit nommer le groupe réellement identifié.
Effet local et effet moyen
L’effet chez les personnes proches d’un seuil peut différer de celui des personnes éloignées. L’effet chez les individus sensibles à une incitation peut différer de celui des personnes qui auraient choisi le traitement dans tous les cas. Les quasi-expériences répondent souvent à une question causale locale. Les présenter comme l’effet moyen universel constitue une extrapolation.
Les expériences naturelles historiques
Un événement historique particulier peut offrir une comparaison rare. Mais son caractère unique limite la séparation entre :
- effet de l’intervention ;
- spécificité du contexte.
La réplication historique exacte est impossible.
La généralisation dépend alors de :
- mécanisme ;
- comparaison avec d’autres cas ;
- cohérence ;
- tests indirects.
Les études de cas mécanistes
Une étude approfondie d’un cas peut montrer comment une intervention produit son effet. Elle est utile pour identifier :
- séquence ;
- acteurs ;
- conditions ;
- blocages.
Mais elle ne permet pas seule d’estimer la fréquence du mécanisme.
Un cas peut montrer :
ce processus est possible.
Il ne montre pas nécessairement :
ce processus est habituel ou dominant.
Les méthodes mixtes
Combiner des méthodes quantitatives et qualitatives peut améliorer la transportabilité.
Les données quantitatives estiment :
- amplitude ;
- fréquence ;
- variation.
Les méthodes qualitatives explorent :
- mise en œuvre ;
- compréhension ;
- mécanismes ;
- différences de contexte.
Une étude qualitative ne remplace pas l’estimation causale. Elle peut révéler pourquoi l’effet varie et quelles adaptations sont nécessaires.
Les connaissances locales
Les professionnels et personnes concernées possèdent une connaissance du contexte :
- contraintes ;
- pratiques ;
- acceptabilité ;
- conséquences inattendues.
Cette expertise aide à juger si une intervention peut être transportée. Mais l’expérience locale peut aussi contenir :
- habitudes ;
- rationalisations ;
- biais ;
- intérêts.
Elle doit être combinée aux données plutôt qu’opposée à elles.
Participation et adaptation
Associer les personnes concernées peut améliorer :
- pertinence ;
- acceptabilité ;
- identification des obstacles ;
- compréhension des dommages.
Mais une adaptation participative change parfois l’intervention.
Il faut documenter :
- ce qui a été modifié ;
- pourquoi ;
- quel mécanisme est conservé ;
- quels effets sont attendus.
La transportabilité n’est pas une copie
Une intervention n’est pas toujours transportée en reproduisant chaque détail.
Le contexte nouveau peut exiger :
- autre langage ;
- autre calendrier ;
- autre organisation ;
- autre canal.
L’objectif est de préserver le mécanisme, pas nécessairement la forme. Mais cette distinction demande une théorie suffisamment précise du fonctionnement.
Sans elle, l’adaptation devient une succession d’intuitions difficiles à évaluer.
La transportabilité comme nouvelle hypothèse
Chaque application dans un nouveau contexte constitue une nouvelle hypothèse :
L’effet observé dans la situation A se produira aussi dans la situation B.
Cette hypothèse peut être plus ou moins soutenue par :
- similitude ;
- mécanisme ;
- données locales ;
- réplications ;
- études multisites.
Elle mérite sa propre évaluation.
La validité externe ne doit pas être ajoutée comme une phrase finale automatique.
Les extrapolations cachées
Une conclusion peut extrapoler silencieusement selon plusieurs dimensions :
- de l’échantillon à la population ;
- du court terme au long terme ;
- du centre spécialisé à la pratique ordinaire ;
- de l’individu au système ;
- d’un indicateur au résultat final ;
- d’un pays à un autre.
Chaque déplacement doit être identifié.
Plusieurs extrapolations simultanées peuvent rendre une conclusion beaucoup plus fragile que l’étude initiale.
La chaîne de transport
Pour transporter un résultat, il est utile de reconstruire la chaîne :
- l’intervention agit-elle sur le même mécanisme ?
- la population possède-t-elle les caractéristiques nécessaires ?
- la dose et la mise en œuvre seront-elles comparables ?
- les institutions permettront-elles le processus ?
- les personnes accepteront-elles l’intervention ?
- des mécanismes concurrents modifieront-ils l’effet ?
- l’échelle créera-t-elle de nouvelles interactions ?
- le résultat sera-t-il mesuré de la même manière ?
Une faiblesse à l’un de ces niveaux peut réduire l’effet.
Une théorie du contexte
Dire que le contexte compte ne suffit pas. Il faut identifier les dimensions contextuelles pertinentes. Une théorie du contexte peut préciser :
- ressources ;
- normes ;
- institutions ;
- population ;
- risques ;
- interactions ;
- histoire.
Elle doit permettre de prévoir :
- où l’intervention fonctionnera ;
- où elle échouera ;
- comment l’adapter.
Le contexte devient alors une partie de l’explication plutôt qu’une excuse vague.
Les conditions nécessaires
Une intervention peut demander certaines conditions minimales :
- infrastructure ;
- compétence ;
- confiance ;
- couverture ;
- stabilité.
Si elles sont absentes, l’effet ne devrait pas apparaître. Identifier ces conditions améliore la transportabilité. Mais elles doivent être testées. Après chaque échec, ajouter une nouvelle condition non prévue risque de protéger artificiellement le programme.
Les conditions facilitatrices
Certaines conditions ne sont pas strictement nécessaires mais augmentent l’effet. Elles peuvent expliquer la variation entre sites. Par exemple :
- soutien de la direction ;
- temps de formation ;
- ressources ;
- coopération des équipes.
Une politique de déploiement peut alors chercher à renforcer ces facilitateurs plutôt qu’à reproduire mécaniquement le protocole.
Les mécanismes compensateurs
Une intervention peut activer un mécanisme favorable, puis être compensée par :
- adaptation ;
- résistance ;
- autre comportement ;
- règle institutionnelle ;
- effet physiologique.
La présence du mécanisme initial ne suffit pas.
Le résultat final dépend de l’équilibre entre plusieurs processus. Cette compensation peut varier entre contextes.
Les effets non linéaires
L’effet peut changer selon :
- dose ;
- couverture ;
- risque ;
- ressources.
Une petite intervention peut être insuffisante. Une intervention modérée peut être optimale. Une intervention trop intense peut produire des effets négatifs. Transporter une dose identique vers une population différente ne garantit donc pas un effet identique.
Les seuils
Un mécanisme peut ne produire un effet collectif qu’après un certain niveau de couverture. Inversement, un système peut s’effondrer au-delà d’un seuil de charge. Les études limitées à une plage ne révèlent pas nécessairement ces changements de régime. La généralisation à une nouvelle échelle demande de rechercher :
- seuils ;
- saturation ;
- points de bascule.
Le choix du bon niveau
Un résultat individuel peut ne pas se transporter au niveau collectif. Une intervention institutionnelle peut ne pas être correctement évaluée par des données uniquement individuelles. Il faut aligner :
- niveau du traitement ;
- niveau du mécanisme ;
- niveau du résultat ;
- niveau de généralisation.
Confondre ces niveaux produit des extrapolations trompeuses.
De l’individu à la population
Une intervention bénéfique pour une personne peut avoir un impact populationnel faible si :
- peu de personnes y accèdent ;
- l’adhésion est faible ;
- l’effet est court ;
- le coût limite le déploiement.
Inversement, un effet individuel faible peut produire un impact important s’il concerne :
- toute la population ;
- un événement fréquent ;
- une longue durée.
La décision publique doit combiner effet individuel et couverture.
Du groupe à l’individu
Un effet moyen dans un groupe ne permet pas de prédire précisément chaque individu.
La décision clinique ou sociale demande parfois d’intégrer :
- risque personnel ;
- préférences ;
- vulnérabilité ;
- alternatives.
L’effet moyen informe. Il ne remplace pas toujours le jugement individualisé.
Transporter une absence d’effet
Une étude bien conduite peut conclure qu’un effet important est absent dans une population donnée.
Cette absence peut-elle être généralisée ?
Un effet peut être nul ici et présent ailleurs si :
- le mécanisme dépend d’une caractéristique absente ;
- la dose diffère ;
- le risque initial change ;
- la mise en œuvre est différente.
L’absence se transporte seulement si les raisons de l’absence sont elles-mêmes stables.
Transporter un dommage
Les dommages peuvent dépendre fortement :
- de la vulnérabilité ;
- de la durée ;
- des traitements associés ;
- du contexte.
Un essai n’ayant observé aucun dommage grave dans une population sélectionnée ne démontre pas une sécurité universelle.
Les événements rares et les populations fragiles demandent des données complémentaires.
L’incertitude de transport
Une estimation peut être précise dans l’étude et très incertaine dans le nouveau contexte.
L’intervalle statistique initial ne représente pas automatiquement :
- incertitude sur la population ;
- différence de mise en œuvre ;
- effets d’échelle ;
- changement institutionnel.
Il faut ajouter une incertitude de transport. Cette incertitude est souvent difficile à quantifier exactement. Elle doit au moins être explicitement reconnue.
La fausse précision dans les politiques publiques
Une étude estime une hausse moyenne de 4,2 % dans un contexte particulier.
Une politique nationale est ensuite présentée comme devant produire exactement 4,2 % d’amélioration. Cette précision ignore :
- changement d’échelle ;
- hétérogénéité ;
- mise en œuvre ;
- adaptation ;
- incertitude.
Une décision honnête devrait utiliser :
- scénarios ;
- intervalles ;
- hypothèses ;
- surveillance.
Les scénarios de transport
Plutôt que d’annoncer une valeur unique, il peut être utile de construire :
- scénario favorable ;
- scénario central ;
- scénario défavorable.
Chaque scénario explicite :
- couverture ;
- qualité ;
- adhésion ;
- contexte ;
- interactions.
Cette méthode ne remplace pas les données. Elle rend visibles les hypothèses reliant l’étude au déploiement.
L’expérimentation progressive
Une intervention peut être déployée progressivement.
Chaque étape permet :
- d’observer ;
- d’adapter ;
- de détecter les dommages ;
- de vérifier la transportabilité.
Cette stratégie est particulièrement utile lorsque :
- l’incertitude reste importante ;
- l’intervention est réversible ;
- les effets peuvent être mesurés rapidement.
Elle réduit le risque de généraliser immédiatement à partir d’un seul contexte.
Le suivi adaptatif
Un déploiement peut être accompagné de règles prévues :
- continuer ;
- modifier ;
- ralentir ;
- arrêter.
Ces décisions dépendent d’indicateurs définis à l’avance. Le suivi adaptatif doit éviter de transformer chaque résultat en justification rétrospective. Les critères doivent rester transparents.
La réplication locale avant généralisation
Avant d’appliquer largement une intervention, une réplication locale peut tester :
- faisabilité ;
- acceptabilité ;
- mécanisme ;
- effet ;
- dommages.
Elle ne doit pas être réduite à une opération de communication visant à confirmer une décision déjà prise.
Un véritable pilote doit pouvoir produire une modification, une limitation et un abandon.
L’abandon
Une intervention ne doit pas être maintenue indéfiniment sous prétexte qu’elle fonctionnait dans l’étude initiale.
Le déploiement réel peut montrer :
- absence d’effet ;
- coûts excessifs ;
- dommages ;
- dépendance à des conditions irréalisables.
Reconnaître l’échec de transport ne signifie pas que l’étude initiale était fausse. Cela signifie que l’effet était plus local que prévu.
La réussite locale reste une connaissance
Un résultat qui ne se transporte pas universellement peut rester scientifiquement précieux. Il permet d’identifier :
- un mécanisme ;
- une condition ;
- un groupe bénéficiaire ;
- une limite.
La science ne doit pas opposer :
- universalité ;
- inutilité.
Une connaissance locale précisément définie vaut mieux qu’une généralisation excessive.
Le pluralisme des preuves
La transportabilité est rarement établie par une seule étude. Elle demande souvent :
- essai contrôlé ;
- étude pragmatique ;
- réplication multisite ;
- observation réelle ;
- analyse de mécanisme ;
- retour des professionnels ;
- surveillance.
Chaque source répond à une partie du problème. L’essai établit l’effet dans certaines conditions. La recherche mécaniste identifie ce qui doit être conservé. Les études pragmatiques et observationnelles évaluent la réalité du déploiement.
Les hiérarchies de preuve ont des limites
Un essai randomisé est particulièrement fort pour certaines questions causales. Mais une hiérarchie unique peut négliger :
- généralisation ;
- dommages rares ;
- mécanismes ;
- mise en œuvre ;
- acceptabilité.
La meilleure preuve dépend de la question. Pour savoir si un traitement peut agir, un essai contrôlé est central. Pour savoir s’il fonctionne dans la pratique et chez les populations fragiles, d’autres données deviennent indispensables.
La cohérence entre méthodes
La confiance augmente lorsque plusieurs méthodes convergent. Mais la divergence ne doit pas être immédiatement ignorée. Elle peut révéler :
- biais ;
- contexte ;
- différence de population ;
- échec de mise en œuvre ;
- changement d’échelle.
Comparer les méthodes permet de transformer une contradiction en question scientifique.
Une méthode pratique d’évaluation de la transportabilité
Définir précisément le résultat initial
Quel effet a été observé, dans quelle population et selon quel protocole ?
Identifier la population cible
À qui souhaite-t-on appliquer la conclusion ?
Comparer les compositions
Les facteurs susceptibles de modifier l’effet sont-ils distribués différemment ?
Examiner le risque de départ
L’impact absolu sera-t-il similaire ?
Identifier le mécanisme
Quels composants sont nécessaires à l’effet ?
Comparer les contextes
Les institutions, ressources et normes permettent-elles le même processus ?
Examiner la mise en œuvre
La dose, la qualité et l’adhésion seront-elles comparables ?
Anticiper les effets d’échelle
Les acteurs, prix, ressources ou interactions changeront-ils ?
Vérifier la mesure
Le résultat conserve-t-il la même signification ?
Prévoir l’évaluation locale
Comment détectera-t-on une réussite, un échec ou un dommage ?
Questions pour examiner la validité interne
- Les groupes étaient-ils comparables avant l’intervention ?
- L’attribution était-elle aléatoire ou quasi aléatoire ?
- Un facteur non mesuré pourrait-il expliquer la différence ?
- La mesure était-elle fiable et appliquée de manière comparable ?
- Les évaluateurs connaissaient-ils les groupes ?
- L’attrition différait-elle ?
- Une contamination était-elle possible ?
- Les critères étaient-ils définis à l’avance ?
- Plusieurs analyses ont-elles été essayées ?
- L’effet est-il robuste ?
- Le résultat possède-t-il une amplitude importante ?
- Une autre cause a-t-elle changé en même temps ?
- Le groupe de contrôle représente-t-il un contrefactuel crédible ?
- La conclusion dépasse-t-elle ce que le dessin permet ?
Questions pour examiner la validité externe
- Quelle population a réellement été étudiée ?
- Qui a été exclu ?
- Qui a accepté de participer ?
- Les volontaires diffèrent-ils de la population cible ?
- Quels facteurs modifient probablement l’effet ?
- Ces facteurs sont-ils présents dans la nouvelle population ?
- Le risque initial est-il comparable ?
- La mesure possède-t-elle la même signification ?
- Le contexte linguistique ou culturel modifie-t-il l’intervention ?
- Les institutions sont-elles comparables ?
- Les ressources nécessaires sont-elles disponibles ?
- La mise en œuvre sera-t-elle aussi fidèle ?
- Les professionnels possèdent-ils la même compétence ?
- L’adhésion sera-t-elle similaire ?
- La durée et la dose seront-elles conservées ?
- L’intervention dépend-elle de l’équipe pionnière ?
- L’effet de nouveauté disparaîtra-t-il ?
- Des comportements stratégiques apparaîtront-ils ?
- Le déploiement à grande échelle modifiera-t-il les prix ou les ressources ?
- Existe-t-il des effets indirects sur les non-bénéficiaires ?
- Le résultat individuel se transforme-t-il à l’échelle collective ?
- L’effet observé est-il durable ?
- Les dommages peuvent-ils être plus fréquents ailleurs ?
- Des réplications indépendantes existent-elles ?
- L’effet varie-t-il entre sites ?
- L’intervalle de prédiction inclut-il une absence ou une inversion de l’effet ?
- Le mécanisme a-t-il été vérifié dans le contexte cible ?
- Une réplication locale est-elle possible ?
- Quels résultats conduiraient à modifier ou abandonner le déploiement ?
Erreurs fréquentes
Confondre validité interne et validité externe
Une étude peut établir correctement un effet local sans montrer qu’il est universel.
Rejeter une étude parce que l’échantillon n’est pas représentatif
Un échantillon particulier peut tester rigoureusement un mécanisme causal.
Croire qu’un échantillon représentatif garantit la causalité
La représentativité ne corrige pas les facteurs confondants.
Présenter un effet moyen comme une propriété fixe de l’intervention
L’effet dépend de la population et du contexte.
Généraliser un bénéfice relatif sans examiner le risque de départ
L’impact absolu peut être très différent.
Confondre facteur pronostique et modérateur
Une variable prédisant le résultat ne prédit pas nécessairement la réponse au traitement.
Extrapoler à des groupes absents de l’étude
Un modèle mathématique ne remplace pas le recouvrement empirique.
Supposer que la même mesure possède partout la même signification
Les langues, normes et référentiels peuvent modifier les scores.
Confondre reproduction de l’étiquette et reproduction de l’intervention
Des programmes portant le même nom peuvent être appliqués différemment.
Invoquer la mauvaise mise en œuvre après chaque échec
La fidélité doit être mesurée et ses exigences définies à l’avance.
Copier exactement une intervention sans adapter sa forme
Le contexte peut exiger une adaptation pour conserver le mécanisme.
Adapter librement l’intervention sans identifier son noyau causal
L’adaptation peut supprimer l’élément responsable de l’effet.
Généraliser un pilote à grande échelle
Les ressources, interactions et comportements peuvent changer.
Ignorer les effets d’équilibre général
Un avantage individuel peut disparaître lorsque l’intervention devient universelle.
Confondre effet direct et impact populationnel
La couverture et l’adhésion déterminent aussi le résultat collectif.
Interpréter une réplication exacte comme preuve d’universalité
Elle démontre surtout une stabilité dans des conditions proches.
Utiliser uniquement l’effet moyen d’une méta-analyse
La variation entre contextes peut être déterminante.
Confondre intervalle de confiance et intervalle de prédiction
L’un porte sur l’effet moyen, l’autre sur un nouveau contexte.
Présenter une estimation locale avec une précision excessive
L’incertitude de transport dépasse l’incertitude statistique initiale.
Croire qu’un résultat non transportable était nécessairement faux
Il peut être vrai dans un domaine plus limité.
À retenir
La validité interne concerne la crédibilité de la relation causale dans l’étude.
La validité externe concerne la portée du résultat au-delà de cette étude.
Une forte validité interne ne garantit pas une forte validité externe.
Un échantillon représentatif ne suffit pas à établir la causalité.
Un échantillon non représentatif peut néanmoins permettre de tester rigoureusement un mécanisme.
La généralisation étend le résultat à la population dont provient l’échantillon.
La transportabilité étend le résultat à une autre population ou à un autre contexte.
Un effet causal dépend souvent de la composition de la population.
L’effet moyen n’est pas une propriété universelle et fixe de l’intervention.
Les modérateurs déterminent pour qui et dans quelles conditions l’effet varie.
Il faut distinguer les facteurs pronostiques des véritables modérateurs du traitement.
Le bénéfice absolu dépend du risque de départ, même lorsque l’effet relatif reste stable.
Les différences démographiques ne comptent que si elles sont reliées au mécanisme ou au résultat.
Les institutions, les ressources, les normes et la langue peuvent faire partie du mécanisme causal.
Une mesure doit conserver la même signification entre les populations pour permettre une comparaison.
Un effet observé à court terme peut disparaître, s’inverser ou produire des dommages tardifs.
Les équipes pionnières et les conditions expérimentales peuvent maximiser artificiellement la réussite.
La fidélité de mise en œuvre doit être mesurée, et non invoquée après coup comme excuse.
Transporter une intervention demande parfois de l’adapter.
Cette adaptation doit préserver les composants responsables de l’effet.
Le passage à l’échelle modifie les ressources, les interactions, les comportements et parfois les prix.
L’effet individuel d’une intervention ne correspond pas toujours à son effet collectif.
Les personnes non traitées peuvent être affectées par des effets indirects.
Les acteurs peuvent apprendre à contourner une règle ou optimiser un indicateur.
Comprendre le mécanisme aide à raisonner sur la transportabilité, sans la garantir.
Les réplications directes testent la stabilité locale.
Les réplications conceptuelles et multisites testent davantage la généralité.
Une méta-analyse peut estimer un effet moyen tout en masquer une grande variation entre contextes.
L’intervalle de prédiction est souvent plus utile pour prévoir l’effet dans un nouveau site.
La validité externe ne se déduit pas automatiquement de la méthode statistique.
Elle constitue une nouvelle hypothèse qui doit être soutenue par des comparaisons, des mécanismes et des données locales.
Une connaissance locale n’est pas une connaissance inférieure.
Elle devient problématique seulement lorsqu’elle est présentée comme universelle.
La question centrale n’est donc pas seulement :
« L’étude a-t-elle correctement démontré un effet ? »
mais :
« Quelles caractéristiques de la population, du contexte et de la mise en œuvre ont permis cet effet, et avons-nous de bonnes raisons de penser que ces conditions seront suffisamment présentes lorsque nous appliquerons la conclusion ailleurs ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Quelle différence existe entre validité interne et validité externe ?
- Quelle différence existe entre généralisation et transportabilité ?
- Un échantillon doit-il être représentatif pour établir une causalité ?
- Pourquoi un effet moyen dépend-il de la population étudiée ?
- Qu’est-ce qu’un modérateur ?
- Quelle différence existe entre facteur pronostique et modérateur ?
- Comment le risque initial modifie-t-il le bénéfice absolu ?
- Pourquoi une mesure peut-elle changer de signification entre populations ?
- Comment le contexte institutionnel influence-t-il une intervention ?
- Quelle différence existe entre efficacité et effectivité ?
- À quoi servent les essais pragmatiques ?
- Pourquoi les équipes pionnières peuvent-elles obtenir de meilleurs résultats ?
- Quelle différence existe entre fidélité et adaptation ?
- Comment identifier le noyau causal d’une intervention complexe ?
- Pourquoi le passage à l’échelle peut-il modifier l’effet ?
- Qu’est-ce qu’un effet d’équilibre général ?
- Comment les interactions entre personnes limitent-elles la généralisation ?
- À quoi servent les réplications multisites ?
- Quelle différence existe entre intervalle de confiance et intervalle de prédiction ?
- Comment évaluer rationnellement le transfert d’une intervention vers un nouveau contexte ?
Quelques références
- Donald Campbell et Julian Stanley, *Experimental and Quasi-Experimental Designs for Research*.
- Thomas Cook et Donald Campbell, *Quasi-Experimentation*.
- Donald Rubin, travaux sur les résultats potentiels et la généralisation causale.
- Judea Pearl et Elias Bareinboim, travaux sur la transportabilité.
- Miguel Hernán et James Robins, *Causal Inference: What If*.
- Nancy Cartwright et Jeremy Hardie, *Evidence-Based Policy*.
- Angus Deaton et Nancy Cartwright, travaux sur les essais randomisés et la généralisation.
- Stephen Senn, travaux sur les effets de traitement et l’hétérogénéité.
- Peter Rothwell, travaux sur la validité externe des essais cliniques.
- Lawrence Green et ses collaborateurs, travaux sur la validité externe en santé publique.
- Russell Glasgow et ses collaborateurs, travaux sur le cadre RE-AIM.
- Peter Craig et ses collaborateurs, travaux sur les interventions complexes.
- Trisha Greenhalgh et ses collaborateurs, travaux sur la diffusion et la mise en œuvre.
- Mary Dixon-Woods et ses collaborateurs, travaux sur les interventions organisationnelles.
- David Moher et ses collaborateurs, travaux sur la description et la réplication des interventions.
- Jeremy Grimshaw et ses collaborateurs, travaux sur l’implémentation.
- Elizabeth Tipton, travaux sur la généralisation statistique et les essais.
- Jennifer Stuart et ses collaborateurs, travaux sur le transport des effets causaux.
- Judea Pearl, *Causality* et *The Book of Why*.
- James Woodward, *Making Things Happen*.
- Nancy Cartwright, *Nature’s Capacities and Their Measurement*.
- John Dupré, travaux sur la complexité et le pluralisme scientifique.
- Sandra Mitchell, *Biological Complexity and Integrative Pluralism*.