Validité interne, validité externe et généralisation
Lorsqu’une étude conclut qu’un traitement est efficace, qu’une exposition augmente un risque ou qu’une intervention modifie un comportement, deux questions différentes doivent être posées. La conclusion est-elle correctement établie pour les personnes et les conditions effectivement étudiées ? Et, si c’est le cas, jusqu’où peut-on l’étendre à d’autres personnes, d’autres lieux ou d’autres circonstances ?
La première question concerne principalement la validité interne. La seconde relève de la validité externe, de la généralisation et, dans certains contextes, de la transportabilité.
Ces problèmes sont souvent confondus. Une étude extrêmement contrôlée peut fournir une excellente estimation d’un effet dans sa population expérimentale tout en laissant incertain ce qui se passerait dans la population générale. À l’inverse, travailler sur un échantillon très proche de la population réelle ne suffit pas à obtenir une bonne conclusion si la comparaison elle-même est biaisée.
Il faut donc distinguer deux ambitions : établir correctement ce qui s’est passé dans l’étude, puis déterminer ce que ce résultat permet raisonnablement de dire au-delà d’elle.
La validité interne : pouvons-nous croire la comparaison réalisée ?
Supposons qu’un essai clinique compare un nouveau médicament à un traitement de référence et observe moins de complications dans le groupe recevant le nouveau médicament.
Avant de généraliser ce résultat, il faut d’abord savoir si la différence observée peut raisonnablement être attribuée au traitement.
Les deux groupes étaient-ils comparables au départ ? Les patients connaissaient-ils leur traitement d’une manière susceptible d’influencer leurs déclarations ? Les médecins ont-ils traité différemment les participants selon leur groupe ? Beaucoup de patients ont-ils été perdus de vue ? Les résultats ont-ils été mesurés de la même manière ? Des analyses non prévues ont-elles été privilégiées après avoir vu les données ?
La validité interne concerne la capacité de la conception et de la conduite de l’étude à éviter que de tels problèmes produisent une estimation trompeuse.
Les recommandations CONSORT pour les essais randomisés résument cette idée en reliant la validité interne à la maîtrise des biais par le dessin et la conduite de l’essai.
Une étude possédant une faible validité interne ne nous apprend donc pas correctement ce qui s’est passé, même chez ses propres participants.
Une bonne validité interne vient logiquement avant la généralisation
Imaginons une expérience dans laquelle les patients recevant le nouveau traitement sont systématiquement moins malades au départ que ceux du groupe témoin.
Supposons en outre que l’étude recrute un échantillon parfaitement représentatif de tous les patients français atteints de cette maladie.
Cette représentativité ne résout pas le problème.
Si la comparaison entre traitement et témoin est biaisée, disposer d’un échantillon ressemblant parfaitement à la population nationale ne rend pas l’estimation causale correcte. On généraliserait simplement une mauvaise estimation.
C’est pourquoi CONSORT considère la validité interne comme un préalable à la discussion de la validité externe : avant de se demander à qui appliquer un résultat, il faut disposer d’un résultat suffisamment crédible dans l’étude elle-même.
Cette priorité logique ne signifie cependant pas qu’il faudrait penser la généralisation seulement après l’étude. La population cible devrait idéalement être envisagée dès sa conception.
La validité externe : le résultat reste-t-il valable ailleurs ?
Une étude peut être parfaitement conduite et néanmoins ne répondre directement qu’à une question relativement étroite.
Prenons un traitement testé chez des adultes de 40 à 60 ans, atteints d’une forme modérée d’une maladie, suivis dans des centres hospitaliers spécialisés et ne présentant presque aucune comorbidité importante.
La randomisation peut permettre d’établir très solidement que le traitement fonctionne dans cette population et dans ces conditions.
Mais qu’en est-il d’un patient de 85 ans atteint d’insuffisance rénale et prenant six autres médicaments ? Du même traitement administré en médecine générale ? D’une population présentant une maladie plus grave ? D’un système de soins dans lequel le suivi est beaucoup moins intensif ?
La validité externe concerne la possibilité d’étendre les résultats au-delà des conditions directement observées.
CONSORT souligne qu’elle dépend notamment des participants inclus, du contexte de l’étude, de l’intervention réellement administrée, des comparateurs, des résultats mesurés et de la durée du suivi. Elle n’est donc pas réductible à la seule représentativité démographique de l’échantillon.
Il n’existe pas de « validité externe » dans l’absolu
Dire simplement qu’une étude possède une « bonne » ou une « mauvaise » validité externe manque souvent de précision.
Valide pour quelle population et quelles conditions ?
Un résultat peut être hautement applicable aux patients d’un système hospitalier européen et beaucoup plus incertain dans une région où l’accès aux soins, la fréquence des maladies associées ou les traitements disponibles diffèrent fortement.
Il peut être applicable aux adultes mais pas nécessairement aux enfants.
Il peut être valable pour une dose précise mais laisser ouverte la question d’une autre dose.
La littérature méthodologique contemporaine insiste sur ce point : parler de généralisation sans définir préalablement une population cible est presque vide de sens. Une même étude peut être très généralisable à une population et beaucoup moins à une autre.
La question correcte n’est donc pas :
« Cette étude est-elle généralisable ? »
mais :
« Cette étude peut-elle être généralisée à cette population, pour cette intervention, ce résultat et ces conditions ? »
Les personnes ne sont qu’une partie du problème
La discussion sur la validité externe se concentre souvent sur les caractéristiques des participants : âge, sexe, origine géographique, niveau socio-économique ou gravité de la maladie.
Ces éléments comptent, mais ils ne sont qu’une partie de l’équation.
Supposons qu’un programme de rééducation fonctionne très bien lorsqu’il est réalisé par des équipes hautement spécialisées, avec trois séances individuelles par semaine et un suivi téléphonique intensif.
Peut-on supposer le même bénéfice lorsque le programme est déployé avec une séance hebdomadaire dans un service manquant de personnel ?
L’intervention porte le même nom, mais ce qui est réellement administré a changé.
De même, un médicament peut être utilisé avec une meilleure observance dans un essai clinique où les participants sont régulièrement rappelés, indemnisés pour leurs déplacements et suivis de près. Dans la pratique courante, l’adhésion peut être différente. Des travaux récents sur la transportabilité soulignent précisément que les procédures propres à l’essai peuvent modifier l’adhésion et donc limiter l’extrapolation vers le monde réel.
La validité externe concerne donc également les conditions de mise en œuvre.
Un effet peut varier d’une population à l’autre
Pour qu’un résultat obtenu dans un groupe puisse être transféré à un autre, il n’est pas nécessaire que les deux populations soient identiques sur toutes leurs caractéristiques.
Ce qui importe surtout est de savoir si leurs différences concernent des variables susceptibles de modifier l’effet étudié.
Supposons qu’un médicament réduise le risque d’un événement de 30 % aussi bien chez les hommes que chez les femmes. Un essai comportant trop d’hommes peut alors fournir malgré tout une information relativement transportable sur l’effet relatif du traitement, sous réserve d’autres différences pertinentes.
En revanche, si le traitement fonctionne beaucoup mieux chez les personnes jeunes que chez les personnes âgées, une population d’essai composée presque exclusivement d’adultes jeunes devient beaucoup plus problématique lorsqu’on veut prévoir son effet dans une population âgée.
On parle alors de modification de l’effet : l’ampleur de l’effet dépend d’une caractéristique de la population ou du contexte.
La validité externe ne dépend donc pas du simple fait que deux populations « se ressemblent ». Elle dépend davantage de savoir si leurs différences modifient réellement la relation que l’on souhaite transporter.
Un exemple : dépistage du cancer du poumon
Les essais de dépistage du cancer du poumon illustrent bien ce problème.
Un grand essai peut montrer qu’un dépistage par scanner réduit la mortalité dans la population recrutée. Mais si l’âge, le sexe, le tabagisme actuel ou d’autres caractéristiques diffèrent fortement dans une population où l’on souhaite ensuite appliquer ce programme, l’effet moyen attendu peut également différer.
Une analyse du *National Lung Screening Trial* a ainsi montré que l’effet estimé du dépistage pouvait varier après transport vers des populations présentant des distributions différentes de certaines caractéristiques des participants. L’intérêt de cet exemple n’est pas le chiffre particulier obtenu, mais le principe : l’effet d’une intervention observé dans un essai n’est pas nécessairement une constante universelle indépendante de la population qui la reçoit.
Généraliser demande donc parfois davantage qu’une simple intuition de ressemblance.
Généralisation et transportabilité
La terminologie varie légèrement selon les auteurs, mais une distinction est devenue courante.
On parle souvent de généralisation lorsque l’on souhaite étendre les conclusions d’un échantillon à la population dont cet échantillon constitue une partie.
On parle plutôt de transportabilité lorsqu’on souhaite appliquer les résultats à une population différente, extérieure à celle dont provenaient les participants.
Par exemple, un essai recrutant certains patients d’un réseau hospitalier pourrait chercher à généraliser son résultat aux patients éligibles de ce même réseau. Utiliser ensuite ce résultat pour estimer l’effet dans une population d’un autre pays constituerait plutôt un problème de transportabilité.
Les frontières terminologiques ne sont pas universellement fixées, mais la distinction permet de poser une question importante : à quelle distance conceptuelle se trouve la population cible de la population réellement étudiée ?
Généraliser n’est pas copier mécaniquement le chiffre observé
Supposons qu’un essai conclue à une diminution moyenne de 20 % d’un risque.
Il serait tentant d’appliquer directement ce chiffre à toutes les populations.
Mais plusieurs éléments peuvent varier : risque initial de la maladie, âge, comorbidités, traitements associés, adhésion, environnement ou organisation des soins.
Même lorsqu’un effet relatif reste assez stable, l’effet absolu peut changer considérablement.
Prenons deux populations. Dans la première, sans traitement, le risque d’un événement est de 20 %. Une réduction relative de 20 % le ferait passer à 16 %, soit 4 points de réduction absolue. Dans une population où le risque initial n’est que de 2 %, la même réduction relative conduirait à 1,6 %, soit seulement 0,4 point de réduction absolue.
La même efficacité relative ne produit donc pas nécessairement le même bénéfice pratique.
La généralisation doit tenir compte non seulement de la stabilité du mécanisme causal, mais aussi de la distribution des risques et des caractéristiques de la population cible.
Efficacité expérimentale et efficacité en conditions réelles
En médecine et en santé publique, on distingue souvent l’efficacy d’une intervention dans des conditions contrôlées de son effectiveness lorsqu’elle est utilisée dans des conditions plus proches de la pratique courante.
Un essai très contrôlé cherche parfois d’abord à répondre à une question explicative : l’intervention peut-elle produire cet effet lorsqu’elle est correctement appliquée ?
Un essai plus pragmatique cherche davantage à savoir : que produit-elle lorsqu’elle est réellement intégrée aux soins courants ?
Cette distinction ne sépare pas deux types totalement opposés d’études. Elle forme plutôt un continuum.
Les recommandations méthodologiques consacrées aux essais pragmatiques insistent justement sur la nécessité de décrire les participants, les contextes, les interventions et les résultats de manière à pouvoir juger leur pertinence pour la pratique réelle.
Une intervention peut donc être biologiquement efficace mais produire un bénéfice beaucoup plus faible lorsqu’elle est difficile à utiliser correctement dans la vie quotidienne.
Le laboratoire peut parfois créer le phénomène qu’il cherche à étudier
Le problème dépasse largement la médecine.
En psychologie expérimentale, demander à un participant de réaliser une tâche dans un laboratoire silencieux, sous surveillance et pendant dix minutes permet de contrôler de nombreuses variables. Mais le comportement observé dans cette situation peut ne pas reproduire exactement celui qui apparaît dans la vie quotidienne.
C’est notamment le problème de la validité écologique, terme utilisé pour discuter la correspondance entre les conditions d’une étude et les situations du monde réel auxquelles on souhaite appliquer ses résultats.
Cette notion doit cependant être maniée avec précision. Une expérience artificielle n’est pas nécessairement mauvaise. L’artificialité peut justement permettre d’isoler un mécanisme qui serait impossible à identifier dans une situation complexe.
Une expérience n’a donc pas besoin de ressembler parfaitement à la vie quotidienne pour être informative.
La question est plutôt de savoir quelle partie du mécanisme étudié dépend de cette artificialité.
Contrôle et réalisme : un compromis, mais pas toujours
On présente parfois validité interne et validité externe comme deux objectifs nécessairement opposés : plus une expérience serait contrôlée, moins elle serait réaliste.
Cette opposition contient une part de vérité mais ne doit pas devenir une loi générale.
Certaines restrictions améliorent effectivement le contrôle au prix d’une population plus étroite. Sélectionner des participants très homogènes peut aider à isoler un effet mais rendre son extension plus incertaine.
Pourtant, de nombreuses améliorations méthodologiques peuvent renforcer les deux dimensions. Une meilleure mesure augmente la qualité de l’estimation interne sans réduire nécessairement sa portée. Recruter plusieurs centres peut accroître la diversité des contextes tout en conservant une randomisation rigoureuse. Une étude suffisamment grande peut permettre d’examiner plusieurs sous-groupes pertinents.
Il ne faut donc pas penser qu’il existe toujours une quantité fixe de validité qu’il faudrait répartir entre « interne » et « externe ».
L’objectif est plutôt de concevoir une étude suffisamment rigoureuse pour répondre à la question réellement posée dans la population qui nous intéresse.
Une réplication dans un autre contexte teste aussi la généralisation
La réplication est souvent présentée comme la répétition d’une étude pour vérifier qu’un résultat réapparaît.
Mais modifier certains éléments peut également permettre de tester sa portée.
Un phénomène observé dans un laboratoire français peut être étudié dans un laboratoire japonais. Un traitement testé dans des centres universitaires peut être évalué dans des hôpitaux généraux. Une intervention éducative étudiée chez des adolescents peut être testée chez de jeunes adultes.
Si le résultat persiste malgré ces changements, nous apprenons davantage que le simple fait qu’il peut être reproduit exactement.
Nous apprenons que certaines variations de population ou de contexte ne suffisent pas à le faire disparaître.
La réplication conceptuelle et les études multicentriques peuvent ainsi contribuer progressivement à cartographier le domaine dans lequel un phénomène est robuste.
Un résultat qui ne se généralise pas n’est pas nécessairement faux
Supposons qu’un effet soit régulièrement observé chez des adolescents mais pas chez des personnes âgées.
La première réaction pourrait être de conclure que le résultat initial était faux.
Ce n’est pas nécessairement le cas.
Il est possible que l’âge modifie réellement l’effet. La recherche vient alors de découvrir une limite de son domaine d’application.
La même situation peut apparaître selon le sexe, le niveau initial de risque, l’environnement, la culture ou d’autres caractéristiques.
Une science mûre ne cherche pas seulement des lois décrites comme universelles. Elle cherche également les conditions dans lesquelles ses généralisations cessent d’être valides.
Un échec de généralisation peut donc constituer une découverte plutôt qu’une réfutation pure et simple.
Les critères d’inclusion doivent être visibles
Pour pouvoir juger la portée d’une étude, il faut savoir précisément qui pouvait y participer et qui en était exclu.
Les recommandations CONSORT 2025 demandent donc que les critères d’éligibilité et les méthodes de recrutement soient clairement rapportés. Ces informations ne concernent pas seulement la description administrative de l’essai : elles permettent au lecteur de juger à quelles personnes le résultat pourrait s’appliquer.
Supposons que le résumé d’un essai indique simplement : « 1 200 patients atteints d’insuffisance cardiaque ont été inclus ».
Cette phrase ne permet pas encore de savoir si les personnes très âgées ont été exclues, si les insuffisances rénales sévères étaient interdites, si les participants provenaient uniquement de centres spécialisés ou si la plupart des patients éligibles ont refusé de participer.
Toutes ces informations peuvent modifier la portée pratique du résultat.
Les résultats eux-mêmes peuvent être difficiles à généraliser
La validité externe ne concerne pas seulement les personnes.
Une étude peut démontrer qu’un traitement améliore un marqueur biologique sans avoir directement établi qu’il améliore la survie ou la qualité de vie.
Le marqueur peut être un excellent indicateur intermédiaire, mais généraliser de « le biomarqueur s’améliore » à « les patients vivent mieux ou plus longtemps » exige des connaissances supplémentaires.
La même difficulté apparaît avec la durée de suivi.
Un essai de trois mois peut établir un bénéfice à court terme. Il ne mesure pas nécessairement les conséquences après cinq ans, notamment des effets indésirables rares ou tardifs.
CONSORT inclut précisément les résultats mesurés et la durée du suivi parmi les éléments nécessaires à l’évaluation de l’applicabilité d’un essai.
La généralisation peut donc porter sur les personnes, mais également sur le temps, les interventions et les critères de jugement.
Les études observationnelles ne sont pas automatiquement plus « réelles »
On pourrait penser qu’une étude observationnelle réalisée dans la vie quotidienne possède naturellement une meilleure validité externe qu’un essai contrôlé.
Ce n’est pas garanti.
Une grande base hospitalière peut contenir des millions de patients tout en ne représentant que les personnes ayant accès à certains établissements. Une cohorte peut attirer des volontaires particulièrement soucieux de leur santé. Un registre peut exclure certaines catégories de patients ou mesurer imparfaitement certaines variables.
Les méthodes de transportabilité s’appliquent d’ailleurs aussi aux études observationnelles. Leur caractère « réel » ne garantit pas que leur population corresponde automatiquement à celle à laquelle on souhaite appliquer la conclusion.
L’opposition entre « laboratoire artificiel » et « vraies données du monde réel » est donc trop simple.
Chaque source de données possède ses forces et ses limites.
Peut-on corriger statistiquement un manque de généralisation ?
Lorsque l’on dispose d’informations sur la population cible, certaines différences entre celle-ci et l’échantillon peuvent être prises en compte statistiquement.
Des méthodes de pondération, standardisation ou modélisation peuvent permettre d’estimer quel aurait été l’effet moyen si la distribution de certaines caractéristiques avait correspondu à celle de la population cible.
Ces approches constituent aujourd’hui un domaine actif de l’inférence causale et de la transportabilité.
Mais elles ont une condition fondamentale : les caractéristiques pertinentes doivent avoir été correctement identifiées et suffisamment mesurées.
Si l’effet varie selon une variable qui diffère entre l’essai et la population cible mais que cette variable n’a jamais été observée, aucune pondération magique ne peut nécessairement réparer le problème.
Comme souvent en méthodologie, l’outil statistique ne remplace pas la connaissance du phénomène étudié.
La généralisation repose toujours sur certaines hypothèses
Cette idée est profonde : aucune étude ne peut observer directement toutes les situations auxquelles son résultat sera un jour appliqué.
Généraliser suppose donc toujours de faire un pas au-delà des observations.
Lorsque l’on applique à une personne demain un résultat obtenu sur des patients hier, on suppose déjà que certaines relations resteront suffisamment stables.
Lorsque l’on utilise une loi physique testée dans plusieurs laboratoires pour prévoir un phénomène dans un nouvel environnement, on effectue également une forme de généralisation.
La question n’est donc pas de supprimer toute hypothèse de généralisation, ce qui serait impossible, mais de déterminer quelles connaissances rendent cette extrapolation raisonnable.
La théorie, les mécanismes connus, les réplications, les données provenant d’autres populations et l’absence d’interactions importantes peuvent tous contribuer à cette justification.
Ce que signifie réellement « cette étude s’applique-t-elle à moi ? »
Pour un lecteur non spécialiste, la question pratique peut être formulée très simplement : les personnes étudiées me ressemblent-elles suffisamment pour que le résultat m’intéresse ?
Mais la ressemblance superficielle ne suffit pas.
Un homme de 70 ans peut être très différent démographiquement des participants moyens d’un essai mené chez des personnes de 55 ans, tout en bénéficiant du traitement de manière similaire si l’âge modifie peu son effet.
Inversement, deux patients du même âge et du même sexe peuvent répondre très différemment si l’un possède une mutation génétique, une insuffisance rénale ou un traitement associé qui modifie fortement l’action du médicament.
Il faut donc rechercher non seulement la ressemblance générale, mais les différences susceptibles d’être pertinentes pour l’effet étudié.
En médecine individuelle, cette question devient ensuite celle du passage de l’effet moyen d’une population à la décision pour une personne particulière, problème encore plus délicat.
Une conclusion scientifique possède toujours un domaine
La distinction entre validité interne et externe permet finalement de comprendre quelque chose de fondamental : une conclusion scientifique n’existe jamais sans domaine d’application.
Une expérience peut établir très solidement un phénomène dans certaines conditions. Le travail scientifique consiste ensuite à déterminer quelles parties de ces conditions sont essentielles et lesquelles peuvent varier sans modifier la conclusion.
Certaines connaissances finissent par acquérir un domaine d’application extrêmement large parce qu’elles ont été testées dans des situations très diverses et intégrées à des théories robustes. D’autres restent fortement dépendantes d’un contexte.
La généralisation n’est donc pas simplement la dernière étape administrative d’une étude.
Elle constitue elle-même un problème scientifique à tester.
Deux questions plutôt qu’un seul verdict
Lorsqu’on examine une étude, il est finalement utile de séparer explicitement deux questions.
Premièrement : la comparaison est-elle suffisamment crédible dans l’étude elle-même ? Il faut alors examiner le risque de biais, les mesures, les groupes comparés, les pertes au suivi et les analyses. C’est principalement le problème de la validité interne.
Deuxièmement : si le résultat est crédible, que permet-il de dire ailleurs ? Il faut alors considérer la population cible, les différences susceptibles de modifier l’effet, le contexte, la manière dont l’intervention sera réellement appliquée, les résultats mesurés et la durée du suivi.
Cette séparation évite deux erreurs fréquentes : rejeter un résultat causalement solide simplement parce que l’échantillon ne ressemble pas parfaitement à toute la population, ou accepter automatiquement une généralisation parce qu’une étude possède une excellente méthodologie expérimentale.
Une bonne étude répond avec rigueur à une question définie.
Il reste ensuite à déterminer jusqu’où cette réponse voyage.
À retenir
La validité interne concerne principalement la solidité de l’inférence dans les conditions réellement étudiées : la conception et la conduite de l’étude ont-elles suffisamment contrôlé les biais susceptibles de produire une conclusion erronée ?
La validité externe concerne ce que l’on peut raisonnablement inférer au-delà de ces conditions. Elle ne dépend pas seulement de la ressemblance des participants avec la population générale, mais également des modificateurs d’effet, du contexte, de l’intervention réellement administrée, des comparateurs, des résultats mesurés et de la durée du suivi. Les recommandations CONSORT 2025 insistent explicitement sur ces dimensions.
Il n’existe donc pas de généralisation « dans l’absolu ». Il faut toujours préciser vers quelle population et quelles circonstances on souhaite étendre le résultat.
Enfin, un résultat qui change dans une autre population n’était pas nécessairement faux dans la première. Cette différence peut révéler une modification réelle de l’effet et contribuer à définir plus précisément le domaine dans lequel la conclusion est valable.
La bonne question n’est donc pas seulement :
« L’étude est-elle valide ? »
mais :
« Que montre-t-elle solidement dans ses propres conditions, et quelles raisons avons-nous de penser que ce résultat restera valable ailleurs ? »
Sources et références
- Hopewell, Sally et al., « CONSORT 2025 Explanation and Elaboration: updated guideline for reporting randomised trials », *BMJ*, 2025. Les recommandations distinguent explicitement validité interne et généralisabilité et soulignent l’importance des participants, du contexte, de l’intervention et des résultats pour juger de l’applicabilité.
- Moher, David et al., « CONSORT 2010 Explanation and Elaboration », *BMJ*, 2010, développement classique sur la validité externe des essais randomisés.
- Stuart, Elizabeth A. et al., « Assessing the Generalizability of Randomized Trial Results to Target Populations », travaux méthodologiques sur la généralisation des essais à des populations cibles.
- Tipton, Elizabeth et al., « Generalizability of randomized trial results to target populations: Design and analysis possibilities », travaux sur la définition explicite de la population cible et les méthodes de généralisation.
- Lesko, Catherine R. et al., « Target Validity and the Hierarchy of Study Designs », *American Journal of Epidemiology*, analyse des rapports entre validité interne, population cible et validité externe.
- Dahabreh, Issa J. et al., travaux sur la généralisation et la transportabilité des effets estimés dans les essais randomisés vers des populations cibles.
- Zwarenstein, Merrick et al., extension CONSORT pour les essais pragmatiques, *BMJ*, sur le passage des conditions expérimentales à la pratique courante.