Sous-groupes et analyses exploratoires

Une étude peut montrer qu’un traitement ou une exposition n’a pas exactement le même effet chez tout le monde.

L’effet peut varier selon :

  • l’âge ;
  • le sexe ;
  • la gravité initiale ;
  • la présence d’une autre maladie ;
  • la dose ;
  • le contexte.

Étudier ces différences est donc scientifiquement légitime et parfois essentiel.

Mais les analyses de sous-groupes sont aussi l’un des moyens les plus faciles de produire des résultats trompeurs si elles sont réalisées après coup sur un grand nombre de catégories.

Pourquoi étudier des sous-groupes ?

Supposons qu’un traitement réduise globalement le risque d’un événement de 20 %.

Il est possible que cet effet soit :

  • beaucoup plus important chez les patients à haut risque ;
  • presque nul chez les patients à faible risque.

Une moyenne générale peut masquer cette hétérogénéité.

Les sous-groupes permettent alors de poser une question importante :

« L’effet est-il réellement différent selon le type de patient ? »

Effet relatif et bénéfice absolu

Il faut toutefois distinguer deux choses.

Un traitement peut avoir le même effet relatif dans plusieurs groupes mais un bénéfice absolu très différent.

Supposons une réduction relative du risque de 25 %.

Groupe à faible risque

Risque sans traitement : 4 %.

Risque avec traitement : 3 %.

Réduction absolue : 1 point.

Groupe à haut risque

Risque sans traitement : 40 %.

Risque avec traitement : 30 %.

Réduction absolue : 10 points.

L’effet relatif est identique, mais le bénéfice clinique est beaucoup plus important dans le second groupe.

Il ne s’agit pas nécessairement d’une véritable modification de l’effet relatif.

Une véritable interaction

Supposons maintenant :

GroupeRisque sans traitementRisque avec traitement
Faible risque4 %4 %
Haut risque40 %25 %

Le traitement semble ne rien faire dans le premier groupe mais produire un fort bénéfice dans le second.

Cette situation suggère une possible interaction, ou modification de l’effet.

Il faut cependant la tester correctement.

« Significatif dans un groupe, non significatif dans l’autre » ne suffit pas

C’est une erreur très fréquente.

Supposons :

Hommes

RR = 0,75 ; p = 0,03.

Femmes

RR = 0,78 ; p = 0,12.

On pourrait dire :

« Le traitement fonctionne chez les hommes mais pas chez les femmes. »

Ce raisonnement est incorrect.

Les estimations 0,75 et 0,78 sont presque identiques.

La différence de significativité peut simplement venir du fait qu’il y avait moins de femmes dans l’étude.

Il faut tester la différence entre les effets

La bonne question n’est pas :

« l’effet est-il significatif dans chaque groupe ? »

mais :

« les effets estimés sont-ils réellement différents entre les groupes ? »

On utilise pour cela un test d’interaction.

Dans l’exemple précédent, il est très plausible que le test ne montre aucune différence entre hommes et femmes.

Exemple inverse

Supposons :

Hommes

RR = 0,50.

Femmes

RR = 1,10.

Ici, la différence entre les estimations est beaucoup plus importante.

Un test d’interaction peut fournir des arguments en faveur d’un véritable effet différent selon le sexe.

Mais même dans ce cas, il faut considérer :

  • taille de l’échantillon ;
  • plausibilité biologique ;
  • pré-spécification ;
  • réplication.

Le problème de la multiplicité

Supposons qu’un essai analyse l’effet selon :

  • sexe ;
  • âge ;
  • pays ;
  • diabète ;
  • poids ;
  • hypertension ;
  • statut tabagique ;
  • gravité ;
  • groupe sanguin ;
  • dix biomarqueurs.

Même si le traitement a exactement le même effet chez tout le monde, certaines différences entre sous-groupes apparaîtront par hasard.

Plus on découpe les données, plus on crée d’occasions de découvrir une anomalie statistique.

Exemple pédagogique

Supposons qu’aucune véritable interaction n’existe.

On réalise 20 tests de sous-groupes indépendants avec un seuil de 5 %.

Comme vu précédemment, la probabilité d’obtenir au moins une interaction apparemment significative simplement par hasard devient importante.

L’article peut alors mettre en avant :

« effet particulièrement marqué chez les patients de moins de 60 ans ».

Mais cette découverte était peut-être simplement la plus spectaculaire parmi vingt comparaisons.

Plus on découpe, plus les groupes deviennent petits

Le problème ne vient pas seulement de la multiplicité.

Les sous-groupes contiennent moins de participants.

Les estimations deviennent donc :

  • plus imprécises ;
  • plus instables ;
  • plus sensibles aux valeurs extrêmes.

Un effet très spectaculaire dans un petit sous-groupe peut n’être qu’une fluctuation aléatoire.

Exemple

Essai total : 10 000 participants.

Sous-groupe particulier :

femmes de moins de 50 ans, diabétiques, non fumeuses : 74 participantes.

Si seulement quelques événements surviennent, déplacer un ou deux cas peut changer fortement le risque relatif.

Un graphique peut pourtant montrer un effet énorme.

L’effet spectaculaire attire l’attention

Parmi 50 sous-groupes, le plus extrême sera forcément… extrême.

C’est presque une conséquence mathématique.

Le problème survient lorsque l’on traite ce résultat comme s’il avait été observé isolément.

Le lecteur ne voit parfois que :

« RR = 0,25 dans le sous-groupe X ».

Il ignore que 49 autres comparaisons étaient beaucoup moins impressionnantes.

Analyse pré-spécifiée

Une analyse de sous-groupe est beaucoup plus crédible lorsqu’elle a été définie avant de connaître les résultats.

Par exemple, un protocole peut annoncer :

« Nous testerons l’interaction entre traitement et gravité initiale, car le mécanisme suggère que l’efficacité dépend du stade de la maladie. »

Cette analyse a une justification claire.

Analyse post hoc

À l’inverse, une analyse est dite post hoc lorsqu’elle est décidée après avoir examiné les données.

Cela ne la rend pas inutile.

Elle doit simplement être interprétée comme :

exploratoire

plutôt que comme confirmation définitive.

Une découverte post hoc peut être excellente

De nombreuses découvertes scientifiques importantes commencent par une observation inattendue.

Le problème n’est donc pas de regarder les données.

Le problème est d’effacer ensuite l’histoire de la découverte et de présenter l’hypothèse comme si elle avait été définie avant l’analyse.

La bonne séquence est :

exploration → hypothèse → nouvelle étude → confirmation.

« HARKing »

On utilise parfois le terme HARKing, pour Hypothesizing After the Results are Known.

Il désigne le fait de formuler l’hypothèse après avoir vu les résultats puis de la présenter comme si elle avait été prévue dès le départ.

Cela transforme artificiellement une découverte exploratoire en résultat confirmatoire.

Exemple

Un essai ne trouve aucun effet global.

Les chercheurs explorent ensuite vingt sous-groupes.

Ils découvrent un bénéfice chez les patients de groupe sanguin B.

L’article est construit autour de l’idée :

« Nous avons étudié l’hypothèse selon laquelle le groupe sanguin modifie l’efficacité. »

Si cette hypothèse n’existait pas avant l’analyse, la présentation exagère la force de la preuve.

Sous-groupes biologiquement plausibles

Une interaction est plus convaincante lorsqu’un mécanisme plausible existe.

Par exemple, un médicament métabolisé par une enzyme spécifique peut raisonnablement avoir des effets différents selon certains variants génétiques.

À l’inverse, une interaction surprenante avec :

  • jour de naissance ;
  • première lettre du nom ;
  • région sans mécanisme clair

nécessite davantage de prudence.

Plausibilité ne remplace pas la preuve

Une explication biologique peut toujours être construite après coup.

Les humains sont très doués pour inventer des récits cohérents une fois le résultat connu.

La plausibilité est donc un argument supplémentaire, pas une validation automatique.

Sous-groupes définis avant traitement

Les analyses les plus simples portent sur des caractéristiques présentes avant l’exposition ou la randomisation :

  • âge ;
  • sexe ;
  • maladie initiale ;
  • biomarqueur de départ.

Ces variables ne peuvent pas avoir été causées par le traitement.

Cela facilite l’interprétation.

Sous-groupes définis après traitement

Il faut être beaucoup plus prudent avec des catégories comme :

  • patients ayant bien répondu à trois mois ;
  • patients ayant toléré le traitement ;
  • patients ayant survécu six mois.

Ces variables sont influencées par ce qui se passe après le début du traitement.

Conditionner dessus peut introduire des biais de sélection ou de collision.

Exemple des « répondeurs »

Supposons qu’on analyse uniquement les patients ayant montré une amélioration initiale.

On demande ensuite si continuer le traitement est bénéfique.

Les « répondeurs » constituent une population sélectionnée selon une conséquence du traitement.

Ils peuvent différer profondément des autres patients.

La question peut être légitime, mais l’interprétation causale devient plus complexe.

Analyse par sexe

Le sexe est un sous-groupe très fréquent.

Il peut exister de vraies différences :

  • pharmacocinétiques ;
  • hormonales ;
  • physiologiques.

Mais chaque différence observée entre hommes et femmes n’est pas nécessairement réelle.

Il faut éviter deux extrêmes :

ignorer systématiquement les différences

et

surinterpréter chaque contraste aléatoire.

Analyse par âge

L’âge peut modifier :

  • risque de base ;
  • métabolisme ;
  • immunité ;
  • tolérance.

Il est donc souvent pertinent.

Mais découper arbitrairement l’âge en :

  • <50 ;
  • 50–59 ;
  • 60–69 ;
  • ≥70

peut créer des frontières artificielles.

Variables continues et catégories arbitraires

Supposons que l’effet varie progressivement avec l’âge.

Transformer l’âge en deux groupes :

<65 / ≥65

peut masquer la véritable structure.

Pire, tester plusieurs seuils jusqu’à trouver celui donnant l’interaction la plus significative augmente fortement le risque de faux positif.

Modéliser une interaction continue

Il peut être préférable d’étudier directement comment l’effet évolue avec l’âge comme variable continue.

Des modèles avec :

  • interaction ;
  • splines ;
  • courbes flexibles

peuvent montrer une variation progressive sans imposer un seuil arbitraire.

Mais ils nécessitent suffisamment de données et une interprétation prudente.

Sous-groupes et risque de base

Une différence de bénéfice absolu entre groupes ne signifie pas nécessairement une différence de mécanisme.

Supposons que le même traitement réduise le risque relatif de 30 % partout.

Chez les personnes à très haut risque, le bénéfice absolu sera mécaniquement plus grand.

On peut donc personnaliser une décision sans nécessairement affirmer une interaction biologique.

Hétérogénéité des effets du traitement

On parle souvent d’hétérogénéité des effets du traitement lorsque l’effet causal varie entre les individus ou groupes.

C’est un enjeu majeur de la médecine personnalisée.

Mais démontrer cette hétérogénéité est généralement plus difficile que démontrer un effet moyen.

Pourquoi ?

Pour démontrer un effet moyen, on compare deux groupes.

Pour démontrer une interaction, on cherche une différence entre deux différences.

Cela demande généralement davantage d’information.

Les études sont souvent dimensionnées pour l’effet principal, pas pour les interactions.

Manque de puissance

Un essai peut avoir suffisamment de participants pour déterminer si le traitement fonctionne globalement, mais pas assez pour déterminer s’il fonctionne différemment selon le sexe.

L’absence d’interaction significative ne démontre donc pas nécessairement que les effets sont strictement identiques.

Il peut simplement manquer de puissance.

Le forest plot de sous-groupes

Les essais présentent souvent un forest plot montrant les effets dans plusieurs sous-groupes.

Il est visuellement utile.

Mais il peut être mal interprété.

Il faut regarder surtout :

  • intervalles de confiance ;
  • cohérence générale ;
  • test d’interaction.

Pas seulement quelles lignes traversent ou non la valeur nulle.

Exemple visuel conceptuel

Supposons :

GroupeRRIC 95 %
Hommes0,780,65–0,94
Femmes0,800,62–1,03

Le premier est « significatif ».

Le second ne l’est pas.

Mais les effets estimés sont presque identiques.

Conclure à une différence selon le sexe serait une erreur.

Le test d’interaction

Le test d’interaction pose directement :

« La différence entre 0,78 et 0,80 est-elle plus grande que ce que le hasard peut expliquer ? »

Dans cet exemple, clairement pas.

C’est pourquoi :

différence de significativité ≠ différence significative.

Cette règle mérite d’être retenue.

Sous-groupes multiples dans les médias

Les communiqués peuvent extraire le sous-groupe le plus favorable :

« Chez les moins de 55 ans, le traitement réduit le risque de 60 %. »

Le résultat global, beaucoup plus modeste ou négatif, devient secondaire.

Il faut donc toujours rechercher :

l’effet dans l’ensemble de la population étudiée.

L’effet global n’est pas toujours prioritaire

Attention toutefois à ne pas tomber dans l’erreur inverse.

Si une interaction était :

  • prévue ;
  • forte ;
  • statistiquement robuste ;
  • biologiquement plausible ;
  • reproduite,

une moyenne globale peut réellement être trompeuse.

Un traitement très bénéfique dans un groupe et dangereux dans un autre ne doit pas être résumé par une moyenne proche de zéro.

Exemple extrême

Supposons :

  • groupe A : RR = 0,50 ;
  • groupe B : RR = 2,00.

La moyenne globale pourrait être proche de 1 selon la répartition.

Dire :

« le traitement n’a aucun effet »

serait profondément trompeur.

La véritable conclusion serait :

l’effet dépend fortement du groupe.

Simpson et les sous-groupes

Cette situation rappelle le paradoxe de Simpson.

Une relation globale peut différer, voire s’inverser, lorsqu’on stratifie selon une variable pertinente.

Les analyses de sous-groupes sont donc parfois indispensables pour comprendre les données.

Le problème n’est pas la stratification elle-même, mais la manière dont elle est décidée et interprétée.

Analyse exploratoire

Une analyse exploratoire cherche à découvrir des structures inattendues.

Elle peut étudier :

  • nouvelles associations ;
  • sous-groupes ;
  • formes non linéaires ;
  • interactions.

Elle est essentielle à la génération d’hypothèses.

La science ne progresserait pas si tout devait être connu avant de regarder les données.

Analyse confirmatoire

Une analyse confirmatoire part d’une hypothèse définie auparavant et utilise un protocole conçu pour la tester.

Elle possède généralement une force probante supérieure.

Les deux types de recherche sont utiles.

Ce qui est trompeur, c’est de les confondre.

Découverte et confirmation doivent idéalement utiliser des données différentes

Une stratégie robuste consiste à diviser les données :

Jeu de découverte

On cherche les interactions possibles.

Jeu de validation

On teste uniquement les interactions découvertes.

Cela réduit le risque que le même hasard serve simultanément à générer et à « confirmer » l’hypothèse.

Cohortes indépendantes

Encore mieux, une interaction découverte dans une première cohorte peut être testée dans une autre population.

Si elle se reproduit :

  • avec même direction ;
  • ampleur similaire ;
  • méthode pré-spécifiée,

la crédibilité augmente fortement.

Sous-groupes et causalité

Une différence observée entre groupes ne dit pas automatiquement pourquoi l’effet diffère.

Supposons qu’un médicament semble moins efficace chez les personnes âgées.

Cela peut venir de :

  • biologie ;
  • dose ;
  • observance ;
  • traitements concomitants ;
  • erreurs de mesure.

Identifier une interaction statistique n’est que le début de l’explication causale.

Sous-groupes observationnels

Dans une étude non randomisée, la situation est encore plus difficile.

Chaque sous-groupe peut présenter ses propres facteurs de confusion.

Plus on segmente, plus l’équilibre des variables peut se dégrader.

Une association spécifique dans un petit sous-groupe observationnel demande donc généralement beaucoup de prudence.

Personnalisation du risque

Il est parfois plus utile de prédire le risque individuel absolu que de multiplier les sous-groupes.

Par exemple, un score peut combiner :

  • âge ;
  • tension ;
  • tabagisme ;
  • cholestérol.

On peut ensuite calculer le bénéfice absolu attendu du traitement pour différents niveaux de risque.

Cette approche évite parfois de créer des catégories artificielles.

Sous-groupes dans les méta-analyses

Les méta-analyses réalisent aussi des analyses de sous-groupes.

Par exemple :

études à faible dose versus forte dose.

Mais l’unité est souvent l’étude, pas l’individu.

Une différence entre deux groupes d’études peut donc refléter d’autres caractéristiques.

Il faut être prudent avec les conclusions de type :

« les personnes âgées bénéficient davantage »

si les données proviennent uniquement de moyennes d’âge entre études.

Méta-régression et sophisme écologique

Supposons que les études avec un âge moyen plus élevé montrent un effet plus fort.

Cela ne prouve pas que, à l’intérieur des études, les personnes âgées bénéficient davantage.

Les études plus âgées peuvent également :

  • utiliser une dose différente ;
  • être réalisées dans d’autres pays ;
  • avoir une meilleure qualité.

C’est une forme de risque écologique.

Sous-groupes et événements rares

Lorsque l’événement est rare, les analyses deviennent particulièrement fragiles.

Supposons seulement 30 événements dans tout l’essai.

Les répartir entre :

  • hommes/femmes ;
  • trois âges ;
  • deux niveaux de gravité

laisse parfois seulement quelques événements par cellule.

Un risque relatif spectaculaire peut alors dépendre d’un seul cas.

Vérifier les nombres absolus

Face à une analyse de sous-groupe, il est donc essentiel de regarder :

combien de personnes ?

et surtout :

combien d’événements ?

Une estimation calculée sur 3 versus 1 événement ne possède pas la même stabilité qu’une estimation basée sur 300 versus 100.

Intervalles de confiance

Les petits sous-groupes produisent généralement de larges intervalles.

Un article peut mettre en avant l’estimation ponctuelle :

RR = 0,40.

Mais si :

IC 95 % = 0,08–1,95,

les données sont compatibles avec un bénéfice énorme, aucun effet ou même un dommage important.

L’intervalle est plus informatif que le chiffre spectaculaire.

Tester une interaction suppose aussi une échelle

Une subtilité importante est que l’interaction dépend de l’échelle utilisée.

Un effet peut être homogène sur l’échelle :

  • relative ;

mais hétérogène sur l’échelle :

  • absolue.

Par exemple, la même réduction relative de 20 % produit des réductions absolues différentes selon le risque de base.

Dire simplement :

« il existe une interaction »

doit donc préciser de quel type d’effet on parle.

Interaction additive et multiplicative

On peut étudier une interaction sur une échelle additive :

différence de risques

ou multiplicative :

risque relatif.

Les conclusions peuvent différer.

Cette distinction est importante en épidémiologie causale, notamment pour comprendre si deux facteurs combinés produisent davantage d’événements que la somme de leurs effets séparés.

Analyses de sous-groupes et équité

Les sous-groupes ont aussi une importance sociale.

Si les essais incluent très peu :

  • personnes âgées ;
  • femmes enceintes ;
  • minorités ;
  • patients fragiles,

on peut manquer de données sur des populations qui utiliseront pourtant l’intervention.

L’absence d’analyse fiable peut venir non d’un manque d’intérêt mais d’une sous-représentation initiale.

Sous-représentation ne doit pas être compensée par des conclusions fragiles

Il est légitime de vouloir savoir si un traitement fonctionne dans une population particulière.

Mais si seulement 40 personnes de ce groupe ont été incluses, l’étude ne permet peut-être simplement pas de répondre.

Il vaut mieux reconnaître :

« nous ne savons pas encore »

que fabriquer une certitude à partir d’un sous-échantillon insuffisant.

Des sous-groupes réellement utiles

Une analyse est particulièrement crédible lorsqu’elle combine plusieurs caractéristiques :

  • hypothèse définie à l’avance ;
  • petit nombre de sous-groupes ;
  • mécanisme plausible ;
  • effet important ;
  • test d’interaction convaincant ;
  • réplication.

Aucun critère isolé n’est suffisant, mais leur convergence augmente la confiance.

Un résultat exploratoire utile

Supposons qu’un essai découvre de manière inattendue un bénéfice particulièrement fort chez les patients ayant un biomarqueur X.

La bonne conclusion peut être :

« cette interaction mérite une étude dédiée ».

Une étude suivante peut alors recruter spécifiquement ces patients.

Si l’effet est confirmé, l’observation exploratoire aura produit une véritable avancée.

Ce n’est pas une hiérarchie morale

« Exploratoire » ne signifie pas :

mauvaise science.

Cela décrit une fonction différente.

L’exploration génère des idées.

La confirmation évalue leur robustesse.

La science fonctionne précisément grâce à l’alternance entre les deux.

Le problème du récit rétrospectif

Après avoir trouvé une interaction, il est très facile d’écrire :

« comme on pouvait s’y attendre, le mécanisme biologique suggère… »

Mais avant l’analyse, personne n’avait parfois formulé cette prédiction.

Les récits rétrospectifs donnent une impression de prévisibilité excessive.

C’est une forme de biais rétrospectif appliqué à la recherche.

Revenir au protocole

Lorsqu’un sous-groupe joue un rôle majeur dans la conclusion, il est utile de vérifier :

  • protocole ;
  • registre de l’essai ;
  • plan statistique.

La question est :

« cette analyse était-elle prévue avant l’ouverture des données ? »

Une différence claire entre analyse pré-spécifiée et post hoc change fortement le niveau de confiance.

Une étude négative sauvée par un sous-groupe

Un signal d’alerte classique est le récit :

« l’essai est globalement négatif, mais… »

suivi d’un sous-groupe spectaculaire découvert après coup.

Cela ne signifie pas que le résultat soit faux.

Mais il doit généralement être considéré comme une hypothèse nécessitant confirmation.

Une étude positive peut aussi cacher une interaction dangereuse

À l’inverse, un résultat global favorable peut masquer un sous-groupe potentiellement exposé à un dommage.

Il ne faut donc pas rejeter mécaniquement les analyses de sous-groupes.

Les questions de sécurité peuvent justifier une exploration approfondie, surtout si un mécanisme ou plusieurs signaux convergent.

Effets indésirables rares

Pour la sécurité, il est parfois impossible d’obtenir immédiatement une preuve statistique forte dans chaque sous-groupe.

Un signal chez :

  • jeunes adultes ;
  • femmes ;
  • population particulière

peut nécessiter des études complémentaires même si l’interaction initiale est incertaine.

Le niveau de preuve nécessaire pour déclencher une investigation est différent de celui nécessaire pour affirmer une causalité établie.

Une leçon d’esprit critique

Face à une affirmation du type :

« le traitement ne fonctionne que chez tel groupe »,

il faut demander :

Ce sous-groupe était-il prévu avant l’étude ?

Combien de sous-groupes ont été testés ?

Combien de participants et d’événements contient-il ?

Existe-t-il un véritable test d’interaction ?

L’effet est-il biologiquement plausible ?

A-t-il été retrouvé ailleurs ?

Le résultat global va-t-il dans la même direction ?

Ces questions permettent de distinguer une interaction crédible d’une fluctuation aléatoire sélectionnée après coup.

À retenir

Les analyses de sous-groupes sont indispensables lorsque l’effet d’une intervention peut réellement varier selon les personnes.

Mais elles sont particulièrement vulnérables :

  • à la multiplicité ;
  • aux petits effectifs ;
  • aux analyses post hoc ;
  • aux catégories arbitraires ;
  • aux récits construits après coup.

Une différence essentielle doit être retenue :

« significatif dans un groupe et non significatif dans un autre » ne démontre pas une différence entre les groupes.

Il faut tester directement l’interaction.

Les résultats les plus crédibles sont généralement ceux qui sont :

pré-spécifiés, plausibles, statistiquement robustes et reproduits indépendamment.

Les analyses exploratoires restent précieuses, mais elles doivent être présentées pour ce qu’elles sont :

des générateurs d’hypothèses à confirmer, et non des certitudes découvertes après coup puis maquillées en prédictions.

Pour aller plus loin

Peter Rothwell — travaux sur les analyses de sous-groupes dans les essais randomisés. Une référence importante pour comprendre quand une hétérogénéité de traitement peut être crédible.

Sun, Briel et collaborateurs — travaux méthodologiques sur la crédibilité des effets de sous-groupes. Ils proposent des critères pratiques pour évaluer les interactions rapportées dans les essais.

CONSORT — recommandations concernant les analyses de sous-groupes. Elles insistent notamment sur la distinction entre analyses pré-spécifiées et post hoc ainsi que sur l’utilisation des tests d’interaction.

Andrew Gelman et Eric Loken — The Garden of Forking Paths. Une référence utile pour comprendre comment des analyses exploratoires multiples peuvent produire des résultats apparemment convaincants même sans p-hacking intentionnel.