Puissance, taille d’échantillon et absence de preuve

Une étude compare deux traitements et ne trouve pas de différence statistiquement significative. La conclusion paraît naturelle :

« Les deux traitements sont équivalents. »

Cette conclusion peut être correcte. Mais elle peut aussi être totalement injustifiée.

Une étude comportant vingt participants peut manquer un effet important simplement parce que ses données sont trop variables. À l’inverse, une étude portant sur plusieurs milliers de personnes peut estimer l’effet avec suffisamment de précision pour montrer que, même s’il n’est pas exactement nul, il est probablement trop petit pour avoir l’importance que l’on recherchait.

Ces deux situations peuvent pourtant produire la même étiquette :

« résultat non significatif ».

C’est pourquoi la distinction classique entre absence de preuve et preuve d’absence est fondamentale. Altman et Bland l’ont formulée de manière particulièrement célèbre en 1995 : ne pas avoir démontré une différence ne revient pas à avoir démontré qu’elle n’existe pas.

Mais le slogan doit lui-même être manié avec précision. Une absence de résultat peut parfois devenir une véritable preuve contre des effets suffisamment importants, à condition que l’étude ait été capable de les détecter ou de les exclure avec suffisamment de précision.

Pour comprendre cette différence, il faut introduire trois notions : puissance statistique, taille d’échantillon et effet minimal d’intérêt.

Qu’est-ce que la puissance statistique ?

Dans le cadre classique des tests d’hypothèses, la puissance d’un test est la probabilité qu’il conduise à rejeter l’hypothèse nulle si un effet d’une taille spécifiée existe réellement, compte tenu du modèle statistique et du plan d’étude.

Supposons que nous préparions un essai destiné à détecter une baisse moyenne de pression artérielle de 5 mmHg.

Si le calcul indique une puissance de 80 %, cela signifie approximativement :

si l’effet réel est bien de la taille spécifiée dans le calcul, et si les autres hypothèses utilisées sont correctes, environ 80 % d’expériences comparables conduiraient au résultat statistique défini comme permettant de rejeter H₀.

La puissance ne signifie donc pas :

« l’étude a 80 % de chances d’avoir raison ».

Elle ne signifie pas davantage :

« si le résultat est négatif, il existe 80 % de chances qu’il n’y ait aucun effet ».

Elle est une propriété conditionnelle d’une procédure sous une alternative donnée.

Greenland et ses collègues insistent sur ce caractère conditionnel et recensent de nombreuses interprétations erronées de la puissance, des valeurs *p* et des intervalles de confiance.

La puissance dépend toujours de l’effet que l’on veut détecter

Une étude n’est pas simplement « puissante à 80 % » dans l’absolu.

Il faut demander :

80 % de puissance pour détecter quel effet ?

Une étude peut avoir :

95 % de puissance pour détecter un effet très grand ;

80 % pour un effet moyen ;

30 % pour un effet faible.

La même étude possède donc plusieurs puissances selon l’alternative considérée.

C’est une raison supplémentaire pour laquelle l’expression :

« cette étude est puissante »

est incomplète.

La bonne formulation est plutôt :

« avec les hypothèses utilisées, cette étude possède environ 80 % de puissance pour détecter un effet d’au moins telle ampleur avec ce test et ce seuil ».

Pourquoi un effet plus petit demande davantage de participants

Supposons que nous mesurions une variable naturellement très fluctuante.

Une différence moyenne de 20 unités entre deux traitements se détachera relativement facilement du bruit.

Une différence de 0,2 unité sera beaucoup plus difficile à distinguer des fluctuations d’échantillonnage.

Pour détecter de manière fiable des effets plus petits, il faut donc généralement davantage d’information.

Cela signifie souvent davantage de participants.

CONSORT 2025 rappelle précisément que la taille d’échantillon nécessaire dépend notamment de l’effet cible, de la variabilité attendue, du niveau de signification statistique et de la puissance recherchée. Plus l’effet que l’on veut pouvoir détecter est petit, plus l’effectif requis augmente, parfois très fortement.

Cette relation explique un principe important :

une étude conçue pour détecter uniquement des effets énormes ne nous apprend pas grand-chose sur l’existence éventuelle d’effets plus modestes.

Les principaux ingrédients d’un calcul de puissance

Dans une situation simple, la puissance dépend notamment de plusieurs éléments.

La taille de l’effet. Plus l’effet est grand, plus il est facile à distinguer du bruit.

La taille de l’échantillon. Plus nous disposons d’observations pertinentes, plus l’estimation peut généralement devenir précise.

La variabilité. Plus les mesures sont dispersées ou bruyantes, plus il est difficile de détecter une différence.

Le seuil de décision statistique. Exiger une valeur *p* plus petite pour rejeter H₀ réduit généralement la fréquence des faux positifs sous H₀ mais demande davantage de données pour conserver la même puissance.

La structure du plan d’étude. Mesures répétées, appariement, regroupement en grappes, pertes au suivi et autres caractéristiques peuvent modifier fortement l’information disponible.

Un calcul de puissance est donc un modèle de l’étude future, pas un nombre intrinsèque attaché à la question scientifique.

L’erreur de type II

Dans le vocabulaire classique des tests, on appelle erreur de type II la situation où l’on ne rejette pas H₀ alors qu’une alternative définie est vraie.

Sa probabilité est souvent notée β.

La puissance est alors :

1 − β.

Une puissance de 80 % correspond donc à β = 20 % pour l’alternative précise utilisée dans le calcul.

Ce langage peut être utile, mais il favorise parfois une mauvaise représentation selon laquelle il existerait simplement deux mondes :

effet ou pas d’effet.

Dans la réalité, l’effet peut prendre une infinité de valeurs.

Une étude n’a donc pas une probabilité unique de « manquer l’effet ». Elle aura des probabilités différentes de détecter différentes tailles d’effet.

Une étude négative peut manquer un effet réel

Imaginons un essai portant sur 30 patients.

Le traitement réduit en réalité le risque de 20 %.

Mais, par hasard, le groupe traité comporte quelques patients particulièrement graves et les résultats restent très variables.

L’étude obtient *p* = 0,18.

Nous ne pouvons pas conclure :

« le traitement n’a aucun effet ».

Il est possible que l’étude soit simplement trop imprécise pour distinguer correctement l’effet du bruit.

C’est exactement le problème signalé par Altman et Bland : les études non significatives sont fréquemment interprétées comme prouvant l’absence de différence alors qu’elles peuvent seulement ne pas avoir fourni suffisamment de données pour établir la différence.

« Non significatif » peut vouloir dire plusieurs choses

Un résultat non significatif peut apparaître dans au moins plusieurs situations.

L’effet est réellement nul ou extrêmement faible.

L’effet existe mais il est plus petit que ce que l’étude pouvait raisonnablement détecter.

L’effet est suffisamment grand, mais l’échantillon a produit par hasard un résultat peu favorable.

La variabilité réelle est plus importante que prévu.

L’étude contient des erreurs de mesure ou d’autres problèmes réduisant son information.

Un biais produit une estimation plus proche de zéro qu’elle ne devrait l’être.

Ces situations ne peuvent pas être distinguées simplement à partir de :

p > 0,05.

Une étude négative doit donc être interprétée à partir de l’estimation et de son incertitude, pas seulement de la décision du test.

Les intervalles de confiance révèlent immédiatement la différence

Considérons deux études.

Étude A : effet estimé = 0 ; IC 95 % : −20 à +20.

Étude B : effet estimé = 0 ; IC 95 % : −0,5 à +0,5.

Les deux peuvent produire un résultat statistiquement non significatif.

Mais elles racontent des histoires entièrement différentes.

L’étude A reste compatible avec un effet bénéfique très important comme avec un effet nocif très important.

Elle est inconclusive.

L’étude B exclut au contraire une grande partie des effets de grande ampleur.

Elle fournit donc une information beaucoup plus forte en faveur de l’idée que l’effet, s’il existe, est petit.

C’est pourquoi, après l’étude, l’intervalle de confiance est généralement beaucoup plus instructif qu’un calcul de « puissance observée ». Greenland et ses collègues insistent eux aussi sur l’importance d’examiner l’ensemble des valeurs compatibles avec les données plutôt que de transformer un résultat non significatif en preuve de l’hypothèse nulle.

L’absence de preuve peut devenir preuve contre un effet suffisamment grand

Reprenons l’étude B.

Supposons que, pour des raisons médicales, une différence inférieure à 2 unités soit considérée comme négligeable.

L’intervalle allant de −0,5 à +0,5 exclut alors non seulement les effets très grands, mais même les effets considérés comme cliniquement importants.

Nous pouvons donc dire quelque chose de plus fort que :

« nous n’avons pas trouvé d’effet significatif ».

Nous pouvons dire :

« les données sont suffisamment précises pour rendre peu compatibles avec l’étude des effets dépassant l’ordre de grandeur considéré comme important ».

Cela constitue bien une forme de preuve d’absence d’un effet important, sans devoir prétendre avoir démontré que l’effet mathématique est exactement zéro.

Cette nuance est fondamentale.

Prouver exactement zéro est rarement la bonne question

Dans beaucoup de sciences, l’hypothèse selon laquelle un effet serait exactement nul à une infinité de décimales possède peu d’intérêt pratique.

Un médicament peut modifier une mesure de 0,00001 unité.

Une politique peut produire un effet minuscule mais non exactement nul.

Avec un échantillon suffisamment gigantesque, certaines différences minuscules pourraient devenir statistiquement détectables.

La question scientifique pertinente est donc souvent :

« l’effet est-il suffisamment grand pour avoir de l’importance ? »

plutôt que :

« l’effet est-il exactement égal à zéro ? »

C’est ce déplacement qui conduit aux notions de marge d’équivalence et de plus petit effet d’intérêt.

Le plus petit effet d’intérêt

Supposons qu’un traitement soit considéré comme utile seulement s’il réduit une durée d’hospitalisation d’au moins un jour.

Une différence de quelques minutes n’aurait aucune importance clinique.

On peut alors définir un seuil représentant la plus petite taille d’effet considérée comme scientifiquement ou pratiquement intéressante.

La littérature méthodologique parle notamment de *smallest effect size of interest* ou SESOI.

Lakens, Scheel et Isager montrent comment ce concept permet de déplacer l’analyse depuis la seule distinction « zéro / non-zéro » vers une distinction souvent plus pertinente :

effet suffisamment grand pour compter / effet trop petit pour compter.

Définir cette limite est évidemment une décision substantielle, pas purement statistique.

L’effet minimal d’intérêt ne doit pas être inventé après les résultats

Supposons qu’une étude estime un effet de 0,4.

Après avoir vu les données, les chercheurs déclarent qu’un effet de 0,3 était justement le seuil d’importance scientifique.

La conclusion devient opportunément favorable.

Pour éviter cette flexibilité, le seuil d’intérêt devrait idéalement être justifié avant l’analyse, à partir de considérations cliniques, théoriques, économiques ou pratiques.

CONSORT 2025 demande justement que le calcul de taille d’échantillon précise et justifie la différence cible considérée comme importante ou réaliste, plutôt que de rapporter uniquement un nombre final de participants.

Le nombre de sujets nécessaire découle donc d’une question préalable :

quel effet voulons-nous être capables de distinguer ?

Le calcul de taille d’échantillon est une décision scientifique

Un protocole indique parfois :

« Une puissance de 80 % nécessitait 200 participants. »

Mais cette phrase cache plusieurs choix.

Pourquoi 80 % plutôt que 90 % ?

Pourquoi cet effet cible ?

Pourquoi cette estimation de la variabilité ?

Pourquoi ce taux anticipé de pertes au suivi ?

Pourquoi ce seuil statistique ?

Si l’effet attendu provient d’une étude précédente minuscule ayant probablement surestimé l’effet, la nouvelle étude peut être beaucoup trop petite.

CONSORT 2025 recommande donc de documenter les hypothèses utilisées et d’examiner la sensibilité de la taille d’échantillon aux valeurs choisies.

Le calcul n’est pas une formalité administrative.

Il fait partie de la construction de la question scientifique.

Une étude trop petite n’est pas automatiquement inutile

Le terme sous-puissant est parfois utilisé comme condamnation générale.

Mais une petite étude peut avoir de nombreuses fonctions : étude pilote, estimation préliminaire d’une variance, test de faisabilité, développement d’une mesure ou contribution à une future méta-analyse.

Même lorsqu’elle étudie directement un effet, ses données ne deviennent pas fausses simplement parce que son intervalle est large.

Le problème est surtout que ses conclusions doivent rester proportionnées à son niveau d’information.

Une petite étude estimant un effet de 10 avec un intervalle allant de −20 à +40 ne permet pas de dire :

« aucun effet ».

Elle permet de dire :

« l’estimation est extrêmement imprécise ».

Cette distinction est importante.

Le manque de puissance augmente surtout l’incertitude

Dans un dessin autrement valide, une petite taille d’échantillon produit généralement des estimations plus variables.

Certaines études obtiendront un effet plus petit que la réalité.

D’autres un effet plus grand.

La principale conséquence est donc une forte incertitude.

Mais une deuxième difficulté apparaît lorsque la communauté ne retient ou ne publie que les petites études ayant malgré tout obtenu *p* < 0,05.

Parmi les petites études qui franchissent ce seuil, celles ayant surestimé l’effet par hasard sont beaucoup plus susceptibles d’être sélectionnées.

On observe alors une forme de surestimation conditionnelle des effets détectés, parfois rapprochée des notions de *winner's curse* ou d’erreur de magnitude.

Le manque de puissance devient donc particulièrement problématique lorsqu’il est combiné à la sélection des résultats statistiquement significatifs.

Nous retrouverons ce mécanisme avec les biais de publication et la crise de reproductibilité.

Augmenter l’échantillon n’améliore pas tout

Une étude de dix millions de personnes peut posséder une puissance considérable pour détecter des effets minuscules.

Mais si l’exposition est systématiquement mal mesurée, le problème demeure.

Si un confondeur majeur est absent, il demeure.

Si le groupe témoin a été mal choisi, la taille ne le répare pas.

Si l’analyse a été sélectionnée parmi des centaines, davantage de données ne supprime pas le biais analytique.

Nous retrouvons donc une distinction essentielle :

taille d’échantillon → information statistique et précision ;

qualité du dessin → validité de la comparaison.

L’une ne remplace pas l’autre.

Mille mesures du même biais ne produisent pas la vérité

Imaginons une balance qui surestime systématiquement tous les poids de 2 kg.

Peser une personne une fois produit une estimation imprécise et biaisée.

La peser un million de fois avec la même balance permet de connaître avec une précision extraordinaire le résultat biaisé de la balance.

La variabilité aléatoire autour de la moyenne disparaît presque.

L’erreur systématique de 2 kg demeure.

Il en va de même dans une étude.

Un immense échantillon peut rendre l’intervalle statistique extrêmement étroit tout en laissant intact un biais de sélection, une confusion ou une erreur de mesure.

La puissance statistique est donc une protection contre l’insuffisance d’information aléatoire, pas contre toutes les formes d’erreur.

Une bonne étude n’a pas nécessairement besoin d’être gigantesque

L’objectif n’est pas non plus de maximiser systématiquement la taille d’échantillon.

Une étude comportant davantage de participants coûte plus cher, prend davantage de temps et peut exposer inutilement des personnes à une intervention potentiellement inefficace ou dangereuse.

CONSORT 2025 souligne précisément que les calculs d’effectif doivent trouver un équilibre entre exigences scientifiques, considérations logistiques et considérations éthiques. L’étude doit être suffisamment grande pour répondre correctement à sa question sans recruter inutilement davantage de participants.

Plus grand n’est donc pas toujours mieux.

La bonne taille est celle qui permet de répondre avec suffisamment de précision à la question pertinente.

Concevoir une étude pour une précision cible

Il est possible de penser la taille d’échantillon autrement qu’en termes de puissance.

Supposons que l’objectif principal soit d’estimer un taux avec une marge d’erreur d’environ ±2 points de pourcentage.

On peut choisir l’effectif nécessaire pour obtenir la précision souhaitée.

Cette approche est particulièrement naturelle dans les études descriptives ou lorsque l’objectif est davantage l’estimation d’un effet que le rejet d’une hypothèse précise.

Même dans les essais, réfléchir en termes de précision peut être conceptuellement très utile :

quelle largeur d’intervalle serions-nous prêts à accepter autour de notre estimation ?

Une étude qui ne peut pas distinguer un bénéfice important d’un dommage important manque probablement sa question scientifique, quelle que soit la valeur *p* obtenue.

Le danger du calcul de puissance après coup

Après une étude non significative, il arrive que l’on calcule une « puissance observée » en utilisant l’effet effectivement mesuré.

Exemple :

« Le résultat n’était pas significatif, mais notre puissance post hoc n’était que de 35 % ; cela explique l’échec. »

Cette pratique est largement déconseillée.

Une fois les données observées, la puissance recalculée à partir de l’effet observé est fortement déterminée par le résultat statistique lui-même et apporte généralement très peu d’information supplémentaire.

Hoenig et Heisey ont consacré un article classique à ce qu’ils appellent la fallace des calculs de puissance post-expérimentaux, et les travaux méthodologiques ultérieurs continuent de recommander de ne pas utiliser la puissance post hoc pour interpréter les résultats.

Une revue récente sur les pratiques de rapport statistique rappelle elle aussi que la « puissance observée » est mathématiquement étroitement liée à la valeur *p* et n’apporte pas l’information qu’on lui attribue parfois.

Après l’étude, regardez l’estimation et son intervalle

Supposons qu’un essai soit terminé et non significatif.

Ce que nous voulons maintenant savoir est :

quels effets restent compatibles avec les données ?

L’intervalle de confiance répond beaucoup plus directement à cette question.

S’il est très large, l’étude est inconclusive.

S’il exclut les effets importants, le résultat négatif devient informatif.

S’il reste compatible uniquement avec des effets très petits, il fournit une véritable raison de penser que l’intervention n’a probablement pas un effet substantiel de la taille recherchée.

Greenland et ses collègues comme les critiques de la puissance post hoc recommandent ainsi de privilégier l’estimation et son incertitude plutôt qu’un nouveau calcul de puissance fondé sur les données déjà observées.

Les tests d’équivalence : tester directement l’absence d’un effet important

Le test classique demande souvent :

H₀ : effet = 0.

Puis il cherche suffisamment de données pour rejeter cette hypothèse.

Un test d’équivalence inverse en quelque sorte la question.

On définit une zone autour de zéro correspondant à des effets considérés comme trop petits pour être substantiellement intéressants.

Par exemple :

−2 < effet < +2.

On cherche ensuite à déterminer si les données permettent d’exclure raisonnablement des effets situés en dehors de cette zone.

Lakens a popularisé en psychologie la procédure TOST — Two One-Sided Tests, largement utilisée depuis longtemps dans d’autres domaines. Elle teste si les données permettent de rejeter des effets au moins aussi grands que les deux limites d’équivalence fixées.

L’objectif n’est donc pas de démontrer :

effet = exactement zéro.

Il est de soutenir :

l’effet est suffisamment petit pour être considéré comme pratiquement équivalent à l’absence d’effet selon le seuil défini.

Quatre situations plutôt que deux

La combinaison d’un test traditionnel et d’un test d’équivalence produit une lecture beaucoup plus riche que « significatif / non significatif ».

RésultatInterprétation possible
Effet statistiquement détecté, non équivalentLes données soutiennent un effet qui peut être suffisamment grand pour compter
Non significatif, mais équivalentPas de différence détectable pertinente ; les effets importants définis par la marge peuvent être exclus
Non significatif et non équivalentInconclusif : les données sont trop imprécises pour établir une différence comme pour l’exclure
Statistiquement différent de zéro et équivalentL’effet peut être réellement non nul mais si petit qu’il reste dans la zone jugée négligeable

Cette dernière situation est particulièrement instructive.

Avec un grand échantillon, nous pouvons démontrer qu’un effet vaut par exemple 0,2 plutôt que exactement 0 tout en montrant qu’il est suffisamment inférieur au seuil pratique de 2 pour être considéré comme négligeable.

Statistiquement réel et pratiquement important restent deux questions différentes.

L’équivalence exige une marge justifiée

Le test d’équivalence ne supprime pas le jugement scientifique.

Au contraire, il le rend explicite.

Pourquoi considérer ±2 comme négligeable ?

Pourquoi pas ±1 ou ±5 ?

La réponse dépend de la question.

En médecine, elle peut reposer sur la plus petite différence cliniquement importante.

En ingénierie, sur une tolérance technique.

En politique publique, sur le coût nécessaire pour qu’une intervention mérite d’être adoptée.

En recherche fondamentale, sur une prédiction théorique.

Lakens et ses collègues insistent précisément sur la nécessité de justifier le plus petit effet d’intérêt plutôt que de choisir arbitrairement une marge uniquement parce qu’elle permet d’obtenir une conclusion d’équivalence.

Équivalence et non-infériorité ne sont pas identiques

Un essai d’équivalence cherche généralement à montrer qu’une différence reste à l’intérieur de limites définies dans les deux directions.

Un essai de non-infériorité pose une question asymétrique.

Supposons qu’un nouveau traitement soit beaucoup moins cher et plus facile à administrer que le traitement standard.

Il n’a pas nécessairement besoin d’être meilleur.

Il suffit peut-être de montrer qu’il n’est pas moins efficace de plus d’une marge considérée comme acceptable.

La question devient alors :

pouvons-nous exclure une perte supérieure à Δ ?

La FDA insiste précisément sur l’importance cruciale du choix et de la justification de cette marge de non-infériorité.

Là encore, un résultat simplement « non significatif entre les traitements » ne suffirait pas.

Une étude sous-puissante peut déclarer faussement « aucune différence »

Imaginons deux traitements comparés sur vingt patients.

Le résultat est :

A = 50 % de succès ; B = 60 % ; p = 0,65.

Une conclusion naïve serait :

« A et B sont équivalents. »

Mais avec si peu de participants, les données peuvent rester compatibles aussi bien avec une différence importante en faveur de A qu’avec une différence importante en faveur de B.

Le résultat non significatif indique surtout :

nous ne savons pas.

Pour démontrer l’équivalence, il faut au contraire assez de précision pour exclure les différences jugées importantes.

C’est presque l’inverse de la croyance courante selon laquelle une petite étude serait particulièrement adaptée à démontrer qu’il n’existe aucune différence parce qu’elle obtient facilement *p* > 0,05.

Un résultat négatif peut donc être extrêmement précieux

Une étude bien conçue et suffisamment précise peut montrer qu’un mécanisme proposé n’a probablement pas l’ampleur qu’une théorie lui attribuait.

Elle peut exclure un risque important.

Elle peut montrer qu’une intervention coûteuse ne produit au mieux qu’un bénéfice minuscule.

Elle peut établir qu’un nouveau traitement n’est pas inférieur de manière cliniquement importante à un traitement standard.

Les « résultats négatifs » ne sont donc pas des études ratées.

Ils peuvent être scientifiquement fondamentaux.

Encore faut-il avoir conçu l’étude pour apprendre quelque chose lorsque l’effet est faible ou absent.

La taille d’échantillon devrait être liée à la question scientifique, pas au seuil de publication

Une mauvaise logique serait :

« Combien de sujets faut-il pour avoir de bonnes chances d’obtenir p < 0,05 ? »

Une meilleure question est :

« Quel effet serait suffisamment important pour modifier nos conclusions, et combien de données faut-il pour distinguer correctement cet effet des effets trop petits pour compter ? »

CONSORT 2025 insiste précisément sur le fait que la différence cible utilisée pour dimensionner un essai doit être reliée à une différence cliniquement ou scientifiquement pertinente, avec justification de ses hypothèses.

Le calcul statistique vient alors servir une question substantielle, plutôt que l’inverse.

Des hypothèses trop optimistes peuvent produire des études trop petites

Supposons qu’une petite étude pilote estime un effet énorme.

On utilise cette estimation comme valeur attendue pour calculer la taille de la prochaine étude.

Puisque les effets énormes sont faciles à détecter, le calcul recommande peu de participants.

Mais l’effet de la première étude était peut-être surestimé par hasard.

La nouvelle étude devient alors beaucoup moins puissante qu’annoncé pour l’effet réel.

Cette dynamique peut contribuer à produire des séries de petites études incertaines.

Le choix de l’effet cible doit donc idéalement combiner importance scientifique et plausibilité, plutôt que simplement recopier l’estimation ponctuelle d’une petite étude antérieure.

CONSORT 2025 recommande justement de documenter la provenance et la justification des quantités utilisées dans le calcul d’effectif.

Puissance élevée ne garantit pas une réplication

Supposons qu’une étude ait été conçue avec 90 % de puissance pour détecter un effet donné.

Elle obtient un résultat positif.

Cela ne signifie pas :

« la prochaine étude a 90 % de chances de reproduire exactement le résultat ».

La réplication dépend de la véritable taille de l’effet, de l’incertitude sur cette taille, des différences de population, des méthodes, des mesures et de nombreux autres éléments.

Le 90 % était calculé avant l’étude sous une hypothèse spécifique.

Ce n’est pas une probabilité générale de réplication.

La confusion entre puissance théorique et probabilité de reproduire un résultat fait partie de la même erreur consistant à transformer des quantités conditionnelles en scores généraux de confiance.

Plus de puissance n’empêche pas les faux positifs dus aux mauvaises pratiques

Une grande étude peut toujours faire l’objet de dizaines d’analyses non prévues.

Elle peut sélectionner les sous-groupes favorables.

Elle peut mesurer plusieurs critères puis ne publier que celui qui fonctionne.

Elle peut interrompre la collecte selon les résultats si cette procédure n’est pas statistiquement prise en compte.

La puissance ne protège donc pas contre la multiplicité cachée et la sélection analytique.

Elle décrit la capacité d’une procédure définie à détecter certains effets.

Si la procédure réelle change en fonction des données, le calcul initial peut ne plus représenter correctement l’analyse effectuée.

C’est précisément ce que nous examinerons dans la fiche suivante.

La puissance dépend aussi de la qualité de la mesure

Supposons qu’un phénomène soit mesuré avec un instrument extrêmement bruité.

Même un grand effet réel peut être difficile à détecter.

Améliorer la fiabilité de la mesure peut parfois augmenter considérablement l’information obtenue sans augmenter le nombre de participants.

De même, certaines conceptions utilisant des mesures répétées ou des comparaisons intra-individuelles peuvent réduire la variabilité pertinente.

Le dimensionnement d’une étude n’est donc pas seulement une question de recrutement.

Il dépend aussi de la manière dont l’information est produite.

Une mauvaise mesure impose davantage de données tout en risquant de laisser subsister des biais.

La meilleure étude n’est pas celle qui « trouve quelque chose »

Une culture excessivement centrée sur les résultats positifs crée une étrange inversion.

Une étude puissante qui montre précisément qu’un effet supposé important est absent pourrait être considérée comme décevante.

Une petite étude instable obtenant par hasard *p* = 0,04 serait présentée comme une découverte.

Scientifiquement, la première peut être beaucoup plus informative.

La qualité d’une étude doit être jugée selon sa capacité à distinguer les possibilités importantes, pas selon sa capacité à franchir un seuil de significativité.

Cette idée deviendra essentielle lorsque nous aborderons le biais de publication.

Une grille simple pour lire un résultat négatif

Lorsqu’une étude ne trouve pas de résultat statistiquement significatif, plusieurs questions sont beaucoup plus utiles que :

« quelle était la puissance post hoc ? »

Quelle est l’estimation de l’effet ?

Quelle est la largeur de son intervalle d’incertitude ?

Quels effets importants restent compatibles avec les données ?

Quel était l’effet cible utilisé pour dimensionner l’étude ?

Cette taille était-elle scientifiquement justifiée ?

Les données permettent-elles d’exclure les effets jugés importants ?

L’étude était-elle conçue pour démontrer une équivalence ou une non-infériorité, ou seulement pour chercher une différence ?

Les mesures sont-elles suffisamment fiables ?

Enfin, le dessin comporte-t-il des biais susceptibles de masquer un effet ?

Ces questions permettent de distinguer très rapidement absence d’effet, absence de détection et absence d’information.

Trois conclusions possibles plutôt que deux

Pour simplifier, une étude cherchant un effet peut aboutir à trois grands états épistémiques.

Preuve en faveur d'un effet suffisamment grand. Les données permettent d’estimer un effet et rendent peu compatibles certaines valeurs faibles ou nulles, selon le cadre utilisé.

Preuve contre un effet suffisamment grand. Les données sont assez précises pour exclure les effets qui auraient eu une importance substantielle.

Incertitude. Les données restent compatibles à la fois avec des effets importants et avec des effets faibles ou nuls.

Cette troisième catégorie est indispensable.

Sans elle, toute étude doit artificiellement produire « oui » ou « non ».

Or une grande partie de la bonne science consiste précisément à savoir reconnaître :

« les données ne permettent pas encore de trancher ».

De « nous n’avons rien trouvé » à « qu’avons-nous réussi à exclure ? »

La meilleure manière d’interpréter une étude négative consiste donc à abandonner la question :

« le résultat était-il significatif ? »

et à demander :

« quelles tailles d’effet les données permettent-elles encore raisonnablement d’envisager ? »

Si presque tout reste possible, nous avons peu appris.

Si les effets importants ont été exclus, nous avons beaucoup appris.

Cette différence constitue le cœur de la distinction entre absence de preuve et preuve d’absence pertinente.


À retenir

La puissance statistique est la probabilité qu’une procédure détecte un effet défini, sous des hypothèses données, lorsqu’un effet de cette taille existe réellement. Elle dépend notamment de la taille d’échantillon, de l’effet recherché, de la variabilité, du seuil statistique et du dessin de l’étude. Une étude n’a donc pas une puissance unique indépendamment de la taille d’effet envisagée. CONSORT 2025 demande précisément que les hypothèses ayant servi au calcul de l’effectif soient explicitées et justifiées.

Un résultat non statistiquement significatif ne démontre pas l’absence d’effet. Comme l’ont souligné Altman et Bland, l’absence de preuve n’est pas équivalente à une preuve d’absence : une étude trop petite ou trop imprécise peut simplement être incapable de distinguer plusieurs possibilités.

Mais cette formule n’interdit pas toute preuve d’absence. Une étude suffisamment précise peut exclure les effets assez grands pour avoir une importance scientifique ou pratique. Les tests d’équivalence formalisent cette logique en définissant à l’avance une zone d’effets considérés comme négligeables et en examinant si les données permettent d’exclure des effets dépassant cette zone.

Il faut également éviter la puissance post hoc calculée à partir de l’effet observé après l’étude : elle est étroitement liée au résultat du test déjà obtenu et apporte généralement très peu d’information supplémentaire. Après l’étude, il est bien plus utile d’examiner l’estimation de l’effet et son intervalle d’incertitude.

La distinction décisive n’est donc pas :

« significatif / non significatif ».

Elle est :

« avons-nous détecté un effet important, avons-nous réussi à exclure un effet important, ou les données restent-elles trop imprécises pour trancher ? »

Sources et références

  • Altman, Douglas G. & Bland, J. Martin, « Absence of evidence is not evidence of absence », *BMJ*, 1995, 311:485, DOI 10.1136/bmj.311.7003.485.
  • Greenland, Sander et al., « Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations », *European Journal of Epidemiology*, 2016, 31:337–350, DOI 10.1007/s10654-016-0149-3.
  • Hopewell, Sally et al., « CONSORT 2025 Explanation and Elaboration: updated guideline for reporting randomised trials », *BMJ*, 2025, notamment l’item 16a consacré à la détermination de la taille d’échantillon.
  • Lakens, Daniël, « Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses », *Social Psychological and Personality Science*, 2017, 8(4):355–362, DOI 10.1177/1948550617697177.
  • Lakens, Daniël, Scheel, Anne M. & Isager, Peder M., « Equivalence Testing for Psychological Research: A Tutorial », *Advances in Methods and Practices in Psychological Science*, 2018, DOI 10.1177/2515245918770963.
  • Hoenig, John M. & Heisey, Dennis M., « The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis », *The American Statistician*, 2001, 55(1):19–24, DOI 10.1198/000313001300339897.
  • FDA, Non-Inferiority Clinical Trials, guidance for industry, 2016, sur le rôle et la justification des marges de non-infériorité.
20 sur 39Retour à la catégorie