Observer et opérationnaliser : comment rendre une question étudiable ?
Une question scientifique peut sembler parfaitement claire tant qu’elle reste formulée dans le langage ordinaire. « Le stress augmente-t-il le risque de maladie ? », « la pollution réduit-elle les capacités cognitives ? », « ce traitement améliore-t-il la qualité de vie ? » ou « les inégalités affectent-elles la réussite scolaire ? » paraissent être des questions auxquelles il devrait suffire de recueillir des données pour répondre.
Mais immédiatement apparaît une difficulté : que faut-il exactement observer ?
Le stress n’est pas directement inscrit dans le monde sous la forme d’un nombre. La qualité de vie non plus. Même des notions apparemment plus simples comme la pollution, la pauvreté, la réussite ou la douleur peuvent être définies et mesurées de plusieurs façons. Une enquête scientifique doit donc effectuer un passage décisif entre le concept qui nous intéresse et les observations concrètes que nous allons effectivement recueillir.
Ce passage est appelé opérationnalisation.
Il paraît parfois n’être qu’une étape technique préalable à la « vraie » recherche. C’est une erreur. Une étude peut disposer d’un échantillon immense, d’une randomisation impeccable et d’analyses statistiques sophistiquées : si ce qu’elle mesure représente mal le phénomène auquel elle prétend répondre, sa conclusion restera fragile.
Avant de demander si une donnée est statistiquement significative, il faut donc commencer par une question plus élémentaire : que représente réellement cette donnée ?
Du concept à l’observation
Certaines propriétés sont relativement faciles à mesurer. La masse d’un objet peut être exprimée en kilogrammes, sa température à l’aide d’une échelle thermométrique, sa longueur en mètres. Même dans ces situations, il reste nécessaire de préciser les instruments et les procédures utilisés, mais le lien entre la propriété recherchée et la mesure est généralement bien établi.
D’autres objets scientifiques sont beaucoup moins directement observables.
Un psychologue qui étudie l’anxiété ne peut pas introduire une sonde dans une personne et lire « anxiété : 73 ». Il peut utiliser un questionnaire, observer certains comportements, mesurer des paramètres physiologiques ou conduire un entretien clinique. Ces méthodes peuvent être informatives, mais elles ne représentent pas exactement la même chose.
De même, un économiste étudiant la pauvreté peut utiliser le revenu disponible, un seuil relatif au revenu médian, les privations matérielles ou encore le patrimoine. Un épidémiologiste étudiant l’exposition à la pollution peut utiliser une station de mesure située près du domicile, un modèle estimant les concentrations à l’adresse du participant ou un capteur individuel porté pendant plusieurs jours.
Dans chacun de ces cas, le chercheur doit transformer une notion générale en indicateurs observables.
L’opérationnalisation consiste précisément à spécifier comment un concept ou une variable sera identifié, mesuré ou manipulé dans une étude. Un même concept peut avoir plusieurs opérationnalisations légitimes, et les différences entre elles peuvent modifier les conclusions obtenues.
Une définition opérationnelle n’est pas une définition complète du phénomène
Il faut toutefois éviter une confusion importante.
Supposons qu’une étude définisse l’activité physique d’une personne comme « le nombre de pas enregistré quotidiennement par un bracelet connecté ». Cette définition rend l’activité physique mesurable, mais elle ne signifie pas que l’activité physique est, par nature, le nombre de pas.
Une personne peut faire du vélo, nager ou pratiquer la musculation sans que cela produise beaucoup de pas. Inversement, deux personnes ayant effectué le même nombre de pas peuvent avoir fourni des efforts physiques très différents.
Le nombre de pas constitue donc un indicateur de certaines formes d’activité physique, pas une identité parfaite entre le concept et sa mesure.
Cette distinction est fondamentale. Lorsqu’une recherche indique qu’un phénomène a été associé à « l’activité physique », il faut parfois revenir à la méthode pour découvrir qu’elle a en réalité étudié une certaine mesure de l’activité physique dans certaines conditions.
La mesure ne doit pas être confondue avec ce qu’elle cherche à représenter.
Le problème des concepts latents
Certaines sciences utilisent explicitement la notion de construit ou de variable latente pour désigner des caractéristiques que l’on ne peut pas observer directement mais que l’on cherche à inférer à partir de plusieurs manifestations.
L’intelligence, la dépression, la confiance politique, la satisfaction au travail ou la qualité de vie appartiennent souvent à cette catégorie.
Prenons la dépression. Elle peut affecter l’humeur, le sommeil, l’appétit, l’énergie, la concentration ou le sentiment de culpabilité. Un questionnaire clinique cherche à utiliser un ensemble de réponses observables pour obtenir une information sur ce phénomène plus abstrait.
Mais aucun item pris isolément ne « mesure la dépression » de manière exhaustive. Dormir mal peut avoir de nombreuses causes. Perdre l’appétit également. C’est la structure d’ensemble de la mesure et les preuves accumulées autour de son interprétation qui permettent éventuellement de défendre l’idée que son score fournit une information pertinente sur le construit étudié.
La validité de construit concerne précisément la question de savoir dans quelle mesure les résultats d’un instrument peuvent raisonnablement être interprétés comme représentant le concept théorique visé. L’American Psychological Association la définit en termes de capacité d’un instrument à mesurer le concept ou trait qu’il prétend mesurer plutôt qu’un phénomène voisin.
Un indicateur peut être précis et néanmoins mesurer la mauvaise chose
Une mesure peut être extrêmement régulière sans être pertinente pour la question posée.
Imaginons une balance qui ajoute systématiquement deux kilogrammes à chaque pesée. Elle peut donner presque exactement le même résultat lorsque la même personne monte dessus plusieurs fois : sa mesure est stable, mais systématiquement décalée.
Le même problème apparaît sous des formes moins évidentes dans la recherche.
Un questionnaire peut produire des scores remarquablement cohérents tout en capturant principalement le niveau d’éducation plutôt que la compétence que l’on souhaitait mesurer. Un indicateur administratif peut enregistrer précisément le nombre de diagnostics réalisés sans mesurer correctement la fréquence réelle d’une maladie, parce qu’il dépend également de l’accès au dépistage. Le nombre de plaintes enregistrées par la police peut être parfaitement comptabilisé tout en constituant un indicateur imparfait de la fréquence réelle d’une infraction.
Cela introduit une distinction fondamentale entre fiabilité et validité. La fiabilité concerne la constance ou la reproductibilité de la mesure dans des conditions comparables ; la validité concerne les raisons que nous avons d’interpréter cette mesure comme représentant correctement ce que nous cherchons à connaître. Une mesure fiable n’est donc pas nécessairement valide.
Nous reviendrons précisément sur cette distinction dans la fiche suivante.
Les proxies : mesurer quelque chose à travers autre chose
Il est fréquent qu’un phénomène ne puisse pas être mesuré directement. Les chercheurs utilisent alors un proxy, c’est-à-dire une variable observable utilisée comme approximation d’une autre variable plus difficile à mesurer.
Le revenu peut servir de proxy pour certaines dimensions du niveau socio-économique. Le diplôme pour certaines dimensions de l’éducation. La distance au domicile pour certaines dimensions de l’accès aux soins. Le nombre de prescriptions médicamenteuses peut parfois fournir une information indirecte sur la fréquence d’une maladie.
Les proxies sont indispensables à de nombreuses recherches. Le problème commence lorsqu’on oublie qu’ils sont des proxies.
Prenons un indicateur utilisant le nombre d’hospitalisations comme mesure de la gravité sanitaire d’une épidémie. Ce nombre dépend évidemment de la maladie, mais également de l’âge de la population, des pratiques d’hospitalisation, des capacités du système de soins, de l’accès aux médecins ou encore de la période considérée.
L’indicateur contient donc le phénomène recherché plus d’autres déterminants.
Un bon proxy n’a pas besoin d’être parfait. Il doit en revanche être suffisamment lié au phénomène étudié pour l’usage que l’on souhaite en faire, et ses limites doivent être connues.
Une opérationnalisation peut modifier la réponse à la question
Le choix d’un indicateur n’est pas toujours neutre.
Supposons que l’on souhaite comparer les inégalités économiques entre deux pays. Selon que l’on utilise les revenus avant redistribution, les revenus disponibles après impôts et prestations, la consommation, le patrimoine ou encore différents indices synthétiques, le tableau obtenu peut changer.
Cela ne signifie pas nécessairement qu’une mesure serait vraie et toutes les autres fausses. Elles peuvent décrire des dimensions différentes du même phénomène général.
Le même problème apparaît lorsqu’on demande si une intervention « améliore la santé ». Une étude peut trouver une amélioration d’un biomarqueur sans détecter d’amélioration des symptômes. Une autre peut montrer une diminution des symptômes sans effet démontré sur la mortalité. Il serait imprudent de résumer indistinctement ces résultats par « le traitement améliore la santé ».
Une bonne recherche doit donc préciser quelle dimension du phénomène elle prétend mesurer.
Plus une conclusion s’éloigne de l’opérationnalisation réellement utilisée, plus elle risque de devenir excessive.
Les mesures objectives ne sont pas toujours supérieures aux mesures subjectives
Le mot « objectif » possède une force particulière dans le langage scientifique. Il peut donner l’impression qu’une mesure obtenue par un appareil serait nécessairement supérieure à une information déclarée par une personne.
Ce n’est pas toujours le cas.
Pour mesurer la température corporelle, un instrument correctement utilisé sera généralement préférable au sentiment qu’a une personne d’avoir de la fièvre. Mais si la question étudiée concerne l’intensité de la douleur ressentie, aucun appareil ne dispose d’un accès direct privilégié à l’expérience consciente du patient.
Une échelle d’auto-évaluation peut alors constituer une mesure pertinente précisément parce que le phénomène étudié est subjectif.
Les déclarations des participants peuvent évidemment être affectées par des erreurs de mémoire, la désirabilité sociale, la compréhension des questions ou le contexte de l’entretien. La littérature méthodologique souligne ces difficultés, notamment lorsque des comportements sont auto-déclarés.
Mais une mesure instrumentale possède elle aussi ses propres erreurs et ses propres présupposés.
La question pertinente n’est donc pas de savoir si une mesure est « objective » au sens vague du terme, mais si elle fournit une information valable sur le phénomène précis que l’on cherche à étudier.
Ce qui est facile à mesurer peut finir par remplacer ce qui nous intéresse
Une difficulté particulièrement importante apparaît lorsque les chercheurs disposent d’un indicateur pratique, standardisé et facilement accessible.
Il devient tentant de traiter cet indicateur comme s’il représentait parfaitement le phénomène d’intérêt.
Dans un hôpital, par exemple, la mortalité, la durée moyenne de séjour, le taux de réadmission ou certains scores administratifs sont beaucoup plus faciles à comparer que l’ensemble des dimensions constituant réellement la qualité d’une prise en charge. Ils peuvent être très utiles, mais chacun ne capture qu’une partie de cette qualité.
Dans l’enseignement, le résultat à un test standardisé peut fournir une information précieuse sur certaines acquisitions. Il ne constitue pas nécessairement une mesure exhaustive de la qualité de l’enseignement, de la compréhension, de l’autonomie intellectuelle ou de la créativité.
Le danger consiste alors à effectuer un glissement silencieux :
« cette variable est mesurable » → « cette variable représente bien le phénomène » → « cette variable est le phénomène ».
Ces trois propositions ne sont pas équivalentes.
Plusieurs opérationnalisations peuvent rendre une conclusion plus robuste
Lorsque c’est possible, une stratégie intéressante consiste à étudier un même phénomène avec plusieurs mesures différentes.
Imaginons que l’on cherche à évaluer les effets du manque de sommeil. On peut mesurer le nombre d’heures réellement dormies, utiliser un dispositif d’actimétrie, recueillir l’évaluation subjective de la fatigue, mesurer les temps de réaction ou examiner certaines performances cognitives.
Ces mesures ne sont pas interchangeables. Mais si plusieurs indicateurs différents évoluent de manière cohérente, cela peut renforcer l’interprétation générale.
À l’inverse, leur désaccord peut être scientifiquement instructif. Un participant peut déclarer se sentir peu fatigué alors que ses performances attentionnelles se dégradent. Ce résultat ne signifie pas nécessairement que l’une des mesures est « fausse » : il peut révéler que fatigue ressentie et performance cognitive ne sont pas la même chose.
Utiliser plusieurs opérationnalisations peut ainsi permettre de découvrir que le concept de départ était lui-même trop grossier.
C’est une des raisons pour lesquelles la validation d’une mesure ne repose généralement pas sur un test unique. Elle demande un ensemble d’arguments montrant comment les résultats de l’instrument se comportent par rapport au construit, au contexte et à d’autres mesures pertinentes. Les conceptions contemporaines de la validité insistent justement sur le caractère cumulatif de ces éléments de preuve.
Le contexte peut modifier ce que signifie une mesure
Une mesure validée dans une population n’est pas nécessairement interprétable exactement de la même façon dans toutes les autres.
Un questionnaire conçu dans une langue peut changer de sens lorsqu’il est traduit. Une question sur les activités quotidiennes peut fonctionner différemment selon l’âge ou le contexte culturel. Un test scolaire peut dépendre de connaissances particulières qui ne sont pas également familières à tous les groupes. Un dispositif médical peut fournir des performances différentes selon les caractéristiques physiologiques des populations sur lesquelles il est utilisé.
La validité n’est donc pas simplement une propriété attachée une fois pour toutes à un instrument. Elle concerne l’interprétation que l’on souhaite faire de ses résultats dans un contexte et pour un usage déterminés. Cette conception est particulièrement importante dans les approches contemporaines de la validation des instruments.
Dire qu’« un questionnaire est validé » est ainsi souvent trop vague. Il faut pouvoir demander : validé pour quoi, auprès de qui, et pour quelle interprétation ?
Des travaux méthodologiques consacrés à l’équivalence entre contextes soulignent précisément qu’une mesure peut fonctionner différemment selon les populations et qu’il faut vérifier cette comparabilité plutôt que la supposer.
Observer implique également des choix
L’idée d’opérationnalisation est particulièrement visible lorsqu’on utilise un questionnaire ou une échelle psychométrique, mais le problème ne disparaît pas dans les sciences dites plus « dures ».
Pour mesurer la température moyenne mondiale, il faut déterminer comment intégrer des mesures provenant de lieux différents, de périodes différentes et d’instruments différents. Pour déterminer la concentration atmosphérique d’un gaz, il faut calibrer les instruments, gérer les sources d’erreur et définir le protocole d’échantillonnage. Pour identifier une particule dans un détecteur, les physiciens interprètent des signaux selon des modèles et des critères de classification.
Cela ne signifie pas que l’observation serait arbitraire ou purement subjective.
Cela signifie que les données scientifiques sont produites à travers des procédures : instruments, classifications, transformations et règles d’analyse qui doivent elles-mêmes être évaluées.
Un chiffre n’est donc pas « brut » au sens où il serait dépourvu de toute histoire méthodologique. Savoir comment il a été obtenu fait partie de l’évaluation scientifique.
Des données déjà existantes peuvent avoir été produites pour une autre question
La recherche contemporaine utilise massivement des bases de données administratives, dossiers médicaux, registres, enquêtes publiques, données commerciales ou traces numériques.
Ces ressources peuvent être extrêmement riches. Mais elles posent un problème particulier : les données n’ont pas toujours été recueillies pour répondre à la question que le chercheur leur pose maintenant.
Un diagnostic inscrit dans une base hospitalière peut avoir été codé principalement pour la gestion administrative. Une absence de diagnostic ne signifie pas nécessairement une absence de maladie. Le nombre de consultations peut dépendre de l’état de santé mais aussi de l’accès au système de soins. Les achats enregistrés par une carte de fidélité ne représentent pas nécessairement toute la consommation alimentaire du ménage.
La documentation méthodologique insiste ainsi sur le fait que les données secondaires doivent être examinées en fonction de l’usage initial pour lequel elles ont été produites et de leur adéquation à la nouvelle question de recherche.
Une base contenant des millions d’observations ne compense pas automatiquement une inadéquation entre la donnée disponible et le phénomène que l’on souhaite connaître.
« Big data » ne signifie pas « bonne mesure »
Cette remarque prend une importance particulière à l’ère des données massives.
Lorsque des millions d’observations sont disponibles, l’incertitude liée à la taille de l’échantillon peut devenir très faible. Mais les erreurs systématiques de mesure ou de sélection ne disparaissent pas pour autant.
Si une application de santé mesure très précisément l’activité physique de ses utilisateurs mais que ceux-ci représentent une population très particulière, le nombre gigantesque de données ne rend pas automatiquement les conclusions généralisables à toute la population.
De même, si un algorithme utilise un mauvais proxy, disposer de cent millions d’exemples peut simplement permettre d’estimer ce mauvais proxy avec une très grande précision.
Une grande quantité de données peut réduire certaines erreurs aléatoires. Elle ne résout pas mécaniquement la question : mesurons-nous correctement ce qui nous intéresse ?
C’est une distinction fondamentale entre précision statistique et validité de la mesure.
Opérationnaliser oblige à clarifier la question scientifique
Cette difficulté possède cependant un avantage intellectuel important.
Lorsque l’on doit décider comment mesurer un phénomène, on découvre souvent que la question initiale était trop vague.
« Le sport est-il bon pour la santé ? » devient : quelle activité, quelle intensité, quelle fréquence, dans quelle population, pour quel indicateur de santé et sur quelle durée ?
« Les réseaux sociaux rendent-ils malheureux ? » devient : quelle utilisation des réseaux sociaux, mesurée comment, à quel âge, sur quelle période, et quelle dimension du bien-être cherche-t-on à évaluer ?
Cette transformation ne constitue pas une complication bureaucratique de la recherche. Elle représente au contraire une clarification de ce que nous prétendons savoir.
La science progresse souvent en remplaçant des questions générales mais ambiguës par des questions plus précises auxquelles les observations peuvent effectivement apporter une réponse.
Évaluer une étude commence donc avant les statistiques
Lorsqu’une étude est présentée dans les médias, l’attention se porte facilement sur le nombre de participants, la significativité statistique ou l’ampleur de l’effet.
Ces informations sont importantes, mais elles arrivent déjà assez tard dans le raisonnement.
Avant de les examiner, il est souvent utile de poser quelques questions beaucoup plus simples : quel phénomène les auteurs disent-ils étudier ? Comment l’ont-ils transformé en variable observable ? Cette mesure correspond-elle réellement au concept ? Pourrait-elle également refléter autre chose ? Fonctionne-t-elle correctement dans cette population ? Plusieurs manières de mesurer le phénomène conduisent-elles à des résultats similaires ?
Ces questions peuvent parfois changer complètement l’interprétation d’un résultat.
Une association très précisément estimée entre deux indicateurs n’implique pas nécessairement une association tout aussi forte entre les deux concepts plus larges que ces indicateurs étaient censés représenter.
La qualité du raisonnement scientifique dépend donc d’une chaîne que l’on oublie facilement :
concept → opérationnalisation → mesure → donnée → analyse → interprétation.
Une faiblesse située au début de cette chaîne peut se transmettre jusqu’à la conclusion.
Mesurer, c’est construire un pont entre une question et le monde
L’opérationnalisation ne doit finalement être comprise ni comme un détail technique ni comme une manière arbitraire de fabriquer les faits.
Elle constitue le pont entre une idée scientifique et les observations susceptibles de la mettre à l’épreuve.
Pour construire ce pont, il faut décider quelles propriétés seront observées, avec quels instruments ou indicateurs, dans quelles conditions et selon quelles règles. Ces choix peuvent ensuite être discutés, testés et améliorés.
Une bonne opérationnalisation ne garantit pas qu’une hypothèse soit vraie. Elle garantit quelque chose de plus modeste mais d’indispensable : que les données recueillies aient une relation défendable avec la question à laquelle on prétend répondre.
Sans cette relation, la précision des calculs qui suivent devient largement illusoire.
À retenir
Une grande partie de la recherche scientifique consiste à transformer des concepts en observations et mesures concrètes. Cette opération est appelée opérationnalisation.
Une opérationnalisation n’est pas le phénomène lui-même. Le nombre de pas n’est pas « l’activité physique », un score de questionnaire n’est pas « la dépression » et le revenu ne résume pas toutes les dimensions de la situation socio-économique. Ces mesures constituent des indicateurs dont il faut déterminer ce qu’ils permettent réellement d’inférer.
La distinction entre fiabilité et validité est donc essentielle : une mesure peut être très régulière tout en représentant mal le phénomène étudié. La validité concerne en outre une interprétation donnée, pour un usage et un contexte particuliers, plutôt qu’un label définitif attaché à l’instrument.
Enfin, davantage de données ne corrigent pas nécessairement une mauvaise opérationnalisation. Une étude peut mesurer avec une extrême précision la mauvaise variable.
Avant de demander ce que montrent les statistiques, il faut donc toujours pouvoir répondre à une question beaucoup plus fondamentale :
qu’avons-nous réellement mesuré ?
Sources et références
- Kimberlin, Carole L. & Winterstein, Almut G., « Validity and reliability of measurement instruments used in research », *American Journal of Health-System Pharmacy*, 65(23), 2008, p. 2276–2284, DOI 10.2146/ajhp070364.
- Cook, David A. & Beckman, Thomas J., « Current Concepts in Validity and Reliability for Psychometric Instruments: Theory and Application », *The American Journal of Medicine*, 119(2), 2006.
- Sullivan, Gail M., « A Primer on the Validity of Assessment Instruments », *Journal of Graduate Medical Education*, 3(2), 2011, p. 119–120, DOI 10.4300/JGME-D-11-00075.1.
- Frongillo, Edward A. et al., « Establishing Validity and Cross-Context Equivalence of Measures and Indicators », *Journal of the Academy of Nutrition and Dietetics*, 2019.
- American Psychological Association, « Construct validity », *APA Dictionary of Psychology*.