Mesure et opérationnalisation : comment transformer un concept en donnée ?
Du concept abstrait à l’observation
La science étudie souvent des objets qui ne sont pas directement accessibles sous une forme simple.
Nous pouvons observer la hauteur d’une personne avec un instrument relativement direct. Mais comment mesurer l’intelligence, la pauvreté, la confiance, la douleur, la démocratie, la qualité de vie ou le niveau de désinformation d’une population ?
Ces concepts ne se présentent pas spontanément sous la forme d’un nombre.
Il faut décider :
- ce qui sera observé ;
- comment cette observation sera produite ;
- selon quelles règles elle sera codée ;
- quelle relation elle entretient avec le concept étudié.
Cette traduction d’un concept théorique en opérations observables est appelée opérationnalisation.
Mesurer ne consiste donc pas simplement à découvrir un nombre déjà présent dans la réalité. Il faut construire une procédure permettant d’attribuer des valeurs à certains aspects du phénomène. Cette construction peut être rigoureuse et informative. Elle peut aussi être inadéquate, réductrice ou trompeuse.
La question centrale est la suivante :
L’indicateur que nous avons choisi représente-t-il suffisamment bien le phénomène que nous voulons connaître ?
Concept, indicateur et mesure
Trois niveaux doivent être distingués.
Le concept
Le concept est l’objet théorique que nous cherchons à comprendre.
Exemples :
- intelligence ;
- anxiété ;
- confiance institutionnelle ;
- pauvreté ;
- démocratie ;
- réussite scolaire.
L’indicateur
L’indicateur est un élément observable utilisé pour représenter le concept.
La confiance institutionnelle peut être étudiée à partir :
- de réponses à un questionnaire ;
- de comportements électoraux ;
- du recours à certaines institutions ;
- de la disposition à suivre leurs recommandations.
La mesure
La mesure est la valeur obtenue selon une procédure déterminée.
Par exemple :
« Sur une échelle allant de 0 à 10, cette personne attribue une confiance de 7 au système judiciaire. »
Cette valeur ne constitue pas directement la confiance elle-même. Elle est le résultat d’une opération particulière censée renseigner sur elle.
Mesurer n’est pas toujours observer directement
Certaines propriétés sont relativement directes.
La longueur d’un objet peut être comparée à une unité conventionnelle à l’aide d’un instrument calibré. Mais même cette mesure dépend :
- d’une définition de la longueur ;
- d’une unité ;
- d’un dispositif ;
- d’une marge d’erreur ;
- de conditions physiques.
La majorité des concepts complexes sont mesurés plus indirectement.
Nous ne voyons pas directement :
- l’intelligence ;
- la motivation ;
- l’idéologie ;
- la cohésion sociale ;
- la légitimité politique.
Nous observons des réponses, des comportements, des performances, des décisions ou des traces que nous interprétons comme les manifestations de ces propriétés.
La mesure repose donc sur une relation théorique entre l’indicateur et le concept.
L’opérationnalisation
Opérationnaliser un concept consiste à préciser les opérations par lesquelles il pourra être observé ou estimé.
Une opérationnalisation doit répondre à plusieurs questions :
- Quelle dimension du concept est étudiée ?
- Quelle population est concernée ?
- Quelle observation servira d’indicateur ?
- Comment sera-t-elle recueillie ?
- Comment sera-t-elle transformée en variable ?
- Quelles valeurs sont possibles ?
- Quelle incertitude accompagne le résultat ?
Prenons le concept de pauvreté. Il peut être opérationnalisé à partir :
- d’un seuil de revenu ;
- de la privation matérielle ;
- de l’accès aux soins ;
- des conditions de logement ;
- du reste à vivre ;
- du sentiment subjectif d’insécurité économique.
Ces indicateurs ne décrivent pas exactement la même réalité.
Le choix dépend de la question étudiée.
Une opérationnalisation ne donne pas la définition complète du concept
Une définition opérationnelle peut être utile sans épuiser la signification d’un concept. Définir la douleur comme un score sur une échelle de 0 à 10 permet de recueillir une information pratique. Mais la douleur ne se réduit pas à ce nombre. Deux personnes peuvent utiliser l’échelle différemment. La douleur peut varier selon sa durée, sa nature, son contexte et ses conséquences.
La mesure sélectionne certains aspects. Elle laisse nécessairement d’autres dimensions en dehors de l’observation. Une bonne opérationnalisation ne prétend donc pas :
« Le phénomène est exactement ce que mesure notre instrument. »
Elle affirme plus modestement :
« Cette procédure nous fournit une information pertinente et limitée sur une dimension du phénomène. »
L’opérationnalisme
Au XXe siècle, Percy Bridgman a défendu une forme d’opérationnalisme selon laquelle la signification scientifique d’un concept serait liée aux opérations permettant de le mesurer. L’idée possède une force importante : un concept scientifique doit être relié à des procédures observables. Une notion impossible à connecter à la moindre observation reste difficile à tester. Mais une version stricte de l’opérationnalisme rencontre plusieurs problèmes. Un même concept peut être mesuré par plusieurs opérations.
La température peut être étudiée avec différents instruments. L’intelligence peut être approchée par plusieurs tâches. La pauvreté peut être mesurée par plusieurs indicateurs. Si chaque opération définissait un concept entièrement différent, il deviendrait difficile d’expliquer pourquoi nous les considérons comme des mesures d’un même phénomène. Les concepts scientifiques dépassent donc souvent une opération particulière. Ils appartiennent à un réseau théorique reliant plusieurs observations.
Une mesure dépend d’une théorie
La mesure n’est pas une opération entièrement séparée de la théorie. Pour construire un thermomètre, il faut supposer qu’une propriété physique varie de manière régulière avec la température. Pour mesurer une attitude par questionnaire, il faut supposer que les réponses possèdent une relation suffisamment stable avec cette attitude. Pour utiliser un test scolaire, il faut supposer que les exercices représentent correctement les compétences visées. La théorie intervient dans :
- le choix de l’indicateur ;
- la construction de l’instrument ;
- la sélection des conditions ;
- l’interprétation du résultat.
Cela ne signifie pas que toute mesure serait arbitraire. Cela signifie qu’une mesure doit être justifiée par autre chose que sa seule existence.
Les variables latentes
Certains concepts sont appelés variables latentes parce qu’ils ne sont pas directement observés. Nous supposons leur existence à partir de plusieurs manifestations. L’anxiété peut être inférée à partir :
- de déclarations ;
- de réactions physiologiques ;
- d’évitements ;
- de troubles du sommeil ;
- de performances dans certaines situations.
Aucun indicateur ne correspond parfaitement au phénomène complet. Les chercheurs utilisent parfois plusieurs indicateurs afin d’estimer une structure commune. La variable latente reste une construction théorique. Sa réalité et sa nature doivent être défendues par la cohérence des observations et des modèles.
Indicateur et indice
Un indicateur correspond à une observation utilisée pour renseigner un phénomène.
Un indice combine plusieurs indicateurs. Par exemple, un indice de développement peut regrouper :
- revenu ;
- espérance de vie ;
- éducation.
L’indice possède l’avantage de représenter plusieurs dimensions. Mais il introduit de nouvelles décisions :
- quels indicateurs retenir ;
- comment les normaliser ;
- quel poids leur attribuer ;
- comment les combiner ;
- comment traiter les données manquantes.
Un nombre synthétique peut faciliter la comparaison tout en cacher la diversité des situations.
Deux pays peuvent obtenir le même score global avec des profils très différents.
Les indicateurs indirects
Un indicateur indirect, ou proxy, est utilisé lorsqu’une mesure plus directe est difficile ou impossible.
Les chercheurs peuvent utiliser :
- le revenu comme indicateur de niveau de vie ;
- les diplômes comme indicateur de compétences ;
- le nombre de publications comme indicateur de productivité scientifique ;
- la participation électorale comme indicateur d’engagement civique.
Ces proxys peuvent être utiles. Mais ils ne sont jamais identiques au concept. Une personne peut posséder un revenu élevé et subir de lourdes charges. Une personne diplômée peut avoir oublié une partie de ses connaissances. Une publication supplémentaire n’est pas nécessairement une contribution scientifique importante. Le proxy devient dangereux lorsqu’il cesse d’être traité comme une approximation et devient implicitement le phénomène lui-même.
Validité : mesure-t-on ce que l’on prétend mesurer ?
La validité désigne la qualité de la relation entre la mesure et le concept.
Une mesure peut être précise et stable tout en mesurer autre chose que ce qui est annoncé. Une balance toujours décalée de deux kilogrammes produit des résultats réguliers mais inexacts. Un questionnaire peut donner des scores cohérents sans mesurer réellement la confiance institutionnelle. La validité demande donc plus qu’une répétition stable. Elle demande une justification de l’interprétation.
La validité de contenu
La validité de contenu concerne la représentation des différentes dimensions du concept. Supposons qu’un test prétende mesurer la maîtrise d’une langue.
S’il contient uniquement des questions de grammaire, il ignore peut-être :
- la compréhension orale ;
- l’expression ;
- le vocabulaire ;
- l’usage en situation.
Le test peut mesurer une dimension réelle, mais pas l’ensemble annoncé.
La validité de contenu demande :
Les éléments retenus couvrent-ils suffisamment le domaine du concept ?
Cette question ne peut pas être résolue uniquement par un calcul. Elle demande une analyse conceptuelle et souvent l’expertise du domaine.
La validité convergente
Une mesure possède une bonne validité convergente lorsqu’elle correspond raisonnablement à d’autres mesures du même phénomène.
Si un nouveau test de douleur produit des résultats proches :
- des déclarations des patients ;
- d’autres échelles reconnues ;
- de certains comportements ;
- de l’évolution clinique,
sa crédibilité augmente.
La convergence ne doit pas être parfaite.
Des mesures différentes peuvent saisir des dimensions différentes. Mais une absence totale de relation avec les autres indicateurs censés mesurer le même objet soulève un problème.
La validité discriminante
Une mesure possède une bonne validité discriminante lorsqu’elle ne se confond pas avec des concepts différents.
Un questionnaire présenté comme une mesure de l’anxiété ne devrait pas seulement reproduire :
- l’humeur générale ;
- la fatigue ;
- la désirabilité sociale ;
- le niveau de langage.
Si une mesure est également liée à presque tous les traits psychologiques, il devient difficile de savoir ce qu’elle représente.
La validité discriminante demande donc :
L’instrument distingue-t-il suffisamment le concept des phénomènes voisins ?
La validité critérielle
La validité critérielle examine la relation entre la mesure et un critère externe pertinent.
Un test peut être évalué selon sa capacité à prévoir :
- une performance ultérieure ;
- une décision ;
- une évolution clinique ;
- un comportement observable.
Une mesure médicale est utile si elle contribue à prédire ou détecter correctement un état pertinent. Mais le choix du critère est parfois lui-même contestable.
Un test scolaire peut prédire la réussite aux examens parce que les examens mesurent des compétences similaires. Cela ne montre pas nécessairement qu’il prédit la créativité ou la capacité à résoudre des problèmes nouveaux.
La validité de construit
La validité de construit concerne l’ensemble des raisons permettant d’interpréter une mesure comme une représentation du concept annoncé. Elle ne repose pas sur un test unique. Elle combine :
- cohérence théorique ;
- validité de contenu ;
- convergence ;
- discrimination ;
- prédictions ;
- variations attendues ;
- résistance aux explications concurrentes.
La validation est donc un processus cumulatif.
Un instrument n’est pas définitivement « valide » dans l’absolu. Il est plus ou moins valide pour une interprétation, une population et un usage déterminés.
Fiabilité et validité
La fiabilité désigne la stabilité ou la cohérence d’une mesure.
Un instrument fiable produit des résultats comparables lorsque la propriété mesurée n’a pas changé. La validité demande que ces résultats représentent correctement le phénomène. Les deux notions doivent être distinguées. Une mesure peut être fiable mais invalide. Par exemple, un questionnaire peut reproduire toujours la même préférence sociale sans mesurer le concept théorique annoncé. Une mesure très instable peut difficilement être valide, car le bruit masque le phénomène.
La fiabilité est souvent nécessaire, mais elle ne suffit pas.
La fidélité test-retest
Une mesure possède une bonne fidélité test-retest lorsque les résultats restent suffisamment proches lors de mesures répétées, en l’absence de changement réel. Cette stabilité est pertinente pour les propriétés supposées relativement durables. Mais elle serait moins attendue pour un état variable, comme l’humeur, la douleur, la fatigue et l’opinion face à un événement nouveau.
Une faible stabilité peut donc indiquer un mauvais instrument ou une véritable variation du phénomène.
L’interprétation dépend de la théorie.
La cohérence interne
Une échelle contient souvent plusieurs questions censées mesurer la même dimension. La cohérence interne examine si les réponses sont suffisamment liées. Une cohérence faible peut montrer que les items ne mesurent pas le même phénomène. Mais une cohérence très élevée n’est pas toujours idéale. Elle peut signifier que les questions sont presque identiques et n’apportent aucune diversité de contenu. Une mesure complexe peut légitimement regrouper plusieurs dimensions partiellement distinctes.
Le coefficient statistique ne remplace donc pas l’analyse du contenu.
L’accord entre évaluateurs
Certaines mesures reposent sur le jugement humain. Des médecins, enseignants, historiens ou codeurs peuvent classer les mêmes cas. L’accord entre évaluateurs indique si les règles sont appliquées de manière suffisamment stable. Un faible accord peut venir de catégories vagues, d’une formation insuffisante, d’informations ambiguës ou de véritables cas frontières. Un accord élevé augmente la fiabilité. Mais plusieurs évaluateurs peuvent partager le même biais.
L’accord ne prouve donc pas que la classification soit correcte.
Précision et exactitude
La précision désigne la faible dispersion des mesures répétées.
L’exactitude désigne leur proximité avec la valeur correcte ou la meilleure référence disponible.
Un instrument peut être précis mais systématiquement décalé. Il peut aussi être approximativement exact en moyenne, tout en produire des mesures très dispersées. Cette distinction est importante. Répéter une mesure ne corrige pas automatiquement un biais systématique. Il faut aussi calibrer l’instrument et examiner son fonctionnement.
La calibration
Calibrer un instrument consiste à comparer ses mesures à une référence et à corriger les écarts. La calibration est relativement claire pour certains instruments physiques. Elle devient plus difficile pour les concepts sociaux ou psychologiques, car il n’existe pas toujours de référence indépendante parfaite. Un test d’intelligence ne peut pas être simplement comparé à « l’intelligence réelle » directement observable. Sa calibration dépend alors d’un ensemble de relations :
- performances ;
- apprentissages ;
- résolution de problèmes ;
- autres tests ;
- comportements.
La mesure des concepts latents repose donc sur une validation en réseau.
L’erreur de mesure
Toute mesure comporte une erreur. Cette erreur peut être :
- aléatoire ;
- systématique ;
- liée à l’instrument ;
- liée à la personne ;
- liée au contexte ;
- liée à la procédure.
L’erreur aléatoire augmente la dispersion. L’erreur systématique déplace les résultats dans une direction. Une grande quantité de données peut réduire certaines erreurs aléatoires. Elle ne corrige pas automatiquement un biais systématique. Mesurer très précisément le mauvais indicateur produit une erreur précise.
Les erreurs aléatoires
Une erreur aléatoire varie de manière imprévisible entre les observations. Elle peut venir :
- du bruit de l’appareil ;
- de fluctuations momentanées ;
- d’une distraction ;
- de petites variations de contexte.
En répétant les mesures, une partie de ce bruit peut se compenser. Mais cette compensation suppose que l’erreur soit réellement aléatoire et que les observations soient suffisamment indépendantes.
Une répétition du même biais ne produit pas une meilleure connaissance.
Les erreurs systématiques
Une erreur systématique influence régulièrement la mesure dans une direction. Un questionnaire peut sous-estimer certains comportements parce que les répondants craignent d’être jugés. Un dispositif peut mesurer différemment selon la couleur de peau, l’âge ou la morphologie. Une enquête en ligne peut surreprésenter les personnes les plus connectées. Ces biais ne disparaissent pas simplement avec un grand échantillon. Une estimation peut devenir extrêmement précise tout en rester systématiquement erronée.
La réactivité à la mesure
Mesurer un phénomène peut le modifier. Une personne qui se sait observée peut changer de comportement. Un élève peut travailler différemment lorsqu’il sait qu’il est évalué. Un patient peut signaler davantage certains symptômes parce que le questionnaire attire son attention. Cette modification est appelée réactivité.
L’instrument n’est alors pas un simple observateur extérieur. Il participe à la production de la donnée. Il faut chercher à estimer cet effet ou utiliser plusieurs méthodes dont les formes de réactivité diffèrent.
Les questionnaires
Les questionnaires permettent d’accéder à :
- des opinions ;
- des perceptions ;
- des expériences ;
- des intentions ;
- des souvenirs.
Ils sont indispensables dans de nombreux domaines. Mais les réponses dépendent :
- de la formulation ;
- de l’ordre des questions ;
- des options proposées ;
- de la compréhension ;
- du contexte ;
- de l’image que le répondant souhaite donner.
Une réponse ne doit pas être traitée comme une fenêtre parfaitement transparente sur l’esprit. Elle constitue un comportement produit dans une situation particulière.
La désirabilité sociale
Une personne peut adapter sa réponse à ce qu’elle considère socialement acceptable. Elle peut minimiser :
- une consommation ;
- un préjugé ;
- un comportement illégal ;
- une difficulté.
Elle peut exagérer :
- une pratique valorisée ;
- son niveau de connaissance ;
- sa participation civique.
Le biais peut être volontaire ou inconscient.
La confidentialité, la formulation indirecte et la comparaison avec des comportements observables peuvent réduire certaines distorsions. Mais aucun dispositif ne les élimine complètement.
La formulation des questions
Une modification apparemment légère peut changer les réponses.
Les mots peuvent :
- suggérer une norme ;
- provoquer une émotion ;
- introduire une présupposition ;
- rendre une option plus disponible.
Demander :
« Êtes-vous favorable à une aide aux personnes en difficulté ? »
n’est pas identique à :
« Êtes-vous favorable à une augmentation des dépenses publiques consacrées à cette aide ? »
Les deux questions portent peut-être sur une politique similaire, mais mettent en avant des aspects différents.
Une mesure d’opinion doit donc documenter la formulation exacte.
Les catégories de réponse
Les réponses proposées influencent également la mesure.
Une échelle peut aller :
- de 1 à 5 ;
- de 0 à 10 ;
- de « pas du tout d’accord » à « tout à fait d’accord ».
L’absence d’une option neutre peut forcer une position. L’ajout de « ne sait pas » peut réduire les réponses artificielles, mais aussi permettre d’éviter une question difficile. Le choix dépend de l’objectif et de la population. Les catégories ne sont pas de simples contenants neutres.
Les niveaux de mesure
Une distinction classique sépare plusieurs niveaux.
Les variables nominales
Elles classent les observations sans ordre nécessaire.
Exemples :
- groupe sanguin ;
- pays ;
- type d’établissement.
Les variables ordinales
Elles classent selon un ordre, sans garantir que les écarts soient égaux.
Exemples :
- faible, moyen, élevé ;
- niveau de satisfaction ;
- classement.
Les variables d’intervalle
Les écarts sont interprétés comme comparables, mais le zéro n’indique pas nécessairement une absence réelle de la propriété.
Les variables de rapport
Elles possèdent un zéro significatif et permettent des comparaisons de proportion.
Exemples typiques :
- longueur ;
- durée ;
- masse.
Ces distinctions influencent les opérations statistiques pertinentes.
Dans la pratique, certaines échelles sont traitées approximativement comme continues, ce qui demande une justification.
Créer des catégories
Les chercheurs transforment souvent une variable continue en catégories.
Un revenu devient :
- faible ;
- moyen ;
- élevé.
Un score devient :
- normal ;
- pathologique.
Cette simplification facilite l’interprétation et la décision. Mais elle produit des effets artificiels. Deux personnes situées de part et d’autre d’un seuil peuvent être presque identiques tout en recevoir des catégories différentes. Deux personnes très éloignées à l’intérieur d’une même catégorie sont traitées comme équivalentes. La catégorisation peut être nécessaire. Elle doit rester visible comme une décision.
Les seuils
Un seuil transforme une variation continue en décision.
En médecine, en droit ou dans les politiques publiques, il faut parfois décider :
- qui reçoit un traitement ;
- qui bénéficie d’une aide ;
- quel résultat est considéré comme inquiétant.
Le seuil peut reposer sur :
- une relation avec le risque ;
- une convention ;
- un compromis entre erreurs ;
- des ressources limitées ;
- une décision politique.
Il ne correspond pas toujours à une frontière naturelle dans le phénomène.
Une personne située juste sous un seuil n’est pas nécessairement fondamentalement différente d’une personne située juste au-dessus.
Sensibilité et spécificité
Lorsqu’un instrument classe des cas en positifs et négatifs, deux qualités sont souvent examinées.
La sensibilité correspond à sa capacité à détecter les cas réellement positifs.
La spécificité correspond à sa capacité à reconnaître les cas réellement négatifs.
Augmenter la sensibilité peut réduire la spécificité, et inversement. Un seuil plus permissif détecte davantage de cas, mais produit plus de faux positifs. Le bon compromis dépend :
- des conséquences d’un cas manqué ;
- des conséquences d’une fausse alerte ;
- de la fréquence du phénomène ;
- des ressources disponibles.
La mesure et la décision sont donc liées sans être identiques.
Le rôle des taux de base
La performance pratique d’un test dépend aussi de la fréquence du phénomène dans la population. Un test très sensible et spécifique peut produire de nombreux faux positifs si la condition recherchée est extrêmement rare. La signification d’un résultat ne vient donc pas seulement des propriétés internes de l’instrument. Elle dépend du contexte d’utilisation. Un indicateur validé dans une population ne peut pas être transféré automatiquement à une autre sans réévaluation.
L’invariance de mesure
Une mesure devrait idéalement conserver la même signification entre :
- différents groupes ;
- différentes langues ;
- différentes périodes ;
- différents contextes.
Cette propriété est appelée invariance de mesure. Une question peut être interprétée différemment selon la culture ou la position sociale. Un test peut favoriser les personnes habituées à certains exercices. Une variation de score peut alors refléter une différence dans le fonctionnement de l’instrument plutôt qu’une différence du phénomène. Comparer des groupes demande donc de vérifier que la mesure est suffisamment équivalente.
Traduire un questionnaire
Traduire littéralement un questionnaire ne garantit pas qu’il mesure la même chose.
Un mot peut posséder :
- des connotations différentes ;
- plusieurs usages ;
- une intensité différente ;
- une pertinence culturelle variable.
La traduction demande souvent :
- traduction initiale ;
- retraduction ;
- test auprès de la population ;
- comparaison statistique ;
- analyse qualitative.
La mesure est une pratique linguistique et sociale, pas seulement numérique.
Les comparaisons dans le temps
Un indicateur peut changer de signification avec le temps. La possession d’un équipement peut signaler la richesse à une époque et devenir presque universelle quelques décennies plus tard. Une catégorie professionnelle peut être redéfinie. Un questionnaire ancien peut employer des termes devenus incompréhensibles ou chargés différemment. Comparer des séries historiques demande de distinguer :
- changement du phénomène ;
- changement de l’instrument ;
- changement de classification ;
- changement des normes.
Une continuité numérique ne garantit pas une continuité conceptuelle.
Mesurer la pauvreté
La pauvreté illustre la pluralité des opérationnalisations.
Une mesure monétaire peut définir comme pauvre toute personne située sous un certain pourcentage du revenu médian. Cette approche permet des comparaisons et décrit une position relative. Mais elle peut ignorer :
- le patrimoine ;
- le coût du logement ;
- les dépenses contraintes ;
- l’entraide ;
- l’accès aux services ;
- la privation réelle.
Une mesure absolue peut mieux représenter certains besoins fondamentaux, mais devenir moins sensible aux transformations générales de la société. Il n’existe pas nécessairement un indicateur unique répondant à toutes les questions.
Mesurer le chômage
Le taux de chômage paraît être une donnée simple.
Il dépend pourtant de définitions :
- qui est en âge de travailler ;
- qui est considéré comme actif ;
- quelle recherche d’emploi est suffisante ;
- quelle disponibilité est exigée ;
- comment classer les temps partiels involontaires.
Deux indicateurs peuvent être correctement calculés et décrire des dimensions différentes du marché du travail. Une personne découragée ayant cessé de chercher peut disparaître du chômage statistique sans avoir trouvé d’emploi. La mesure doit donc être interprétée à partir de sa définition exacte.
Mesurer la démocratie
La démocratie peut être opérationnalisée par :
- la tenue d’élections ;
- la compétition politique ;
- la liberté de la presse ;
- l’indépendance de la justice ;
- les droits civils ;
- la participation ;
- l’alternance.
Un indicateur limité aux élections peut classer comme démocratique un régime dans lequel l’opposition, les médias ou la justice sont fortement contrôlés. Un indice plus complet réduit ce problème, mais introduit des pondérations contestables. La mesure dépend ici d’une conception normative et théorique de la démocratie. Il faut rendre cette conception explicite.
Mesurer l’intelligence
L’intelligence peut être approchée par des tâches portant sur :
- le raisonnement ;
- la mémoire de travail ;
- la compréhension ;
- la vitesse ;
- les capacités spatiales.
Les performances présentent souvent certaines corrélations, ce qui justifie la recherche de structures communes. Mais l’interprétation dépend :
- des tâches ;
- de l’apprentissage ;
- de la culture ;
- de la motivation ;
- des conditions ;
- de la langue.
Un score peut être utile pour certaines prédictions sans représenter la totalité des capacités intellectuelles d’une personne.
Le résultat doit être interprété dans son domaine de validité.
Mesurer la réussite scolaire
La réussite peut être définie par :
- les notes ;
- les diplômes ;
- les connaissances ;
- les compétences ;
- la progression ;
- l’insertion ultérieure.
Ces critères peuvent diverger. Un établissement peut améliorer les résultats aux examens en concentrant l’enseignement sur les exercices évalués. Les scores augmentent, mais certaines compétences non testées peuvent stagner. L’indicateur devient alors la cible de l’action. Ce phénomène est lié à la loi de Goodhart.
La loi de Goodhart
La loi de Goodhart est souvent résumée ainsi :
Lorsqu’un indicateur devient une cible, il cesse souvent d’être un bon indicateur.
Une mesure fonctionne parce qu’elle est corrélée à un objectif.
Lorsqu’une institution récompense directement le score, les acteurs adaptent leur comportement pour améliorer la mesure. Ils peuvent :
- optimiser réellement le phénomène ;
- contourner la règle ;
- sélectionner les cas ;
- négliger les dimensions non mesurées.
Le nombre de publications peut devenir une cible pour les chercheurs. Les écoles peuvent enseigner uniquement ce qui est testé. Les services peuvent choisir les dossiers les plus faciles.
L’indicateur ne reflète plus spontanément le phénomène. Il participe à sa transformation.
La loi de Campbell
Donald Campbell a formulé une idée voisine : plus un indicateur quantitatif est utilisé pour prendre des décisions sociales importantes, plus il risque d’être soumis à des pressions de corruption et de déformer les processus qu’il devait surveiller. Cette déformation n’exige pas toujours une fraude.
Les acteurs apprennent simplement à répondre aux règles d’évaluation.
Une bonne politique d’indicateurs doit donc :
- utiliser plusieurs mesures ;
- surveiller les effets pervers ;
- conserver une évaluation qualitative ;
- réviser les critères ;
- éviter les objectifs trop mécaniques.
Mesurer peut créer la réalité institutionnelle
Une catégorie administrative ne se contente pas toujours de décrire. Elle peut déterminer :
- l’accès à un droit ;
- une sanction ;
- une orientation scolaire ;
- un traitement ;
- une priorité.
Être classé dans une catégorie modifie alors la trajectoire de la personne.
La mesure devient performative. Elle contribue à produire les groupes qu’elle annonce seulement décrire. Cette puissance exige une attention particulière aux cas frontières, aux biais et aux voies de contestation.
Les données administratives
Les données administratives sont produites pour gérer une institution, non nécessairement pour répondre à une question scientifique. Elles peuvent être très riches et couvrir de grandes populations. Mais elles dépendent :
- des règles de déclaration ;
- des objectifs de l’administration ;
- des catégories juridiques ;
- des changements de procédure ;
- des pratiques locales.
Une baisse du nombre d’infractions enregistrées peut refléter :
- une baisse réelle ;
- un changement de plainte ;
- un changement d’enregistrement ;
- une nouvelle priorité policière.
La donnée n’est pas le phénomène brut. Elle est aussi le produit d’une institution.
Les traces numériques
Les recherches utilisent de plus en plus :
- clics ;
- recherches ;
- déplacements ;
- publications ;
- temps de consultation ;
- achats.
Ces données semblent plus directes que les questionnaires. Elles enregistrent des comportements réels. Mais leur interprétation reste difficile.
Un clic peut signifier :
- intérêt ;
- désaccord ;
- curiosité ;
- erreur ;
- exposition automatique.
Une absence de clic ne signifie pas nécessairement une absence d’attention.
Les plateformes modifient continuellement leurs interfaces et leurs algorithmes.
La trace numérique est riche, mais elle ne parle pas seule.
Les mégadonnées ne corrigent pas une mauvaise mesure
Une base contenant des millions d’observations peut produire une estimation extrêmement précise. Mais si l’échantillon est biaisé ou si l’indicateur représente mal le concept, la taille ne résout pas le problème. Une très grande base peut exclure systématiquement certaines populations. Elle peut mesurer un comportement numérique au lieu du comportement général. La quantité réduit certaines incertitudes statistiques. Elle ne garantit ni la représentativité, ni la validité conceptuelle.
Les instruments algorithmiques
Les algorithmes utilisent souvent des variables observables pour prédire un résultat. Ils peuvent produire un score de :
- risque ;
- solvabilité ;
- récidive ;
- réussite ;
- priorité médicale.
Le score n’est pas le phénomène lui-même.
Il dépend :
- des données historiques ;
- de la variable cible ;
- des erreurs passées ;
- des critères de performance ;
- des seuils.
Si la cible historique contient un biais institutionnel, l’algorithme peut le reproduire avec une grande régularité.
Une mesure prédictive doit donc être évaluée à la fois statistiquement, conceptuellement et politiquement.
La neutralité apparente du nombre
Les nombres paraissent objectifs parce qu’ils sont précis. Mais la précision d’une valeur ne montre pas que les choix antérieurs étaient neutres.
Avant d’obtenir le nombre, il a fallu décider :
- quoi mesurer ;
- qui inclure ;
- comment classer ;
- quelle période utiliser ;
- quel seuil retenir ;
- comment combiner les indicateurs.
Ces choix peuvent être raisonnables et transparents. Ils restent des choix. L’objectivité ne consiste pas à nier leur existence. Elle consiste à les expliciter, à les justifier et à permettre leur critique.
Quantifier n’est pas toujours améliorer la connaissance
La quantification facilite :
- la comparaison ;
- la synthèse ;
- la détection de régularités ;
- le suivi dans le temps.
Mais elle peut également produire une perte d’information.
Réduire une expérience complexe à un score unique peut effacer :
- les causes ;
- le contexte ;
- les différences qualitatives ;
- les trajectoires.
La question n’est pas de choisir entre nombre et description.
Il faut déterminer quelle combinaison permet de répondre correctement à la question.
Les mesures qualitatives
Une opérationnalisation ne produit pas nécessairement un nombre.
Une recherche qualitative peut transformer un concept en :
- catégories d’observation ;
- thèmes d’entretien ;
- types de récits ;
- mécanismes ;
- configurations.
Elle doit également préciser :
- comment les données sont recueillies ;
- comment elles sont interprétées ;
- comment les cas sont sélectionnés ;
- comment les conclusions sont contrôlées.
L’opposition entre mesure quantitative et absence de méthode est donc fausse.
Les méthodes qualitatives opérationnalisent autrement.
La catégorisation qualitative
Un chercheur peut coder des entretiens selon plusieurs thèmes. Ces catégories doivent être :
- définies ;
- illustrées ;
- distinguées ;
- appliquées de manière suffisamment cohérente.
La catégorisation peut évoluer pendant l’analyse. Cette évolution doit être documentée.
Comme dans une mesure quantitative, le chercheur doit montrer pourquoi les catégories représentent correctement le phénomène étudié.
La triangulation
Une manière de réduire la dépendance à un indicateur consiste à utiliser plusieurs méthodes.
La confiance institutionnelle peut être étudiée par :
- questionnaire ;
- comportement ;
- entretien ;
- données historiques ;
- expérience.
Chaque méthode possède des biais différents. Leur convergence augmente la crédibilité. Leur divergence peut révéler que le concept possède plusieurs dimensions ou que l’une des mesures fonctionne mal. La triangulation ne consiste pas à additionner mécaniquement les indicateurs. Elle demande d’analyser leur relation.
La discordance entre indicateurs
Deux mesures du même phénomène peuvent diverger.
Une personne peut déclarer une forte confiance dans une institution tout en refusant de suivre ses recommandations. Cette discordance peut venir d’une mauvaise mesure, d’une différence entre attitude et comportement, d’un changement de contexte, de contraintes extérieures ou de plusieurs dimensions de la confiance. Il ne faut pas choisir automatiquement l’indicateur qui confirme l’hypothèse préférée.
La divergence constitue elle-même une donnée à expliquer.
Le rôle des cas limites
Les cas faciles permettent de construire une mesure. Les cas limites révèlent ses présupposés. Une personne située exactement au seuil d’une catégorie oblige à demander :
- pourquoi ce seuil ;
- quelle incertitude ;
- quelles conséquences ;
- existe-t-il une continuité réelle ?
Les cas ambigus ne sont pas seulement des problèmes administratifs. Ils montrent que les concepts et les classifications ne correspondent pas toujours à des frontières nettes dans la réalité.
Mesure réflexive et phénomènes sociaux
Dans les sciences sociales, les personnes peuvent connaître les indicateurs utilisés et adapter leurs comportements. Une université modifie sa stratégie pour améliorer son classement. Une administration réorganise ses dossiers pour atteindre ses objectifs. Une entreprise optimise les métriques visibles. La mesure devient alors une partie du système. Les modèles doivent intégrer cette réflexivité.
Un indicateur stable avant son utilisation comme cible peut devenir moins valide après son institutionnalisation.
Mesure et pouvoir
Choisir un indicateur peut favoriser certaines conceptions du problème. Mesurer la performance d’un hôpital uniquement par le coût moyen valorise une forme d’efficacité. Ajouter :
- la qualité des soins ;
- la sécurité ;
- l’expérience des patients ;
- les conditions de travail,
produit une autre vision de la performance.
L’indicateur répartit l’attention et les ressources.
Il possède donc une dimension politique. Cela ne signifie pas qu’aucune mesure objective soit possible. Cela signifie que les choix de mesure doivent être débattus, surtout lorsqu’ils ont des conséquences importantes.
Mesure et valeurs
Les valeurs interviennent notamment dans :
- le choix du phénomène ;
- la définition d’un résultat important ;
- le seuil de tolérance ;
- la priorité entre plusieurs erreurs ;
- la décision d’agir.
Dans un dépistage, préférer éviter les faux négatifs plutôt que les faux positifs constitue un choix dépendant des conséquences. La science peut informer sur les taux d’erreur. Elle ne décide pas seule du coût moral ou social acceptable. Il faut distinguer :
- la qualité descriptive de l’instrument ;
- la règle normative d’utilisation.
Construire une bonne opérationnalisation
Une bonne opérationnalisation suit généralement plusieurs étapes.
Clarifier le concept
Il faut définir la question et distinguer le concept des notions voisines.
Identifier les dimensions
Un phénomène complexe peut comporter plusieurs composantes.
Choisir les indicateurs
Chaque indicateur doit posséder une relation théorique avec le concept.
Définir la procédure
Il faut préciser la collecte, le codage, les exclusions et les unités.
Tester la fiabilité
La mesure doit être suffisamment stable et cohérente.
Évaluer la validité
Il faut examiner le contenu, la convergence, la discrimination et les prédictions.
Tester les groupes et contextes
La mesure conserve-t-elle le même sens ailleurs ?
Estimer l’incertitude
Le résultat doit être accompagné de ses limites.
Réviser l’instrument
La validation est continue.
La validation est un programme de recherche
Un instrument ne devient pas valide par une déclaration initiale.
Sa qualité se construit au fil de :
- tests ;
- comparaisons ;
- réplications ;
- critiques ;
- usages ;
- révisions.
Une mesure peut fonctionner pour une population et échouer dans une autre. Elle peut être utile pour la recherche et insuffisante pour une décision individuelle. Elle peut prédire correctement sans représenter le mécanisme supposé.
La validation doit donc être adaptée à chaque usage.
Mesurer pour décrire ou pour décider
Une mesure descriptive peut tolérer une certaine incertitude au niveau individuel si elle produit une bonne estimation collective. Une mesure utilisée pour retirer un droit ou imposer un traitement demande davantage de garanties. La même erreur n’a pas les mêmes conséquences selon l’usage. Il faut donc examiner :
- l’objectif ;
- la population ;
- les risques ;
- la possibilité de recours ;
- la réversibilité.
Un indicateur acceptable pour une recherche exploratoire n’est pas automatiquement acceptable pour une décision administrative.
Le niveau individuel et le niveau collectif
Une mesure peut être fiable pour comparer des groupes tout en être trop imprécise pour juger une personne. Une faible différence moyenne peut apparaître dans une grande population. Elle ne permet pas de prédire correctement chaque cas individuel. L’erreur écologique consiste à attribuer à un individu une relation observée au niveau collectif. L’erreur inverse consiste à généraliser directement des comportements individuels à une population. L’unité de mesure et l’unité de conclusion doivent correspondre.
Les scores agrégés
Un score global peut combiner plusieurs performances. Il améliore parfois la stabilité. Mais il peut masquer des profils différents. Deux personnes ayant le même score total peuvent posséder :
- des forces différentes ;
- des difficultés différentes ;
- des trajectoires différentes.
L’agrégation est utile pour certaines comparaisons. Elle ne doit pas supprimer l’analyse des composantes lorsque celles-ci sont importantes pour l’interprétation ou la décision.
La précision excessive
Un résultat peut être présenté avec plusieurs décimales, donnant une impression de grande exactitude. Mais cette précision numérique peut dépasser la qualité réelle de la mesure. Un indice construit à partir de réponses subjectives, d’estimations et de pondérations conventionnelles ne devient pas extrêmement exact parce qu’il est affiché comme 7,438. Le nombre de décimales doit correspondre à l’incertitude réelle. Une présentation trop précise peut cacher la fragilité des hypothèses.
L’incertitude de mesure
Un résultat doit idéalement indiquer :
- sa marge d’erreur ;
- les limites de l’instrument ;
- les biais possibles ;
- le domaine de validité.
L’incertitude ne signifie pas ignorance totale. Elle indique l’étendue des valeurs ou interprétations raisonnablement compatibles avec les données.
Une mesure honnête ne fournit pas seulement un nombre. Elle fournit aussi une information sur la confiance que nous pouvons lui accorder.
La mesure comme argument
Une mesure n’est pas une simple donnée brute. Elle constitue une chaîne de raisonnement :
- nous avons défini un concept ;
- nous avons choisi un indicateur ;
- nous avons construit une procédure ;
- nous avons obtenu une observation ;
- nous interprétons cette observation comme une information sur le concept.
Chaque étape peut être discutée.
Une conclusion solide doit rendre cette chaîne suffisamment visible.
Questions pour examiner une mesure
- Quel concept cherche-t-on à mesurer ?
- Ce concept est-il clairement défini ?
- Possède-t-il plusieurs dimensions ?
- Quel indicateur a été choisi ?
- Pourquoi cet indicateur représente-t-il le concept ?
- Est-il direct ou indirect ?
- Un proxy est-il traité comme le phénomène lui-même ?
- La procédure de collecte est-elle documentée ?
- La mesure est-elle fiable ?
- Est-elle valide pour cette interprétation ?
- D’autres mesures du même phénomène convergent-elles ?
- L’instrument distingue-t-il le concept des notions voisines ?
- La mesure prédit-elle des critères pertinents ?
- Fonctionne-t-elle de la même manière dans tous les groupes ?
- La traduction conserve-t-elle la même signification ?
- Les catégories et seuils sont-ils naturels ou conventionnels ?
- Quelle erreur aléatoire existe ?
- Quel biais systématique est possible ?
- La mesure modifie-t-elle le comportement observé ?
- Les répondants peuvent-ils adapter leurs réponses ?
- L’indicateur est-il devenu une cible ?
- Les acteurs peuvent-ils l’optimiser sans améliorer le phénomène ?
- La donnée administrative correspond-elle à l’événement réel ou à son enregistrement ?
- Le nombre de cas réduit-il seulement l’incertitude ou aussi les biais ?
- L’usage de la mesure correspond-il à son niveau de validation ?
- Peut-elle soutenir une décision individuelle ?
- Quelles informations importantes sont perdues par la quantification ?
- Une triangulation avec d’autres méthodes est-elle possible ?
- Quelle incertitude doit accompagner le résultat ?
- Qu’est-ce qui conduirait à réviser l’instrument ?
Erreurs fréquentes
Confondre le concept et son indicateur
Le revenu n’est pas exactement le niveau de vie. Le score n’est pas exactement l’intelligence.
Croire qu’un nombre est automatiquement objectif
Le nombre dépend de définitions, d’instruments et de choix.
Confondre fiabilité et validité
Une mesure stable peut mesurer le mauvais phénomène.
Croire qu’un grand échantillon corrige tous les biais
La taille réduit certaines erreurs aléatoires, pas les erreurs systématiques.
Utiliser un proxy sans examiner ses limites
Un indicateur indirect peut s’éloigner fortement du concept.
Ignorer les dimensions non mesurées
Une mesure partielle peut être présentée abusivement comme complète.
Créer des catégories artificielles
Un seuil peut produire une séparation nette dans une réalité continue.
Comparer des groupes avec un instrument non invariant
Les scores peuvent ne pas avoir la même signification.
Croire qu’une traduction littérale conserve la mesure
Les concepts peuvent varier selon la langue et la culture.
Confondre précision numérique et exactitude conceptuelle
Plusieurs décimales ne compensent pas une mauvaise opérationnalisation.
Utiliser un indicateur comme objectif sans anticiper les contournements
Les acteurs modifient leur comportement lorsque la mesure devient une cible.
Interpréter une donnée administrative comme un enregistrement direct de la réalité
La donnée dépend des règles et pratiques institutionnelles.
Considérer les traces numériques comme transparentes
Un clic ou une recherche peut recevoir plusieurs significations.
Croire qu’un test validé dans un contexte fonctionne partout
La validité dépend de la population et de l’usage.
Utiliser une mesure collective pour juger précisément un individu
Les niveaux d’analyse doivent être distingués.
À retenir
L’opérationnalisation consiste à transformer un concept théorique en procédures et indicateurs observables.
Une mesure ne constitue pas une reproduction directe du phénomène. Elle résulte d’une chaîne de choix.
Il faut distinguer le concept, l’indicateur et la valeur mesurée.
Une définition opérationnelle peut être utile sans épuiser la signification du concept.
Les concepts complexes sont souvent représentés par plusieurs indicateurs ou par des variables latentes.
Un proxy peut renseigner sur un phénomène sans lui être identique.
La fiabilité désigne la stabilité d’une mesure. La validité concerne la qualité de son interprétation.
Une mesure peut être fiable tout en être invalide.
La validité de construit repose sur un ensemble de preuves : contenu, convergence, discrimination, critères externes et prédictions.
Toute mesure comporte des erreurs aléatoires et des biais systématiques.
Augmenter le nombre d’observations réduit certaines erreurs aléatoires, mais ne corrige pas nécessairement une mauvaise définition ou un biais de sélection.
Les questionnaires sont influencés par la formulation, le contexte, les options et la désirabilité sociale.
Les catégories et les seuils simplifient les décisions, mais peuvent créer des frontières artificielles.
Une mesure peut fonctionner différemment selon les groupes, les langues ou les périodes.
Les données administratives et numériques sont produites par des institutions et des dispositifs. Elles ne constituent pas des reflets neutres du monde.
Lorsqu’un indicateur devient une cible, les acteurs peuvent l’optimiser sans améliorer le phénomène correspondant.
La quantification facilite la comparaison, mais peut masquer le contexte, les mécanismes et les différences qualitatives.
Les méthodes qualitatives opérationnalisent également les concepts, au moyen de catégories et de procédures explicites.
La triangulation de plusieurs méthodes réduit la dépendance à un indicateur unique.
La validation d’un instrument est un processus continu, relatif à une population, un contexte et un usage.
Une mesure acceptable pour décrire une population n’est pas nécessairement assez précise pour décider du sort d’un individu.
La question centrale n’est donc pas seulement :
« Quel nombre avons-nous obtenu ? »
mais :
« Par quelles opérations avons-nous transformé le phénomène en donnée, et quelles raisons avons-nous de croire que cette donnée représente réellement ce que nous prétendons mesurer ? »
Repères et prolongements
Cette fiche prépare notamment les questions suivantes :
- Quelle différence existe entre concept, indicateur et mesure ?
- Qu’est-ce qu’une définition opérationnelle ?
- Une opérationnalisation définit-elle entièrement un concept ?
- Qu’est-ce qu’une variable latente ?
- Quelle différence existe entre fiabilité et validité ?
- Qu’est-ce que la validité de construit ?
- Comment mesurer un concept social ou psychologique ?
- Pourquoi un proxy peut-il être trompeur ?
- Qu’est-ce que l’invariance de mesure ?
- Comment les catégories et les seuils transforment-ils les phénomènes ?
- Pourquoi un grand nombre de données ne garantit-il pas une bonne mesure ?
- Qu’est-ce que la loi de Goodhart ?
- Comment une mesure devient-elle performative ?
- Les indicateurs peuvent-ils être neutres ?
- Comment combiner mesures quantitatives et qualitatives ?
- Quelle différence existe entre mesurer pour décrire et mesurer pour décider ?
Quelques références
- Percy Bridgman, *The Logic of Modern Physics*.
- Gaston Bachelard, *La Formation de l’esprit scientifique*.
- Ernest Nagel, *The Structure of Science*.
- Carl Hempel, *Éléments d’épistémologie*.
- S. S. Stevens, « On the Theory of Scales of Measurement ».
- Lee Cronbach et Paul Meehl, « Construct Validity in Psychological Tests ».
- Samuel Messick, travaux sur la validité des mesures.
- Donald Campbell, travaux sur les indicateurs sociaux et la validité.
- Donald Campbell et Donald Fiske, travaux sur la validation multitrait-multiméthode.
- Joel Michell, travaux critiques sur la mesure en psychologie.
- David Hand, *Measurement: A Very Short Introduction*.
- Ian Hacking, *The Taming of Chance*.
- Theodore Porter, *Trust in Numbers*.
- Alain Desrosières, *La Politique des grands nombres*.
- Nancy Cartwright, travaux sur les modèles, les capacités et les preuves.
- Charles Goodhart, travaux sur les indicateurs et les politiques économiques.
- Robert Adcock et David Collier, travaux sur la mesure des concepts en sciences sociales.
- James Woodward, travaux sur la causalité, l’intervention et la mesure.