Vérifier un chiffre, une statistique ou un graphique

Les nombres donnent facilement une impression d’objectivité. Une affirmation accompagnée de 37,4 %, d’une courbe ou d’un tableau paraît souvent plus solide qu’une affirmation formulée uniquement avec des mots.

Cette confiance n’est pas entièrement injustifiée. Les statistiques permettent de décrire des phénomènes que l’intuition seule appréhende très mal. Elles sont indispensables pour comparer des populations, suivre une évolution ou mesurer l’importance d’un phénomène.

Mais un nombre ne parle jamais tout seul.

Un chiffre peut être parfaitement exact et néanmoins trompeur si nous ignorons ce qui a été compté, par rapport à quoi, sur quelle population, pendant quelle période et selon quelle définition. Un graphique peut représenter fidèlement les données tout en produisant une impression exagérée par le choix de son axe ou de son point de départ.

La question fondamentale n’est donc pas seulement :

« Ce chiffre est-il exact ? »

mais :

« D’où vient exactement ce nombre, que mesure-t-il et la présentation permet-elle d’en comprendre correctement la signification ? »

Un chiffre a toujours un dénominateur, même lorsqu’il est caché

Imaginons deux titres :

« 200 personnes ont été hospitalisées. »

et :

« 200 personnes sur 500 ont été hospitalisées. »

Le premier nombre paraît peut-être relativement faible.

Le second révèle immédiatement qu’il correspond à 40 % de la population concernée.

À l’inverse, 200 hospitalisations dans une population de vingt millions de personnes décrivent une situation très différente.

Un nombre brut ne prend donc souvent son sens qu’avec son dénominateur.

Cette question devient particulièrement importante lorsqu’on compare des populations de tailles différentes.

Dire qu’un pays compte davantage d’accidents qu’un autre ne signifie pas nécessairement que le risque d’accident y est supérieur si sa population est cinq fois plus importante.

La question utile devient :

« 200 sur combien ? »

C’est l’une des questions les plus simples et les plus puissantes de la vérification statistique.

Nombre absolu et taux peuvent raconter des histoires différentes

Supposons qu’une ville passe de 1 million à 1,2 million d’habitants pendant qu’un phénomène passe de 10 000 à 11 000 cas.

Le nombre absolu de cas augmente de 10 %.

Mais rapporté à la population, le taux passe de 10 cas pour 1 000 habitants à environ 9,2 pour 1 000.

Nous pouvons donc dire simultanément :

« le nombre de cas a augmenté »

et

« le taux par habitant a diminué ».

Les deux propositions sont mathématiquement compatibles.

Aucune n’est nécessairement trompeuse en elle-même. Tout dépend de la question.

Si nous voulons savoir combien de dossiers un service public doit traiter, le nombre absolu peut être pertinent.

Si nous cherchons à mesurer la probabilité qu’un habitant soit concerné, le taux par habitant est probablement plus informatif.

La vérification doit donc demander quelle mesure répond réellement à la question posée.

Un pourcentage sans valeur de départ peut être spectaculaire et peu informatif

Les variations relatives peuvent produire des nombres impressionnants.

Un phénomène passe de 1 cas à 3 cas.

Nous pouvons annoncer :

« hausse de 200 % ».

C’est mathématiquement exact.

Mais connaître les valeurs absolues change immédiatement notre perception.

À l’inverse, une augmentation de seulement 2 % peut représenter des centaines de milliers de personnes lorsque la population de départ est immense.

Les pourcentages ne sont donc pas trompeurs par nature. Ils ont simplement besoin d’une base de comparaison.

Face à une variation exprimée en pourcentage, demandons :

« Le pourcentage de quoi, et quelle était la valeur de départ ? »

Pourcentage et point de pourcentage ne sont pas interchangeables

Cette distinction provoque énormément d’erreurs.

Supposons qu’un taux passe de 20 % à 25 %.

Il a augmenté de 5 points de pourcentage.

Mais relativement à sa valeur initiale, l’augmentation est de :

(25 − 20) / 20 = 25 %.

Dire qu’il a « augmenté de 5 % » serait donc différent.

Eurostat rappelle explicitement cette distinction : les points de pourcentage mesurent l’écart entre deux proportions, tandis qu’une variation en pourcentage rapporte la différence à la valeur de départ.

Autre exemple : un parti passe de 10 % à 15 % des intentions de vote.

Il gagne 5 points.

Mais son score relatif augmente de 50 %.

Les deux chiffres sont corrects. Ils ne disent simplement pas la même chose.

Risque relatif et risque absolu

Cette différence devient particulièrement importante lorsqu’il est question de santé ou de sécurité.

Supposons qu’un événement indésirable touche normalement 4 personnes sur 100 et qu’un traitement ramène ce nombre à 3 sur 100.

Nous pouvons présenter le résultat ainsi :

le risque diminue de 1 point de pourcentage ;

ou :

le risque relatif diminue de 25 %.

Ces deux formulations décrivent exactement les mêmes données.

Pourtant, elles ne produisent pas la même impression.

Le manuel Cochrane utilise précisément cet exemple pour montrer pourquoi l’interprétation d’un effet relatif nécessite de connaître le risque de départ : une réduction relative de 25 % peut correspondre à une diminution de 4 % à 3 %, mais la même mesure relative appliquée à un risque de départ beaucoup plus élevé aurait des conséquences absolues beaucoup plus importantes.

Pour comprendre l’importance concrète d’un risque, il est donc généralement utile de connaître à la fois la mesure relative et la mesure absolue.

Les recommandations du NICE sur la communication des risques privilégient d’ailleurs la présentation des risques absolus et des fréquences naturelles — par exemple « 1 personne sur 1 000 » puis « 2 sur 1 000 » — précisément pour rendre le changement plus compréhensible.

« Le risque a doublé » peut décrire des situations très différentes

Considérons deux scénarios.

Dans le premier, le risque passe de 1 cas sur un million à 2 cas sur un million.

Dans le second, il passe de 20 personnes sur 100 à 40 sur 100.

Dans les deux cas, le risque relatif double.

Les conséquences pratiques sont pourtant radicalement différentes.

Un titre indiquant seulement :

« Cette exposition double le risque »

est donc incomplet si le risque de départ n’est pas indiqué.

La question immédiate devrait être :

« Double par rapport à quoi ? »

Puis :

« Cela représente combien de personnes en termes absolus ? »

Le choix du dénominateur peut changer l’impression

Même lorsque le nombre brut et le taux sont tous deux connus, plusieurs dénominateurs peuvent être possibles.

Pour mesurer les accidents de la route, faut-il calculer :

  • les décès par habitant ;
  • les décès par véhicule ;
  • les décès par kilomètre parcouru ;
  • les décès par heure passée sur la route ?

Chaque mesure répond à une question légèrement différente.

Un pays où l’on conduit énormément peut avoir beaucoup d’accidents par habitant tout en ayant relativement peu d’accidents par kilomètre parcouru.

Le choix du dénominateur n’est donc pas purement technique.

Il doit être adapté à la comparaison que nous voulons réaliser.

Lorsque deux personnes utilisent des taux différents, elles peuvent parfois sembler se contredire alors qu’elles ne répondent simplement pas à la même question.

Vérifier la population réellement mesurée

Une statistique peut sembler concerner « les Français » alors qu’elle porte seulement sur un sous-groupe.

Une enquête peut interroger :

les adultes ;

les personnes inscrites sur les listes électorales ;

les internautes utilisant une plateforme donnée ;

les salariés d’un secteur particulier ;

ou les personnes ayant accepté de répondre à un questionnaire.

La population observée n’est donc pas nécessairement la population à laquelle la conclusion est ensuite généralisée.

Cette question sera essentielle pour les sondages, mais elle concerne toutes les statistiques.

Lorsqu’un titre affirme :

« 70 % des Français pensent que… »

il faut pouvoir déterminer qui a réellement été mesuré et comment.

Les catégories doivent être définies avant d’être comptées

Un nombre n’existe pas indépendamment des définitions utilisées pour le produire.

Combien y a-t-il de « chômeurs » ?

Combien de personnes vivent « sous le seuil de pauvreté » ?

Combien d’actes sont classés comme « violences » ?

Combien d’entreprises sont considérées comme « défaillantes » ?

Nous pouvons compter ces phénomènes uniquement après avoir décidé quels cas entrent dans la catégorie.

Cela ne signifie pas que les statistiques seraient arbitraires.

Des définitions précises et stables permettent au contraire de rendre les mesures reproductibles et comparables.

Mais lorsque deux chiffres divergent, il faut parfois examiner les définitions avant d’accuser l’un d’eux d’être faux.

Deux organismes peuvent mesurer honnêtement deux concepts légèrement différents.

Un changement de définition peut créer une rupture artificielle

Imaginons qu’une administration élargisse en 2025 la catégorie des incidents qu’elle enregistre.

Le nombre publié augmente brutalement.

Deux explications sont alors possibles :

davantage d’incidents se sont réellement produits ;

ou :

davantage de situations sont désormais comptées comme incidents.

Les deux phénomènes peuvent même se produire simultanément.

Une série statistique n’est donc comparable dans le temps que si la méthode et les définitions restent suffisamment compatibles.

Les organismes statistiques signalent souvent les ruptures de série précisément pour cette raison.

Une augmentation apparente peut correspondre en partie à une amélioration de l’enregistrement.

Inversement, une baisse apparente peut provenir d’une catégorie devenue plus restrictive.

Mesurer un phénomène et mesurer son enregistrement ne sont pas toujours la même chose

Cette difficulté est particulièrement importante pour les phénomènes qui ne sont pas directement observables dans leur totalité.

Supposons que le nombre de plaintes concernant une infraction augmente.

Cela peut refléter une augmentation des infractions.

Mais également une plus grande propension des victimes à porter plainte, une meilleure réception des plaintes, une campagne de sensibilisation ou un changement juridique.

Les données de plainte mesurent directement les plaintes enregistrées.

Les utiliser comme mesure parfaite du nombre total d’actes exige une hypothèse supplémentaire.

La distinction entre ce qui est directement mesuré et ce que nous utilisons la mesure pour estimer doit donc rester visible.

Une moyenne peut cacher une distribution

La moyenne est extrêmement utile, mais elle peut donner une impression trompeuse lorsque les valeurs sont très asymétriques.

Imaginons cinq revenus mensuels :

1 500 €, 1 600 €, 1 700 €, 1 800 € et 20 000 €.

Le revenu moyen est de 5 320 €.

Pourtant, quatre personnes sur cinq gagnent moins de 2 000 €.

La médiane, qui partage la population en deux moitiés, est ici de 1 700 €.

L’INSEE rappelle que la moyenne peut être fortement tirée vers le haut par quelques valeurs élevées, notamment pour des distributions comme les salaires, et que la médiane est alors souvent plus pertinente pour décrire la position centrale.

Cela ne signifie pas que la médiane serait toujours meilleure.

La moyenne répond parfois exactement à la question qui nous intéresse.

Mais il faut demander :

« Que cherche-t-on à résumer ? »

Moyenne et médiane peuvent raconter deux aspects vrais du même phénomène

Supposons qu’une ville possède un revenu moyen très élevé en raison de la présence d’un petit nombre de foyers extrêmement riches.

Dire :

« le revenu moyen est élevé »

peut être parfaitement exact.

Dire :

« l’habitant typique dispose d’un revenu élevé »

peut être beaucoup moins justifié.

La médiane peut être plus proche de cette seconde question.

Aucune statistique n’est donc intrinsèquement honnête ou malhonnête. Ce qui importe est l’adéquation entre l’indicateur et l’interprétation proposée.

Une évolution nominale n’est pas toujours une évolution réelle

Les comparaisons économiques ajoutent une autre difficulté : l’inflation.

Un salaire passe de 2 000 € à 2 100 €.

Il augmente nominalement de 5 %.

Mais si les prix augmentent de 7 % pendant la même période, le pouvoir d’achat correspondant diminue.

De même, comparer des dépenses publiques exprimées en euros courants sur plusieurs décennies sans tenir compte de l’évolution générale des prix peut donner une impression très exagérée de croissance.

Il faut donc parfois distinguer :

valeur nominale, exprimée dans la monnaie de l’époque ;

et

valeur réelle, corrigée de l’évolution des prix selon l’indice pertinent.

Le choix dépend encore de la question.

Pour connaître le nombre d’euros effectivement dépensés, le nominal est correct.

Pour comparer le pouvoir d’achat ou la valeur économique dans le temps, une correction peut être nécessaire.

Vérifier la période choisie

Un graphique peut être entièrement exact et néanmoins produire une impression fortement dépendante de son point de départ.

Imaginons une série fluctuant entre 95 et 105 depuis vingt ans.

Si nous commençons précisément au creux à 95 et arrêtons au sommet à 105, nous obtenons une hausse d’environ 10,5 %.

Si nous commençons quelques années plus tôt à 104, l’évolution générale paraît presque inexistante.

Le choix de la période peut donc être décisif.

Cette pratique est parfois appelée cherry-picking temporel lorsqu’une période est choisie précisément parce qu’elle favorise la conclusion recherchée.

La bonne réaction consiste souvent à élargir la série.

Que se passait-il avant le point de départ ?

Le point choisi correspond-il à un événement exceptionnel ?

La tendance subsiste-t-elle avec d’autres périodes raisonnables ?

Un point de départ peut être légitime

Attention toutefois : commencer une série à une date précise n’est pas automatiquement une manipulation.

Si nous voulons mesurer les conséquences de la crise financière de 2008, commencer autour de 2008 peut être entièrement pertinent.

Si une réforme entre en vigueur en 2024, comparer les années précédant et suivant cette date peut être justifié.

La question n’est donc pas :

« Pourquoi le graphique ne commence-t-il pas il y a cinquante ans ? »

mais :

« Le choix de la période correspond-il à une raison substantielle ou semble-t-il principalement destiné à produire l’impression recherchée ? »

Une variation courte ne décrit pas nécessairement une tendance longue

Les séries économiques, sanitaires ou criminelles connaissent souvent des fluctuations.

Un indicateur peut augmenter pendant deux mois au sein d’une tendance générale à la baisse.

Dire :

« l’indicateur augmente depuis deux mois »

et :

« l’indicateur diminue sur dix ans »

peut être simultanément exact.

Le conflit apparent vient du niveau temporel choisi.

Avant de parler de « tendance », il est donc utile de préciser la durée considérée.

Une variation mensuelle ne devient pas automatiquement une nouvelle tendance historique.

Les valeurs cumulées peuvent créer une illusion de hausse permanente

Certains graphiques représentent des valeurs cumulées.

Imaginons le nombre total de personnes ayant obtenu un diplôme depuis le début de l’année.

Tant que de nouvelles personnes obtiennent le diplôme, la courbe cumulée ne peut pratiquement que monter.

Cette hausse ne signifie pas que le rythme d’obtention augmente.

Il peut même diminuer fortement.

Pour mesurer l’évolution du rythme, il faudrait examiner le nombre de nouveaux diplômes par semaine ou par mois.

Le même problème apparaît avec les nombres cumulés de cas, de dépenses, d’utilisateurs ou d’événements.

Avant d’interpréter une courbe montante, demandons :

« Est-ce un stock cumulé ou un flux pendant une période donnée ? »

Stock et flux ne doivent pas être confondus

Un stock mesure une quantité à un instant donné : dette totale, population, nombre de lits disponibles.

Un flux mesure ce qui se produit pendant une période : déficit annuel, naissances annuelles, admissions hospitalières mensuelles.

Confondre les deux produit des raisonnements absurdes.

La dette publique et le déficit public ne sont pas la même chose.

Le nombre total de personnes vivant avec une maladie et le nombre de nouveaux diagnostics annuels ne sont pas la même chose.

La première étape consiste donc à identifier ce qui est effectivement représenté.

L’axe vertical peut exagérer visuellement une différence

Supposons deux valeurs :

98 et 100.

Sur un graphique dont l’axe commence à zéro, la différence paraît modeste.

Sur un graphique dont l’axe vertical commence à 97, la barre correspondant à 100 peut sembler trois fois plus haute que celle correspondant à 98.

Les données sont pourtant identiques.

C’est pourquoi la construction des axes compte.

L’Office for National Statistics britannique recommande notamment que les graphiques en barres commencent à zéro : la longueur de la barre représente directement la quantité, et couper l’axe déforme donc visuellement les proportions.

Cela ne signifie pas que tous les graphiques doivent obligatoirement commencer à zéro.

Pour une courbe temporelle variant entre 98,7 et 99,2, commencer à zéro peut rendre toute variation pratiquement invisible.

La question est de savoir si l’échelle permet de voir les variations sans leur attribuer visuellement une importance disproportionnée.

Graphique en barres et courbe ne fonctionnent pas de la même manière

Dans un graphique en barres, nous comparons principalement des longueurs.

Une origine à zéro est donc généralement fondamentale.

Dans une courbe, nous cherchons souvent davantage à observer la forme et l’évolution.

Un axe resserré peut alors être légitime, à condition qu’il soit clairement indiqué et que l’interprétation ne repose pas sur une exagération graphique.

La règle intelligente n’est donc pas :

« Tout axe tronqué est mensonger. »

Elle est :

« L’échelle choisie doit être adaptée au type de graphique et ne pas dissimuler l’ordre de grandeur réel de la variation. »

Deux graphiques identiques peuvent sembler différents avec deux échelles

Le problème devient encore plus évident lorsqu’on compare plusieurs graphiques.

Deux régions connaissent exactement la même évolution absolue.

Le premier graphique utilise un axe de 0 à 100.

Le second de 40 à 50.

La seconde courbe semblera beaucoup plus spectaculaire.

L’ONS recommande donc d’utiliser, lorsque des graphiques doivent être comparés, des échelles cohérentes afin de ne pas fabriquer artificiellement des différences visuelles.

Lorsque plusieurs petits graphiques sont présentés côte à côte, il faut toujours regarder si les axes sont identiques avant de comparer visuellement leurs amplitudes.

Les doubles axes sont particulièrement difficiles à interpréter

Certains graphiques superposent deux séries utilisant chacune une échelle différente.

Par exemple :

taux de chômage à gauche ;

immigration à droite.

En modifiant les deux échelles, il est possible de faire paraître les courbes presque parfaitement parallèles ou, au contraire, très différentes.

Cette représentation peut être légitime dans certaines circonstances, mais elle facilite énormément les associations visuelles trompeuses.

L’ONS recommande d’éviter les graphiques à double axe lorsqu’ils peuvent être remplacés par des présentations plus claires, précisément parce qu’ils sont difficiles à interpréter et peuvent induire en erreur.

Et même lorsque deux courbes évoluent ensemble, leur ressemblance ne démontre évidemment pas une relation causale.

Une échelle logarithmique n’est pas une tromperie

Les graphiques logarithmiques sont souvent mal compris.

Sur une échelle linéaire, passer de 10 à 20 occupe beaucoup moins d’espace que passer de 100 à 200.

Sur une échelle logarithmique, ces deux évolutions peuvent apparaître de taille comparable parce qu’elles correspondent toutes deux à un doublement.

Cela peut être extrêmement utile lorsque les valeurs couvrent plusieurs ordres de grandeur ou lorsque l’on étudie des taux de croissance.

L’échelle logarithmique n’est donc pas intrinsèquement manipulatrice.

Elle doit simplement être clairement identifiable et adaptée à la question.

L’ONS recommande d’ailleurs de privilégier les échelles linéaires parce qu’elles sont plus intuitives, tout en reconnaissant que des échelles non linéaires peuvent être nécessaires dans certains cas.

Un graphique montre parfois une corrélation, pas une cause

Deux courbes montent simultanément.

L’impression visuelle peut être extrêmement persuasive.

Mais cette concomitance peut provenir d’une relation causale, d’une cause commune, d’une tendance temporelle partagée ou simplement d’une coïncidence.

Une courbe du nombre d’utilisateurs d’Internet et une courbe d’espérance de vie pourraient toutes deux augmenter sur plusieurs décennies sans que l’une explique directement l’autre.

Le graphique permet de montrer une association descriptive.

L’explication causale demande une enquête supplémentaire.

Nous retrouvons ici la distinction introduite dès le début de la catégorie : observer une relation et expliquer cette relation sont deux affirmations différentes.

Attention aux graphiques dont les catégories changent

Une série peut également sembler évoluer simplement parce que ses catégories ont été modifiées.

Supposons qu’un graphique présente successivement :

2018 : « crimes violents »

2019 : « crimes violents »

2020 : « crimes violents et menaces graves »

La continuité visuelle de la courbe peut masquer une rupture conceptuelle.

Il faut donc lire les notes méthodologiques, les légendes et les éventuelles indications de rupture de série.

Un changement de définition n’empêche pas nécessairement toute comparaison.

Mais il doit être explicitement pris en compte.

Les sources doivent être suivies jusqu’aux données originales lorsque l’enjeu le justifie

Un graphique partagé sur un réseau social affiche en bas :

« Source : Eurostat ».

Cela paraît rassurant.

Mais « Eurostat » contient des milliers de séries statistiques.

Pour vérifier sérieusement le graphique, nous devons idéalement pouvoir retrouver le jeu de données précis, l’indicateur, les pays sélectionnés, la période et les éventuelles transformations appliquées.

Une source générique n’est donc qu’un début.

La démarche devient :

publication → graphique → référence → jeu de données → définition de l’indicateur.

Plus nous remontons cette chaîne, plus nous pouvons vérifier ce qui a réellement été fait.

Un graphique peut sélectionner certaines données et en omettre d’autres

Imaginons un graphique comparant les résultats économiques de dix pays.

Seulement trois apparaissent.

Pourquoi ceux-là ?

Peut-être parce qu’ils sont réellement comparables.

Mais peut-être aussi parce qu’ils sont les seuls à soutenir la conclusion proposée.

La sélection peut concerner :

les pays ;

les années ;

les indicateurs ;

les groupes de population ;

les scénarios ;

ou les études présentées.

Le problème n’est pas que toute sélection soit mauvaise : toute visualisation nécessite de sélectionner.

La question est :

« Les éléments omis modifieraient-ils substantiellement l’impression générale ? »

Cas pratique : « les accidents ont augmenté de 100 % »

Une publication affirme :

« Depuis l’installation de cette infrastructure, les accidents ont augmenté de 100 %. »

Le chiffre est exact.

L’année précédente, il y avait eu 1 accident.

Cette année, il y en a eu 2.

Nous apprenons ensuite que la fréquentation du lieu a triplé.

Le nombre absolu a effectivement doublé.

Mais le taux d’accidents rapporté au nombre d’utilisateurs a diminué.

Cela ne permet pas encore de conclure que l’infrastructure est plus sûre : avec des nombres aussi faibles, les fluctuations aléatoires peuvent également être importantes.

Mais nous comprenons désormais que le spectaculaire « +100 % » ne suffisait absolument pas à interpréter la situation.

Il nous manquait le nombre de départ, le dénominateur et la variabilité.

Cas pratique : deux présentations vraies du même risque

Un traitement réduit un événement indésirable de 4 % à 3 %.

Un fabricant peut annoncer :

« réduction du risque de 25 % ».

Un critique peut répondre :

« seulement 1 point de pourcentage de différence ».

Les deux descriptions sont mathématiquement correctes.

La présentation la plus informative consiste à donner les deux dimensions :

« Le risque passe de 4 personnes sur 100 à 3 sur 100 : une diminution absolue de 1 point de pourcentage, correspondant à une réduction relative de 25 %. »

Nous n’avons alors plus besoin de choisir la formulation la plus spectaculaire ou la plus minimisante.

Nous disposons du contexte nécessaire pour juger nous-mêmes.

Significatif ne signifie pas nécessairement important

Lorsqu’une information scientifique affirme qu’un résultat est « statistiquement significatif », le mot « significatif » possède un sens technique qui ne signifie pas automatiquement important, spectaculaire ou utile.

Une étude portant sur un très grand nombre de personnes peut détecter une différence minuscule avec une grande précision.

À l’inverse, une étude trop petite peut être incapable de distinguer clairement un effet pourtant potentiellement important.

Pour interpréter correctement un résultat scientifique, il faut donc examiner notamment la taille de l’effet et son incertitude, pas seulement la présence d’une valeur de *p* inférieure à un seuil.

Nous n’allons pas refaire ici le cours consacré aux statistiques et à la méthode scientifique. Le point utile pour le lecteur d’une information est simplement :

« significatif statistiquement » et « important dans la réalité » sont deux questions distinctes.

Un nombre précis n’est pas nécessairement un nombre certain

Une statistique indiquant 52,7 % paraît plus précise qu’une estimation de « environ 53 % ».

Mais les décimales affichées ne nous disent pas à elles seules quelle est l’incertitude réelle.

Une enquête sur échantillon, une estimation économique ou une projection possède généralement une marge d’incertitude.

Afficher plusieurs décimales peut parfois donner une précision visuelle supérieure à la précision réelle de la mesure.

Il faut donc distinguer :

précision d’écriture

et

précision de l’estimation.

Nous approfondirons cette question avec les sondages.

Une estimation peut être révisée sans que la première publication ait été frauduleuse

Les statistiques économiques et démographiques sont parfois révisées lorsque de nouvelles données deviennent disponibles.

Une première estimation du PIB peut être modifiée quelques semaines ou mois plus tard.

Cela ne signifie pas nécessairement que l’organisme s’est « trompé » au sens ordinaire.

Il peut s’agir du fonctionnement normal d’un système où l’information complète arrive progressivement.

Lorsqu’une donnée est provisoire, il faut donc vérifier si une version plus récente existe.

Une vieille capture d’écran peut continuer à circuler alors que la statistique a depuis été révisée.

Quelques questions suffisent souvent à détecter le problème

Face à un chiffre spectaculaire, nous n’avons pas nécessairement besoin de refaire l’analyse statistique entière.

Nous pouvons commencer par demander :

QuestionCe qu’elle permet de vérifier
Que mesure exactement le chiffre ?L’indicateur et sa définition.
Combien sur combien ?Le dénominateur et l’ordre de grandeur.
Quelle population ?Le groupe auquel le résultat s’applique réellement.
Quelle période ?La pertinence du point de départ et de la comparaison.
Nombre brut ou taux ?L’effet de la taille de la population.
Pourcentage ou points de pourcentage ?La nature réelle de la variation.
Risque absolu ou relatif ?L’importance concrète de l’effet.
Moyenne ou médiane ?La manière dont la distribution est résumée.
Valeur nominale ou réelle ?L’effet éventuel de l’inflation.
Stock, flux ou cumul ?La nature de ce qui évolue.
La définition a-t-elle changé ?Une éventuelle rupture de série.
L’axe ou l’échelle modifie-t-il fortement l’impression ?La fidélité de la représentation graphique.
Puis-je retrouver la donnée originale ?La possibilité de contrôler le calcul et le contexte.

Cette grille ne transforme pas le lecteur en statisticien.

Elle lui apprend surtout à ne pas prendre le nombre final pour une donnée tombée du ciel.

Cas pratique : un graphique politique spectaculaire

Imaginons qu’une publication montre une courbe intitulée :

« Explosion de la dette depuis l’arrivée du gouvernement X ».

La courbe grimpe fortement.

Avant de conclure, plusieurs contrôles deviennent nécessaires.

L’axe vertical commence-t-il à zéro ?

La dette est-elle présentée en euros courants ou rapportée au PIB ?

Quelle année a été choisie comme point de départ ?

Le graphique représente-t-il la dette totale ou le déficit annuel ?

Une crise exceptionnelle se trouve-t-elle dans la période ?

Les gouvernements précédents sont-ils visibles ?

La série utilise-t-elle la même définition sur toute la période ?

Selon les réponses, le graphique peut se révéler correct, incomplet, très orienté ou franchement trompeur.

L’intérêt de la méthode n’est pas de déterminer à l’avance quelle conclusion politique doit en sortir.

Il est de rendre explicites les choix statistiques qui produisent l’image présentée.

Les chiffres officiels ne dispensent pas de comprendre l’indicateur

Une statistique provenant de l’INSEE, d’Eurostat ou d’une autre institution compétente possède de bonnes raisons initiales d’être prise au sérieux quant à sa production.

Mais elle peut ensuite être utilisée de façon incorrecte.

Un responsable politique peut citer fidèlement un chiffre officiel tout en lui faisant répondre à une question différente.

La vérification possède donc deux niveaux :

« Ce chiffre provient-il réellement de l’organisme cité ? »

puis :

« Cet indicateur permet-il réellement de soutenir l’affirmation qui l’accompagne ? »

La première vérifie la source.

La seconde vérifie l’interprétation.

Un graphique n’est pas seulement une illustration

Les graphiques sont particulièrement puissants parce qu’ils permettent de percevoir immédiatement des tendances qui seraient difficiles à saisir dans un tableau.

Mais cette force visuelle implique aussi une responsabilité.

Le choix de l’échelle, du type de graphique, de la période, des couleurs, des catégories et des annotations influence ce que nous remarquons.

Un bon graphique ne se contente donc pas d’utiliser des nombres exacts.

Il doit permettre au lecteur d’apprécier leurs proportions et leur contexte de manière raisonnablement fidèle.

Le contrôle statistique et le contrôle graphique sont ainsi inséparables.

Revenir toujours à la question : « d’où vient ce nombre ? »

Nous pouvons résumer toute cette fiche par une habitude.

Lorsqu’un nombre semble prouver quelque chose, essayons de remonter une étape :

Qui l’a produit ?

À partir de quelles données ?

Que compte-t-il ?

Sur quelle population ?

Avec quelle définition ?

Quelle période ?

Quel dénominateur ?

Quelle transformation permet d’arriver au nombre affiché ?

Et la représentation visuelle correspond-elle raisonnablement à l’ampleur réelle du phénomène ?

Le but n’est pas de devenir méfiant envers les statistiques.

Ce serait exactement l’erreur inverse.

Une statistique bien construite apporte souvent une connaissance beaucoup plus fiable que nos impressions personnelles.

L’objectif est de savoir ce qu’elle permet réellement de conclure.

Un nombre n’est pas moins objectif parce qu’il possède un contexte. C’est précisément la connaissance de ce contexte qui permet de l’interpréter objectivement.

Nous allons maintenant examiner un cas particulier extrêmement fréquent dans l’information politique et médiatique : les sondages. Nous y retrouverons les questions de population, d’échantillon, d’incertitude et de pourcentage, auxquelles s’ajouteront plusieurs difficultés spécifiques : recrutement des répondants, formulation et ordre des questions, pondérations, non-réponses et comparaison entre enquêtes.

11 sur 25Retour à la catégorie