Vérifier un sondage

Un sondage transforme les réponses de quelques centaines ou quelques milliers de personnes en une estimation portant sur une population beaucoup plus vaste. Lorsqu’il est bien conçu, c’est un outil extrêmement utile. Nous n’avons pas besoin d’interroger cinquante millions d’électeurs pour obtenir une estimation raisonnable de leurs préférences.

Mais le résultat final — « 54 % des Français pensent que… » — masque tout un processus : qui a été interrogé, comment ces personnes ont été recrutées, quelle question leur a été posée, dans quel ordre, à quelle date, quelles réponses ont été exclues et comment les données ont été pondérées.

La première question devant un sondage ne devrait donc pas être seulement :

« Quel est le résultat ? »

mais :

« Comment ce résultat a-t-il été produit ? »

Les standards professionnels de l’AAPOR mettent précisément l’accent sur cette transparence : un sondage correctement documenté devrait permettre de connaître notamment le commanditaire, la population étudiée, la méthode de recrutement de l’échantillon, le mode d’interrogation, les dates du terrain, la taille de l’échantillon, la formulation des questions et les méthodes de pondération.

Un sondage ne photographie pas directement « l’opinion publique »

Il est tentant d’imaginer l’opinion publique comme une quantité déjà présente dans la population, qu’un sondage viendrait simplement mesurer.

La réalité est plus subtile.

Certaines opinions sont fortes, anciennes et relativement stables. D’autres sont hésitantes, peu informées ou dépendent fortement de la manière dont la question est formulée.

Une personne peut également ne jamais avoir réfléchi au sujet avant que le sondeur lui demande de choisir entre plusieurs réponses.

Un sondage mesure donc les réponses obtenues à des questions précises, auprès d’une population précise, dans des conditions précises et à un moment précis.

Cette définition paraît moins spectaculaire que « ce que pensent les Français », mais elle est beaucoup plus rigoureuse.

Quelle population veut-on représenter ?

Avant d’examiner l’échantillon, il faut identifier la population cible.

« Les Français » peut désigner les personnes vivant en France, les citoyens français, les adultes français ou les électeurs inscrits.

Un sondage électoral peut chercher à représenter les personnes inscrites sur les listes électorales et susceptibles de voter.

Un sondage sur les conditions de travail peut concerner uniquement les salariés.

Une enquête auprès des utilisateurs d’un service ne nous renseigne directement que sur les utilisateurs de ce service.

Cette distinction est fondamentale parce qu’un échantillon peut être parfaitement représentatif d’une population qui n’est pas celle suggérée par le titre.

Si une enquête interroge uniquement des internautes volontaires âgés de 18 à 35 ans, son résultat ne devient pas automatiquement une estimation de l’ensemble de la population française.

La taille de l’échantillon ne suffit pas

Un argument fréquent consiste à dire :

« Ils n’ont interrogé que 1 000 personnes sur des millions, donc le sondage ne vaut rien. »

L’objection repose sur une intuition trompeuse.

Pour estimer une proportion dans une très grande population, il n’est pas nécessaire que l’échantillon représente une fraction importante de cette population. Ce qui compte beaucoup davantage est la manière dont les personnes ont été sélectionnées et la diversité pertinente de l’échantillon.

À l’inverse, un énorme échantillon mal recruté peut produire une estimation biaisée avec une très grande précision apparente.

Interroger 100 000 personnes qui choisissent spontanément de répondre à un questionnaire publié sur un site politique ne transforme pas automatiquement cette consultation en sondage représentatif.

Un grand échantillon réduit certaines formes d’incertitude aléatoire ; il ne corrige pas automatiquement un mauvais échantillonnage.

C’est pourquoi l’AAPOR souligne que la qualité d’une enquête ne se juge pas simplement à sa taille ou à sa visibilité, mais à l’attention portée aux différentes sources possibles d’erreur.

Comment les personnes ont-elles été choisies ?

C’est l’une des questions les plus importantes.

Dans un échantillonnage probabiliste, les personnes sont sélectionnées à partir d’un cadre permettant, en principe, de connaître leur probabilité d’être choisies.

Dans d’autres enquêtes, notamment de nombreux panels en ligne, les participants se sont initialement inscrits volontairement. On parle alors d’échantillons non probabilistes ou *opt-in*.

Ces méthodes ne sont pas automatiquement bonnes ou mauvaises. Elles impliquent simplement des problèmes méthodologiques différents.

Les enquêtes en ligne non probabilistes permettent aujourd’hui de réaliser rapidement et à moindre coût de très nombreux sondages. Mais leur représentativité dépend fortement du recrutement, des quotas, des contrôles de qualité et des modèles de pondération utilisés. Des comparaisons méthodologiques menées par Pew ont trouvé, dans les contextes étudiés, des performances moyennes meilleures pour des panels en ligne recrutés probabilistiquement que pour plusieurs échantillons *opt-in*, tout en montrant aussi que les performances varient selon les fournisseurs et les variables mesurées.

Le bon réflexe n’est donc pas :

« sondage en ligne = faux »

mais :

« comment les participants de ce sondage en ligne ont-ils été recrutés et ajustés pour représenter la population ? »

Les quotas cherchent à reconstruire certaines caractéristiques de la population

En France, de nombreux sondages d’opinion reposent sur la méthode des quotas.

Le principe consiste à construire un échantillon présentant certaines caractéristiques proches de celles de la population : par exemple âge, sexe, catégorie socioprofessionnelle, région ou taille d’agglomération.

Cette technique permet d’éviter certaines distorsions évidentes. Un échantillon constitué à 80 % de jeunes diplômés urbains serait difficilement utilisable pour représenter directement l’ensemble de la population française.

Mais les quotas ne garantissent pas que les personnes sélectionnées ressemblent à la population sur toutes les dimensions qui influencent leur opinion.

Deux échantillons peuvent avoir exactement la même répartition par âge, sexe et région tout en différant sur l’intérêt pour la politique, la confiance institutionnelle, la disponibilité pour répondre à des sondages ou d’autres caractéristiques moins directement contrôlées.

Les quotas constituent donc une méthode de construction de l’échantillon, pas une garantie magique de représentativité parfaite.

Volontaires et non-répondants peuvent différer

Pour comprendre un sondage, il faut aussi penser aux personnes qui ne répondent pas.

Si les personnes difficiles à joindre ou refusant de participer ont systématiquement des opinions différentes de celles qui répondent, le résultat peut être biaisé.

C’est le problème de non-réponse.

Un faible taux de réponse n’implique pas automatiquement qu’un sondage soit mauvais : les méthodes modernes peuvent parfois corriger une partie de ces différences grâce à l’échantillonnage et à la pondération.

Mais il serait également erroné de considérer la non-réponse comme sans importance.

L’AAPOR recommande explicitement de documenter le recrutement et la participation, car certains groupes peuvent être sous-représentés lorsque les non-réponses sont nombreuses ou systématiques.

La question utile est :

« Les personnes qui ont répondu risquent-elles de différer de celles qui n’ont pas répondu sur le sujet que nous cherchons à mesurer ? »

La pondération corrige certaines différences, pas toutes

Après la collecte, les sondeurs appliquent souvent des pondérations.

Supposons qu’un groupe démographique représente 20 % de la population mais seulement 15 % des répondants. Les réponses de ce groupe peuvent recevoir un poids plus important afin de rapprocher l’échantillon de la structure connue de la population.

Les pondérations peuvent utiliser plusieurs variables démographiques et parfois politiques.

C’est une procédure normale et souvent indispensable, pas une manipulation clandestine.

Mais une pondération ne peut corriger efficacement que des différences pour lesquelles nous disposons d’informations pertinentes et d’un modèle raisonnable.

Si les personnes interrogées diffèrent de la population sur une caractéristique importante que nous n’avons pas mesurée, le redressement peut ne pas résoudre le problème.

De plus, des poids très différents entre répondants augmentent généralement l’incertitude statistique ; les méthodologies sérieuses en tiennent compte dans leurs calculs de précision.

En sondage électoral, le « redressement » n’est pas une falsification des réponses

Le terme redressement provoque parfois une méfiance particulière.

On imagine que l’institut modifie arbitrairement les résultats bruts pour obtenir le résultat souhaité.

En réalité, tout sondage cherche à passer d’un ensemble de réponses imparfaitement représentatif à une estimation de la population. Les ajustements peuvent notamment tenir compte de la structure démographique ou, selon les méthodes utilisées, d’informations politiques antérieures.

Le problème n’est donc pas qu’il existe un redressement.

La bonne question est :

« Quels redressements ont été appliqués, sur quelles bases et avec quelle transparence ? »

En France, pour les sondages entrant dans le champ de la loi de 1977 relative notamment aux sondages électoraux, la notice déposée auprès de la Commission des sondages doit préciser, lorsqu’ils existent, les critères de redressement des résultats bruts, ainsi que la méthode de choix de l’échantillon, les conditions d’interrogation et la non-réponse. Cette notice est rendue publique.

C’est une ressource particulièrement utile lorsque l’on veut aller au-delà du résumé publié dans un article.

Lire la question exacte

Une statistique de sondage ne devrait presque jamais être interprétée sans connaître la question posée.

Considérons :

« Êtes-vous favorable à une hausse des dépenses publiques pour améliorer l’hôpital ? »

et :

« Êtes-vous favorable à une hausse des impôts permettant d’augmenter les dépenses publiques consacrées à l’hôpital ? »

Ces deux questions touchent à un sujet proche.

Elles ne mesurent pas exactement la même chose.

Dans la première, le coût de la politique est absent.

Dans la seconde, il devient explicite.

La différence de résultat ne signifie pas nécessairement que les personnes sont incohérentes. Elles répondent à deux arbitrages différents.

Pew rappelle que de petites différences de formulation peuvent parfois modifier substantiellement les réponses et que la conception du questionnaire constitue une partie centrale de la qualité d’un sondage.

Un exemple frappant de formulation

Pew a montré ce problème avec une enquête américaine menée avant la guerre d’Irak.

Lorsqu’il était demandé aux répondants s’ils soutenaient une action militaire destinée à mettre fin au pouvoir de Saddam Hussein, 68 % se déclaraient favorables.

Lorsqu’une autre version précisait que l’intervention pourrait entraîner des milliers de victimes parmi les soldats américains, le soutien tombait à 43 %.

Les répondants n’avaient pas mystérieusement changé d’opinion entre les deux questions.

La seconde formulation leur présentait une conséquence supplémentaire à prendre en compte.

Cet exemple montre pourquoi un titre comme :

« 68 % de la population soutient la guerre »

serait incomplet si le lecteur ne pouvait pas savoir quelle question avait produit ce résultat.

Une question peut suggérer sa propre réponse

Certaines formulations sont manifestement orientées.

Comparez :

« Êtes-vous favorable à cette réforme ? »

et :

« Êtes-vous favorable à cette réforme nécessaire pour protéger les emplois français ? »

La seconde question introduit déjà une justification favorable.

Nous pourrions produire le biais inverse :

« Êtes-vous favorable à cette réforme qui réduira les droits des salariés ? »

Les termes utilisés ne décrivent plus simplement l’objet ; ils fournissent au répondant une raison de répondre dans une direction particulière.

Les bons questionnaires cherchent généralement à limiter ce type de formulation suggestive.

Pour le lecteur, connaître le résultat sans lire la question exacte revient donc à perdre une partie essentielle de la mesure.

Les choix de réponse influencent également le résultat

Une question ne dépend pas seulement de ses mots.

Les réponses proposées comptent aussi.

Comparez :

« favorable / opposé »

avec :

« tout à fait favorable / plutôt favorable / plutôt opposé / tout à fait opposé / sans opinion ».

La possibilité explicite de répondre « sans opinion » peut modifier la distribution.

Une échelle comportant cinq niveaux ne produit pas exactement la même mesure qu’une alternative oui/non.

Le sondage mesure donc toujours une opinion à travers un instrument particulier.

Cela ne rend pas les résultats arbitraires. Cela signifie qu’il faut connaître l’instrument avant d’interpréter précisément ce qu’il mesure.

L’ordre des questions peut modifier les réponses

Le contexte d’une question ne se limite pas à ses propres mots.

Les questions précédentes peuvent influencer la manière dont elle est comprise.

Si nous demandons d’abord à quelqu’un de réfléchir longuement à la criminalité, puis évaluons son opinion générale sur la politique du gouvernement, la première série de questions peut rendre la criminalité temporairement plus saillante dans son jugement.

Ces effets d’ordre sont suffisamment documentés pour que les chercheurs randomisent parfois l’ordre de certaines questions ou réponses.

Pew explique que les réponses peuvent être influencées par les questions précédentes et utilise précisément des randomisations pour mesurer ou répartir ces effets.

Lorsqu’un résultat particulièrement surprenant apparaît, consulter le questionnaire complet permet donc parfois de comprendre ce que les répondants venaient juste d’entendre avant de répondre.

Le mode d’interrogation peut compter

Répondre à un enquêteur par téléphone n’est pas exactement la même situation que remplir seul un questionnaire en ligne.

Sur certains sujets sensibles, une personne peut être davantage tentée de fournir une réponse socialement valorisée lorsqu’elle parle directement à un enquêteur.

La manière de présenter les choix diffère également : au téléphone, le répondant doit mémoriser les options entendues ; sur Internet, il peut les voir simultanément.

Les recherches méthodologiques observent ainsi des effets de mode susceptibles d’influencer certains résultats, notamment selon la nature des questions.

Cela devient particulièrement important lorsque nous comparons deux sondages réalisés avec des méthodes différentes.

Une évolution apparente de l’opinion peut parfois contenir une part de changement méthodologique.

La date du terrain compte davantage que la date de l’article

Un sondage publié lundi peut avoir été réalisé mardi et mercredi de la semaine précédente.

Entre-temps, un débat télévisé, une crise politique, une annonce économique ou un événement international peuvent avoir changé l’environnement.

Dire :

« Aujourd’hui, 42 % des électeurs soutiennent X »

peut donc être légèrement trompeur si les réponses ont été recueillies avant un événement majeur survenu depuis.

Il faut regarder les dates auxquelles les personnes ont effectivement été interrogées.

En France, ces dates font partie des informations devant accompagner la première diffusion des sondages soumis à la loi de 1977.

Un sondage est une photographie datée, pas une prédiction automatique

Cette règle est particulièrement importante pour les élections.

Un sondage d’intentions de vote mesure les réponses données au moment du terrain, sous certaines hypothèses concernant les personnes susceptibles de voter.

Il ne constitue pas directement une prédiction du résultat final.

Des électeurs peuvent changer d’avis.

La participation peut évoluer.

Les personnes interrogées peuvent mal anticiper leur propre comportement.

Une campagne peut connaître un événement majeur après le sondage.

Dire :

« Le candidat X est à 28 % dans cette enquête »

est donc différent de :

« Le candidat X obtiendra 28 % le jour de l’élection ».

Les instituts peuvent produire par ailleurs des modèles prédictifs, mais il s’agit alors d’un autre type d’analyse.

Une différence d’un point n’est pas nécessairement un véritable déplacement

Les sondages reposent sur des échantillons et comportent donc une incertitude.

Un candidat mesuré à 26 % dans une enquête et à 27 % dans la suivante n’a pas nécessairement gagné un point dans l’ensemble de l’électorat.

Une partie de la variation peut provenir de l’échantillonnage, du redressement ou d’autres composantes du processus d’enquête.

Il est donc dangereux de commenter chaque petite variation comme un événement politique :

« X bondit de 1 point » ;

« Y s’effondre de 2 points ».

Sur de faibles écarts, la précision rhétorique du commentaire peut être bien supérieure à celle de la mesure.

La marge d’erreur n’est pas la marge de toutes les erreurs

La notion de marge d’erreur est souvent mal comprise.

Dans son sens statistique classique, elle quantifie l’incertitude liée à l’échantillonnage dans certaines conditions méthodologiques.

Elle ne mesure pas automatiquement :

les mauvaises formulations de questions ;

la non-réponse ;

les erreurs de recrutement ;

un mauvais modèle de pondération ;

les réponses insincères ;

les erreurs de saisie ou de traitement.

Pew insiste explicitement sur ce point dans ses méthodologies : l’erreur d’échantillonnage n’est qu’une source possible d’erreur parmi d’autres, auxquelles s’ajoutent notamment les effets de formulation et les difficultés pratiques de collecte.

Parler de « marge d’erreur » comme si elle délimitait absolument tout ce qui pourrait être faux dans un sondage donne donc une impression excessive de maîtrise.

Les méthodes non probabilistes compliquent la notion de marge d’erreur

Dans un échantillonnage probabiliste classique, la théorie permet d’estimer directement certaines erreurs d’échantillonnage à partir du plan de sondage.

Pour les échantillons non probabilistes, notamment les panels *opt-in*, la situation est plus complexe : les probabilités initiales de sélection ne sont pas connues de la même manière.

Cela ne rend pas impossible toute estimation de l’incertitude, mais celle-ci repose davantage sur des hypothèses et modèles statistiques.

Il faut donc se méfier d’une lecture trop littérale d’une marge affichée comme si elle constituait une frontière exacte entre vérité et erreur.

En France, la loi exige pour les sondages électoraux concernés qu’il soit indiqué que tout sondage est affecté de marges d’erreur et que les marges des résultats publiés soient communiquées, le cas échéant par référence à la méthode aléatoire.

Cette information est utile, mais elle ne remplace pas l’examen de la méthode complète.

Les sous-groupes sont beaucoup moins précis que l’échantillon total

Un sondage interroge 1 000 personnes.

Un article titre ensuite :

« Les jeunes ouvriers ruraux rejettent massivement la réforme. »

Combien de personnes de l’échantillon appartiennent réellement à cette catégorie ?

Peut-être quelques dizaines.

Plus nous divisons l’échantillon en sous-groupes, plus leurs effectifs diminuent et plus l’incertitude augmente.

C’est pourquoi les méthodologies sérieuses précisent que les estimations portant sur des sous-groupes ont généralement des marges d’incertitude plus importantes que celles portant sur l’ensemble de l’échantillon.

Avant de commenter un résultat très précis sur une petite catégorie, il est donc utile de regarder son effectif réel.

Comparer deux sondages exige davantage que comparer leurs pourcentages

Supposons :

Institut A : candidat X, 27 %.

Institut B : candidat X, 24 %.

Peut-on conclure que l’un des deux s’est trompé ?

Pas nécessairement.

Les enquêtes peuvent avoir été réalisées à des dates différentes, avec des modes d’interrogation différents, des échantillons différents, des critères différents pour identifier les électeurs susceptibles de voter et des méthodes de redressement distinctes.

Ces différences peuvent produire des effets de maison relativement stables entre instituts.

Pour évaluer une évolution, comparer plusieurs vagues réalisées par le même institut avec une méthode comparable peut donc être particulièrement informatif.

Pour estimer le niveau général, regarder plusieurs sondages permet au contraire de réduire notre dépendance à une enquête particulière.

Les deux stratégies répondent à des questions différentes.

Une moyenne de sondages peut être plus informative qu’un sondage isolé

Lorsque plusieurs enquêtes indépendantes sont disponibles, leur ensemble peut donner une image plus robuste que le dernier sondage publié.

Une moyenne ou un modèle d’agrégation permet de réduire l’importance des fluctuations propres à un échantillon particulier.

Mais l’agrégation n’est pas magique.

Dix sondages utilisant des méthodes similaires et partageant le même biais peuvent produire une moyenne très précise autour d’une valeur incorrecte.

Il faut donc distinguer :

réduction du bruit aléatoire

et

correction des biais systématiques.

La multiplication des enquêtes aide surtout contre la première.

Les intentions de vote supposent aussi de savoir qui votera

Une difficulté propre aux élections est que tous les électeurs inscrits ne participeront pas.

Les instituts cherchent donc parfois à estimer la probabilité de participation.

Une personne peut déclarer qu’elle votera et finalement s’abstenir.

Une autre peut hésiter au moment du sondage puis participer.

Les modèles utilisés pour sélectionner ou pondérer les électeurs « probables » peuvent donc influencer l’estimation finale.

Cette question devient particulièrement importante lorsque la participation diffère fortement entre groupes sociaux ou politiques.

Un sondage ne doit donc pas seulement estimer :

« pour qui voteriez-vous ? »

mais parfois aussi :

« qui ira effectivement voter ? »

Les indécis et les personnes sans réponse ne disparaissent pas magiquement

Un sondage peut afficher :

A : 30 %

B : 25 %

C : 20 %

D : 15 %

Autres : 10 %

Mais comment les personnes indécises ont-elles été traitées ?

Ont-elles été exclues du calcul ?

Ont-elles été poussées à choisir ?

Les pourcentages ont-ils été recalculés uniquement parmi les personnes ayant exprimé une intention ?

Ces décisions peuvent modifier la présentation.

Il faut donc vérifier sur quelle base les pourcentages sont calculés.

Un candidat annoncé à 30 % « des intentions exprimées » n’est pas nécessairement soutenu par 30 % de toutes les personnes initialement interrogées.

Commanditaire et financeur doivent être connus

Qui a payé le sondage ?

Un média ?

Un parti ?

Une entreprise ?

Une association militant sur le sujet même de la question ?

Cette information mérite d’être connue, notamment parce que le commanditaire peut participer au choix des thèmes ou des questions.

Mais nous retrouvons la même règle que pour les conflits d’intérêts :

commanditaire intéressé ≠ résultat automatiquement faux.

Un parti politique peut commander un sondage méthodologiquement sérieux.

La présence d’un intérêt doit surtout nous pousser à examiner le questionnaire complet, les choix de publication et la méthode, au lieu de rejeter mécaniquement les résultats.

Les standards de transparence de l’AAPOR et les recommandations ESOMAR/WAPOR exigent précisément que le commanditaire ou la source du financement soit identifiable.

Un commanditaire peut sélectionner les résultats qu’il publie

Il existe un autre problème distinct de la fabrication du sondage.

Une organisation commande vingt questions.

Dix-neuf donnent des résultats peu intéressants.

La vingtième est spectaculaire et devient :

« SONDAGE EXCLUSIF : 73 % des Français soutiennent notre proposition. »

La donnée publiée peut être authentique.

Mais nous ignorons éventuellement la sélection opérée parmi l’ensemble des résultats.

C’est une forme de biais de publication à petite échelle.

La disponibilité du questionnaire complet et des résultats détaillés permet de mieux comprendre ce qui a effectivement été mesuré.

France : les notices de la Commission des sondages sont une ressource précieuse

Pour les sondages entrant dans le champ de la loi française de 1977, notamment ceux directement ou indirectement liés aux élections et référendums, la réglementation fournit au lecteur un outil particulièrement intéressant.

La première publication doit notamment mentionner l’organisme ayant réalisé le sondage, le commanditaire, le nombre de personnes interrogées, les dates du terrain, le texte intégral des questions électorales concernées et les informations relatives aux marges d’erreur.

L’institut doit également déposer auprès de la Commission des sondages une notice précisant la méthode de choix de l’échantillon, les conditions d’interrogation, la non-réponse et les éventuels critères de redressement ; cette notice est ensuite accessible au public.

Pour vérifier sérieusement un sondage électoral français, cette notice est souvent bien plus informative qu’un graphique reproduit dans un article ou sur un réseau social.

Cas pratique : « 70 % des Français veulent interdire X »

Imaginons un titre :

« 70 % des Français veulent interdire X. »

Le chiffre paraît extrêmement clair.

Nous retrouvons l’enquête.

La question exacte était :

« Face aux graves dangers que X pourrait faire peser sur la sécurité des enfants, seriez-vous favorable ou opposé à une interdiction ? »

Nous découvrons également que l’enquête a été commandée par une organisation militant pour cette interdiction.

Cela ne permet pas de dire :

« le véritable résultat est l’inverse ».

Nous ne savons pas ce qu’aurait donné une autre formulation.

Nous pouvons en revanche conclure que :

« 70 % ont répondu favorablement à cette formulation particulière ; présenter ce résultat comme une mesure simple et indépendante de la question de l’opinion générale sur X serait excessif. »

La précision de notre conclusion augmente.

Cas pratique : « le candidat A passe devant B »

Un nouveau sondage affiche :

A : 26 %

B : 25 %.

Le précédent sondage du même institut indiquait :

A : 25 %

B : 26 %.

Les titres deviennent :

« A passe en tête »

ou

« renversement dans la campagne ».

Pourtant, ces mouvements sont faibles relativement à l’incertitude générale d’une enquête.

Une interprétation plus prudente serait :

« les deux candidats sont mesurés à des niveaux très proches et l’ordre observé dans cet échantillon ne suffit pas à établir avec certitude leur ordre réel dans l’électorat. »

Cela paraît moins spectaculaire.

C’est aussi beaucoup plus proche de ce que les données permettent réellement de dire.

Cas pratique : le résultat change de 15 points selon la question

Un institut cherche à mesurer le soutien à une nouvelle politique.

À une moitié aléatoire de l’échantillon, il demande :

« Êtes-vous favorable à cette mesure qui permettrait de réduire les dépenses publiques ? »

À l’autre :

« Êtes-vous favorable à cette mesure qui réduirait les prestations versées à certains ménages ? »

Les réponses diffèrent fortement.

Cela ne signifie pas nécessairement que le sondage est défectueux.

L’expérience révèle au contraire une information intéressante : l’opinion dépend de la dimension de la politique rendue saillante.

La conclusion correcte n’est alors peut-être pas :

« les Français sont favorables »

ou

« les Français sont opposés ».

Elle peut être :

« le jugement est sensible à la manière dont l’arbitrage est présenté ».

Les sondages peuvent donc servir non seulement à mesurer une opinion, mais aussi à révéler sa fragilité ou sa dépendance au cadrage.

Une grille de vérification

Lorsqu’un sondage est suffisamment important pour mériter un contrôle, nous pouvons examiner les éléments suivants :

QuestionCe qu’elle permet de comprendre
Quelle population veut-on représenter ?À qui le résultat peut réellement être généralisé.
Combien de personnes ont été interrogées ?La quantité d’information disponible, notamment pour les sous-groupes.
Comment ont-elles été recrutées ?Échantillonnage probabiliste, quotas, panel en ligne, volontaires, etc.
Quand ont-elles répondu ?Le contexte politique ou social du terrain.
Comment ont-elles répondu ?Téléphone, Web, face-à-face et éventuels effets de mode.
Quelle était la question exacte ?L’objet réellement mesuré et les éventuels effets de cadrage.
Quelles réponses étaient proposées ?Les choix laissés aux répondants.
Quelles questions précédaient celle-ci ?Les éventuels effets d’ordre.
Comment les données ont-elles été pondérées ou redressées ?Le passage de l’échantillon brut à l’estimation publiée.
Quelle est l’incertitude ?Ce que les petites différences permettent ou non de conclure.
Combien de personnes appartiennent au sous-groupe commenté ?La précision réelle des analyses détaillées.
Qui a commandé l’enquête ?Les intérêts éventuels et le contexte de sa publication.
Puis-je consulter la méthodologie complète ?Le niveau de transparence du travail.

L’objectif n’est pas que chaque lecteur recalcule lui-même l’intégralité du sondage.

Il s’agit de savoir où regarder lorsque le résultat joue un rôle important dans un argument.

Un sondage imparfait peut rester informatif

Reconnaître toutes ces limites pourrait conduire à un scepticisme excessif :

« Les questions influencent les réponses, les échantillons ne sont jamais parfaits et il existe des redressements ; les sondages ne veulent donc rien dire. »

Cette conclusion serait injustifiée.

Les sondages correctement conduits fournissent une information que les impressions personnelles sont généralement incapables de remplacer.

Demander à quelques collègues, regarder les réactions sur un réseau social ou observer les personnes de son entourage produit un échantillon bien moins contrôlé.

Les méthodes de sondage existent précisément pour réduire ces biais et quantifier certaines incertitudes.

La position raisonnable consiste donc à prendre les résultats au sérieux en proportion de la qualité de leur méthode et de la précision de la conclusion que nous voulons en tirer.

Un sondage mesure avec incertitude ; il ne livre pas un oracle

La bonne lecture d’un sondage évite ainsi deux excès.

Le premier consiste à traiter un pourcentage comme une mesure exacte de l’esprit collectif :

« 52 % signifie que la population pense exactement cela. »

Le second consiste à rejeter toute enquête parce qu’elle dépend d’un échantillon et d’une méthode :

« on n’a pas interrogé tout le monde, donc on ne sait rien. »

Entre les deux, nous pouvons produire une conclusion beaucoup plus solide :

« Cette enquête, réalisée à cette date, auprès de cette population, selon cette méthode et avec cette formulation, estime que l’opinion se situe probablement autour de ce niveau, avec une incertitude qu’il faut conserver lorsqu’on interprète les petites différences. »

Ce langage est moins absolu.

Il est aussi plus fidèle à ce qu’est réellement une mesure statistique.

Après les sondages, nous allons maintenant rencontrer une affirmation particulièrement fréquente dans les médias : « une étude scientifique prouve que… ». Il faudra apprendre à remonter de l’article ou du communiqué vers l’étude originale, identifier ce qu’elle a réellement testé et distinguer ce que les chercheurs concluent de ce que la médiatisation leur fait parfois dire.

12 sur 25Retour à la catégorie