Données, phénomènes et preuves : comment passe-t-on d’une mesure à une conclusion ?

Une donnée ne constitue pas encore une preuve

Une expérience produit un chiffre, une enquête recueille une réponse, un instrument détecte un signal, une archive contient une trace. Nous parlons alors de données. Mais une donnée n’est pas encore une conclusion.

Un thermomètre affiche 38,2 °C. Ce nombre peut contribuer à conclure qu’une personne présente de la fièvre. Il faut pourtant encore savoir si l’instrument fonctionne, si la mesure a été correctement réalisée, quel seuil est retenu et si d’autres facteurs peuvent expliquer le résultat.

Une donnée devient une preuve seulement relativement à une question et à une hypothèse.

Le même résultat peut soutenir différentes conclusions selon :

  • le contexte ;
  • la qualité de la mesure ;
  • les hypothèses comparées ;
  • les connaissances antérieures ;
  • le raisonnement utilisé.

Il faut donc distinguer plusieurs niveaux :

Le monde contient des événements et des processus.

Les instruments et les observations produisent des données.

Les chercheurs organisent certaines données en phénomènes.

Les phénomènes sont interprétés à l’aide de modèles et d’hypothèses.

Une donnée devient une preuve lorsqu’elle modifie rationnellement la crédibilité d’une proposition.

Le passage de la mesure à la conclusion n’est jamais entièrement automatique. Il forme une chaîne d’inférences qui doit pouvoir être examinée.


Fait, donnée et preuve

Les mots *fait*, *donnée* et *preuve* sont souvent utilisés comme s’ils étaient équivalents.

Ils désignent pourtant des rôles différents.

Le fait

Un fait est un état de choses considéré comme réel.

Par exemple :

Une substance a changé de couleur après l’ajout d’un réactif.

La donnée

La donnée est la représentation enregistrée de ce fait.

Elle peut prendre la forme :

  • d’un nombre ;
  • d’une image ;
  • d’une réponse ;
  • d’un code ;
  • d’un texte ;
  • d’un signal.

La preuve

La preuve est une donnée interprétée comme soutenant ou fragilisant une hypothèse.

Une photographie n’est pas une preuve de tout ce qu’elle pourrait évoquer. Elle devient une preuve d’une proposition particulière si son origine, sa date, son contenu et son rapport à cette proposition sont suffisamment établis.

La preuve n’est donc pas un type spécial d’objet. C’est une fonction que certaines données jouent dans un raisonnement.


Les données sont produites

L’expression données brutes peut donner l’impression que les données existent dans la nature et qu’il suffirait de les recueillir.

En réalité, une donnée est généralement produite par une chaîne d’opérations :

  • choix d’un phénomène ;
  • sélection d’un instrument ;
  • calibration ;
  • définition d’une unité ;
  • échantillonnage ;
  • enregistrement ;
  • nettoyage ;
  • codage ;
  • transformation.

Même une photographie dépend d’un appareil, d’un cadrage, d’un moment, d’un réglage et d’un traitement. Dire que les données sont produites ne signifie pas qu’elles sont inventées arbitrairement. Cela signifie que nous accédons au monde à travers des dispositifs matériels, conceptuels et institutionnels. Une bonne épistémologie des données examine cette chaîne de production au lieu de traiter le résultat final comme un miroir transparent.


Les phénomènes et les données

James Bogen et James Woodward ont proposé de distinguer les données des phénomènes. Les données sont les résultats particuliers obtenus lors des observations. Les phénomènes sont les régularités ou structures stables que les chercheurs cherchent à identifier à travers ces données. Supposons que plusieurs mesures d’une même grandeur donnent :

  • 19,8 ;
  • 20,1 ;
  • 19,9 ;
  • 20,3 ;
  • 19,7.

Aucune valeur isolée ne constitue nécessairement le phénomène recherché. Le phénomène peut être la stabilité d’une grandeur autour de 20 dans certaines conditions. Les données particulières contiennent :

  • le signal ;
  • le bruit ;
  • les erreurs ;
  • les fluctuations.

Le travail scientifique consiste souvent à inférer un phénomène stable à partir de données imparfaites.


Le phénomène n’est pas simplement la moyenne

Il serait trop simple d’identifier le phénomène à une moyenne statistique.

Une moyenne peut masquer :

  • plusieurs groupes distincts ;
  • une évolution temporelle ;
  • des valeurs extrêmes ;
  • une relation non linéaire ;
  • une erreur systématique.

Supposons qu’une population ait une moyenne de 10. Cette moyenne peut correspondre :

  • à des valeurs toutes proches de 10 ;
  • à deux groupes situés autour de 5 et 15 ;
  • à une majorité proche de 8 et quelques valeurs très élevées.

Le même résumé numérique représente alors des structures très différentes.

Passer des données au phénomène demande donc de choisir une représentation adaptée à la question.


Le nettoyage des données

Avant l’analyse, les données sont souvent nettoyées.

Il faut parfois :

  • corriger des erreurs de saisie ;
  • supprimer des doublons ;
  • gérer des valeurs manquantes ;
  • convertir des formats ;
  • exclure des mesures défectueuses ;
  • identifier des valeurs aberrantes.

Ces opérations sont nécessaires. Mais elles peuvent modifier la conclusion.

Une valeur extrême peut être :

  • une erreur ;
  • un cas réel rare ;
  • le signe d’un nouveau phénomène ;
  • la conséquence d’une mauvaise définition.

La supprimer automatiquement peut effacer une information importante. La conserver sans examen peut déformer l’analyse.

Le nettoyage doit donc être documenté et justifié.


Les valeurs aberrantes

Une valeur très éloignée des autres attire l’attention. Elle peut provenir d’une erreur de mesure, d’une unité incorrecte, d’un événement exceptionnel, d’une population différente ou d’un mécanisme réellement rare. Il ne suffit pas de la qualifier d’« aberrante » pour savoir quoi en faire.

Le terme décrit sa position dans la distribution, pas son statut épistémique.

Une bonne pratique consiste à :

  • vérifier la source ;
  • comparer les analyses avec et sans la valeur ;
  • examiner son influence ;
  • expliquer la décision retenue.

Les cas extrêmes sont parfois du bruit. Ils sont parfois précisément ce que la recherche devait découvrir.


Les données manquantes

Les données absentes ne sont pas toujours réparties au hasard. Une personne peut refuser de répondre à une question parce que le sujet est sensible. Un patient très malade peut quitter une étude. Un appareil peut échouer davantage dans certaines conditions. Ignorer ces absences peut produire une conclusion biaisée. Il faut demander :

Pourquoi la donnée manque-t-elle ?

Plusieurs situations doivent être distinguées.

Absence approximativement aléatoire

La disparition n’est pas liée au phénomène étudié de manière importante.

Absence liée à des variables connues

La probabilité qu’une donnée manque dépend d’informations observées.

Absence liée à la valeur manquante elle-même

Les cas les plus élevés, les plus faibles ou les plus difficiles disparaissent plus souvent.

La troisième situation est particulièrement problématique.


L’imputation

L’imputation consiste à remplacer les données manquantes par des valeurs estimées. Elle peut être utile pour éviter de supprimer une grande partie de l’échantillon. Mais la valeur imputée n’est pas une observation réelle. Elle dépend d’un modèle. Une bonne analyse doit refléter l’incertitude introduite par cette estimation. Remplacer toutes les données absentes par une moyenne unique donne souvent une impression artificielle de précision.

L’imputation peut améliorer l’analyse si ses hypothèses sont adaptées. Elle peut également renforcer un biais lorsque le mécanisme d’absence est mal compris.


Le codage

Des observations qualitatives sont souvent transformées en catégories.

Une réponse libre peut être codée comme :

  • favorable ;
  • défavorable ;
  • incertaine.

Un comportement peut être classé comme :

  • coopération ;
  • conflit ;
  • retrait.

Cette transformation facilite l’analyse. Mais elle dépend des règles de codage. Deux chercheurs peuvent interpréter différemment la même réponse. Les catégories doivent donc être définies, illustrées et testées. Un bon codage doit permettre de comprendre comment l’observation originale a été transformée en donnée analysable.


Les données secondaires

Une donnée recueillie pour un objectif peut être réutilisée pour une autre question.

Les données administratives, médicales ou commerciales sont souvent utilisées ainsi. Cette réutilisation possède des avantages :

  • grands échantillons ;
  • coût réduit ;
  • suivi temporel ;
  • accès à des comportements réels.

Mais la donnée a été construite selon les besoins de l’institution initiale. Une catégorie administrative peut ne pas correspondre au concept scientifique étudié. Le chercheur doit demander :

  • pourquoi cette donnée a-t-elle été produite ?
  • selon quelles règles ?
  • quels cas sont absents ?
  • quels changements institutionnels ont modifié sa signification ?

Les métadonnées

Les métadonnées décrivent les conditions de production d’une donnée. Elles peuvent indiquer :

  • la date ;
  • l’instrument ;
  • le lieu ;
  • la version du logiciel ;
  • la méthode ;
  • l’identité du producteur ;
  • les transformations.

Sans métadonnées, une valeur peut devenir presque impossible à interpréter.

Un nombre isolé ne dit pas :

  • ce qu’il mesure ;
  • comment ;
  • dans quelle unité ;
  • avec quelle incertitude.

Les métadonnées font donc partie de l’architecture de la preuve. Elles ne sont pas un simple supplément administratif.


Le signal et le bruit

Une mesure contient souvent un mélange de signal et de bruit.

Le signal correspond à la structure pertinente pour la question.

Le bruit correspond aux variations non pertinentes, aux erreurs ou aux fluctuations aléatoires. Mais la séparation dépend de l’objectif.

Une variation considérée comme du bruit dans une étude peut devenir le signal d’une autre. Par exemple, les différences individuelles peuvent être du bruit si l’on cherche un effet moyen. Elles deviennent le phénomène central si l’on cherche à comprendre pourquoi l’effet varie entre les personnes.

La distinction entre signal et bruit est donc relative à une question théorique.


Les instruments amplifient et filtrent

Un instrument ne se contente pas d’enregistrer. Il sélectionne certaines caractéristiques et en ignore d’autres. Un microscope rend visibles certaines structures selon :

  • sa résolution ;
  • sa préparation ;
  • son contraste ;
  • sa longueur d’onde.

Un questionnaire rend visibles certaines opinions selon :

  • les questions ;
  • les catégories ;
  • la situation.

Un algorithme détecte certaines régularités selon :

  • ses variables ;
  • son objectif ;
  • ses données d’entraînement.

L’instrument produit un monde observable particulier.

Une donnée doit toujours être interprétée avec les capacités et les limites de l’instrument qui l’a produite.


L’incertitude instrumentale

Aucun instrument ne fournit une mesure absolument exacte.

Il possède :

  • une résolution ;
  • une marge d’erreur ;
  • une sensibilité ;
  • une dérive ;
  • des conditions d’utilisation.

Une valeur comme 10,000 peut être trompeuse si l’instrument ne distingue réellement que des variations de 0,1. L’incertitude doit être proportionnée à la qualité de l’appareil. Afficher davantage de chiffres ne produit pas davantage de connaissance. La précision de la présentation doit refléter la précision de la mesure.


La chaîne de traçabilité

Dans certaines sciences, la mesure doit être reliée à des références reconnues à travers une chaîne de calibration. Cette traçabilité permet de comparer des résultats obtenus dans différents laboratoires, à différentes périodes et avec différents instruments. Sans référence commune, deux nombres identiques peuvent ne pas représenter exactement la même grandeur. Dans les sciences sociales, cette traçabilité est plus difficile, mais une exigence analogue existe : les concepts, questionnaires et transformations doivent être suffisamment documentés pour rendre les comparaisons interprétables.


Une donnée est toujours située

Une donnée possède un contexte. Elle est produite :

  • dans un lieu ;
  • à un moment ;
  • sur une population ;
  • selon une procédure ;
  • pour un usage.

Retirer la donnée de ce contexte peut conduire à une généralisation abusive. Un taux observé dans un hôpital ne représente pas automatiquement tous les patients. Une enquête en ligne ne représente pas nécessairement toute la population. Une mesure réalisée pendant une crise peut ne pas décrire une période ordinaire. La généralisation constitue une inférence supplémentaire, pas une propriété automatique de la donnée.


De la donnée à l’échantillon

Une étude n’observe généralement pas toute la population concernée. Elle recueille un échantillon.

Pour généraliser, il faut examiner :

  • la méthode de sélection ;
  • la taille ;
  • la représentativité ;
  • les refus ;
  • les exclusions ;
  • les pertes de suivi.

Un très grand échantillon peut rester biaisé si certaines personnes ont beaucoup plus de chances d’être incluses que d’autres.

La taille réduit l’erreur aléatoire, mais ne corrige pas automatiquement une mauvaise sélection.


Échantillon aléatoire et échantillon de convenance

Un échantillon aléatoire donne à chaque membre de la population une probabilité connue d’être sélectionné. Cette méthode facilite la généralisation statistique.

Un échantillon de convenance utilise les personnes les plus accessibles :

  • étudiants ;
  • internautes volontaires ;
  • clients ;
  • patients d’un établissement.

Ces échantillons peuvent être utiles, notamment pour explorer des mécanismes. Mais leur représentativité est limitée.

Le problème n’est pas qu’ils soient toujours inutiles. Il est de généraliser sans examiner ce qui distingue les personnes incluses des autres.


Le biais de sélection

Un biais de sélection apparaît lorsque l’inclusion dans l’étude dépend de facteurs liés à la question. Supposons que l’on étudie la satisfaction au travail uniquement parmi les salariés restant dans une entreprise. Les personnes les plus insatisfaites ont peut-être déjà quitté l’organisation. La satisfaction des salariés présents ne représente pas l’ensemble de ceux qui ont été employés. Le biais peut se produire :

  • au recrutement ;
  • pendant le suivi ;
  • lors de l’exclusion ;
  • dans la réponse aux enquêtes.

Il doit être distingué de la simple variation aléatoire.


Le biais du survivant

Le biais du survivant consiste à étudier uniquement les cas ayant traversé un processus. Nous observons les entreprises encore actives et oublions celles qui ont disparu. Nous étudions les artistes célèbres et ignorons les personnes ayant suivi les mêmes stratégies sans réussir. Les caractéristiques des survivants sont alors présentées comme causes de leur réussite. Pour comprendre un processus, il faut idéalement examiner aussi les échecs et les absents.


La représentativité n’est pas toujours nécessaire

Toutes les études ne cherchent pas à estimer une fréquence dans une population. Une expérience peut viser à tester un mécanisme. Un échantillon peu représentatif peut suffire si le mécanisme est réellement général et si les conditions sont correctement contrôlées. Mais cette généralité doit être testée. La représentativité est essentielle pour certaines questions, moins pour d’autres. Il faut distinguer :

  • estimation descriptive ;
  • test causal ;
  • exploration d’un mécanisme ;
  • généralisation externe.

La comparaison

Une donnée isolée possède souvent peu de signification.

Un taux de 15 % est-il élevé ?

La réponse dépend d’une comparaison :

  • avec une autre population ;
  • avec une période antérieure ;
  • avec une situation sans intervention ;
  • avec une valeur attendue ;
  • avec un seuil.

La construction d’un groupe de comparaison est donc centrale. Une amélioration après un traitement ne prouve pas l’efficacité si les patients auraient également pu s’améliorer spontanément. La preuve vient souvent de la différence entre plusieurs scénarios.


Le contrefactuel

Une conclusion causale pose implicitement une question contrefactuelle :

Que se serait-il passé si la cause supposée avait été absente ?

Nous ne pouvons pas observer simultanément la même personne avec et sans traitement au même moment.

Il faut construire une approximation :

  • groupe de contrôle ;
  • comparaison historique ;
  • expérience naturelle ;
  • modèle statistique.

La qualité de la preuve causale dépend de la crédibilité de cette approximation.

Le contrefactuel n’est pas une donnée directement observée. C’est une construction fondée sur un dessin de recherche.


Le groupe de contrôle

Un groupe de contrôle permet d’estimer ce qui se serait produit sans l’intervention. Pour être pertinent, il doit être suffisamment comparable au groupe traité. Des différences initiales peuvent expliquer le résultat. La randomisation cherche à répartir ces différences de manière équilibrée. Sans randomisation, d’autres méthodes peuvent être utilisées, mais elles demandent davantage d’hypothèses.

La présence d’un groupe de contrôle ne garantit pas à elle seule une bonne conclusion. Il faut examiner sa composition, son traitement et les pertes de suivi.


Avant et après

Comparer une situation avant et après une intervention paraît intuitif. Mais de nombreux facteurs peuvent changer en même temps :

  • saison ;
  • contexte économique ;
  • apprentissage ;
  • évolution naturelle ;
  • événement extérieur.

Une amélioration temporelle ne prouve pas que l’intervention en est la cause.

La comparaison avant-après devient plus forte lorsqu’un groupe comparable n’ayant pas reçu l’intervention évolue différemment.


Corrélation et explication

Une corrélation montre que deux variables varient ensemble. Elle peut devenir une preuve contre l’hypothèse d’une indépendance totale. Mais elle ne décide pas automatiquement du sens causal.

Plusieurs explications restent possibles :

  • A cause B ;
  • B cause A ;
  • une troisième variable cause A et B ;
  • la sélection produit l’association ;
  • la corrélation est accidentelle.

La donnée statistique soutient d’abord une relation observée.

Le passage à une cause demande un raisonnement supplémentaire.


Les variables confondantes

Une variable confondante influence à la fois l’exposition et le résultat. Supposons qu’une étude observe une relation entre consommation d’un produit et maladie.

Une troisième variable peut expliquer une partie de l’association :

  • âge ;
  • profession ;
  • comportement ;
  • niveau social.

Contrôler statistiquement certaines variables peut réduire ce problème. Mais il faut connaître ou mesurer les facteurs pertinents. Une variable non observée peut continuer à biaiser la conclusion. Les ajustements statistiques ne transforment pas automatiquement une observation en expérience.


Le risque du surcontrôle

Ajouter de nombreuses variables de contrôle n’est pas toujours préférable.

Certaines peuvent être :

  • des conséquences de la cause ;
  • des étapes du mécanisme ;
  • des variables influencées par plusieurs facteurs ;
  • des mesures redondantes.

Contrôler une variable intermédiaire peut supprimer une partie de l’effet que l’on cherche à estimer. Contrôler un mauvais facteur peut même créer un biais. Le choix des variables doit venir d’un modèle causal, pas seulement d’un automatisme statistique.


La temporalité

Une cause doit généralement précéder son effet. Une association mesurée au même moment laisse souvent le sens causal indéterminé. Si l’anxiété et l’usage d’un réseau social sont corrélés, plusieurs possibilités existent :

  • l’usage augmente l’anxiété ;
  • l’anxiété augmente l’usage ;
  • les deux s’influencent ;
  • une autre variable agit sur les deux.

Des données longitudinales peuvent clarifier l’ordre temporel. Mais la succession temporelle ne suffit pas à établir la causalité. Ce qui vient avant n’est pas toujours la cause.


Les études longitudinales

Une étude longitudinale suit les mêmes personnes ou unités dans le temps. Elle permet d’examiner :

  • les trajectoires ;
  • les changements ;
  • l’ordre temporel ;
  • la stabilité.

Elle est souvent plus informative qu’une photographie unique. Mais elle rencontre des difficultés :

  • abandons ;
  • changements de mesure ;
  • événements extérieurs ;
  • apprentissage lié aux évaluations répétées.

Les personnes restant jusqu’à la fin peuvent différer de celles ayant quitté l’étude.


La causalité et l’intervention

Une hypothèse causale gagne en crédibilité lorsqu’une intervention sur la cause modifie l’effet comme prévu.

L’intervention réduit certaines ambiguïtés. Mais toutes les causes ne peuvent pas être manipulées :

  • événements historiques ;
  • caractéristiques sociales ;
  • expositions dangereuses ;
  • phénomènes astronomiques.

Il faut alors combiner :

  • mécanismes ;
  • temporalité ;
  • comparaisons ;
  • expériences naturelles ;
  • preuves convergentes.

La causalité n’est pas limitée à l’expérience, mais elle exige une architecture probatoire adaptée.


Les preuves mécanistes

Une preuve mécaniste décrit les étapes reliant une cause à un effet. Elle peut montrer :

  • une transformation ;
  • un processus biologique ;
  • une réaction institutionnelle ;
  • une chaîne de décisions.

Un mécanisme plausible renforce l’interprétation causale. Mais la plausibilité ne suffit pas. Un mécanisme peut exister sans produire un effet important dans les conditions réelles. Il faut idéalement relier les preuves du mécanisme aux données portant sur l’effet global.


Les preuves statistiques et mécanistes

Les preuves statistiques montrent qu’une relation existe dans un ensemble de cas. Les preuves mécanistes montrent comment elle peut se produire. Elles se complètent. Une association robuste sans mécanisme connu peut être réelle. Un mécanisme bien compris sans effet observable important peut rester insuffisant pour une décision. La convergence entre :

  • association ;
  • temporalité ;
  • mécanisme ;
  • intervention,

produit une preuve causale plus forte.


Une preuve dépend des alternatives

Une donnée confirme une hypothèse lorsqu’elle est davantage attendue sous cette hypothèse que sous ses concurrentes. Supposons qu’un test soit positif. Le résultat soutient une maladie particulière seulement si ce résultat est moins probable en son absence ou sous les diagnostics concurrents. Une donnée peut être très probable sous l’hypothèse sans posséder une grande force probante si elle est également probable sous les alternatives. La question n’est donc pas seulement :

L’hypothèse explique-t-elle la donnée ?

mais :

L’explique-t-elle mieux que les autres hypothèses pertinentes ?


La vraisemblance

La vraisemblance demande :

Si l’hypothèse était vraie, quelle probabilité aurait-on d’observer cette donnée ?

Une donnée très improbable sous l’hypothèse la fragilise. Une donnée probable sous l’hypothèse est compatible avec elle. Mais pour mesurer la force de la preuve, il faut comparer plusieurs vraisemblances. Un symptôme présent dans presque toutes les maladies n’aide pas beaucoup à choisir entre elles. Un signe rare sous les alternatives est davantage discriminant.


Les probabilités antérieures

La preuve ne suffit pas toujours à elle seule. Il faut aussi considérer la plausibilité antérieure des hypothèses. Un résultat inhabituel peut être expliqué par :

  • un phénomène rare ;
  • une erreur fréquente ;
  • un défaut d’instrument ;
  • une contamination.

Si le phénomène extraordinaire est très rare, une donnée ambiguë ne suffit pas nécessairement à le rendre probable.

Le raisonnement bayésien combine :

  • probabilité antérieure ;
  • vraisemblance de la donnée ;
  • comparaison avec les alternatives.

Une donnée forte peut renverser une faible probabilité initiale. Une donnée faible ne le peut généralement pas.


Preuve positive et preuve négative

Une donnée peut soutenir une hypothèse ou la fragiliser. L’absence d’un signal attendu peut constituer une preuve négative. Mais son poids dépend de la capacité du dispositif à détecter ce signal. Ne pas trouver une trace dans une recherche superficielle apporte peu d’information. Ne pas la trouver après une recherche très sensible, alors que l’hypothèse la rendait presque certaine, devient beaucoup plus significatif. L’absence de preuve est donc informative lorsque l’observation attendue aurait eu de bonnes chances d’être détectée.


La sensibilité du dispositif

Un test peu sensible manque de nombreux cas. Un résultat négatif possède alors une faible valeur pour exclure l’hypothèse. Un test très sensible rend l’absence plus informative. Inversement, un test peu spécifique produit beaucoup de faux positifs. Un résultat positif devient alors moins convaincant. La force d’une donnée dépend donc du fonctionnement du dispositif, pas seulement de son signe positif ou négatif.


Le seuil de détection

Un instrument ne détecte pas toujours les phénomènes trop faibles.

Dire qu’aucun effet n’a été observé peut signifier :

  • effet réellement nul ;
  • effet inférieur au seuil ;
  • durée insuffisante ;
  • mesure trop bruyante.

Une conclusion négative doit préciser ce que l’étude était capable d’exclure.

Une étude bien conçue peut montrer qu’un effet important est peu probable, tout en laisser ouverte la possibilité d’un effet très faible.


Les données contradictoires

Une littérature contient souvent des résultats divergents. Il ne faut pas simplement compter :

  • cinq études positives ;
  • trois études négatives.

Les études peuvent différer par :

  • taille ;
  • qualité ;
  • population ;
  • mesure ;
  • contrôle ;
  • précision.

Une grande étude robuste peut peser davantage que plusieurs petites études fragiles.

Les contradictions doivent être analysées, pas seulement additionnées. Elles peuvent révéler un biais, une hétérogénéité réelle, une dépendance au contexte ou une mauvaise théorie.


La pondération des preuves

Toutes les données ne possèdent pas le même poids.

Une preuve gagne en force lorsqu’elle est :

  • précise ;
  • indépendante ;
  • discriminante ;
  • robuste ;
  • reproduite ;
  • difficile à expliquer autrement.

Une donnée faible ne devient pas nécessairement forte par répétition si toutes les observations partagent le même biais. La pondération doit examiner les dépendances. Dix articles fondés sur la même base de données constituent moins de preuves indépendantes que dix études réellement distinctes.


La convergence

Une hypothèse est fortement soutenue lorsque plusieurs voies indépendantes convergent. Par exemple :

  • mesure directe ;
  • prédiction nouvelle ;
  • mécanisme ;
  • expérience ;
  • trace historique ;
  • application technique.

Chaque méthode possède ses propres vulnérabilités. La convergence réduit la probabilité qu’une seule erreur explique tout. Mais l’indépendance doit être réelle. Plusieurs méthodes peuvent partager la même classification ou la même hypothèse implicite.


La triangulation

La triangulation compare plusieurs méthodes imparfaites. Son objectif n’est pas d’obtenir une identité parfaite. Elle cherche à savoir si une structure commune apparaît malgré des biais différents. Une enquête, une observation comportementale et une expérience peuvent donner des résultats légèrement différents tout en soutenir une même tendance. La divergence peut également être instructive. Elle peut montrer que les méthodes ne mesurent pas exactement la même dimension.


La preuve expérimentale est-elle supérieure ?

Une expérience contrôlée possède un avantage majeur pour l’inférence causale. Elle peut isoler l’effet d’une intervention. Mais elle n’est pas toujours supérieure pour toutes les questions. Une expérience très artificielle peut manquer de validité externe. Une observation de terrain peut mieux représenter la réalité tout en contrôler moins les facteurs. Une étude historique peut fournir une preuve unique impossible à reproduire expérimentalement.

La hiérarchie des méthodes dépend donc de la proposition étudiée. Il n’existe pas une seule échelle universelle où chaque type de donnée possède toujours le même rang.


Les hiérarchies de preuve

En médecine, certaines hiérarchies placent souvent :

  • synthèses d’essais contrôlés ;
  • essais randomisés ;
  • études observationnelles ;
  • séries de cas ;
  • opinions d’experts.

Cette organisation est utile pour certaines questions d’efficacité. Mais elle ne s’applique pas mécaniquement à toutes les questions. Pour détecter un effet indésirable rare, une grande étude observationnelle peut être plus informative qu’un petit essai. Pour comprendre un mécanisme, des études expérimentales de laboratoire peuvent être essentielles. Pour saisir l’expérience d’un patient, un entretien peut apporter une information que l’essai ne fournit pas. Le niveau de preuve doit être relatif à la conclusion recherchée.


Une bonne méthode peut répondre à la mauvaise question

Une étude peut être méthodologiquement rigoureuse tout en soutenir une conclusion limitée.

Un essai peut montrer qu’un traitement réduit un score pendant six semaines. Il ne montre pas nécessairement :

  • un bénéfice durable ;
  • une amélioration de la qualité de vie ;
  • une efficacité chez tous les groupes ;
  • l’absence de risques à long terme.

La qualité du dessin ne justifie pas une extrapolation au-delà de la proposition testée.

Il faut toujours examiner la correspondance entre :

  • question ;
  • donnée ;
  • conclusion.

L’extrapolation

Extrapoler consiste à étendre un résultat au-delà du domaine observé. Cela peut concerner une autre population, une autre époque, une autre dose, une autre institution et une autre échelle. L’extrapolation peut être raisonnable lorsqu’un mécanisme général est bien compris. Elle devient fragile lorsque les conditions susceptibles de modifier l’effet sont nombreuses ou inconnues. Une conclusion devrait indiquer clairement ce qui est observé et ce qui est extrapolé.


L’erreur écologique

Une relation observée entre des groupes ne se retrouve pas nécessairement entre les individus. Supposons que les régions ayant un niveau moyen plus élevé d’une variable possèdent aussi un autre résultat plus élevé. Cela ne prouve pas que les individus possédant cette caractéristique soient ceux qui produisent le résultat.

La structure interne des groupes peut être différente.

L’erreur écologique consiste à transférer directement une relation collective au niveau individuel.


L’erreur atomiste

L’erreur inverse consiste à généraliser une relation individuelle au niveau collectif. Un comportement peut avoir un effet positif pour une personne et produire un résultat différent lorsqu’il devient généralisé. Par exemple, une stratégie avantageuse individuellement peut être inefficace collectivement si tous les acteurs l’adoptent. Le niveau d’analyse fait partie de l’hypothèse. Une donnée ne doit pas être déplacée d’un niveau à l’autre sans justification.


Agrégation et désagrégation

Agréger des données permet de repérer des tendances générales.

Désagréger permet d’examiner :

  • groupes ;
  • contextes ;
  • trajectoires ;
  • distributions.

Une moyenne globale peut cacher une inversion dans chaque sous-groupe, ou l’inverse. Ce phénomène est illustré par le paradoxe de Simpson. La conclusion peut changer lorsque l’on tient compte d’une variable de structure. Il faut donc choisir le niveau de regroupement en fonction du modèle causal et de la question.


Le paradoxe de Simpson

Une tendance peut apparaître dans les données agrégées et s’inverser dans les sous-groupes. Cela peut se produire lorsque les groupes n’ont pas la même composition. Le paradoxe ne montre pas que les statistiques seraient trompeuses par nature. Il montre qu’une association dépend de la manière dont les données sont structurées. La bonne conclusion demande de savoir :

  • quelles variables sont causalement pertinentes ;
  • pourquoi les groupes diffèrent ;
  • quel niveau répond à la question.

Les graphiques comme arguments

Un graphique organise les données.

Le choix de :

  • l’échelle ;
  • l’origine ;
  • la période ;
  • les catégories ;
  • la forme,

influence la perception.

Une échelle tronquée peut exagérer une petite différence. Une longue période peut masquer une variation récente. Une courte période peut transformer une fluctuation en tendance. Un graphique n’est pas mensonger simplement parce qu’il sélectionne une présentation. Toute représentation sélectionne. Mais cette sélection doit être adaptée à la question et ne pas produire une impression disproportionnée.


Les tableaux

Un tableau conserve davantage de détail qu’un résumé graphique. Mais il peut également rendre difficile l’identification des structures.

Le choix entre tableau et graphique dépend du besoin :

  • lire des valeurs précises ;
  • comparer ;
  • détecter une tendance ;
  • montrer une distribution.

Une communication rigoureuse utilise parfois les deux.

Les données résumées devraient, lorsque cela est possible, permettre un accès aux détails nécessaires à la vérification.


La visualisation des distributions

Présenter uniquement une moyenne et une marge d’erreur peut masquer la forme réelle des données. Il est souvent utile de montrer :

  • points individuels ;
  • histogramme ;
  • quantiles ;
  • dispersion ;
  • sous-groupes.

Une visualisation plus complète peut révéler :

  • valeurs extrêmes ;
  • asymétrie ;
  • plusieurs populations ;
  • plafond ;
  • plancher.

Le résumé doit réduire l’information sans déformer la structure pertinente.


La narration des données

Les chercheurs organisent les résultats dans un récit.

Ils sélectionnent :

  • les analyses principales ;
  • l’ordre ;
  • les graphiques ;
  • les explications ;
  • les limites.

Cette narration est nécessaire pour rendre l’étude compréhensible. Mais elle peut donner une cohérence rétrospective excessive. Les résultats négatifs ou ambigus peuvent disparaître. La transparence consiste à distinguer l’histoire utile de la sélection trompeuse.


Les données ne parlent pas toutes seules

L’expression « laisser parler les données » est trompeuse.

Les données ne produisent pas spontanément :

  • la bonne question ;
  • le bon modèle ;
  • la bonne comparaison ;
  • la bonne conclusion.

Elles contraignent les interprétations. Elles peuvent rendre certaines hypothèses très difficiles à maintenir. Mais leur signification dépend d’un cadre. Reconnaître ce rôle du cadre ne conduit pas au relativisme. Toutes les interprétations ne rendent pas également compte des données, de leur production et des alternatives.


Le rôle des modèles

Un modèle relie les données à une structure théorique. Il permet de distinguer :

  • régularité ;
  • bruit ;
  • cause ;
  • conséquence ;
  • paramètre ;
  • erreur.

Deux modèles peuvent interpréter différemment les mêmes données.

La comparaison doit porter sur :

  • leur ajustement ;
  • leur simplicité ;
  • leur pouvoir prédictif ;
  • leurs hypothèses ;
  • leur robustesse.

Un bon modèle ne se contente pas de reproduire les données passées. Il doit aider à comprendre ou à prévoir.


L’ajustement

Un modèle correspond plus ou moins bien aux données. Mais un ajustement parfait n’est pas toujours souhaitable. Un modèle très flexible peut mémoriser chaque fluctuation. Il décrit parfaitement l’échantillon mais échoue sur de nouvelles données. Le surajustement transforme le bruit en structure. Un modèle plus simple peut laisser certains écarts tout en mieux capturer le phénomène général.

La preuve en faveur d’un modèle ne dépend donc pas seulement de sa correspondance aux données utilisées pour le construire.


La validation externe

Une conclusion devient plus crédible lorsqu’elle fonctionne sur des données indépendantes. Cette validation peut utiliser :

  • nouvel échantillon ;
  • autre population ;
  • autre période ;
  • autre méthode ;
  • autre équipe.

La réussite externe montre que la structure n’était pas seulement un produit local de l’analyse initiale. Mais un échec externe doit être interprété. Il peut révéler une théorie fausse, un contexte différent ou une portée plus limitée.


La robustesse analytique

Une conclusion est robuste si elle persiste sous plusieurs choix raisonnables.

Il faut parfois faire varier :

  • exclusions ;
  • transformations ;
  • covariables ;
  • définitions ;
  • modèles.

Si l’effet disparaît dès que l’on modifie une décision mineure, la preuve est fragile. Cela ne signifie pas que toutes les analyses soient également valides.

L’objectif est d’examiner si la conclusion dépend entièrement d’un choix contestable.


L’analyse exploratoire

Une exploration peut découvrir une structure intéressante. Elle permet :

  • de générer des hypothèses ;
  • de repérer des anomalies ;
  • d’améliorer les mesures ;
  • de construire des modèles.

Mais une découverte exploratoire doit être distinguée d’un test confirmatoire. Si de nombreuses analyses ont été examinées, le résultat favorable peut être accidentel. Une nouvelle étude ou un nouvel échantillon permet de transformer la découverte en preuve plus forte.


Le préenregistrement

Le préenregistrement conserve les décisions prises avant la connaissance des résultats. Il peut préciser :

  • hypothèse ;
  • échantillon ;
  • exclusions ;
  • analyses ;
  • critères de réussite.

Il aide à distinguer :

  • prédiction ;
  • adaptation ;
  • exploration.

Mais il ne rend pas automatiquement l’étude valide. Une mauvaise mesure et un mauvais modèle peuvent être préenregistrés. Le préenregistrement améliore la traçabilité de la chaîne probatoire.


L’indépendance des preuves

Deux résultats sont réellement indépendants lorsqu’une même erreur ne suffit pas à les produire tous les deux.

L’indépendance peut venir de :

  • données différentes ;
  • instruments différents ;
  • équipes différentes ;
  • méthodes différentes ;
  • hypothèses auxiliaires différentes.

Une reproduction exacte vérifie la stabilité d’une procédure. Une méthode différente vérifie que la conclusion ne dépend pas entièrement de cette procédure. Les deux formes de confirmation sont utiles.


Les données ouvertes

Rendre les données accessibles permet :

  • vérification ;
  • réanalyse ;
  • détection d’erreurs ;
  • combinaison avec d’autres études.

Mais les données ouvertes doivent être :

  • documentées ;
  • compréhensibles ;
  • éthiquement partageables ;
  • accompagnées des transformations.

Une base sans contexte peut être facilement mal interprétée.

L’ouverture augmente la contrôlabilité. Elle ne garantit pas la qualité.


Une donnée peut être vraie et non pertinente

Une information peut être exacte tout en n’apportant presque rien à la question. Supposons qu’une étude sur un traitement indique que les participants portaient majoritairement des vêtements sombres. La donnée peut être vraie. Elle ne devient pas une preuve de l’efficacité du traitement. La pertinence dépend d’un lien argumentatif avec l’hypothèse. Accumuler des faits exacts ne suffit pas à construire une conclusion.


Une donnée peut être fausse mais conduire provisoirement à une bonne conclusion

Il est parfois possible qu’une erreur individuelle n’affecte pas la conclusion globale. Une mesure incorrecte peut être compensée par d’autres données. Cela ne rend pas l’erreur acceptable. La qualité d’une conclusion dépend de la robustesse de l’ensemble. Une connaissance peut survivre à la correction de certaines données parce qu’elle repose sur plusieurs voies indépendantes.


Les preuves et les témoignages

Un témoignage produit également des données. Il peut fournir :

  • observation ;
  • souvenir ;
  • interprétation ;
  • rumeur.

Sa valeur dépend :

  • de la proximité ;
  • de la compétence ;
  • de la mémoire ;
  • de l’indépendance ;
  • des intérêts ;
  • de la cohérence avec les traces.

Plusieurs témoignages identiques ne sont pas indépendants s’ils proviennent d’une source commune.

La logique des preuves scientifiques et historiques partage ici plusieurs principes.


Les preuves documentaires

Un document authentique n’établit pas automatiquement toutes les propositions qu’on lui attribue. Il peut montrer :

  • qu’une personne a écrit une phrase ;
  • qu’un projet existait ;
  • qu’une intention a été formulée.

Il ne montre pas nécessairement :

  • que l’intention a été exécutée ;
  • que l’auteur disait vrai ;
  • que le document était représentatif ;
  • que l’événement s’est produit.

Le passage du document à la conclusion demande un raisonnement historique.


Les preuves négatives en histoire

L’absence d’un document peut être informative si l’on avait de bonnes raisons de s’attendre à le trouver. Mais les archives sont incomplètes.

Des documents peuvent avoir été :

  • détruits ;
  • perdus ;
  • jamais produits ;
  • conservés ailleurs.

L’absence possède donc un poids variable. Elle est plus forte lorsque le système administratif produisait normalement des traces nombreuses et que les archives sont particulièrement complètes.


Les traces convergentes

Une conclusion historique devient plus solide lorsque plusieurs types de traces convergent :

  • archives ;
  • objets ;
  • témoignages ;
  • chronologie ;
  • données géographiques ;
  • conséquences matérielles.

La convergence réduit la dépendance à une source unique. Mais les sources peuvent s’influencer.

Une chronique tardive peut répéter un texte antérieur sans constituer une confirmation indépendante.


La preuve juridique

Dans le droit, une donnée est également évaluée relativement à une proposition. Mais les règles de preuve répondent à des objectifs spécifiques :

  • protection des droits ;
  • équité de la procédure ;
  • limitation des erreurs ;
  • décision dans un délai raisonnable.

Une preuve scientifiquement intéressante peut être juridiquement inadmissible si elle a été obtenue de manière illégale.

Les standards de preuve varient selon les conséquences :

  • prépondérance ;
  • conviction ;
  • doute raisonnable.

Cela montre qu’il faut distinguer :

  • force épistémique ;
  • règle institutionnelle de décision.

Preuve et décision

Une conclusion scientifique peut rester incertaine tout en justifier une action.

Le seuil dépend :

  • du coût de l’erreur ;
  • de la gravité du risque ;
  • de la réversibilité ;
  • des alternatives.

Une donnée modérée peut suffire pour une précaution peu coûteuse. Une décision irréversible demande généralement une preuve plus forte. Le niveau de preuve nécessaire pour croire et celui nécessaire pour agir ne coïncident pas toujours.


Le risque inductif

Le risque inductif désigne le risque de se tromper en acceptant ou rejetant une hypothèse à partir de données limitées.

Deux erreurs sont possibles :

  • accepter une hypothèse fausse ;
  • rejeter une hypothèse vraie.

Leurs conséquences peuvent être asymétriques. Dans un dépistage, manquer une maladie et produire une fausse alerte n’ont pas toujours le même coût. Les valeurs interviennent donc dans le choix des seuils de décision, même si elles ne déterminent pas directement les faits.


Les données probantes

L’expression données probantes peut donner l’impression qu’une donnée possède en elle-même une force définitive.

Il serait plus juste de penser en termes de :

  • qualité ;
  • pertinence ;
  • comparaison ;
  • convergence ;
  • incertitude.

Une donnée probante est une donnée produite et interprétée dans des conditions permettant de modifier raisonnablement notre confiance. Elle reste relative à une proposition précise.


La charge de la preuve

La personne qui affirme une proposition doit fournir des données suffisamment pertinentes. Mais le niveau exigé dépend :

  • de la plausibilité ;
  • de la précision ;
  • des conséquences ;
  • des connaissances existantes.

Une affirmation extraordinaire ou très précise demande une preuve adaptée. Il ne suffit pas de présenter un document, un nombre ou une étude.

Il faut montrer comment cet élément favorise réellement la proposition par rapport aux alternatives.


Le poids d’une anomalie

Une donnée contraire à une théorie peut avoir plusieurs interprétations :

  • théorie fausse ;
  • condition non respectée ;
  • instrument défectueux ;
  • erreur ;
  • phénomène nouveau.

Une anomalie isolée ne détruit pas toujours une théorie bien établie. Mais elle ne doit pas être ignorée.

Son poids augmente lorsqu’elle :

  • se reproduit ;
  • vient de plusieurs méthodes ;
  • correspond à une prédiction concurrente ;
  • résiste aux contrôles.

Une théorie rationnelle doit pouvoir perdre progressivement de la crédibilité.


Les ensembles de preuves

Une conclusion importante repose rarement sur une seule donnée. Elle repose sur un ensemble organisé. Cet ensemble peut contenir :

  • observations ;
  • expériences ;
  • mécanismes ;
  • comparaisons ;
  • réplications ;
  • données négatives ;
  • prédictions.

Le raisonnement doit expliquer comment ces éléments se soutiennent ou se limitent mutuellement.

La force ne vient pas seulement de l’accumulation, mais de la structure de l’ensemble.


Une architecture de preuve

Une architecture de preuve robuste possède plusieurs niveaux :

  1. la mesure représente suffisamment le phénomène ;
  2. les données sont produites de manière contrôlée ;
  3. l’échantillon permet l’inférence recherchée ;
  4. la comparaison réduit les explications concurrentes ;
  5. le modèle correspond aux données sans surajustement ;
  6. le résultat résiste aux analyses raisonnables ;
  7. les prédictions fonctionnent sur de nouvelles données ;
  8. des méthodes indépendantes convergent ;
  9. les limites sont explicitement reconnues.

Une faiblesse importante à un niveau peut fragiliser toute la conclusion.


La chaîne d’inférence

Pour évaluer une conclusion, il est utile de reconstruire la chaîne :

Quel phénomène voulons-nous connaître ?

Comment a-t-il été opérationnalisé ?

Comment les données ont-elles été produites ?

Quels cas ont été inclus ?

Quelles transformations ont été appliquées ?

Quelle comparaison a été utilisée ?

Quel modèle relie les données à la conclusion ?

Quelles hypothèses concurrentes ont été examinées ?

Quelle incertitude demeure ?

Cette reconstruction rend visibles les étapes souvent cachées derrière une phrase comme :

« Les données montrent que… »


Une méthode pratique d’évaluation

Définir la proposition

Quelle conclusion précise est-elle avancée ?

Identifier les données

Qu’a-t-on réellement observé ou enregistré ?

Examiner la production

Quel instrument, quel échantillon et quelle procédure ont produit ces données ?

Vérifier les transformations

Quelles exclusions, imputations, classifications ou corrections ont été appliquées ?

Examiner la comparaison

Quel scénario alternatif sert de référence ?

Identifier le modèle

Comment passe-t-on des données à l’interprétation ?

Rechercher les alternatives

Quelles autres hypothèses pourraient produire le même résultat ?

Évaluer la robustesse

La conclusion persiste-t-elle sous plusieurs choix raisonnables ?

Rechercher l’indépendance

D’autres données ou méthodes convergent-elles ?

Calibrer la conclusion

Que peut-on affirmer exactement, et avec quel degré de confiance ?


Questions pour examiner une preuve

  • Quelle proposition la donnée est-elle censée soutenir ?
  • S’agit-il d’un fait, d’une donnée, d’un phénomène ou d’une interprétation ?
  • Comment la donnée a-t-elle été produite ?
  • L’instrument était-il adapté et calibré ?
  • Quelle incertitude accompagne la mesure ?
  • Les données ont-elles été nettoyées ou transformées ?
  • Les exclusions sont-elles justifiées ?
  • Les valeurs manquantes sont-elles liées au phénomène ?
  • Les catégories représentent-elles correctement les observations ?
  • L’échantillon permet-il de généraliser ?
  • Existe-t-il un biais de sélection ?
  • Les personnes ayant quitté l’étude diffèrent-elles des autres ?
  • Quelle comparaison permet d’interpréter le résultat ?
  • Le groupe de contrôle est-il pertinent ?
  • Une amélioration aurait-elle pu se produire sans intervention ?
  • Une corrélation est-elle présentée comme une cause ?
  • Des variables confondantes sont-elles plausibles ?
  • Le contrôle statistique repose-t-il sur un modèle causal ?
  • La temporalité est-elle compatible avec l’explication ?
  • Un mécanisme a-t-il été identifié ?
  • La donnée est-elle plus probable sous l’hypothèse que sous ses concurrentes ?
  • La probabilité antérieure a-t-elle été prise en compte ?
  • Le dispositif était-il capable de détecter le phénomène ?
  • Une absence de résultat est-elle réellement informative ?
  • Les études contradictoires ont-elles la même qualité ?
  • Les preuves sont-elles indépendantes ?
  • Plusieurs méthodes convergent-elles ?
  • Le résultat résiste-t-il à d’autres analyses ?
  • Fonctionne-t-il sur de nouvelles données ?
  • La conclusion dépasse-t-elle la population étudiée ?
  • Le niveau individuel et le niveau collectif sont-ils confondus ?
  • Le graphique représente-t-il honnêtement la distribution ?
  • Les résultats négatifs et les limites sont-ils visibles ?
  • Quelles étapes de la chaîne d’inférence sont les plus fragiles ?
  • Quel degré de confiance l’ensemble justifie-t-il réellement ?

Erreurs fréquentes

Traiter une donnée comme une conclusion

Un nombre ou un document doit encore être interprété.

Parler de données brutes comme si elles étaient sans médiation

Toute donnée dépend d’un dispositif de production.

Confondre donnée et phénomène

Les observations particulières contiennent du bruit et des erreurs.

Ignorer le nettoyage

Les exclusions et transformations peuvent modifier la conclusion.

Supprimer automatiquement les valeurs extrêmes

Un cas rare peut être une erreur ou une information importante.

Ignorer les données manquantes

Leur absence peut être systématique.

Croire qu’un grand échantillon garantit la représentativité

La taille ne corrige pas une sélection biaisée.

Généraliser un échantillon de convenance sans justification

La population accessible peut différer de la population visée.

Interpréter une évolution avant-après comme une causalité

D’autres événements peuvent expliquer le changement.

Confondre corrélation et cause

Une association admet plusieurs explications.

Ajouter automatiquement de nombreuses variables de contrôle

Le surcontrôle peut produire de nouveaux biais.

Croire que la temporalité suffit

Ce qui précède n’est pas nécessairement la cause.

Confondre mécanisme plausible et preuve de l’effet

Un mécanisme peut exister sans produire une conséquence importante.

Traiter toutes les études comme équivalentes

Leur qualité, leur précision et leur indépendance diffèrent.

Compter plusieurs publications d’une même base comme plusieurs preuves

Les données peuvent ne pas être indépendantes.

Confondre moyenne et distribution

Des structures très différentes peuvent avoir la même moyenne.

Lire un graphique sans examiner ses échelles

La représentation peut amplifier ou masquer les variations.

Généraliser un résultat collectif à chaque individu

Les niveaux d’analyse doivent être distingués.

Croire que les données parlent sans modèle

Toute conclusion repose sur une chaîne d’inférences.


À retenir

Une donnée n’est pas encore une preuve.

Elle devient une preuve lorsqu’elle modifie rationnellement la crédibilité d’une proposition.

Il faut distinguer le fait, la donnée, le phénomène et la preuve.

Les données sont produites à travers des instruments, des catégories, des sélections et des transformations.

Les phénomènes sont les structures relativement stables que nous inférons à partir de données particulières et souvent bruitées.

Le nettoyage, les exclusions, le traitement des valeurs manquantes et le codage font partie de la chaîne probatoire.

Un grand nombre de données réduit certaines erreurs aléatoires, mais ne corrige pas automatiquement un biais systématique ou une mauvaise sélection.

Une donnée isolée prend sens par comparaison avec une référence, un groupe ou une valeur attendue.

Une conclusion causale demande une approximation crédible du scénario contrefactuel.

La corrélation ne suffit pas à établir la causalité.

Les variables confondantes, le biais de sélection et le surcontrôle peuvent modifier profondément l’interprétation.

Les preuves statistiques et mécanistes sont complémentaires.

Une donnée est fortement probante lorsqu’elle est davantage attendue sous l’hypothèse considérée que sous les alternatives.

L’absence d’une trace devient informative lorsque le dispositif avait de bonnes chances de la détecter.

Toutes les études ne possèdent pas le même poids. La précision, la robustesse et l’indépendance comptent davantage que le nombre brut.

La convergence de méthodes différentes renforce une conclusion lorsqu’une même erreur ne peut pas expliquer facilement tous les résultats.

Une expérimentation contrôlée est particulièrement utile pour certaines questions causales, mais aucune hiérarchie unique des méthodes ne convient à toutes les propositions.

Un résultat solide peut rester local. Son extension à d’autres populations ou contextes constitue une nouvelle inférence.

Les tableaux, graphiques et modèles organisent les données. Ils ne sont pas de simples reflets neutres.

Une conclusion fiable repose sur une architecture reliant mesure, échantillon, comparaison, modèle, robustesse et confirmation indépendante.

La question centrale n’est donc pas seulement :

« Quelles données possédons-nous ? »

mais :

« Comment ces données ont-elles été produites, quelle proposition permettent-elles réellement de soutenir, et quelles étapes du raisonnement relient la mesure à la conclusion ? »


Repères et prolongements

Cette fiche prépare notamment les questions suivantes :

  • Quelle différence existe entre fait, donnée, phénomène et preuve ?
  • Les données peuvent-elles être réellement brutes ?
  • Comment distinguer signal et bruit ?
  • Que révèle le nettoyage des données ?
  • Comment interpréter les valeurs manquantes ?
  • Pourquoi un grand échantillon peut-il rester biaisé ?
  • Qu’est-ce qu’un biais de sélection ?
  • Comment construire un groupe de comparaison ?
  • Qu’est-ce qu’un contrefactuel ?
  • Pourquoi la corrélation ne suffit-elle pas à établir une cause ?
  • Comment les variables confondantes modifient-elles une conclusion ?
  • Quelle différence existe entre preuves statistiques et mécanistes ?
  • Pourquoi l’absence de preuve peut-elle parfois être une preuve d’absence ?
  • Comment pondérer plusieurs études contradictoires ?
  • Qu’est-ce qu’une architecture de preuve ?
  • Comment reconstruire la chaîne allant de la mesure à la conclusion ?

Quelques références

  • Pierre Duhem, *La Théorie physique : son objet et sa structure*.
  • Gaston Bachelard, *La Formation de l’esprit scientifique*.
  • Carl Hempel, *Éléments d’épistémologie*.
  • James Bogen et James Woodward, « Saving the Phenomena ».
  • James Woodward, *Making Things Happen*.
  • Ian Hacking, *Representing and Intervening*.
  • Nancy Cartwright, *How the Laws of Physics Lie*.
  • Deborah Mayo, *Error and the Growth of Experimental Knowledge*.
  • Elliott Sober, *Evidence and Evolution*.
  • Wesley Salmon, *Scientific Explanation and the Causal Structure of the World*.
  • Judea Pearl, *Causality*.
  • Donald Rubin, travaux sur les résultats potentiels et l’inférence causale.
  • Paul Rosenbaum, *Observational Studies*.
  • David Freedman, travaux sur les modèles statistiques et l’inférence.
  • Andrew Gelman et ses collaborateurs, travaux sur la modélisation, la robustesse et les graphiques.
  • Theodore Porter, *Trust in Numbers*.
  • Alain Desrosières, *La Politique des grands nombres*.
  • Geoffrey Bowker et Susan Leigh Star, *Sorting Things Out*.
28 sur 60Retour à la catégorie