La revue par les pairs : rôle, forces et limites
Un article paraît dans une revue scientifique reconnue. Il a été « évalué par les pairs ». Cette information augmente raisonnablement notre confiance : le manuscrit n’a pas simplement été déposé puis publié sans examen extérieur.
Mais que garantit réellement cette procédure ?
Beaucoup moins qu’on ne l’imagine parfois.
La revue par les pairs — *peer review* — n’est ni une réplication de l’étude, ni une reproduction systématique des calculs, ni un audit complet des données brutes. Les évaluateurs ne refont généralement pas l’expérience. Ils n’inspectent pas nécessairement chaque ligne de code. Ils ne peuvent évidemment pas détecter toutes les erreurs et encore moins une fraude soigneusement dissimulée.
L’International Committee of Medical Journal Editors définit la revue par les pairs comme l’évaluation critique de manuscrits soumis à une revue par des experts généralement extérieurs à son équipe éditoriale. Il la considère comme une extension importante du processus scientifique : elle aide les éditeurs à décider quels manuscrits sont appropriés et contribue souvent à améliorer la qualité de leur présentation. Mais l’ICMJE souligne également que sa valeur exacte reste débattue et que les pratiques diffèrent fortement d’une revue à l’autre.
Il faut donc comprendre la revue par les pairs comme un dispositif de critique supplémentaire placé entre la soumission d’un travail et sa publication, non comme une certification définitive de sa vérité.
Avant même les reviewers : le rôle de l’éditeur
Le processus ne commence généralement pas par l’envoi automatique de chaque manuscrit à plusieurs chercheurs.
Une revue peut effectuer un premier tri éditorial.
Les éditeurs examinent notamment si le travail correspond au champ de la revue, s’il paraît suffisamment original ou important, si sa présentation respecte certaines exigences et s’il existe des problèmes manifestes empêchant de poursuivre l’évaluation.
Les revues très sélectives rejettent même une grande partie des manuscrits avant toute évaluation externe. Les critères peuvent alors combiner qualité scientifique, nouveauté, intérêt pour le lectorat et stratégie éditoriale. Nature précise par exemple que ses critères incluent la solidité technique mais aussi l’originalité, l’importance et l’intérêt pour son public.
Cette étape rappelle une distinction essentielle :
publication dans une revue prestigieuse ≠ simple classement objectif de la vérité scientifique.
Une revue scientifique est aussi une institution éditoriale disposant d’un espace, d’un public et d’une ligne éditoriale.
Les reviewers conseillent ; l’éditeur décide
Lorsqu’un manuscrit est envoyé en évaluation externe, l’éditeur sélectionne généralement plusieurs spécialistes capables d’en examiner différents aspects.
Ces reviewers rédigent des rapports.
Ils peuvent recommander :
acceptation ;
révision ;
rejet ;
ou signaler des problèmes nécessitant une expertise supplémentaire.
Mais ils ne constituent pas un jury dont les voix seraient automatiquement comptées.
L’ICMJE précise explicitement que la décision finale appartient à l’éditeur, lequel n’est pas obligé de suivre les recommandations des reviewers, même lorsqu’elles convergent.
Nature décrit de même ses décisions comme une interprétation raisonnée des rapports plutôt qu’un vote : des reviewers peuvent être en désaccord, et l’éditeur doit examiner les raisons de leurs jugements, leur expertise et la gravité des problèmes identifiés.
C’est important, car deux experts compétents peuvent lire le même travail différemment.
Que cherche normalement un reviewer ?
Le contenu exact varie selon les disciplines et les revues, mais plusieurs questions reviennent régulièrement.
Le problème scientifique est-il intéressant et correctement formulé ?
La méthode permet-elle réellement de répondre à la question ?
Les mesures sont-elles valides ?
Les analyses statistiques sont-elles appropriées ?
Les données soutiennent-elles les conclusions ?
Des explications alternatives importantes ont-elles été négligées ?
Les limites sont-elles correctement reconnues ?
Le travail est-il suffisamment décrit pour être compris ou éventuellement reproduit ?
Les références représentent-elles correctement la littérature existante ?
Nature demande par exemple explicitement à ses reviewers d’examiner validité, données, méthodologie, statistiques, interprétation, robustesse des conclusions, références et limites de leur propre expertise.
La revue par les pairs introduit donc quelque chose de précieux : des chercheurs qui n’ont pas conçu l’étude cherchent volontairement ce que ses auteurs ont pu manquer.
L’auteur connaît trop bien son propre travail
Cette fonction critique possède une justification psychologique aussi bien que méthodologique.
Après plusieurs années consacrées à une hypothèse, des chercheurs connaissent intimement leurs données, leurs raisonnements et leurs choix méthodologiques.
Cette expertise est indispensable.
Mais elle peut également produire des angles morts.
Une étape paraît évidente aux auteurs parce qu’ils la réalisent depuis trois ans, alors qu’elle est insuffisamment décrite.
Une explication concurrente leur semble improbable parce qu’ils ont progressivement construit leur théorie autour des résultats.
Un choix statistique paraît naturel parce que plusieurs autres options ont été abandonnées longtemps auparavant.
Un reviewer extérieur peut demander :
« Pourquoi cette exclusion ? »
« Cette conclusion ne va-t-elle pas au-delà des données ? »
« Que se passe-t-il avec cette autre analyse ? »
« Comment savez-vous que votre mesure représente réellement ce concept ? »
Même lorsqu’il ne découvre aucune erreur fatale, ce regard peut obliger les auteurs à rendre explicites leurs raisonnements.
Un article peut être considérablement amélioré pendant la revue
La version publiée n’est souvent pas celle qui avait été initialement soumise.
Les reviewers peuvent demander :
une meilleure description des méthodes ;
des analyses complémentaires ;
une correction statistique ;
une discussion plus équilibrée ;
une réduction des affirmations causales ;
des contrôles supplémentaires ;
ou une clarification de figures et tableaux.
Des études empiriques sur le processus ont effectivement montré que les reviewers identifient de nombreux problèmes concernant le dessin expérimental, les méthodes insuffisamment rapportées, les résultats incomplets ou leur interprétation, et que les auteurs appliquent fréquemment les modifications demandées.
Des interventions structurées pendant le peer review, comme l’utilisation de recommandations de reporting, peuvent également améliorer certains aspects des manuscrits finaux.
La revue par les pairs n’est donc pas seulement un filtre qui rejette.
Elle est aussi un processus de révision critique.
Mais améliorer le manuscrit n’est pas améliorer rétroactivement l’étude
Cette distinction est fondamentale.
Supposons qu’une étude ait été conduite sans véritable randomisation.
Un reviewer peut demander aux auteurs de décrire clairement cette limite.
Il ne peut pas retourner dans le passé et randomiser les participants.
Supposons qu’une variable importante n’ait jamais été mesurée.
Le reviewer peut signaler le problème.
Il ne peut pas nécessairement créer cette mesure après coup.
Une étude insuffisamment puissante ne devient pas grande parce que trois experts en ont relu le manuscrit.
Comme l’a montré un essai portant sur l’utilisation de guidelines pendant le peer review, certaines faiblesses du reporting peuvent être améliorées après soumission, mais des défauts qui trouvent leur origine dans la conception ou l’exécution de l’étude sont beaucoup plus difficiles à corriger une fois la recherche terminée.
Le peer review intervient donc souvent très tard dans la chaîne scientifique.
Les reviewers ne refont généralement pas l’expérience
C’est probablement la confusion publique la plus importante.
Un article évalué par les pairs n’a pas nécessairement été répliqué.
L’évaluateur lit les données et arguments présentés.
Il peut demander des analyses supplémentaires.
Dans certains domaines, il peut inspecter des données ou du code.
Mais il ne recrute généralement pas une nouvelle population pour refaire l’étude avant publication.
Cette étape appartient à la réplication, étudiée dans les fiches précédentes.
Le rapport des National Academies rappelle précisément que la confiance scientifique se construit progressivement à travers reproduction, réplication, nouveaux tests et intégration des résultats dans un réseau plus large de connaissances.
Le peer review n’est qu’un élément de ce système.
Il ne reproduit pas nécessairement les calculs non plus
Même lorsqu’un article contient des analyses complexes, le reviewer ne dispose pas toujours :
des données brutes ;
du code ;
du temps ;
des compétences informatiques précises ;
ou de l’environnement logiciel nécessaire.
Certaines revues permettent ou demandent aujourd’hui davantage d’accès aux données et au code, et Nature indique par exemple que les reviewers peuvent demander à les consulter et qu’un contrôle spécifique du code peut être organisé dans certains cas.
Mais ce n’est pas l’équivalent d’une reproduction computationnelle systématique de chaque article publié.
Une étude peut donc avoir traversé une revue par les pairs sans que quiconque ait indépendamment relancé tous ses calculs.
Le peer review n’est pas conçu pour détecter toutes les fraudes
Une autre attente irréaliste consiste à penser :
« Si l’article était frauduleux, les reviewers l’auraient forcément découvert. »
Pas nécessairement.
Les reviewers voient principalement ce qui leur est présenté.
Si des données sont fabriquées de manière suffisamment plausible, un expert lisant un manuscrit peut ne disposer d’aucun moyen direct de le savoir.
Nature le dit très clairement dans ses règles éditoriales : les éditeurs ne s’attendent pas à ce que la revue par les pairs détecte systématiquement une tromperie délibérée habilement dissimulée, contrairement à une représentation fréquente dans le grand public.
Le peer review peut détecter des incohérences suspectes.
Il peut conduire à demander les données.
Mais ce n’est pas une enquête forensique systématique.
Même des erreurs importantes peuvent être manquées
La limite ne concerne pas seulement la fraude.
Des expériences ont délibérément introduit des erreurs dans des manuscrits pour observer combien les reviewers en détecteraient.
Une étude portant sur des reviewers médicaux a constaté que de nombreuses erreurs majeures restaient non détectées, notamment certains problèmes importants de randomisation et de contexte méthodologique. Les auteurs concluaient que les éditeurs ne devraient pas supposer que les reviewers identifient automatiquement la majorité des erreurs importantes.
Une autre étude sur des essais randomisés publiés dans des revues à peer review ouvert a constaté que les reviewers manquaient fréquemment d’importantes insuffisances de reporting méthodologique.
Cela ne signifie pas :
« le peer review ne sert à rien ».
Cela signifie :
« sa sensibilité aux erreurs est imparfaite ».
Deux reviewers peuvent arriver à des jugements très différents
La revue par les pairs comporte également une part de jugement.
Un chercheur considère qu’un défaut méthodologique compromet entièrement le travail.
Un autre pense que le résultat reste suffisamment informatif pour être publié avec une discussion prudente.
L’un juge l’hypothèse extrêmement originale.
L’autre estime qu’elle prolonge seulement une littérature déjà connue.
Des études ont effectivement trouvé une concordance relativement faible entre recommandations de reviewers dans certaines revues. Une méta-analyse de 48 études portant sur près de 20 000 manuscrits a estimé globalement faible la fiabilité inter-évaluateurs.
Dans une étude concernant le *Journal of General Internal Medicine*, l’accord corrigé du hasard sur la recommandation rejet contre acceptation/révision était également faible.
Cette variation n’est toutefois pas forcément entièrement négative.
Le désaccord peut refléter la complémentarité des expertises
Un statisticien peut détecter un problème que le spécialiste biologique n’avait pas vu.
Le spécialiste clinique peut identifier une impossibilité pratique que le statisticien ignore.
Un expert du mécanisme peut estimer qu’une interprétation est irréaliste.
Si tous les reviewers donnaient exactement le même rapport, une partie de leur multiplication serait redondante.
Nature Methods souligne justement que les reviewers sont souvent choisis avec des expertises différentes, ce qui explique naturellement certains désaccords.
Le problème n’est donc pas simplement :
« les reviewers ne sont pas d’accord ».
Il est de déterminer :
« leur désaccord provient-il d’informations complémentaires, d’incertitudes légitimes ou d’un jugement excessivement subjectif ? »
C’est précisément l’une des fonctions de l’éditeur.
La nouveauté et l’importance introduisent nécessairement du jugement
Supposons qu’une revue demande uniquement :
« les données sont-elles techniquement correctes ? »
La décision peut déjà être complexe.
Mais certaines revues ajoutent :
« le résultat est-il suffisamment nouveau ? »
« est-il suffisamment important ? »
« intéressera-t-il nos lecteurs ? »
Ces questions ne possèdent évidemment pas de réponse entièrement algorithmique.
Deux chercheurs peuvent honnêtement évaluer différemment l’importance d’une découverte.
Une décision éditoriale combine donc parfois validité scientifique et sélection éditoriale.
Cette distinction permet de comprendre pourquoi un article rejeté par une revue prestigieuse peut ensuite être publié dans une excellente revue spécialisée sans qu’aucune des deux décisions soit nécessairement absurde.
Le rejet par une revue ne signifie pas que le résultat est faux
Une revue peut rejeter un article parce qu’elle le juge :
hors sujet ;
insuffisamment original ;
trop spécialisé ;
peu prioritaire ;
ou simplement moins important que les autres manuscrits en concurrence.
L’ICMJE rappelle explicitement que les décisions éditoriales peuvent dépendre de considérations autres que la qualité intrinsèque du manuscrit, notamment son adéquation à la revue.
Il serait donc incorrect de raisonner :
rejeté = faux ; accepté = vrai.
La publication scientifique est un mécanisme de contrôle et un système éditorial.
Les reviewers eux-mêmes peuvent avoir des biais
Un reviewer est un chercheur.
Il possède ses théories préférées, ses habitudes méthodologiques, ses collaborations, ses concurrents et son histoire professionnelle.
Il peut être plus sévère envers une approche théorique qu’il juge peu prometteuse.
Il peut être impressionné par un laboratoire réputé.
Il peut connaître personnellement les auteurs.
Il peut avoir un conflit d’intérêts.
C’est pourquoi les règles éditoriales exigent généralement que les reviewers déclarent les relations susceptibles de biaiser leur jugement et se récusent lorsqu’un conflit sérieux existe.
Le Committee on Publication Ethics insiste également sur cette obligation d’indépendance, de confidentialité et de responsabilité éthique.
Mais une règle déontologique ne fait pas disparaître tous les biais cognitifs.
Les effets du prestige, du genre ou de l’institution sont plausibles — mais les preuves ne justifient pas une histoire trop simple
Une procédure dans laquelle le reviewer connaît le nom, l’université ou le laboratoire des auteurs permet théoriquement à ces informations d’influencer son jugement.
Cette possibilité a motivé le développement du double-anonymat, où les reviewers ne voient pas officiellement l’identité des auteurs.
Nature Communications a précisément présenté cette option comme un moyen de réduire certains biais potentiels liés à l’identité, tout en reconnaissant qu’elle n’est pas parfaite : dans les petits domaines, les reviewers peuvent parfois deviner les auteurs à partir du sujet, des références ou de travaux déjà présentés.
Il faut toutefois éviter d’affirmer que tout peer review classique serait systématiquement dominé par ce type de biais. Les résultats empiriques varient selon les contextes et les formes de biais étudiées.
La conclusion prudente est donc :
l’identité des chercheurs peut créer certaines possibilités de biais, ce qui justifie des procédures destinées à les limiter, mais leur ampleur n’est pas uniforme ni parfaitement connue.
Simple anonymat, double anonymat, revue ouverte
Il n’existe pas un seul modèle de peer review.
Dans un système simplement anonyme, les reviewers connaissent généralement les auteurs, mais les auteurs ne connaissent pas les reviewers.
Dans un système doublement anonyme, les deux identités sont masquées autant que possible.
Dans différentes formes de peer review ouvert, l’identité des reviewers, leurs rapports ou les réponses des auteurs peuvent être publiés ou communiqués.
Ces modèles tentent de gérer des risques différents.
L’anonymat peut permettre une critique plus libre.
L’ouverture peut accroître la responsabilité et montrer au lecteur comment l’article a été discuté et modifié.
Mais aucun modèle ne résout tous les problèmes.
Rendre le reviewer identifiable ne transforme pas automatiquement le processus
Un essai randomisé du *BMJ* a comparé des reviewers dont l’identité devait être communiquée aux auteurs à une revue traditionnelle. Il n’a pas constaté de détérioration de la qualité des rapports, mais l’ouverture pouvait rendre certains reviewers moins disposés à accepter l’évaluation.
D’autres expériences sur la publication des rapports de peer review montrent également que les réformes peuvent modifier le comportement des reviewers et leur volonté de participer, sans fournir une solution simple capable de rendre le système parfaitement objectif.
La question n’est donc pas :
« ouvert ou anonyme : lequel est absolument supérieur ? »
mais :
« quels compromis voulons-nous entre franchise, responsabilité, transparence, disponibilité des reviewers et risques de biais ? »
Le peer review repose massivement sur le travail humain
Un article très technique peut exiger plusieurs heures d’examen par un spécialiste.
Pourtant, ce travail est souvent effectué parallèlement :
à la recherche ;
à l’enseignement ;
aux soins ;
à l’administration ;
et à la rédaction de ses propres articles.
Le système scientifique produit aujourd’hui une quantité immense de manuscrits. Les National Academies rappelaient déjà que plus de deux millions d’articles scientifiques et techniques étaient publiés mondialement en une seule année au milieu des années 2010.
Le peer review dépend donc d’une ressource rare : le temps d’experts compétents.
Cela explique certaines difficultés à recruter des reviewers et certaines variations de qualité.
Un excellent spécialiste n’est pas automatiquement un excellent reviewer
Maîtriser une discipline et savoir évaluer méthodiquement un manuscrit sont deux compétences liées mais différentes.
Un reviewer peut être très fort théoriquement mais moins à l’aise avec certaines méthodes statistiques.
Un statisticien peut évaluer admirablement l’analyse sans maîtriser certaines contraintes expérimentales.
C’est pourquoi les bonnes revues cherchent parfois plusieurs reviewers complémentaires ou ajoutent une expertise statistique lorsque nécessaire.
Certaines études ont d’ailleurs montré qu’un examen statistique spécialisé ou l’utilisation de recommandations structurées pouvait améliorer certains aspects des manuscrits finaux.
La pluralité des reviewers n’est donc pas uniquement destinée à « faire voter plusieurs personnes ».
Elle permet idéalement d’assembler plusieurs expertises.
La formation des reviewers aide, mais ne transforme pas le système en détecteur parfait
On pourrait penser qu’il suffit de mieux former les reviewers.
La formation est certainement utile.
Mais les études disponibles ne montrent pas qu’un module court suffise à éliminer les faiblesses du processus.
Dans l’étude où des erreurs avaient été volontairement insérées dans des manuscrits, une courte formation améliorait seulement modestement la capacité à les détecter.
Cela suggère que la difficulté est structurelle.
Une étude complexe contient trop de dimensions pour qu’un seul lecteur, même compétent, vérifie parfaitement tout en quelques heures.
Le peer review est lui-même étonnamment peu évalué
Nous arrivons ici à un paradoxe intéressant.
La science exige des preuves pour évaluer les traitements, politiques et méthodes.
Mais la procédure centrale permettant de sélectionner les articles scientifiques repose en partie sur des traditions dont l’efficacité exacte a longtemps été relativement peu étudiée.
Une revue Cochrane consacrée au peer review éditorial concluait qu’il existait peu d’études méthodologiquement solides permettant de mesurer ses effets fondamentaux et qu’aucune méthode d’évaluation du peer review ne disposait alors d’une validation convaincante suffisante pour démontrer simplement que le système fonctionne comme un filtre fiable de qualité.
Cela ne signifie pas que le peer review serait inutile.
Cela signifie que la preuve empirique de certaines de ses vertus est moins forte qu’on pourrait le supposer compte tenu de sa place centrale dans la science.
Pourquoi le conserver alors ?
Parce que l’alternative :
« publier sans aucune critique spécialisée préalable »
possède elle aussi des coûts évidents.
Un regard extérieur compétent peut détecter :
une erreur ;
une conclusion excessive ;
une littérature importante oubliée ;
une analyse mal choisie ;
une mesure ambiguë ;
ou un argument incomplet.
Même lorsque le reviewer ne découvre aucun problème fatal, il peut rendre l’article plus clair, plus transparent et plus prudent.
L’ICMJE considère ainsi la critique indépendante comme une extension importante du travail scientifique, même tout en reconnaissant les débats sur sa valeur exacte.
Le peer review est donc probablement mieux compris comme un contrôle imparfait mais utile ajouté à plusieurs autres contrôles imparfaits.
« Peer-reviewed » doit augmenter notre confiance, pas l’arrêter
Supposons deux documents affirmant la même chose.
Le premier est un billet anonyme sans méthode ni sources.
Le second décrit clairement une étude, a été évalué par plusieurs experts et paraît dans une revue sérieuse.
Toutes choses égales par ailleurs, nous avons de bonnes raisons de prendre davantage au sérieux le second.
Mais cela ne signifie pas que nous devions ensuite cesser l’évaluation.
Il faut encore demander :
l’étude est-elle bien conçue ?
Quelle est la taille de l’effet ?
L’incertitude ?
Le risque de biais ?
D’autres études existent-elles ?
Le résultat a-t-il été répliqué ?
Une revue systématique l’intègre-t-elle à un corpus plus large ?
La présence du peer review est donc une information sur le processus, pas la conclusion du raisonnement.
Une revue scientifique sérieuse et une revue prédatrice ne sont pas équivalentes
Cette nuance est importante à l’ère des publications en ligne.
Certaines structures se présentent comme des revues scientifiques tout en fournissant un peer review extrêmement superficiel, voire fictif.
L’ICMJE recommande explicitement aux chercheurs d’examiner l’intégrité, l’histoire, les pratiques et la réputation des revues et met en garde contre les revues prédatrices ou pseudo-revues.
Dire :
« c’est publié dans une revue à comité de lecture »
ne suffit donc pas à identifier la qualité réelle du contrôle effectué.
Il faut parfois demander :
quelle revue ? quelles politiques ? quelle transparence ? quel processus ?
Le label peut lui-même être imité.
Les preprints montrent clairement ce que le peer review ajoute — et ce qu’il n’ajoute pas
Un preprint permet à des chercheurs de rendre publiquement accessible un manuscrit avant sa revue éditoriale traditionnelle.
Il peut être excellent.
Il peut même devenir plus tard quasiment identique à l’article publié.
Mais, au moment de sa diffusion initiale, il n’a pas nécessairement bénéficié du filtre formel de la revue par les pairs.
Cela signifie simplement qu’une étape de contrôle manque encore.
Il serait excessif de conclure :
« preprint = faux ».
Il serait tout aussi excessif de le citer comme s’il avait déjà bénéficié du même examen éditorial qu’une publication évaluée.
Le statut de la source fait donc partie de l’information permettant de calibrer notre confiance.
La véritable revue scientifique continue après publication
La publication n’est pas la dernière occasion de critiquer une étude.
Au contraire, elle élargit énormément le nombre de personnes capables de l’examiner.
Des chercheurs peuvent :
réanalyser les données ;
essayer de reproduire le code ;
répliquer l’expérience ;
publier une critique ;
tester une hypothèse concurrente ;
identifier une erreur ;
ou découvrir que le phénomène dépend d’un contexte particulier.
Les National Academies décrivent précisément la confiance scientifique comme le produit d’un réseau de connaissances renforcé par plusieurs lignes d’enquête, plutôt que par une seule paire étude originale-réplication.
On pourrait donc parler d’une revue par les pairs avant publication puis d’une critique scientifique potentiellement beaucoup plus large après publication.
Corrections et rétractations ne signifient pas nécessairement que le peer review a « échoué »
Supposons qu’un article soit corrigé deux ans après sa publication.
On pourrait dire :
« les reviewers n’avaient donc pas fait leur travail ».
Parfois, une erreur aurait effectivement pu être détectée avant publication.
Mais il est irréaliste d’exiger d’un petit nombre de reviewers disposant de quelques semaines qu’ils détectent tout ce que des centaines de lecteurs, de nouvelles données ou plusieurs années d’enquête finiront par révéler.
Le système scientifique est justement conçu avec plusieurs lignes de défense successives.
Le peer review en est une.
La réanalyse, la réplication, les commentaires post-publication, les corrections et les rétractations en sont d’autres.
Nous reviendrons sur cette autocorrection dans la fiche 34.
Le véritable danger est de transformer un filtre imparfait en argument d’autorité
Deux raisonnements opposés sont également mauvais.
Le premier :
« C’est peer-reviewed, donc c’est vrai. »
Le second :
« Le peer review laisse passer des erreurs, donc il ne vaut rien. »
Le premier surestime le contrôle.
Le second exige d’un dispositif humain une perfection qu’aucun mécanisme scientifique ne possède.
La bonne interprétation est graduelle :
un manuscrit ayant subi une véritable évaluation spécialisée possède un contrôle supplémentaire relativement à un manuscrit qui n’en a subi aucune ; mais sa crédibilité finale dépend encore de la méthode, des données, de la transparence, des autres études et des contrôles ultérieurs.
Une architecture de contrôles plutôt qu’un sceau
Nous pouvons désormais replacer le peer review dans toute la démarche scientifique.
Avant l’étude, la théorie et le protocole structurent la question.
Pendant l’étude, mesure, randomisation, aveugle et contrôles limitent certaines erreurs.
Avant publication, les auteurs analysent et interprètent leurs résultats.
Les reviewers cherchent des faiblesses.
L’éditeur organise et arbitre cette critique.
Après publication, d’autres chercheurs peuvent reproduire les calculs, répéter l’étude, modifier les méthodes, combiner les travaux et éventuellement découvrir des erreurs.
Le peer review ne porte donc jamais à lui seul tout le poids de la fiabilité scientifique.
Il constitue une étape dans une architecture plus vaste dont la force vient précisément de la multiplication des occasions de détecter une erreur.
Ce qu’il faut réellement entendre par « évalué par les pairs »
Lorsqu’un article est sérieusement *peer-reviewed*, la formulation prudente est :
« plusieurs chercheurs compétents et un éditeur ont eu l’occasion d’examiner le manuscrit avant sa publication, de demander des modifications et de signaler les faiblesses qu’ils ont identifiées ».
Elle ne signifie pas :
« plusieurs scientifiques ont vérifié indépendamment que toutes les données étaient vraies et refait l’expérience avant de certifier le résultat ».
Cette seconde interprétation attribue au peer review une puissance qu’il ne possède pas.
La première décrit beaucoup mieux sa véritable valeur.
À retenir
La revue par les pairs est une évaluation critique d’un manuscrit par des chercheurs disposant d’une expertise pertinente. Elle aide les éditeurs à prendre leurs décisions et conduit fréquemment les auteurs à améliorer la méthode décrite, la présentation, les analyses ou la prudence de leurs conclusions. L’ICMJE la considère comme une extension importante du processus scientifique tout en soulignant que sa valeur exacte reste débattue et que les procédures varient fortement entre revues.
Elle ne doit cependant pas être confondue avec une réplication ou une reproduction computationnelle systématique. Les reviewers travaillent principalement à partir des éléments qui leur sont fournis et ne refont généralement pas l’expérience. Ils ne constituent pas non plus un mécanisme capable de détecter automatiquement toutes les fraudes ; Nature indique explicitement que le peer review n’est pas conçu pour révéler à coup sûr une tromperie délibérée soigneusement dissimulée.
Les reviewers peuvent également manquer des erreurs importantes. Des expériences empiriques montrent qu’une proportion notable de défauts méthodologiques introduits dans des manuscrits échappent à leur examen. D’autres travaux montrent par ailleurs que les reviewers peuvent être assez peu concordants dans leurs recommandations, ce qui rappelle que l’évaluation scientifique comporte aussi une part de jugement.
Ces limites ne rendent pas le peer review inutile. Elles indiquent simplement qu’il faut le considérer comme un filtre critique imparfait parmi d’autres mécanismes de contrôle. La publication permet ensuite une critique beaucoup plus large : reproduction, réplication, analyses de robustesse, synthèses, corrections et parfois rétractations.
La meilleure question n’est donc pas :
« Cet article a-t-il été peer-reviewed ? »
mais :
« Quel contrôle le peer review lui a-t-il réellement apporté, quelles erreurs pouvait-il raisonnablement détecter, et quelles autres vérifications ont depuis renforcé — ou affaibli — le résultat ? »
Sources et références
- International Committee of Medical Journal Editors, Responsibilities in the Submission and Peer-Review Process, recommandations sur la définition du peer review, le rôle des éditeurs, des reviewers, la confidentialité et les conflits d’intérêts.
- Committee on Publication Ethics, Ethical Guidelines for Peer Reviewers, recommandations concernant indépendance, conflits d’intérêts, confidentialité et comportement éthique des reviewers.
- Jefferson, Tom et al., « Editorial peer review for improving the quality of reports of biomedical studies », *Cochrane Database of Methodology Reviews*, revue soulignant notamment la faiblesse historique des preuves empiriques concernant l’efficacité fondamentale du peer review éditorial.
- Schroter, Sara et al., « What errors do peer reviewers detect, and does training improve their ability to detect them? », *Journal of the Royal Society of Medicine*, 2008;101:507–514 : expérience montrant que de nombreuses erreurs majeures insérées dans des manuscrits n’étaient pas détectées.
- Schroter, Sara et al., « Impact of peer review on reports of randomised trials published in open peer review journals », *BMJ*, 2014;349:g4145 : étude montrant à la fois des améliorations apportées par les reviewers et d’importantes insuffisances méthodologiques non détectées.
- Bornmann, Lutz, Mutz, Rüdiger & Daniel, Hans-Dieter, « A Reliability-Generalization Study of Journal Peer Reviews », *PLOS ONE*, 2010;5:e14331 : méta-analyse concluant à une concordance globalement faible entre reviewers.
- National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science, National Academies Press, 2019 : la confiance scientifique repose sur un réseau de contrôles et de lignes d’enquête plus large que l’évaluation éditoriale d’un article individuel.