Biais de confirmation en peer review : comment la science se trompe

La science moderne repose sur un mécanisme fondamental : l'examen critique par les pairs. Avant qu'un article ne soit publié dans une revue réputée, d'autres chercheurs l'évaluent, questionnent ses méthodes, vérifient ses résultats. En théorie, ce filtre élimine les affirmations douteuses et protège la vérité scientifique. En pratique, le processus d'évaluation souffre d'une faille cognitive majeure : le biais de confirmation. Les reviewers ne valident pas la qualité objective d'une recherche ; ils valident la conformité avec leurs propres croyances scientifiques.

Ce phénomène, bien documenté mais largement sous-estimé, façonne les contours de ce que nous acceptons comme « vrai » en science. Il explique comment des théories erronées persistent pendant des années, comment des résultats reproductibles sont rejetés, et pourquoi certains paradigmes dominent malgré leurs fissures évidentes.

Qu'est-ce que le biais de confirmation ?

Le biais de confirmation est un phénomène cognitif découvert systématiquement dans les années 1960 par la psychologue Peter Wason. Il décrit notre tendance naturelle à rechercher, interpréter et mémoriser les informations d'une manière qui confirme nos croyances préexistantes. Nous sommes tous affectés : le physicien qui pense que sa théorie est correcte remarque les données qui la soutiennent et rationalize les anomalies. L'économiste attaché à un modèle macroéconomique particulier lit les chiffres à travers le prisme de son paradigme.

Le problème n'est pas que les chercheurs sont malhonnêtes. C'est bien plus subtle. Notre cerveau traite les preuves de manière asymétrique : nous examinons les résultats conformes à nos attentes avec indulgence, tandis que nous scrutons les résultats contraires avec une vigilance exacerbée. Lorsque nous rencontrons une preuve pour notre position, nous l'acceptons facilement. Lorsque nous rencontrons une preuve contre, nous trouvons des raisons d'y douter—méthodologie imparfaite, bruit statistique, contexte différent.

Dans le contexte du peer review, ce biais devient structurel. Un reviewer convaincu qu'une théorie X est correcte ne peut simplement pas lire un article la contredisant avec la même neutralité bienveillante qu'un article la confirmant. Son système cognitif n'est pas conçu pour cela.

Le processus de peer review comme amplificateur de biais

Le système de révision par les pairs, tel qu'il fonctionne aujourd'hui, n'a pas été conçu pour combattre le biais de confirmation. Il a été conçu pour gérer le volume croissant d'articles scientifiques et assurer une qualité minimale. Cette distinction a des conséquences majeures.

D'abord, le choix des reviewers est critique. Les éditeurs sélectionnent généralement les experts les plus respectés dans un domaine. Mais l'expertise elle-même est souvent synonyme d'engagement envers une perspective dominante. Si vous êtes le spécialiste mondial reconnu de la théorie A, vos publications défendent la théorie A. Vous avez investi votre carrière, votre réputation, votre prestige dans cette théorie. Lorsque vous reviewez un article proposant la théorie B, vous ne partez pas d'une position neutre.

Une étude publiée en 2012 par Daniele Fanelli dans le Journal of the American Medical Association a analysé 4 649 articles biomédicaux et révélé que les chercheurs sont cinq fois plus susceptibles de rapporter un résultat statistiquement significatif en faveur de leur hypothèse principale que leurs collègues concurrents. Cette asymétrie s'explique partiellement par des pratiques de recherche douteuses—p-hacking, arrêt optionnel—mais largement par le biais de confirmation. Les chercheurs formulent des hypothèses précises basées sur leur compréhension antérieure, puis orchestrent (souvent inconsciemment) leur analyse pour confirmer ces hypothèses.

Lorsqu'un article arrive à un reviewer, celui-ci doit évaluer cette dynamique. Mais il est lui-même piégé par le biais inverse : il cherche à valider l'article qui confirme sa vision du monde.

Mécanismes concrets du biais au sein de l'évaluation

Le biais de confirmation opère à plusieurs niveaux lors de la peer review.

L'évaluation différentielle de la méthodologie. Un article confirmant le paradigme dominant sera jugé pour ses forces méthodologiques. Un article le contredisant sera jugé pour ses faiblesses. Cette asymétrie est souvent inconsciente. Un reviewer critiquera sévèrement la taille d'un échantillon de 200 participants si l'article conclut quelque chose qu'il juge suspect, mais acceptera une taille similaire si l'article confirme son intuition.

L'analyse des décisions d'acceptation/rejet dans les revues de physique et de biologie révèle cette asymétrie. Les articles confirmant la théorie dominante sont acceptés avec des remarques mineures, tandis que les articles proposant des alternatives radicales font face à des demandes de révisions extensives—non parce que leurs méthodes sont intrinsèquement plus faibles, mais parce qu'ils dérangent.

L'interprétation sélective des données. Même lorsque l'on examine les mêmes résultats, les conclusions peuvent diverger radicalement selon le framework mental du reviewer. Une valeur p légèrement supérieure à 0,05 dans un article confirmant la théorie dominante sera souvent tolérée (« approche limite de la significativité »), tandis qu'elle déclenchera un rejet pour un article contredisant cette théorie (« résultat non significatif »).

Le contrôle de la narration. Les reviewers ne font pas que valider ; ils imposent également la façon dont les résultats doivent être racontés. Un reviewer convaincu qu'une théorie est correcte exigera que l'article minimise ou contextualisé les implications de résultats contraires. Les auteurs, dépendants de l'approbation pour publier, cèdent souvent. Le résultat est une littérature scientifique où le bruit confirmatoire augmente tandis que le signal dissident diminue.

Exemples historiques de distorsion du processus

L'histoire des sciences offre des cas probants où le biais de confirmation systématique a ralenti le progrès de manière dramatique.

Considérez l'exemple de la théorie endosymbiotique, proposée par Lynn Margulis dans les années 1960. Elle suggérait que les mitochondries et chloroplastes des cellules eukaryotes provenaient d'organismes procaryotes absorbés. Cette idée heurtait directement le paradigme cellulaire dominant. Les reviewers de l'époque rejetaient systématiquement ses manuscrits avec une sévérité remarquable. Les critiques portaient moins sur la méthodologie (qui était solide) que sur la « plausibilité biologique »—une notion largement gouvernée par les croyances préexistantes. Il a fallu deux décennies pour que la théorie soit acceptée et devienne orthodoxe. Margulis a décrit ce processus comme une résistance institutionnelle presque irrationnelle.

Ou prenez le cas de la découverte de l'ulcère gastrique causé par la bactérie Helicobacter pylori. Barry Marshall et Robin Warren ont présenté des preuves solides dans les années 1980, mais le paradigme dominant supposait que les ulcères résultaient du stress et de l'acide, pas des infections. Les reviewers rejetaient les articles avec des arguments qui semblent aujourd'hui naïfs : comment une bactérie pourrait-elle survivre dans un environnement acide ? Cette question n'aurait jamais dû rejeter un article présentant des données directes et reproductibles, mais elle l'a fait, parce que le biais de confirmation poussait les experts à chercher des raisons de douter.

Plus récemment, le débat sur la reproductibilité en psychologie révèle un phénomène connexe. Des études souvent très citées et confirmant des théories populaires sur le comportement humain se sont avérées irréproductibles. Pourtant, elles avaient toutes passé la peer review. Les reviewers, souhaitant maintenant un résultat surprenant mais plausible dans le cadre de leurs croyances théoriques, ont appliqué un standard moins rigoureux.

La crise de la reproductibilité : symptôme du biais systémique

La crise de la reproductibilité qui affecte actuellement la science n'est pas étrangère à ces dynamiques. Une méta-analyse menée par John Ioannidis en 2005 estimait que plus de 50 % des résultats publiés en sciences biomédicales ne seraient probablement pas reproductibles. Une autre, plus récente, dans Nature (2022), a testé la reproductibilité de 100 études hautement citées en biologie et a constaté qu'en moyenne, les résultats répliqués atteignaient seulement 40 % de l'effet original rapporté.

Cette disparité massive n'existe pas par hasard. Elle reflète un écosystème scientifique où le peer review tend à accepter avec enthousiasme les résultats positifs (confirmant les attentes) tout en rejetant les résultats nulles ou négatifs (contredisant les attentes). Cela crée un biais de publication systématique : nous voyons les études qui confirment, nous ne voyons pas les études qui infirment.

Le biais de confirmation opère en amont de ce processus. Les reviewers acceptent plus facilement les articles présentant des résultats positifs, parce que ces résultats correspondent à leurs attentes. Les éditeurs choisissent de publier les articles acceptés. Les chercheurs, voyant ce qui est publié, formulent de nouvelles hypothèses basées sur la littérature existante (elle-même biaisée). Le cycle s'auto-renforce.

Mécanismes de défense imparfaits

La communauté scientifique a introduit plusieurs mécanismes pour lutter contre ces biais, mais leur efficacité reste limitée.

L'anonymat des reviewers. La révision en aveugle—où les reviewers ne connaissent pas l'identité des auteurs—a été implémentée pour réduire les biais institutionnels. Mais elle ne résout pas le biais de confirmation. Un reviewer lisant un article sans savoir qui l'a écrit reste prisonniers de ses croyances sur ce qui est vrai.

Les pré-registrations. Les chercheurs enregistrent désormais souvent leurs protocoles d'étude avant de collecter les données, ce qui rend difficile le p-hacking et l'arrêt optionnel. Mais cela n'adresse que les problèmes de design expérimental, pas l'interprétation biaisée des résultats.

Les études de réplication pré-enregistrées. Ces études, conçues explicitement pour reproduire les résultats antérieurs, reçoivent souvent un accueil mitigé de la communauté. Ironiquement, lorsqu'une étude de réplication infirme un résultat populaire, les reviewers du papier de réplication trouvent soudain des raisons de douter : « Les conditions n'étaient peut-être pas identiques. La taille d'effet rapportée initialement était peut-être un artefact. »

Aucun de ces mécanismes n'adresse directement le problème fondamental : le reviewer reste un être humain, doté d'un cerveau qui cherche à confirmer ses croyances.

Implications pour l'intégrité scientifique

Les conséquences du biais de confirmation systématisé dans le peer review sont profondes. Premièrement, nous publions une science biaisée. La littérature sur laquelle reposent les futures recherches n'est pas une accumulation neutre de faits, mais une sélection filtrée par les croyances dominantes des experts.

Deuxièmement, nous décourageons l'innovation véritablement radicale. Les idées qui remettent en question les paradigmes fondamentaux font face à une barrière supplémentaire invisible : pas seulement améliorer ses données, mais convaincre des experts profondément investis dans l'ordre existant. C'est un travail herculéen, et cela explique pourquoi les grands progrès scientifiques surviennent souvent hors de ces systèmes, ou par des chercheurs assez établis pour résister à la critique.

Troisièmement, nous ralentissons la correction des erreurs. Lorsqu'une théorie s'est implantée dans la conscience collective des experts (la base de reviewers), les preuves contraires sont traitées avec scepticisme. Le processus d'autocorrection de la science, supposé être son atout majeur, fonctionne au ralenti.

Vers une réforme du peer review

La solution ne consiste pas à éliminer le peer review—les preuves montrent qu'il reste un filtre utile malgré ses défauts. Elle consiste à le réformer avec une conscience aigüe de ses biais structurels.

Plusieurs approches se montrent prometteuses. D'abord, diversifier les panels de reviewers. Au lieu de sélectionner les trois plus grands noms d'un domaine (qui partagent probablement une vue similaire), inclure des reviewers issus de domaines connexes, ou même d'approches théoriques différentes. Un physicist reviewer pour un article de biologie apporte une perspective moins piégée par les croyances du champ.

Deuxièmement, institutionnaliser un standard plus élevé pour les résultats confirmant le consensus. Ironiquement, les résultats conformes aux attentes devraient être examinés plus sévèrement, pas moins, pour compenser le biais naturel à les accepter.

Troisièmement, valoriser explicitement la publication des résultats nulles et des réplications. Actuellement, une réplication confirmant un résultat antérieur est publié facilement ; une réplication l'infirmant fait face à une résistance invisible. Inverser cette dynamique changerait les incitations.

Quatrièmement, rendre la peer review plus transparente. Les comments et révisions pourraient être publiés aux côtés des articles, permettant aux lecteurs de juger par eux-mêmes du processus d'évaluation. Cette ouverture réduirait la capacité des reviewers à imposer leurs croyances en silence.

Conclusion

Le peer review n'est pas un processus objectif produisant une vérité scientifique neutre. C'est un processus humain, soumis aux biais humains, fonctionnant dans un contexte institutionnel qui amplifie ces biais. Le biais de confirmation—notre tendance à chercher et valider les preuves confirmant nos croyances—structure profondément ce processus.

Mais reconnaître ce problème n'est pas capitulation envers le relativisme scientifique. C'est, au contraire, l'occasion de construire des systèmes plus robustes. Si nous comprenons comment nos croyances nous trompent systématiquement, nous pouvons concevoir des processus d'évaluation qui compensent cette faille cognitive.

La science n'avance pas malgré le peer review, ni grâce à lui dans sa forme actuelle. Elle avance malgré le peer review, poussée par l'effervescence créative des chercheurs individuels et leur capacité à contourner les barrières institutionnelles. Améliorer le peer review signifie créer un système où les barrières s'abaissent pour les idées meilleures, pas pour les idées conformes.

Cet enjeu est fondamental. La légitimité de la science repose sur sa capacité à s'autocorriger et à découvrir la vérité, indépendamment de nos préférences préexistantes. Tant que le biais de confirmation opère sans friction à travers le peer review, cette promesse reste une fiction utile plutôt qu'une réalité.