La crise de reproductibilité : pourquoi 70 % des études ne tiennent pas

En 2015, un consortium international tente de reproduire 100 études de psychologie publiées dans les meilleures revues. Résultat : 36 % seulement obtiennent un résultat similaire à l'original. En biomédical, des études d'Amgen et de Bayer évoquent des taux d'échec de 70 à 80 %. La crise de reproductibilité n'est pas une anomalie isolée — c'est un problème systémique de la science contemporaine.

Pourquoi cela arrive

Les causes sont multiples mais convergentes. Le système d'incitation pousse à publier des résultats positifs et nouveaux. Une étude qui confirme un résultat déjà connu n'intéresse personne. Une étude qui infirme une hypothèse populaire est encore plus difficile à publier. Cette pression structurelle crée un biais massif vers les faux positifs.

Les méthodes statistiques jouent leur part. Le seuil de significativité à p < 0,05, choisi arbitrairement par Fisher dans les années 1920, autorise statistiquement 5 % de faux positifs par essai. Quand on multiplie les analyses sur le même jeu de données — pratique connue sous le nom de p-hacking — la probabilité d'obtenir un faux positif explose. Sans préenregistrement des hypothèses, la frontière entre exploration légitime et torture des données disparaît.

Enfin, la complexité des protocoles modernes rend la reproduction littérale très coûteuse. Les détails qui paraissent mineurs — la souche cellulaire exacte, le pH du milieu, la marque du capteur — peuvent suffire à changer le résultat. Sans documentation exhaustive, la reproduction est techniquement impossible.

Les domaines les plus touchés

La psychologie sociale et la psychologie cognitive ont été parmi les premières disciplines à mesurer leur taux de reproductibilité. L'économie expérimentale suit, avec environ 60 % de réplications. La biomédecine, en particulier la recherche préclinique, est le domaine où le coût social est le plus lourd : des essais cliniques entiers ont été lancés sur la base de résultats animaux non reproductibles.

Les sciences dures — physique, chimie analytique — sont moins touchées, parce que les protocoles y sont plus rigides et les conditions expérimentales mieux contrôlées. Mais aucun domaine n'est immun.

Ce qui change déjà

Des contre-mesures émergent. Le préenregistrement oblige les chercheurs à déposer publiquement leurs hypothèses et leur protocole avant de collecter les données. Les Registered Reports inversent le process éditorial : la revue accepte ou refuse une étude sur la base de son protocole, indépendamment du résultat final. Les bases de données ouvertes (raw data publique, code d'analyse versionné) rendent la fraude et le p-hacking plus difficiles.

Des outils comme StatCheck scannent automatiquement les articles pour détecter les incohérences statistiques. Les méta-analyses systématiques pondèrent les résultats à l'aune de la qualité méthodologique. La culture change lentement — mais elle change.

Pourquoi ça concerne tout le monde

La science est l'infrastructure de décision la plus crédible dont disposent les sociétés modernes. Quand cette infrastructure est polluée par des résultats non reproductibles, la décision politique, médicale et économique se construit sur du sable. Apprendre à lire un article scientifique avec un œil critique — chercher la taille de l'échantillon, le préenregistrement, la déclaration d'intérêts, l'accès aux données brutes — n'est plus un luxe académique. C'est une compétence civique.