Raisonnement vs mémorisation dans les LLMs

C'est l'une des questions les plus discutées dans la communauté IA depuis 2023 : les LLMs raisonnent-ils, ou mémorisent-ils ? La question divise des chercheurs sérieux, et les réponses tranchées des deux côtés sont probablement toutes les deux fausses.

Pourquoi la distinction est difficile à établir

Le problème commence avec les définitions. Qu'est-ce que "raisonner" ? Dans un sens strict, raisonner c'est produire des conclusions valides depuis des prémisses, par des étapes que l'on peut vérifier. Dans un sens plus large, c'est résoudre des problèmes nouveaux par généralisation.

Un LLM peut faire les deux, dans certaines conditions. Il peut aussi échouer sur des problèmes qui semblent triviaux — résoudre un problème mathématique légèrement reformulé, inverser un raisonnement donné, détecter une erreur dans sa propre logique.

Cette inconsistance est précisément ce qui rend la question difficile.

Les arguments pour la mémorisation

L'argument principal : les LLMs sont entraînés sur des textes qui contiennent des raisonnements. Quand ils "raisonnent", ils reproduisent peut-être des structures vues à l'entraînement plutôt que de dériver des conclusions depuis des premiers principes.

Les expériences qui le suggèrent existent. On a montré que des modèles résolvant correctement des problèmes standard échouent sur des variantes minimales — même type de problème, nombres différents. Si le raisonnement était générique, la variante devrait être aussi facile.

Les benchmarks de raisonnement logique montrent des performances qui chutent dès qu'on s'éloigne des formes familières. Ce n'est pas le comportement d'un moteur de raisonnement pur.

Les arguments pour quelque chose qui ressemble au raisonnement

En même temps, les LLMs résolvent des problèmes mathématiques jamais vus, generalisent sur des configurations inédites, et trouvent des erreurs dans des raisonnements qui leur sont soumis. Ils produisent des chaînes d'inférences cohérentes sur des topics nouveaux.

Peut-on expliquer tout ça par de la mémorisation ? C'est difficile à soutenir dans toutes les configurations. Les échelles de paramètres auxquelles travaillent les modèles modernes leur permettent d'extraire des structures qui ressemblent fonctionnellement à de l'induction.

La distinction peut être moins utile qu'on croit

Il y a un argument philosophique intéressant : peut-être que "raisonnement pur" est une catégorie qui n'existe pas non plus chez l'humain. Notre raisonnement est aussi en partie récupération d'expériences antérieures, application de schémas reconnus, analogie avec des cas connus.

Si c'est vrai, la question "raisonnement ou mémorisation" est mal posée. La vraie question est : "dans quelle mesure ce mécanisme généralise-t-il de façon fiable hors de sa distribution d'entraînement ?"

Et là, la réponse est : imparfaitement, de façon difficile à prédire, avec des zones de force et de fragilité qui ne suivent pas une logique évidente.

Ce que ça change pour l'usage

Pour un praticien, la leçon est pratique : ne faites pas confiance à une généralisation. Testez sur vos cas. Vérifiez les étapes du raisonnement, pas seulement la conclusion. Utilisez la chaîne de pensée (chain-of-thought) pour rendre le raisonnement auditable.

Et surtout : ne supposez pas que parce qu'un modèle résout un problème de type A, il résoudra automatiquement le problème de type A'. La frontière entre ce qu'il sait faire de façon fiable et ce qu'il hallucine avec confiance est plus floue qu'on ne le souhaiterait.