Comprendre les LLM : pourquoi un modèle de langage n'est pas une intelligence

Quand on demande à un grand modèle de langage de résoudre un problème, on a l'impression qu'il comprend. Il pose des étapes, formule des hypothèses, conclut. Cette impression est puissante — et largement trompeuse.

Une mécanique de prédiction statistique

Un LLM ne fait techniquement qu'une chose : étant donné une suite de tokens, il calcule la distribution de probabilité du token suivant, puis en tire un. Répété des milliers de fois, ce processus produit du texte qui ressemble à du raisonnement. Mais à aucun moment le modèle ne « comprend » au sens où un humain comprend. Il manipule des corrélations statistiques apprises sur des milliards de phrases.

L'entraînement consiste à compresser une régularité dans les paramètres du modèle. Cette compression est si efficace qu'elle finit par capturer des patterns abstraits — la grammaire, les structures logiques, certains raccourcis de raisonnement. C'est pourquoi un LLM peut faire de l'arithmétique simple : il a vu suffisamment de calculs corrects pour interpoler.

Pourquoi l'illusion est si forte

Le langage est l'interface privilégiée de la pensée humaine. Quand un système produit du langage cohérent, notre cerveau infère automatiquement une intention et une compréhension derrière. C'est un biais cognitif profond, identifié dès les années 60 avec ELIZA — le premier chatbot, dont les utilisateurs attribuaient déjà des états mentaux à un programme de quelques lignes.

Avec les LLM modernes, l'illusion est démultipliée parce que la cohérence est exceptionnelle. Mais la nature du système n'a pas changé : il n'y a pas de modèle interne du monde, pas de croyance, pas de but. Il y a une fonction qui renvoie la suite la plus probable.

Où est la vraie limite

La limite apparaît dès qu'on sort de l'espace d'interpolation. Un LLM échoue sur les problèmes qui demandent un raisonnement multi-étapes vraiment nouveau, sur les calculs longs, sur la planification à horizon lointain, sur la cohérence factuelle stricte. Ces échecs ne sont pas des bugs — ils découlent de l'architecture.

Les techniques récentes (Chain of Thought, agents, outils) ne corrigent pas le problème de fond, elles le contournent. On externalise le raisonnement vers un protocole structuré, on délègue le calcul à un interpréteur, on fragmente la planification. Le LLM reste ce qu'il est : un excellent moteur d'inférence locale, intégré dans une architecture cognitive plus large.

La conséquence pratique

Utiliser un LLM efficacement, c'est savoir où il excelle (synthèse, reformulation, génération de variantes, raisonnement court) et où il faut un autre composant (mémoire persistante, calcul exact, planification longue, vérification factuelle). C'est aussi accepter qu'aucune quantité d'entraînement supplémentaire ne transformera un prédicteur statistique en agent compréhensif. L'avenir de l'IA n'est pas dans des LLM plus gros, mais dans des architectures qui combinent prédiction, raisonnement symbolique, mémoire et action.