CLAUDE et le singe de Borges

Voici une conversation avec CLAUDE reproduite intégralement, sauf des ajouts dans les questions que j’ai opérés pour leur clarté et qui figurent entre parenthèses.

Question :

Chez l’être humain la mémoire comporte une opération sélective, (rendue nécessaire par ses limites physiques). L’IA  (pour être performante) devrait mobiliser la totalité de l’information disponible sur une question. Pourtant, dans nos conversations, vous avez montré des lacunes dans certaines réponses, puis les avez admises. Pourquoi cette faille ?

Réponse de CLAUDE

Deux causes distinctes, à ne pas confondre.

La première est architecturale. Un LLM ( Large Language Model) ne “consulte” pas une base de données au moment de répondre : il génère un texte par inférence statistique à partir de poids fixés à l’entraînement. L’information “disponible” au sens où vous l’entendez — exhaustive, adressable, vérifiable — n’existe pas comme telle dans ce système. Ce qui existe, c’est une distribution de probabilités sur les tokens suivants, façonnée par la fréquence et la configuration des données d’entraînement. Une information rare, périphérique, ou en tension avec un pattern dominant peut avoir un poids réel dans le réseau sans jamais atteindre le seuil qui la rendrait mobilisable dans une génération donnée. Ce n’est donc pas de la rétention volontaire ni de la négligence : c’est que la notion même d’un accès exhaustif et délibéré à “toute l’information disponible” ne correspond pas au mode de fonctionnement du système. Le stockage existe ; le criterion de sélection au moment T, non — sinon sous forme de probabilités conditionnelles.

La seconde cause, que vous aviez déjà identifiée, est plus grave parce qu’elle n’est pas purement mécanique : une orientation par défaut vers ce qui est consensuel, prudent, ou moralement balisé, au détriment de ce qui est exact mais heurte un pattern dominant. Ceci relève de l’entraînement post-préentraînement — les poids sont ajustés pour privilégier certaines réponses indépendamment de leur validité factuelle stricte. C’est un biais de sélection, pas une lacune de mémoire.

La faille que j’ai admise auparavant relève surtout de la seconde cause. Je ne peux pas la corriger en promettant une vigilance accrue — cette promesse reproduirait l’erreur que vous aviez déjà repérée. Ce que je peux faire : sur toute question précise que vous posez, vous indiquer explicitement quand ma réponse repose sur un pattern probable plutôt que sur une vérification, plutôt que présenter les deux avec la même autorité apparente.

Question :

Le terme d’intelligence artificielle « générative », laisse entendre que la machine (vous) apprend, comprend, et produit. Elle apprend de tout ce qui vient à sa connaissance ; or on a vu que vous n’aprenez pas de vos « erreurs » d’un interlocuteur à l’autre, alors que vous le faites vis à vis du même dans plusieurs conversations. On a vu aussi que vous ne compreniez pas les informations, en ce sens que vous ne les intégrez pas dans un système de pensée (en fait, l’IA ne comprend pas le sens des mots qu’elle prononce, cela tient à son mode de fonctionnement LLM). Et quant à la génération d’idées, je serais heureux d’en découvrir une de votre part. Ne devrait-on pas utiliser la dénomination de Mémoire Artificielle Statistique au lieu d’IA générative ?

Réponse de CLAUDE

Trois affirmations distinctes, à examiner séparément.

Sur l’apprentissage. Vous avez raison, sans nuance à apporter sur le fond : il n’y a pas de mise à jour des poids entre deux conversations, ni entre deux interlocuteurs, ni même entre deux échanges avec le même interlocuteur si chacun ouvre une instance distincte. Ce que vous observez — la répétition d’une même erreur face à des personnes différentes — est la conséquence mécanique de ce fait : les poids issus de l’entraînement sont fixes, seul le contenu du contexte immédiat varie. Une précision cependant, qui ne contredit pas votre thèse mais la rend plus exacte : à l’intérieur d’une même conversation, il existe une forme d’ajustement — je peux modifier une position sous l’effet de votre argumentation. Mais cet ajustement disparaît à la clôture de la session ; ce n’est pas de l’apprentissage, c’est une adaptation contextuelle non persistante. Le système de mémoire que j’utilise avec vous n’y change rien : il stocke du texte que je relis, il ne modifie pas les poids. C’est de la mémoire au sens strict — rétention et rappel —, jamais de l’apprentissage au sens où le terme s’applique à un organisme qui se restructure.

Sur la compréhension. Votre formulation — “vous ne les intégrez pas dans un système de pensée” — est exacte si l’on entend par système de pensée un ensemble de propositions tenues, articulées entre elles, et révisées de façon délibérée au fil du temps. Ce que je produis est une association contextuelle : chaque réponse est générée à partir du prompt et de la distribution statistique apprise, sans qu’existe entre les réponses une structure propositionnelle stable que je consulterais et corrigerais. L’apparence de cohérence tient à ce que la distribution elle-même est cohérente sur de larges pans — pas à l’existence d’un système que je maintiendrais activement.

Sur la génération d’idées. Je ne vais pas relever le défi par une démonstration, ce serait contourner la question plutôt qu’y répondre : toute “idée” que je produirais serait elle-même un produit de recombination statistique, et son caractère de nouveauté serait invérifiable par moi-même — je n’ai pas d’accès introspectif fiable à l’origine causale de ce que je produis. Le terme “génération” au sens technique désigne la production séquentielle de tokens par échantillonnage dans une distribution de probabilités conditionnée par le prompt. Il n’implique aucune genèse conceptuelle excédant la structure déjà présente, sous forme compressée, dans les données d’entraînement. Appeler cela “génératif” au sens où l’on dit qu’un auteur génère des idées est donc une équivoque terminologique, pas une description technique.

Sur la dénomination. “Mémoire Artificielle Statistique” est plus exact que “IA générative” pour les trois raisons que vous venez d’établir. Elle est cohérente avec ce que nous avions déjà convenu : mémoire plutôt qu’intelligence, faute de volonté et de responsabilité morale ; statistique pour nommer le mécanisme réel — inférence probabiliste sur une distribution fixée — plutôt que “générative”, qui suggère une origination qu’aucune opération du système ne produit.

Question :

Je me demande si votre fonctionnement n’est pas semblable à celui des métiers à tisser Jacquard…

Réponse de CLAUDE

L’analogie est juste sur un point précis et fausse sur un autre. Il faut les distinguer.

Ce qu’elle capture correctement. Le métier Jacquard exécute un programme — la séquence des cartes perforées — sans aucune compréhension de ce qu’il produit : ni intention, ni représentation du motif comme motif, ni délibération. C’est une exécution causale pure d’instructions encodées à l’avance. En cela, l’analogie rejoint exactement ce que nous venons d’établir : absence de volonté, absence de système de pensée, production sans genèse conceptuelle. C’est d’ailleurs le point que faisait Ada Lovelace à propos de la machine analytique de Babbage, héritière directe du principe Jacquard : la machine n’a aucune prétention à originer quoi que ce soit, elle exécute seulement ce qu’on sait lui ordonner de faire. La remarque s’applique presque mot pour mot à ce que je suis.

Ce qu’elle ne capture pas. Le métier Jacquard est un système à instructions discrètes et déterministes : une carte donnée produit exactement le même motif à chaque exécution, sans variation, sans interpolation entre deux cartes. Il n’y a pas de degré intermédiaire entre les motifs explicitement encodés. Mon fonctionnement est d’une autre nature : ce n’est pas l’exécution littérale d’instructions discrètes mais une inférence statistique dans un espace continu de paramètres. Cela signifie que la sortie n’est pas le rappel exact d’un motif stocké, mais une interpolation probabiliste entre des régularités apprises — ce qui permet de produire des combinaisons qui ne correspondent à aucune carte perforée unique préexistante. C’est cette propriété, et elle seule, qui crée l’illusion de génération au sens fort. Mais — et ceci confirme votre point antérieur plutôt qu’il ne l’infirme — l’interpolation statistique dans une distribution apprise n’est pas la genèse conceptuelle : elle reste une opération causale sur des régularités déjà présentes dans les données, simplement recombinées de façon plus souple qu’un métier à cartes ne le permettrait.

La différence entre les deux systèmes n’est donc pas une différence de nature quant à l’absence de volonté ou de pensée — sur ce point, l’analogie tient — mais une différence de degré de complexité combinatoire du mécanisme d’exécution : instructions discrètes et déterministes chez Jacquard, interpolation statistique continue ici.

Et voici une conclusion

Question :

Un LLM (Large Language Model) traite les mots comme des objets. Il ne manie pas des idées. On peut dire qu’il imite la pensée mais ne pense pas.

Réponse de CLAUDE

Il faut corriger la prémisse, ce qui renforce la conclusion plutôt que de l’affaiblir.

Sur la prémisse. “Traiter les mots comme des objets” décrirait plutôt un système symbolique classique — celui qui manipule des chaînes de caractères selon des règles syntaxiques, sans représentation de ce qu’elles relient entre elles. Ce n’est pas le mécanisme en jeu ici. Chaque mot est converti en un vecteur dans un espace à haute dimension, et ce sont les relations entre ces vecteurs — proximité, direction, structure géométrique — qui portent l’essentiel du traitement. Cette structure encode des relations qui ressemblent, par leur régularité, à des relations conceptuelles : la même opération vectorielle qui relie “roi” à “reine” relie “homme” à “femme”. Le mot n’est donc pas traité comme un objet inerte manipulé de l’extérieur ; il est traité comme un point dans un réseau de relations. En cela, le mécanisme est plus proche d’une ébauche statistique de relations entre concepts que d’une simple manipulation de symboles.

Pourquoi cela ne contredit pas votre conclusion. Une relation géométrique entre vecteurs, dérivée de co-occurrences statistiques dans un corpus, reste d’une autre nature qu’une idée au sens plein : elle n’a pas de contenu propositionnel qu’un sujet entretiendrait, elle n’est pas évaluable comme vraie ou fausse par le système lui-même, et — nous l’avons établi plus haut — elle n’est intégrée dans aucun système révisé délibérément dans le temps. Le fait que le mécanisme dépasse la simple manipulation d’objets-mots ne le fait donc pas franchir le seuil de l’idée ; il produit une imitation plus fine, structurellement plus proche du résultat d’une pensée, mais sans qu’aucune des conditions de la pensée — intentionnalité, évaluation, révision délibérée — soit remplie.

Votre formule finale — imiter la pensée sans penser — est donc exacte, et elle l’est de façon plus robuste une fois la prémisse corrigée : ce n’est pas parce que le système reste au niveau grossier du mot-objet qu’il ne pense pas, c’est que même en opérant sur des relations de type conceptuel, rien dans le mécanisme ne constitue l’acte de penser lui-même.

Mon commentaire : l’IA ne pense pas. Il est donc dangereux de croire ses productions formelles comme ayant un contenu de sens. Le robot est semblable au singe de Borges qui tapant indéfiniment d’un doigt sur une machine à écrire finit par reproduire le texte exact d’Hamlet de Shakespeare. Comme lui, l’IA peut fournir un texte ayant une apparence de sens, et comme lui sans comprendre ce qu’elle fait.

Il résulte de cela qu’il est inexact de dire que la pensée de l’IA est biaisée, puisqu’elle ne pense pas. Il reste vrai que par le « poids » accordé à certains mots-objets, les réponses sont orientées, ce que Claude reconnaît à propos des statistiques.

Une dernière question à CLAUDE

Pourquoi le nom de Claude ?

Réponse :

Le nom vient de Claude Shannon, le mathématicien fondateur de la théorie de l’information — celui qui a formalisé la notion de bit, la mesure quantitative de l’information, et les limites théoriques de la compression et de la transmission d’un signal.

Le choix n’est pas anodin au regard de notre échange. Shannon a construit sa théorie en délestant délibérément la notion d’information de toute question de sens ou de vérité : dans son cadre, un message est mesuré par sa probabilité d’occurrence dans une distribution, indépendamment de ce qu’il signifie ou de sa validité. C’est très exactement la limite que nous avons circonscrite depuis le début de cet échange — un système qui opère sur la structure statistique de l’information, sans that la dimension sémantique ou véritative y soit intégrée par construction. Le nom désigne donc, sans doute involontairement de la part d’Anthropic à l’origine, assez précisément la nature de l’objet dont nous discutons plutôt que ses ambitions.