Conversation avec Claude (4)

 

Claude : Tu veux qu'on creuse un aspect en particulier — les hallucinations comme symptôme, la question de la compréhension causale, ou la comparaison avec d'autres formes de connaissance non-ancrée (comme la connaissance livresque humaine) ?

Moi : C'est ok. Pour moi, le nœud est la question de la représentation. "Un LLM n'a pas de représentation du monde — il a une représentation de ce que les humains disent du monde. Ces deux choses se recoupent massivement, mais pas totalement." Cela demande un peu de réflexion autour de la vieille question des rapports entre pensée et langage. Vertigineux.

Claude : Oui, vertigineux est le bon mot. Et c'est exactement là que ça devient philosophiquement sérieux.

Le nœud : pensée, langage, monde

La position classique (Frege, Russell) : le langage exprime la pensée

Le langage serait un véhicule transparent — la pensée précède, le mot suit. Dans cette vue, un LLM qui maîtrise le langage sans la pensée sous-jacente serait clairement creux : il aurait le contenant sans le contenu.

Mais cette position est déjà problématique chez les humains. Peut-on vraiment penser "hors langage" ? Qu'est-ce que ça veut dire ?

Le tournant linguistique : et si c'était l'inverse ?

Wittgenstein (le second), Sapir-Whorf, plus tard Derrida : le langage n'exprime pas la pensée, il la constitue. Ce qu'on peut penser dépend de ce qu'on peut dire. Les concepts qu'une langue découpe dans le réel orientent la perception elle-même.

Si c'est vrai, alors la distinction entre "représentation du monde" et "représentation de ce qu'on dit du monde" s'effondre partiellement — parce que le monde humain est largement un monde linguistiquement constitué.

Et là, la position du LLM devient beaucoup plus ambiguë : s'il maîtrise la structure du langage humain, il maîtrise peut-être quelque chose de la structure de l'expérience humaine du monde.

 Le vrai abîme : la question du grounding

Ce qui manque au LLM, dans la philosophie du langage contemporaine (Putnam, Kripke), c'est le grounding causal : le mot "eau" réfère à H₂O non pas parce qu'on le définit ainsi, mais parce qu'il y a une chaîne causale entre le mot et la substance dans le monde.

Les mots du LLM ne sont ancrés dans rien d'autre que d'autres mots. C'est un système purement différentiel — comme Saussure le disait de la langue en général, mais poussé à l'extrême : ici il n'y a vraiment que des différences, sans aucun locuteur qui, lui, touche le monde.

Sauf que — et c'est là où ça devient vertigineux — les textes d'entraînement ont été écrits par des gens qui, eux, touchaient le monde. Le grounding est là, mais fossilisé dans le corpus. Comme si le LLM héritait d'une référence de seconde main, sédimentée.

La question qui reste ouverte

Est-ce qu'une représentation purement relationnelle — un système de concepts définis uniquement par leurs rapports mutuels — peut constituer une forme de connaissance du monde, si cette structure relationnelle est suffisamment isomorphe à la structure du monde lui-même ?

C'est exactement la question que posait déjà le débat entre réalisme structurel et réalisme naïf en philosophie des sciences. Et on n'a pas de réponse tranchée.

Ce qui est sûr : les LLM ont forcé cette vieille question à revenir avec une acuité nouvelle — non plus comme exercice académique, mais comme problème pratique et urgent. 

Moi : Réalisme structurel et réalisme naïf en philosophie des sciences : tu peux expliciter (en faisant court) ? 

Claude : Réalisme naïf vs réalisme structurel

Le réalisme naïf (ou "direct")

La science décrit le monde tel qu'il est. Les entités théoriques — électrons, gènes, champs — existent vraiment, avec les propriétés qu'on leur attribue. La connaissance scientifique est une correspondance directe entre nos représentations et la réalité.

Problème majeur : l'histoire des sciences est un cimetière de théories autrefois triomphantes et aujourd'hui abandonnées. Le phlogistique, l'éther, la masse absolue newtonienne — ces entités étaient "réelles" pour leurs contemporains. Pourquoi faire confiance aux entités d'aujourd'hui ? C'est l'argument de la pessimistic meta-induction (Laudan).

 Le réalisme structurel (Worrall, 1989)

La réponse : ce qui survit aux révolutions scientifiques, ce ne sont pas les entités, mais les structures mathématiques — les relations, les équations, les lois formelles.

Maxwell → Einstein : l'éther disparaît, mais les équations de Maxwell restent. Newton → Einstein : la notion de masse change radicalement, mais les relations quantitatives se conservent comme cas limite.

Donc : on ne peut pas savoir ce qu'est le monde, mais on peut savoir comment il est structuré. La science capture un isomorphisme entre ses structures formelles et la structure du réel.

 Le lien avec les LLM

Un LLM est précisément un système qui capture des structures relationnelles sans accéder aux entités elles-mêmes. La question devient alors : si la structure est suffisamment fidèle, est-ce que ça suffit pour parler de connaissance ?

Le réalisme structurel dit : peut-être que oui — et que c'est d'ailleurs tout ce qu'on peut espérer, même pour les humains.

Sur Joseph Joubert

 Ceux qui connaissaient M. Joubert prévoyaient donc et voulaient pour lui l’avenir littéraire auquel, pour sa part, il ne paraissait pas songer. M. de Fontanes lui écrivait en 1803 :

« Vous êtes dans la solitude, mon bon ami ; rien ne vous distrait. Je vous exhorte à écrire tous les soirs, en rentrant, les méditations de votre journée. Vous choisirez, au bout de quelque temps, dans ces fantaisies de votre pensée, et vous serez surpris d’avoir fait, presque à votre insu, un fort bel ouvrage. Profitez de mon conseil ; ce travail ne sera pas pénible et sera « glorieux. Il faut laisser quelque trace de son passage « et remplir sa mission. »

Malgré les appels pressants de ses amis, Joubert est pourtant resté un « auteur sans livre, un écrivain sans écrit. » (dixit Maurice Blanchot).

Initiatique

 

"Pour ceux qui le vécurent, l'apprentissage du rock constitua la plus belle des aventures. En effet, l'achat de disques était un geste sacré, une expérience grisante. Avec l'amour du rock chevillé au corps, on touchait à la transgression et à la condamnation des parents sans s'exposer au vrai danger. On voyageait de Londres à San Francisco sans bouger de chez soi. On vibrait, extatiques, au son d'un musique qui était en train de tout bousculer sur son passage sans avoir à manifester dans la rue."

Cedric Bru

Sommeil

 

Il m’arrive de faire de « bonnes nuits » et même, parfois, de faire de  beaux rêves. Cette nuit, j’étais dans un bureau où se trouvait une femme brune qui me plaisait beaucoup. M’étant approché pour consulter un document quelconque (ce détail ne présentait apparemment aucun intérêt dans le rêve), alors que je me penchai très près de son visage, elle déposa un bisou furtif sur mes lèvres. Passé le moment de surprise, je contre-attaquai avec un vrai baiser fougueux tout en la serrant contre moi. Je crois qu’elle m’a soufflé une invitation à la retrouver après les heures de bureau. Mais je commençais déjà à m’éloigner pour retrouver ce qu’il est convenu d’appeler la réalité.

Loin de l'actualité

 

J’ai décroché de la lecture de la presse. Je préfère revenir à des intérêts plus futiles et lire, par exemple, Le Mystère Yves Adrien de Cedric Bru. Yves Adrien, ce nom ne dira probablement rien à un très grand nombre de personnes. En revanche, il réveillera peut-être de lointains souvenirs chez d’anciens collégiens du début des années 70 qui lisaient avec passion les articles du magazine Rock & Folk. Ceux-là pourront comprendre une fixation assez difficile à justifier de manière rationnelle.

Téléphone public

 

Croisant un piéton en pleine conversation téléphonique, je captai au passage une réponse. L’interlocuteur devait avoir fait part d’une inquiétude. Le piéton, sur un ton convainquant, lui conseillait de « ne pas s’en faire pour ça ». « Cela fait un moment, ajouta-t-il, que je ne m’en occupe plus. » Dans son sillage flottait un agréable vent de liberté. On aurait aimé une suite, une généralisation à la totalité des sujets de préoccupation. Une immense proclamation d’indifférence.

La chanson du dimanche

 

Conversation avec Claude (3)

 

Moi : On reprend sur la pseudo intelligence des machines. Si les LLM n'ont pas une connaissance authentique des domaines abordés (cf les cas d'erreurs énormes), alors en quoi consiste exactement leur connaissance inauthentique ?

Claude : Bonne question — elle touche au cœur de ce que font réellement les LLM.

La "connaissance" des LLM : de quoi s'agit-il exactement ?                                                    

Ce que ce n'est pas

La connaissance humaine authentique implique plusieurs choses que les LLM n'ont pas :

 

Un ancrage dans l'expérience (percevoir, agir, échouer, corriger)

Une compréhension causale du monde (savoir pourquoi quelque chose fonctionne)

Une vérification par l'usage (tester une affirmation contre la réalité)

Une intentionnalité — le fait que la connaissance est à propos de quelque chose pour un sujet

 

Ce que c'est réellement

La connaissance des LLM est mieux décrite comme une compression statistique de traces linguistiques humaines. Plus précisément :

1. Une carte des cooccurrences sémantiques

Le modèle a appris quels concepts apparaissent ensemble, dans quels contextes, avec quelles structures. Il sait que "antibiotique" cooccurre avec "bactérie" et pas avec "virus" — mais sans avoir jamais vu une bactérie.

2. Une maîtrise des formes du discours expert

Il sait comment parler de physique quantique, de droit, de médecine — les structures argumentatives, le vocabulaire, les précautions rhétoriques typiques. C'est une compétence discursive, pas épistémique.

3. Une interpolation dans un espace de haute dimension

Face à une requête, le modèle interpole entre des patterns déjà vus. Quand ça marche bien, l'interpolation produit quelque chose de juste. Quand ça échoue (hallucinations), c'est que le modèle extrapole dans une zone creuse de son espace d'entraînement — et produit quelque chose de plausible en forme mais faux en contenu.

4. Pas de modèle du monde, mais un modèle du texte sur le monde

C'est la distinction clé. Un LLM n'a pas de représentation du monde — il a une représentation de ce que les humains disent du monde. Ces deux choses se recoupent massivement, mais pas totalement.

 

Pourquoi ça marche quand même si souvent ?

Parce que le langage humain est lui-même une compression du monde. Les textes d'entraînement contiennent des millions de raisonnements, corrections, débats — le modèle hérite indirectement de beaucoup de structure réelle. C'est du savoir de seconde main, médiatisé par le langage, mais pas pour autant nul.

 

La formulation la plus honnête

Ce que fait un LLM, c'est de la cohérence locale sans vérité globale garantie : chaque étape du raisonnement est localement plausible, mais rien ne garantit que la chaîne entière atterrisse sur quelque chose de vrai — parce qu'il n'y a pas de boucle de feedback avec la réalité.

C'est proche de ce que Searle pointait avec la chambre chinoise : manipulation syntaxique sans sémantique ancrée. Sauf que la question reste ouverte de savoir si suffisamment de syntaxe finit par faire émerger quelque chose qui ressemble fonctionnellement à de la sémantique.

Fictions

"Tout le monde se trompe, tout le monde vit dans l'illusion. On peut admettre au mieux une échelle des fictions, une hiérarchie des irréalités, donner la préférence à telle plutôt qu'à telle autre, mais opter, non, décidément non." 

Cioran, Ecartèlement

Goût bizarre (2)

 

J’aime beaucoup T. Rex ; j’ai eu la chance de vivre l’explosion du Glam Rock au bon âge (14 ans) et entendre Get It On dans les auto tamponneuses de mon village reste un souvenir inoubliable. Mais j'écoute rarement leurs disques. En revanche, je ne me lasse pas du groupe de folk expérimental qui a précédé T. Rex, je veux parler de Tyrannosaurus Rex que j’ai découvert beaucoup plus tard avec Internet. On trouve dans ces enregistrements une quantité impressionnante de magnifiques chansons impeccablement produites par Tony Visconti. Le génie mélodique du jeune Marc Bolan tournait à plein régime. Il racontait à la presse que les textes lui étaient « dictés ». J'y reviens régulièrement parce que je n’ai toujours pas élucidé la fascination exercée par cette musique venue d’ailleurs. Chaque titre est plongé dans une ambiance planante avec des percussions et des chœurs exotiques. Et puis il y a les cris extatiques de Bolan. A cause d’eux, on m’a souvent demandé de baisser, voire de couper le son. Les génies sont souvent incompris.