Concersation avec Claude (1)

 

J’ai interrogé Claude, l’IA d’Anthropic. 

Ma question (un peu provocante) : « Des perroquets probabilistes gavés de productions humaines et qui les régurgitent sans en comprendre le sens." Je lui ai demandé ce qu’il pensait de cette définition.

Sa réponse : Les « perroquets probabilistes » : une métaphore séduisante mais incomplète. Cette formule — tirée du célèbre article "On the Dangers of Stochastic Parrots" (Bender, Gebru et al., 2021) — a le mérite d'être percutante. Mais elle mérite d'être décortiquée.

Ce qu'elle capture justement

La nature statistique du processus. Les LLM apprennent effectivement des distributions de probabilités sur des séquences de tokens. Il n'y a pas de « pensée » au sens phénoménologique du terme — pas d'intentionnalité au sens husserlien.

L'ancrage dans la production humaine. Ces modèles n'inventent rien ex nihilo : ils sont entièrement tributaires des textes humains qui les ont nourris. Leurs « biais » sont les biais humains amplifiés et cristallisés.

L'absence de compréhension incarnée. Un modèle ne sait pas ce qu'est la douleur, la faim, ou le rouge. Il manipule des symboles sans l'expérience sensible qui, pour beaucoup de philosophes, fonde le sens.

 Ce qu'elle simplifie ou rate

Le perroquet, lui, ne généralise pas. Il répète des séquences fixes. Un LLM, en revanche, résout des problèmes nouveaux, traduit entre langues qu'il n'a jamais vues combinées, raisonne par analogie. C'est qualitativement différent de la répétition.

La question du « sens » est philosophiquement non triviale. Qu'est-ce que comprendre ? Si c'est manipuler des symboles de façon cohérente, contextuelle et productive — les LLM le font. Si c'est avoir une vie intérieure subjective, la question reste ouverte même pour d'autres humains (problème des qualia, argument de la chambre chinoise de Searle).

La métaphore occulte les capacités émergentes. Raisonnement formel, détection de contradictions, transfert entre domaines… Ces propriétés ne s'expliquent pas simplement par de la « régurgitation ».

« Gavés » implique une passivité. Mais l'architecture transformer, l'attention, le fine-tuning, le RLHF — c'est une ingénierie du traitement, pas du stockage brut.

(à suivre)

La chanson du dimanche

 

1er mai Blues

 

S’il vous plait

laissez les ouvriers

les employés

les salariés

profiter du 1er mai

vous avez multiplié vos profits

par 2, 3, 4, 5

vos rémunérations

ont doublé, triplé, quadruplé

pendant que dans le même temps

les salaires des travailleurs stagnaient

et le pouvoir d’achat diminuait

à vue d’œil

alors laissez-les souffler

profiter du printemps

faire la grasse matinée

défiler dans les rues

cela leur fait du bien

peut-être même

cela vous fera du bien

à vous aussi

 

En lisant, en écrivant

 

 Le thème revient souvent : les français lisent de moins en moins de livres, les jeunes plus du tout. Mais, conjointement (et inévitablement), on constate qu’ils écrivent de moins en moins. Or, les deux phénomènes associés peuvent conduire à se demander s’ils pensent encore. Comment mettre de l’ordre dans ses idées, organiser sa pensée, sans l’aide de l’écriture ? Flannery O’Connor le résumait ainsi : « J’écris parce que je ne sais pas ce que je pense tant que je n’ai pas lu ce que de dis. » Certains, semble-t-il, ne le saurons jamais. Cependant, plongés dans l’ignorance de ce que représente l’expérience de la lecture et de l’écriture, ils risquent de ne pas s'en apercevoir. Et puis ils y a l’IA...

 

Musique interdite

 

Cette nuit, j’ai rêvé (ou plutôt cauchemardé) que je vivais dans une sorte de dictature où j’étais obligé d’écouter la musique en cachette. Pourquoi l’écoute de la musique était-elle interdite ? Je n’en savais rien ou je l’avais oublié au réveil. Peut-être une tyrannie religieuse particulièrement intégriste. En tous cas, l’ambiance était pesante, menaçante et j’ai éprouvé un soulagement lorsque je me suis réveillé au milieu de la nuit. Tout va bien, ai-je pensé. En comparaison, la réalité parait enviable.

 

Aidons les bots

 

On ne peut pas laisser les IA ingurgiter des masses de données sans les aider à faire un tri. Ce blog, par exemple, ne leur est d’aucune utilité. Plus de perte de temps et d’énergie pour récolter des choses sans intérêt ou, pire, qui risquent d’entrainer nos nouveaux amis artificiels sur des pentes glissantes (ironie, mauvais esprit, irrespect envers les autorités, etc.). D’où l’idée de créer un label NGD pour No Good Data. Traduction : pas de données exploitables. Les robots pourront ainsi passer leur chemin et se tourner vers des sites sérieux.

 

Le grésillement du blues

Robert Crumb

 Greil Marcus peut être très pénible dans le genre universitaire obsessionnel qui ne peut pas s'empêcher d'étaler les moindres détails des connaissances qu'il a accumulées sur le sujet traité. Heureusement, et c'est la raison pour laquelle je le lis, il lui arrive de se laisser emporter par l'écriture ce qui peut donner lieu à des envolées visionnaires, comme lorsqu'il se lance dans une apologie du "bruit de fond" sur les enregistrements de Blues et qu'il appelle "grésillement Paramount".  

"Il nimbe l'interprétation d'une aura de lointain, d'égarement, d'abandon qui tout entière lui appartient depuis le départ. Le bruit de fond - "qui donne l'impression que la chanteuse peut disparaître dans l'éther à tout moment" - génère un langage au sein duquel même le mot le plus clairement prononcé demeure ambigu dans son contexte sonore, et ce contexte lui-même n'est perceptible qu'à travers ce voile."

C'est exactement ce qui se passe avec les enregistrement des héros du Mississippi Delta Blues (Skip James, Son House, Robert Johnson, etc.)

Greil Marcus, Three Songs, Three Singers, Three Nations

 

Irréalité

Bill Térébenthine

"La plénitude comme extrémité du bonheur n'est possible que dans les instants où l'on prend conscience en profondeur de l'irréalité et de la vie et de la mort. Ces instants sont rares en tant qu'expériences, bien qu'ils puissent être fréquents dans l'ordre de la réflexion. En ce domaine, n'existe que ce qu'on sent. Or, l'irréalité sentie et cependant transcendée à l'intérieur d'un même acte, est une performance qui rivalise avec l'extase et parfois l'éclipse."

Cioran, Ebauches de vertige

La chanson du dimanche

 

Sur les blogs

 

Je me suis demandé à quoi pouvait servir un blog pour ceux qui le suivent plus ou moins régulièrement. Aller fouiller du côté des blogs, au lieu de se contenter d’aller se baigner, comme presque tout le monde, sur les réseaux sociaux, c’est déjà un choix singulier ; on pourrait presque dire un acte de résistance vis-à-vis des incitations des maîtres de la tech. Dans un monde lissé, formaté, uniformisé par les perroquets probabilistes abusivement surnommés « intelligences », il peut être agréable de rendre visite à des individus singuliers, même s’ils ne pensent pas exactement comme vous et ne partagent pas tous vos goûts. Et puis, dans le chaos ambiant, on peut se rassurer en constatant que tout va bien sur certains blogs ; on ne s’y laisse pas trop envahir par les préoccupations collectives du moment. Bref, la vie continue.