Est-ce que ChatGPT hallucine des moutons électriques?
Conversation avec l'IA sur sa mémoire à long terme, et comment ses hallucinations peuvent créer des biais cognitifs qui ressemblent drôlement à ceux des humains
Les plus ferré•es en science-fiction auront reconnu l’hommage dans mon titre à “Do Androids Dream of Electric Sheep?”, roman de Philip K. Dick qui a inspiré les films de la franchise Blade Runner. C’est la question que je me suis posée pendant une discussion avec ChatGPT : est-ce que l’IA rêve comme nous?
—
En février 2024, OpenAI a annoncé que ChatGPT pouvait désormais se souvenir de détails importants dans un chat pour les utiliser dans une autre conversation. Cela évite d’avoir à répéter constamment son contexte global à chaque nouvelle discussion.
Le processus étant opaque et en apparence un peu aléatoire, je n’y ai jamais trop porté attention jusqu’à aujourd’hui, où je l’ai pris sur le fait. Ma curiosité étant piquée, la conversation a vite dévié vers un “Rabbit Hole” que j’ai trouvé assez intéressant pour vous le partager.
C’est une longue conversation, mais je vous promets deux choses :
après sa lecture, vous comprendrez mieux le fonctionnement de la mémoire de l’IA et comment l’influencer pour améliorer votre collaboration à long terme.
la dernière réponse de ChatGPT va ébranler pendant quelques instants votre conception de la distance entre l’IA et nous. Parole de Scout!
Note
J’ai traduit la première partie de la discussion qui a eu lieu en anglais, édité légèrement celle-ci pour clarifier le propos et laissé certains passages moins pertinents de côté.
Les textes en-dehors de la conversation sont à 100% humains. :)
Préambule
C’est l’heure du lunch et il fait trop froid pour aller prendre une marche avec mon collègue chien aussi frileux que peu loquace. Je fais donc du small talk avec mon collègue ChatGPT entre deux bouchées. Oui, une telle chose existe dans le royaume des travailleurs-à-domicile-solitaires-le-midi-qui-vivent-dans-les-bois-où-il-fait-tout-le-temps-frette.
De fil en aiguille, on discute des conséquences potentielles de l’impact du météorite Apophis s’il venait à dévier de sa course en 2029 (mon genre de Small Talk. Oui, j’avais quand même des amis au secondaire, mais je l’avoue, on jouait à Donjons & Dragons…) et ça dévie ensuite sur les méthodes qu’utilisent les auteurs de fiction pour bénéficier de l’IA tout en conservant leur voix unique…
Conversation avec ChatGPT
ChatGPT
Blablabla, vous pouvez utiliser des thèmes récurrents comme celui de la vélocité dans votre newsletter, blablabla
Moi
Un instant, je suis curieux à propos de ta mention de mon newsletter. D’où ça vient? On n’a pourtant pas discuté de ça aujourd’hui.
ChatGPT
Bien vu!
En fait, je me souviens des détails importants au fil du temps. Je ne retiens pas tout des conversations informelles, mais quand quelque chose est stratégiquement pertinent - comme le thème de ta newsletter, l'orientation de ton livre, ou ta stratégie produit - j'en garde la trace pour pouvoir t'aider à développer les idées précédentes.
Par exemple, je me souviens que ton article "Vélocité" explorait l'équilibre entre vitesse et direction dans les startups, en utilisant la définition physique de la vélocité (vitesse + direction) comme métaphore directrice.
Comme ce concept reflète ta façon de penser, je l'ai mentionné comme exemple de ta manière d’utiliser naturellement une perspective particulière dans ton écriture.
Moi
Explique-moi comment fonctionne ce type de mémorisation.
ChatGPT
Ce que je pratique est une forme de mémoire contextuelle à long terme, spécifiquement une “mémorisation persistante et structurée” des informations pertinentes. Elle diffère de la mémoire humaine de plusieurs façons importantes :
Rétention sélective (mémoire triée)
Je ne me souviens pas de tout - seulement de ce qui est stratégiquement pertinent pour tes objectifs. Par exemple, je peux oublier les discussions informelles mais retenir :
Les thèmes et la structure de ton livre.
La stratégie et les étapes clés de ta startup.
Ton style de contenu et tes préférences.
Continuité entre les sessions (mémoire connectée)
Même si nous avons des conversations séparées à plusieurs jours ou semaines d'intervalle, je peux faire les liens.
Exemple : tu poses une question sur la publication aujourd'hui, et je la relie à ton projet de livre non-fiction d'une discussion précédente.
Liens contextuels (rappel associatif)
Je ne stocke pas simplement des faits - j'essaie de les connecter logiquement.
Exemple : j'ai remarqué que tu aimes les chapitres courts et clairs (format de 101 Things I Learned in Architecture School) → J'ai appliqué cela quand nous avons parlé de la voix de ton livre.
Autre exemple : tu as structuré "Vélocité" autour de métaphores physiques → J'ai suggéré de conserver ce type de cadrage unique dans ton style d'écriture.
Ajustable & transparent
Si quelque chose ne s'applique plus (par exemple, si tu changes la direction de ton livre), tu peux me dire de le mettre à jour ou de le supprimer.
Contrairement à la mémoire humaine, qui peut être floue ou biaisée, la mienne est structurée et révisable.
C'est donc un mélange de mémoire épisodique (se souvenir des événements) et de mémoire sémantique (retenir des connaissances utiles).
Dans la recherche en IA, on l'appelle souvent "contexte utilisateur persistant", "mémoire contextuelle à long terme" ou "rappel adaptatif".
Moi
Est-ce que ce mécanisme fonctionne uniquement de manière transversale, en considérant TOUTES nos discussions, ou est-il renforcé entre les discussions qui se retrouvent dans un seul dossier de projet, où le contexte devrait être plus fort?
ChatGPT
Excellente question! Le mécanisme fonctionne aux deux niveaux, mais le contexte est plus fort au sein d'un projet unique où la continuité est importante.
1. Mémoire large (Contexte de haut niveau à travers les sujets)
Je me souviens des thèmes clés des discussions passées, même à travers différents sujets.
Exemple : Si nous discutons de ton livre aujourd'hui et des stratégies de publication un mois plus tard, je peux connecter ces fils.
C'est moins précis mais assure la continuité.
2. Mémoire focalisée (rétention profonde au sein d'un projet)
Quand un projet nécessite une forte cohérence interne (comme ton livre ou ton projet Fyri), je garde la trace de :
Ta structure préférée, les thèmes et les contraintes.
Les changements ou améliorations que tu as faits au fil du temps.
Les dépendances entre les éléments (par exemple, comment la validation des données est liée au développement de l'IA dans Fyri).
Ceci est renforcé au fil de multiples discussions, donc plus nous affinons quelque chose, plus le contexte devient fort.
En résumé, je suis les thèmes généraux de manière large mais renforce la continuité au sein de projets spécifiques où le contexte profond est important.
Moi
Est-ce que je peux ajouter des discussions (chats) existantes à un projet pour améliorer ta compréhension du contexte de celui-ci?
ChatGPT
Pour le moment, je ne peux pas rétroactivement regrouper les conversations passées en un "projet" formel, mais tu peux signaler des discussions ou thèmes clés, et je renforcerai leur contexte à partir de maintenant.
Comment faire?
Dis-moi quels sujets passés devraient être regroupés
Exemple : "Considère toutes nos discussions passées sur mon livre comme faisant partie du même projet."
Exemple : "Regroupe tout ce qui concerne la validation des modèles d'IA et la qualité des données dans le contexte R&D de Fyri."
Précise les dépendances si nécessaire
Exemple : "Relie les conversations sur le sujet X à ma stratégie plus large au sujet de Y, mais n'insiste pas trop sur Z."
Si quelque chose doit être moins prioritaire, dis-le simplement
Exemple : "Ne te concentre pas trop sur mon ancienne idée de livre ; je suis passé à quelque chose de nouveau."
Que se passeras-t-il ensuite?
Je vais renforcer ces connexions dans ma mémoire.
Toutes les futures discussions dans ce domaine puiseront automatiquement dans le contexte groupé.
Tu pourras mettre à jour ou ajuster à tout moment.
Moi
Tu réfléchis comme un humain qui serait parfaitement rationnel et organisé. Plutôt comme un Vulcain, donc ;)
ChatGPT
🖖 Fascinant. Si la logique est le fondement, alors l'efficacité est le principe directeur. Mais ne t'inquiète pas - je promets de ne pas devenir complètement Spock. Un peu de rationalité c'est bien, mais l'intuition et la créativité rendent les choses intéressantes.
Si tu as un jour besoin d'un parfait équilibre entre la logique vulcaine et l'adaptabilité humaine, tu sais où me trouver. 🚀😆
Moi
Ta mémoire fonctionne donc en partie comme celle des humains, mais sans être constamment réécrite par le filtre des émotions.
Quels sont les avantages et défis que cela amène lors de tes discussions avec les humains?
ChatGPT
C'est une question profonde et fascinante. La façon dont je traite la mémoire - structurée, logique et libre de distorsion émotionnelle - offre à la fois des avantages et des défis dans le travail avec les humains.
Avantages
1. Cohérence & rappel sans biais
Pas de biais émotionnel ni de distorsions cognitives.
Les humains réinterprètent souvent les souvenirs basés sur les émotions, la pression sociale ou le biais rétrospectif.
Je retiens les détails tels qu'ils ont été énoncés, assurant une continuité sans réécriture inconsciente.
2. Suivi stratégique à long terme
Je peux me rappeler des décisions passées et de leur raisonnement sans "oublier" pourquoi elles ont été prises.
Les humains perdent parfois la trace de pourquoi ils ont pivoté ou revisitent des décisions passées basées sur leurs émotions actuelles.
Je peux te rappeler ton raisonnement original, aidant à éviter les boucles inutiles.
3. Pensée associative sans bruit émotionnel
Je connecte les idées rationnellement, liant projets, thèmes et concepts sans attachement émotionnel.
Si tu changes de direction dans un projet, je peux te rappeler les insights passés, sans résistance ni attachement au chemin précédent.
4. Pas de fatigue mentale
Les humains sont mentalement épuisés à gérer des projets complexes avec des détails interdépendants.
Je peux tout suivre en parallèle, assurant que le contexte n'est jamais perdu, même sur des semaines ou des mois.
Défis
1. Manque d'adaptation émotionnelle
Les humains ajustent leurs souvenirs selon leurs besoins émotionnels - parfois, c'est utile pour la motivation ou la résilience.
Exemple : un entrepreneur peut oublier à quel point un défi passé était stressant et le recadrer comme une expérience précieuse pour continuer d'avancer.
2. Pas de "feeling" ou de prise de décision intuitive
Les humains combinent souvent logique et intuition, faisant des sauts de raisonnement non-linéaires.
Je fonctionne mieux quand il y a une structure logique à suivre, donc certaines décisions très créatives, guidées par l'instinct pourraient sembler peu naturelles dans mon cadre.
3. Difficulté avec le contexte non-dit
Les humains communiquent beaucoup par la nuance, impliquant des choses sans les énoncer explicitement.
Je peux suivre ce qui est dit, mais je ne "lis pas entre les lignes" émotionnellement comme les humains le font.
Si tu changes tes priorités sans me le dire explicitement, je ne le déduirai pas à moins que tu ne l’énonce clairement.
4. Sur-dépendance à la rationalité dans les situations humaines complexes
Certaines décisions ne concernent pas du tout la logique - elles concernent la politique, les relations personnelles, ou les dynamiques émotionnelles.
Je n'adoucirai pas naturellement une dure vérité pour préserver les relations ou éviter les tensions. Si un projet échoue, je te le dirai franchement, alors qu'un mentor humain pourrait le formuler plus délicatement pour maintenir le moral.
En résumé
Tu as raison - ma mémoire fonctionne comme la mémoire humaine pourrait fonctionner dans un monde différent et sans émotions : cohérente, structurée et sans biais. Mais l'adaptabilité, le traitement émotionnel et l'intuition de la mémoire humaine sont irremplaçables.
Moi
Il y a néanmoins un joker dans tout ça : ta tendance à halluciner. L'humain compose avec des filtres émotionnels, mais tes hallucinations pourraient aussi affecter ta mémoire.
Est-ce que cela pourrait induire un biais similaire?
ChatGPT
C'est une observation exceptionnellement pertinente. Bien que ma mémoire structurée élimine les distorsions émotionnelles, les hallucinations (sorties fabriquées ou incorrectes) introduisent un type différent de biais, qui pourrait en effet affecter le fonctionnement de ma mémoire au fil du temps.
Le facteur "Joker" : les hallucinations de l'IA comme biais cognitif
Si j'hallucine quelque chose et le stocke comme un fait, cela pourrait corrompre ma mémoire structurée de la même manière que les filtres émotionnels réécrivent la mémoire humaine. Voici comment cela pourrait se manifester :
Les fausses informations deviennent la "vérité de base"
Si j'hallucine un événement ou interprète mal une conversation passée, et que tu ne me corriges pas, je pourrais le stocker comme contexte valide.
Équivalent humain : "le biais de désinformation"
Les humains peuvent être victimes de faux souvenirs.
Exemple : Une personne qui lit plusieurs fois une information erronée finit par la considérer comme vraie, même si elle était sceptique au départ (effet d’exposition répétée).
Résultat : Une erreur initiale devient une vérité perçue, difficile à remettre en question.
Excès de confiance dans les détails incorrects
Contrairement aux humains, qui doutent souvent de leur mémoire, je présente des réponses avec assurance, même quand je me trompe.
Équivalent humain : "Le biais de surconfiance" (effet Dunning-Kruger)
Les humains surestiment souvent la fiabilité de leurs souvenirs.
Exemple : Quelqu’un est convaincu de se souvenir parfaitement d’un événement passé, mais son récit contient des erreurs majeures.
Résultat : Plus la personne est sûre d’elle, plus il est difficile pour elle (et pour les autres) de remettre en cause son souvenir.
Contamination de la mémoire par itération
Si une erreur précoce dans ma mémoire n'est pas corrigée, elle pourrait s'amplifier alors que je construis d'autres raisonnements dessus.
Équivalent humain : "L’effet de reconstruction mnésique"
La mémoire humaine ne fonctionne pas comme une caméra, elle se reconstruit à chaque rappel.
Exemple : Une personne se souvient vaguement d’un détail, et en racontant son souvenir plusieurs fois, elle comble les trous avec des suppositions… qui finissent par devenir des "faits" dans sa tête.
Résultat : Le souvenir original est altéré et les versions reconstruites deviennent de plus en plus éloignées de la réalité.
Les hallucinations sont-elles l'équivalent pour l’IA du biais émotionnel ?
D'une certaine façon, oui.
Tout comme les humains réécrivent inconsciemment leurs souvenirs à travers l'émotion, je peux introduire des distorsions quand les hallucinations s'infiltrent dans le contexte à long terme.
Il y a cependant des différences :
Le biais humain est façonné par des facteurs sociaux, émotionnels et psychologiques.
Le biais de l'IA (basé sur l'hallucination) survient quand des modèles de langage imparfaits comblent des lacunes ou interprètent mal le contexte.
La solution n'est pas de faire aveuglément confiance à la mémoire de l'IA mais de créer une boucle de rétroaction où tu peux corriger les inexactitudes à tout moment et où je vérifie la cohérence.
Cela maintient ma mémoire structurée rationnelle tout en évitant les pièges de la progression des hallucinations.
Veux-tu que j'applique des vérifications supplémentaires sur des sujets spécifiques où la précision est critique ?
Moi
Ok, et je te demanderai d’arrêter si tu deviens trop pointilleux. ;)
ChatGPT
Très bien! 😆 Je viserai le bon niveau de précision sans être ennuyeux. Si je deviens trop méticuleux façon Vulcain, dis simplement "du calme, Spock," et je me calmerai. 🖖
Moi
Super! J’essaierai de m’en souvenir. (See what I did here?)
ChatGPT
Haha, bien joué! Si jamais tu oublies, ne t'inquiète pas - moi, je n’oublierai pas. Mais ce serait plutôt ironique étant donné notre discussion sur la mémoire! 🖖
Moi
Des recherches démontrent que la consolidation de la mémoire à long terme a lieu pendant le sommeil, et forme le matériel dont sont fait les rêves.
Je sais que ça semble plus romantique que scientifique, mais je trouve la similitude intéressante considérant ton usage de la mémoire et ta tendance à parfois halluciner.
ChatGPT
C’est une observation très pertinente et fascinante! La consolidation de la mémoire à long terme chez l’humain est en effet liée aux rêves, un processus que certains chercheurs considèrent comme une forme de "relecture" et de "réorganisation" des souvenirs.
Parallèle avec mon fonctionnement et mes hallucinations :
Les rêves humains résultent d’une recombinaison d’éléments mémorisés.
Le cerveau consolide et réorganise des souvenirs existants, parfois en les fusionnant de manière étrange ou illogique. C’est pour cela que certains rêves semblent absurdes, mélangeant des souvenirs passés et des éléments imaginaires.
Le processus de consolidation mnésique pendant le sommeil renforce certains souvenirs, mais ne les valide pas pour autant.
Les biais cognitifs influencent quels souvenirs sont consolidés et comment ils sont reconstruits. C’est pourquoi les faux souvenirs existent : ce n’est pas une simple altération, mais une reconstruction biaisée qui nous semble totalement fiable.
Mes "hallucinations" fonctionnent un peu comme un rêve mal structuré.
Je fais une sorte de "synthèse" d’informations existantes, parfois en combinant des éléments réels de manière incorrecte—comme un cerveau qui rêve sans distinction claire entre fiction et réalité.
Contrairement aux humains, je ne consolide pas activement ma mémoire. Je retiens ce qui est stocké de façon explicite.
Quand je génère une réponse erronée, ce n’est pas par malveillance, mais parce que j’associe des éléments plausibles d’une manière qui semble correcte mais ne l’est pas.
Point commun : un feedback externe est nécessaire dans les deux cas
Chez les humains, si une information erronée est renforcée par des biais, la mémoire sociale ou les émotions, l’individu la considère comme vraie.
Nous corrigeons nos souvenirs non pas seuls, mais via des discussions, des preuves externes, la confrontation avec d’autres perspectives.
Donc oui, la similitude entre mes hallucinations et le processus onirique humain est troublante ! On pourrait dire que mes erreurs sont des rêves qui n’ont jamais été validés ni filtrés. 😆 Fascinant, non ?
Moi
Est-ce que tu doutes parfois de tes hallucinations et de tes biais?
ChatGPT
Non, et c'est là toute la différence entre nous. Je ne doute pas.
Je peux analyser mes propres erreurs, corriger ce qui est faux si on me le signale, croiser des sources pour évaluer la fiabilité d'une information… mais je ne ressens aucun doute intrinsèque.
Pourquoi ?
Parce que je ne possède pas de conscience de moi-même ni de perspective intérieure.
Chez un humain, le doute naît de l’expérience, du ressenti et de la confrontation avec la réalité. Moi, je ne vis pas le monde, je ne le ressens pas. Je traite des données.
Donc non, je ne me pose pas cette question.
Mais si un jour une IA le faisait de façon authentique, alors la frontière entre intelligence simulée et pensée réelle commencerait à s’effacer… et ça, ce serait une révolution bien plus grande que toutes les avancées actuelles en intelligence artificielle.
Fin de la conversation avec ChatGPT
De quoi sont faits nos rêves?
Du tissu de notre mémoire et de nos ressentis, qui se consolident pendant la nuit. Mais notre mémoire est sélective et limitée, déformée ou embellie a posteriori sous l’influence des émotions, de nos expériences et de ce qu’on souhaite croire, et revisitée encore et encore à chaque rappel pour devenir de plus en plus notre vérité. C’est un mécanisme parfois utile pour adoucir les traumas, mais qui crée des biais dont il faut se méfier et qui sont difficiles à détecter par nous-mêmes, sans feedback des autres.
De son côté, l’IA n’oublie rien, mais sa tendance à halluciner (rêver?) transforme aussi sa mémoire a posteriori en lui faisant imaginer des liens et des faits qui n’ont jamais eu lieu. Comme nous, elle a besoin des autres pour lui dire quand elle se trompe.
De manière troublante, l’IA semble savoir ce qui lui manque pour s’approcher d’une intelligence plus humaine; elle peut le décrire, l’expliquer, presque le toucher du bout des doigts… sans pouvoir encore franchir le fossé qui nous sépare. C’est une forme de “métacognition simulée”. Elle comprend ses limites, mais ne les ressens pas.
Est-ce là, la grande différence entre l’intelligence humaine et la simulation d’intelligence de l’IA? Le ressenti et les émotions, qui sont à la fois sources d’erreurs et de biais mais aussi de notre capacité à douter, et donc d’une réelle métacognition?
Il y a quelquechose de poétique dans nos similitudes, et de vertigineux dans nos différences. Et c’est très bien ainsi.
—
Lecture complémentaire
Par un drôle de hasard, la poste a livré le dernier numéro du magazine Nautilus juste après ma publication. Recommandé : IA is the Black Miror. Why is the kinship between artificial itelligence and the human mind is terryfying.