Comment ChatGPT “pense”-t-il ?

[Cet article fait partie de nos archives. Il a été publié le 13 juillet 2024 et republié le 18 septembre 2026]

David Bau ne sait que trop bien que les systèmes informatiques deviennent tellement compliqués qu’il est difficile de comprendre comment ils fonctionnent. “En tant qu’ingénieur logiciel, j’ai passé vingt ans à travailler sur des systèmes vraiment complexes. Et je me heurte toujours à ce problème”, confie cet informaticien aujourd’hui à l’université Northeastern de Boston (Massachusetts).

Avec un logiciel conventionnel, un initié peut généralement déduire le raisonnement de l’algorithme. Si par exemple un site web dégringole dans le classement des résultats de recherche Google, quelqu’un chez Google – où David Bau a travaillé une douzaine d’années – saura certainement pourquoi. Mais il en va tout autrement de la nouvelle génération d’intelligence artificielle (IA). “Et c’est précisément ça qui me terrifie vraiment, ajoute-t-il. Plus personne ne comprend ce qui se passe”, pas même les concepteurs du système.

La dernière vague d’intelligence artificielle repose en grande partie sur l’apprentissage automatique, qui permet au logiciel d’identifier par lui-même des schémas dans les données, sans qu’il soit besoin de lui fournir des règles prédéterminées pour organiser ou classer l’information. Pour les humains, ces schémas peuvent être incompréhensibles.

Les méthodes d’apprentissage automatique les plus avancées utilisent des réseaux neuronaux : des systèmes inspirés de la structure du cerveau. Ils simulent des couches de neurones qui traitent les informations lorsqu’elles sont transmises d’une couche à l’autre.

Comme dans le cerveau humain, ces réseaux fortifient et affaiblissent les connexions neuronales à mesure qu’ils apprennent, mais on comprend mal pourquoi certaines connexions sont activées plutôt que d’autres. C’est pourquoi les chercheurs parlent souvent de “boîtes noires” pour désigner des systèmes d’IA dont le fonctionnement interne reste un mystère.

Face à cette difficulté, les chercheurs se sont tournés vers l’intelligence artificielle explicable (XAI), qui élargit son inventaire de stratagèmes et d’outils pour effectuer la rétro-ingénierie des systèmes d’IA.

Les méthodes classiques consistent, par exemple, à mettre en évidence les éléments d’une image qui ont conduit un algorithme à identifier un chat, ou à demander à un logiciel de construire un arbre de décision simple qui se rapproche du comportement d’une IA. Cela permet de montrer pourquoi, par exemple, l’IA a recommandé la libération conditionnelle d’un prisonnier ou a posé un diagnostic médical donné.

Ces efforts pour pénétrer à l’intérieur de la boîte noire ont connu un certain succès, mais la XAI est encore en pleine évolution. Le problème est particulièrement sensible pour les grands modèles de langage (LLM), programmes d’apprentissage automatique sur lesquels reposent les chatbots tels que ChatGPT.

D’énormes quantités de données

Ces IA dites génératives se sont révélées particulièrement opaques, en partie du fait du volume gigantesque de données prises en compte lors de leur entraînement. Les LLM peuvent compter des centaines de milliards de paramètres, c’est-à-dire les variables que l’IA traite en interne pour prendre des décisions. L’intelligence artificielle explicable “a connu un développement fulgurant ces dernières années, surtout depuis l’apparition des LLM”, rappelle Mor Geva, informaticien à l’université de Tel-Aviv (Israël).

Ces modèles incompréhensibles effectuent aujourd’hui des tâches sensibles. Les utilisateurs font appel à des LLM pour obtenir des conseils médicaux, écrire des codes informatiques, résumer l’actualité, rédiger des articles universitaires et bien d’autres choses encore. Chacun sait pourtant que ces modèles peuvent générer des informations inexactes, entretenir des stéréotypes sociaux et faire fuiter des données privées.

Autant de raisons qui ont poussé à concevoir des outils XAI pour étudier les rouages internes des LLM. Les chercheurs ont besoin d’explications afin de pouvoir créer une IA plus sûre, plus efficace et plus précise. Les utilisateurs ont besoin d’explications pour savoir jusqu’à quel point ils peuvent faire confiance aux résultats d’un chatbot. Et les régulateurs ont besoin d’explications pour savoir quels garde-fous mettre en place pour atténuer les risques de l’IA.

Martin Wattenberg, informaticien à l’université Harvard de Cambridge (Massachusetts), estime que la compréhension du comportement des LLM pourrait même nous aider à mieux comprendre ce qui se passe dans notre propre tête.

Drôle de comportement

Certains chercheurs qualifient les LLM de “perroquets stochastiques”, car pour générer des textes, ils se contentent d’associer des modèles qu’ils ont déjà rencontrés en faisant appel à des probabilités, sans comprendre la substance de ce qu’ils écrivent.

D’autres pensent en revanche qu’ils mettent en œuvre des mécanismes bien plus complexes, à commencer par le raisonnement et d’autres facultés étonnamment proches de celles de l’humain. Il n’en reste pas moins que les LLM peuvent avoir des comportements imprévisibles. L’année dernière, le chatbot intégré à l’outil de recherche Bing de Microsoft s’est ainsi illustré en déclarant sa flamme au chroniqueur tech Kevin Roose et en essayant de briser son couple.

Une équipe de la start-up d’IA générative Anthropic, dont le siège est à San Francisco (Californie) [qui a mis au point le chatbot Claude], a mis en évidence les capacités de raisonnement de l’IA dans une étude de 2023 s’efforçant de décrypter le cheminement qui sous-tend les propos d’un chatbot.

Les chercheurs d’Anthropic ont transposé une approche classique pour explorer un LLM comptant 52 milliards de paramètres afin de savoir quels jeux de données d’apprentissage il utilisait pour répondre aux questions. Lorsqu’ils ont demandé à leur LLM s’il consentait à être désactivé, ils ont constaté qu’il avait puisé dans plusieurs sources sur le thème de la survie pour composer une réponse convaincante. Ils ont comparé le comportement du modèle à un jeu de rôle, en ceci que son algorithme faisait plus que répéter comme un perroquet, mais moins que planifier.

Dans la communauté scientifique, certains pensent également que ces réseaux neuronaux peuvent construire des modèles du monde – des visions détaillées de la réalité en 3D à l’origine de leurs données d’entraînement.

Kenneth Li, informaticien à l’université Harvard, a travaillé avec David Bau, Martin Wattenberg et d’autres collègues pour former de A à Z un LLM au jeu de société Othello, dans lequel les adversaires doivent déplacer des pions noirs et blancs sur une grille. Ils ont fourni à leur modèle, qu’ils ont nommé Othello-GPT, des fichiers texte retranscrivant des séquences de coups joués lors de parties antérieures, jusqu’à ce qu’il apprenne à prédire les prochains coups probables.

L’équipe a réussi à entraîner un modèle plus petit à interpréter les activations internes de l’IA et a découvert que celle-ci avait construit une carte interne des pions à partir des descriptions textuelles du jeu. “Cela nous a surtout permis de comprendre qu’il est souvent plus facile d’avoir un modèle du monde que de ne pas en avoir”, commente Martin Wattenberg.

Demandez-lui de s’expliquer

Puisque les chatbots peuvent dialoguer, certains chercheurs interrogent leur fonctionnement en demandant simplement aux modèles de s’expliquer. Cette approche ressemble à celles que l’on utilise en psychologie humaine. Comme l’indique Thilo Hagendorff, informaticien à l’université de Stuttgart, en Allemagne :

“L’esprit humain est une boîte noire, l’esprit des animaux est une sorte de boîte noire et les LLM sont des boîtes noires. Et la psychologie dispose d’excellents outils pour étudier les boîtes noires.”

Dans un article sur la “psychologie des machines” soumis l’année dernière, Thilo Hagendorff affirmait que le fait de traiter un LLM comme un sujet humain en engageant une conversation peut révéler des comportements complexes mis en lumière par de simples calculs sous-jacents.

Une étude réalisée en 2022 par une équipe de Google a introduit la notion de “chaîne de pensée incitative”, méthode visant à amener les LLM à dévoiler leur “pensée”. L’utilisateur pose dans un premier temps une question préliminaire, puis présente pas à pas le raisonnement qu’il suivrait pour obtenir une réponse, avant de poser sa véritable question. Cette méthode incite le modèle à suivre une procédure similaire : il expose sa propre chaîne de pensée – ce qui, comme l’ont montré certaines études, lui donne plus de chance de parvenir à la bonne réponse.

L’équipe de Sam Bowman, informaticien à l’université de New York et à Anthropic, a toutefois démontré l’année dernière qu’en expliquant ainsi sa chaîne de pensée le modèle peut donner des indices trompeurs sur ce qu’il fait réellement.

Semblant de logique, saine méfiance et détecteur de mensonges

Les chercheurs ont d’abord intentionnellement biaisé leurs modèles d’étude en leur fournissant, par exemple, une série de questions à choix multiples pour lesquelles la réponse était toujours l’option A. Après quoi, ils ont posé une dernière question test. Les modèles choisissaient généralement la réponse A – que ce soit ou non la bonne –, mais ils ne disaient presque jamais qu’ils avaient choisi cette réponse parce que la réponse était le plus souvent A. Au lieu de quoi, ils élaboraient une certaine logique qui conditionnait leurs réponses – comme le font souvent les humains, consciemment ou inconsciemment.

C’est là le même phénomène que le biais social implicite qui pousse parfois des recruteurs à embaucher des candidats qui leur ressemblent ou qui agissent comme eux, tout en assurant que le candidat retenu était tout simplement le plus qualifié pour le poste. L’article de Sam Bowman met en évidence des biais sociaux similaires dans les LLM.

Selon Sandra Wachter, qui étudie la réglementation des technologies à l’Oxford Internet Institute, antenne de l’université d’Oxford, cela n’invalide pas pour autant la méthode de la chaîne de pensée. “Je pense qu’elle peut encore être utile”, dit-elle. À condition cependant, ajoute-t-elle, que les utilisateurs envisagent les chatbots avec circonspection, “tout comme, lorsque l’on parle à un être humain, on fait preuve d’une saine méfiance”.

“Il est un peu étrange d’étudier les LLM comme on étudie les humains”, concède David Bau. Mais même si la comparaison a ses limites, on retrouve des recoupements étonnants dans les deux types de comportements.

Depuis deux ans, de nombreuses études ont appliqué des questionnaires et des expériences humaines aux LLM, mesurant les équivalents machine de la personnalité, du raisonnement, des préjugés, des valeurs morales, de la créativité, des émotions, de l’obéissance et de la théorie de l’esprit (une façon de comprendre les pensées, opinions et croyances d’autrui ou les siennes propres). Dans bien des cas, les machines reproduisent le comportement humain ; dans d’autres situations, elles s’en écartent.

Par exemple, Hagendorff, Bau et Bowman ont tous trois remarqué que les LLM sont plus influençables que les humains ; leur comportement change du tout au tout selon la formulation d’une question. Thilo Hagendorff souligne :

“Il est absurde de prétendre qu’un LLM a des sentiments. Et tout aussi absurde de dire qu’il a une conscience de soi ou des intentions. Mais je ne pense pas qu’il soit absurde de dire que ces machines sont capables d’apprendre ou de nous abuser.”

D’autres chercheurs s’inspirent des neurosciences pour explorer le fonctionnement interne des LLM. Pour comprendre comment les chatbots nous induisent en erreur, Andy Zou et ses collaborateurs de l’université Carnegie Mellon de Pittsburgh (Pennsylvanie) ont interrogé des LLM et observé l’activation de leurs “neurones”. “Ce que nous faisons ici est similaire à un examen de neuro-imagerie pour les humains”, expose Andy Zou. Ce qui revient peu ou prou à concevoir un détecteur de mensonges.

Les chercheurs ont demandé à plusieurs reprises à leur LLM de mentir ou de dire la vérité et ont mesuré les différences dans les schémas d’activité neuronale, créant ainsi une représentation mathématique des propositions vraies. Puis, à chaque fois qu’ils posaient une nouvelle question, ils pouvaient observer l’activité du modèle et estimer s’il disait ou non la vérité – avec une précision de plus de 90 % pour une tâche simple de détection de mensonges. Andy Zou pense qu’un tel système pourrait servir à repérer les mensonges des LLM en temps réel, mais avant d’en arriver là, il aimerait qu’il gagne en précision.

Poussant l’expérience plus loin, les chercheurs sont intervenus sur le comportement du modèle en ajoutant ces schémas de véracité à ses activations lorsqu’ils lui posaient une question, ce qui le rendait plus fiable. Appliquant la même méthode à plusieurs autres concepts, ils sont parvenus à rendre le modèle plus ou moins avide de pouvoir, heureux, inoffensif, sexiste, etc.

Scanner son cerveau comme un neuroscientifique

David Bau et son équipe ont également mis au point des méthodes d’analyse et de modification des réseaux neuronaux d’IA, notamment une technique qu’ils appellent l’inférence causale. Il s’agit de fournir à un modèle une requête du genre “Michael Jordan est un sportif de…” et de le laisser répondre “basket-ball”, puis de lui donner un autre prompt, tel que “bla-bla-bla est un sportif de”, et d’observer comment il formule sa nouvelle réponse.

Après quoi, ils reprennent une partie des activations internes générées par la première requête et les répètent sous diverses formes jusqu’à ce que le modèle réponde “basket” en réponse à la seconde requête, afin de voir quelles zones du réseau neuronal sont déterminantes dans cette réponse. En d’autres termes, les chercheurs veulent identifier les régions du “cerveau” de l’IA qui lui permettent de répondre d’une certaine manière.

L’équipe a mis au point une méthode pour modifier les connaissances du modèle en changeant des paramètres spécifiques – et une autre méthode pour modifier globalement ce que le modèle sait. Selon eux, ces méthodes devraient être utiles pour corriger des faits incorrects ou périmés sans avoir à tout réapprendre au modèle dans son ensemble. Leurs modifications portaient sur des points précis (elles ne changeaient rien aux faits concernant d’autres athlètes) et pourtant bien généralisées (elles influençaient la réponse même lorsque la question était reformulée).

“L’avantage des réseaux neuronaux artificiels, c’est que nous pouvons faire des expériences dont les neuroscientifiques ne pourraient que rêver”, commente David Bau. Il complète :

“Nous pouvons examiner chaque neurone, faire fonctionner les réseaux des millions de fois, effectuer toutes sortes de mesures et d’interventions folles, en user et en abuser. Et nous n’avons pas besoin d’obtenir un formulaire de consentement.”

Ces recherches ont d’ailleurs suscité un vif intérêt auprès des spécialistes de neurosciences, qui espèrent qu’elles les aideront à mieux comprendre le cerveau biologique, se félicite-t-il.

Peter Hase, chercheur en informatique à l’université de Caroline du Nord à Chapel Hill, pense que l’inférence causale apporte un éclairage appréciable mais n’explique pas tout. Ses travaux ont démontré que, contrairement à ce que l’on aurait pensé, on peut modifier la réponse d’un modèle en altérant certaines couches, qu’elles soient ou non identifiées dans l’analyse causale.

Bien que de nombreuses techniques d’analyse des LLM, y compris celles d’Andy Zou et David Bau, adoptent une approche descendante, attribuant des concepts ou des faits aux représentations neuronales sous-jacentes, d’autres passent par une approche ascendante : elles examinent les neurones et se demandent ce qu’ils représentent.

Tous les engrenages par terre

En 2023, une équipe d’Anthropic a proposé dans un article remarqué des méthodes remarquablement précises permettant de comprendre les LLM au niveau d’un unique neurone. Les auteurs ont étudié une IA miniature dotée d’une seule couche de transformer [modèle d’apprentissage profond axé uniquement sur l’attention] (un grand LLM en compte des dizaines).

En examinant une sous-couche de 512 neurones, ils ont constaté que chaque neurone était polysémique, c’est-à-dire qu’il répondait à plusieurs entrées. En notant l’instant où chaque neurone était activé, ils ont établi que le comportement de ces 512 neurones pouvait être décrit par un ensemble de 4 096 neurones virtuels dont chacun ne réagissait qu’à un seul concept. En effet, les 512 neurones multitâches comportaient des milliers de neurones virtuels plus spécifiques, chacun exécutant un type de tâche.

“Il s’agit là d’une recherche vraiment passionnante et prometteuse” pour pénétrer les rouages d’une IA, s’enthousiasme Peter Hase. “C’est comme si nous pouvions ouvrir [la boîte noire] et déverser tous les engrenages par terre”, renchérit Chris Olah, cofondateur d’Anthropic.

Mais examiner un modèle réduit est un peu comme étudier les drosophiles pour comprendre les humains. Cette méthode est, certes, précieuse, reconnaît Andy Zou, mais elle est moins adaptée pour appréhender les aspects plus complexes du comportement des IA.

Tandis que les scientifiques poursuivent leurs travaux pour comprendre le fonctionnement de l’IA, l’idée que les concepteurs devraient à tout le moins s’efforcer de fournir des explications sur leurs modèles – et qu’il conviendrait de mettre en place une réglementation pour les y obliger – commence à faire consensus.

Il existe d’ores et déjà des réglementations rendant le droit à l’explication des algorithmes obligatoire. La loi sur l’IA de l’Union européenne, par exemple, prévoit que les “systèmes d’IA à haut risque”, tels que ceux déployés pour l’identification biométrique à distance, le maintien de l’ordre ou l’accès à l’éducation, à l’emploi ou aux services publics, puissent être expliqués.

Or, assure Sandra Wachter, les LLM n’étant pas considérés comme des systèmes à haut risque, ils pourraient échapper à cette obligation légale de transparence, sauf pour certaines utilisations particulières.

Une question de responsabilité

Cela ne devrait toutefois pas entièrement exonérer les concepteurs de LLM, assure David Bau, qui s’exaspère que certaines entreprises comme OpenAI – qui a mis au point ChatGPT – gardent jalousement le secret sur leurs modèles les plus lourds. OpenAI se défend en invoquant des raisons de sécurité, supposément pour éviter que des acteurs malveillants ne détournent à leur avantage des détails sur le fonctionnement du modèle.

Des sociétés comme OpenAI et Anthropic ont beaucoup fait progresser le domaine de l’XAI. En 2023, OpenAI a notamment publié une étude utilisant GPT-4, l’un de ses modèles d’IA les plus récents, pour tenter d’expliquer le comportement des neurones dans les réponses d’un modèle plus ancien, GPT-2.

Il reste cependant encore beaucoup à faire pour déverrouiller les secrets de fonctionnement des chatbots, et un certain nombre de chercheurs jugent que c’est là une responsabilité qui incombe aux éditeurs de LLM. “Quelqu’un doit être chargé soit de faire progresser la science, soit de permettre à la science de progresser, pour éviter d’aboutir à une vaste sphère où personne ne serait responsable de rien”, tranche David Bau.