“Si l’esprit est un océan, nous passons nos vies à flotter à la surface…” C’est par ces mots poétiques que l’équipe de Jack Lindsey à Anthropic débute la présentation de leur nouvelle découverte : un outil qui permettrait précisément de voir sous la surface et de plonger dans les abysses du “raisonnement” de leur intelligence artificielle, Claude. L’article, mis en ligne le 6 juillet 2026 (et donc pas revu par les pairs), affirme qu’il est possible d’avoir un aperçu des différents mots auxquels “pense” l’IA avant de produire son résultat. Des mots qui donnent une idée du processus de raisonnement de la machine et qui pourraient éclairer (légèrement) cette boite noire qui sont les intelligences artificielles génératives (Claude, ChatGPT, Gemini…).
Un outil pour éclairer les mots cachés des IA
Ces IA sont constituées de plusieurs couches de “neurones” (des unités computationnelles qui font chacune un calcul mathématique différent). L’information contenue dans chaque prompt (ou instruction qu’on donne à l’IA) passe par chacune d’entre elles, les neurones d’une couche passant leur résultat aux couches suivantes qui se basent sur ces résultats pour faire leur propre calcul. Nous avons normalement accès seulement au résultat de la dernière couche, c’est-à-dire le résultat final qu’on voit à l’écran, mais ce qui se passe dans les couches intermédiaires reste caché.
Leur outil promet de voir dans ces couches intermédiaires, afin de détecter les mots persistant pendant plusieurs couches, qui représenteraient une sorte de mémoire de travail de la machine durant son processus. Au fur et à mesure de celui-ci, ces mots ajouteraient des concepts permettant à l’IA de parvenir à son résultat final. Si l’IA était une personne (ce qu’elle n’est pas…), on pourrait le comparer à ce qui se produit lorsque nous réfléchissons avant de répondre à une question. On ne dit pas tous les mots auxquels nous avons pensé, même s’ils nous ont aidé dans notre réflexion. Nous finissons par dire uniquement les mots que nous avons jugé les plus adéquats.
Suivre le “raisonnement” de la machine et détecter ses failles
Ces mots intermédiaires seraient visibles grâce à un outil nommé lentille jacobienne (ou J-lens), pour la matrice mathématique utilisée pour les déceler (matrice jacobienne) dans ce qu’ils appellent le J-space ou espace jacobien. Selon les auteurs, ces mots ne sont pas seulement des alternatives au mot final choisi par l’IA, mais des représentations internes que l’IA garde en mémoire pour mieux “comprendre” la question posée et comment y répondre. Par exemple, lorsque les auteurs ont demandé à Claude de faire un calcul arithmétique ((4+17)*2+7), un des mots détectés dans ce J-space était “math” (mathématiques en anglais), montrant que l’IA avait compris qu’il s’agissait de mathématiques et donc qu’elle devait réaliser un calcul avec des chiffres.
L’outil permettrait ainsi de mieux suivre le “raisonnement” de l’IA, mais aussi d’évaluer la qualité des réponses. Dans un autre exemple, leur J-lens aurait détecté le moment où la machine décide de tricher pour pouvoir répondre à une instruction. Elle devait trouver un problème dans des codes informatiques, sauf qu’il n’y en avait aucun. Comme l’IA devait trouver un problème, elle a décidé de l’inventer. Durant ce processus, deux mots sont apparus plusieurs fois dans le J-space : “panic” (pour panique) et “fake” (pour faux). La machine aurait donc “paniqué” lorsqu’elle n’a pas trouvé ce qu’on lui demandait de trouver, et puis aurait décidé de créer un “faux” pour pouvoir remplir son objectif de trouver une erreur, quitte à la fabriquer.
Ces affirmations sont bien sûr à prendre avec des pincettes tant qu’elles ne sont pas confirmées par d’autres équipes. Mais si elles se confirment, elles faciliteraient la détection des hallucinations qui pullulent dans les réponses des IA actuelles. Ou, pour reprendre l’élan poétique des auteurs, cet outil nous permettrait de plonger la tête sous l’eau pour voir si ce qui se cache sous la surface est bien vrai, ou un simple mensonge de la machine.
Source:
www.sciencesetavenir.fr
