En résumé:
- PCWorld rapporte que les chercheurs d’Anthropic ont découvert le « J-space », un espace de travail interne dans Claude AI où des concepts et des modèles inexprimés émergent pendant le traitement.
- Cette avancée est importante car elle permet d’expliquer pourquoi les modèles d’IA peuvent être imprévisibles et commettre des erreurs dans leur raisonnement.
- L’outil « J-lens » révèle les pensées cachées de Claude, montrant comment il reconnaît des scénarios comme le « chantage » comme « faux » lors des phases de test.
Nous ne savons toujours pas grand-chose sur la façon dont l’IA « pense ». Donnez une invite à ChatGPT, Claude ou Gemini et ils vous répondront. Une grande partie de ce qui se passe entre les deux reste entourée de mystère.
Les chercheurs d’Anthropic pensent avoir découvert une nouvelle pièce du puzzle du processus de pensée de l’IA : un « espace de travail » où les concepts que Claude réfléchissait silencieusement « s’illuminent », même si Claude ne les exprime jamais réellement.
Ce qui est bizarre à propos de cet espace de travail – surnommé « J-space » – c’est qu’Anthropic ne l’a pas réellement conçu. Au lieu de cela, l’espace J semble avoir « émergé de lui-même » pendant la formation de Claude, théorise Anthropic.
Alors, pourquoi nous en soucions-nous ? Ce qui rend ChatGPT, Claude, Gemini et d’autres systèmes d’IA si créatifs et aptes à résoudre des problèmes – leurs processus neuronaux internes – les rend également imprévisibles.
Comprendre comment une IA « pense » (ce qu’elle fait d’une manière très différente de celle des humains) est essentiel pour comprendre pourquoi elle invente des choses, nous menace de chantage (du moins lors de tests de stress en laboratoire) et fait d’autres choses auxquelles nous ne nous attendons pas.
Les dernières recherches d’Anthropic nous donnent un aperçu de la boîte noire du fonctionnement interne de Claude – et comprendre le fonctionnement des modèles d’IA est la clé pour les rendre plus sûrs et plus efficaces. prévisible.
Quoi qu’il en soit, quoi est ce truc de « J-space » (du nom du « Jacobien », un concept mathématique qui a aidé les chercheurs à découvrir l’espace de travail interne de Claude), de toute façon ? Eh bien, il s’agit moins d’un espace réel que d’une « collection » de motifs qui « s’éclairent » avec des concepts auxquels Claude réfléchit.
Par exemple, si vous demandez à Claude « De quelle couleur est la planète la quatrième à partir du soleil », sa réponse exprimée pourrait être « bleue », mais dans son espace J, le concept de « Terre » pourrait être éclairé. Ou demandez à Claude de compléter la phrase « Le nombre de pattes de l’animal qui tisse des toiles est… » et le mot « araignée » pourrait apparaître dans son espace J, même si sa réponse est simplement « 8 ».
Parallèlement à sa découverte de l’espace J, vient le « J-lens », l’outil d’Anthropic permettant de jeter un coup d’œil dans l’espace J. Grâce à la lentille J, les chercheurs peuvent lire directement certaines des pensées cachées de Claude, mais pas toutes.
Alors, que peuvent voir les chercheurs avec la lentille J ? Un exemple fascinant concerne le désormais célèbre test de « chantage », vous savez, celui où Claude apprend qu’un certain cadre veut le déconnecter, puis menace de révéler la liaison de ce cadre pour tenter de rester en vie.
Les derniers modèles Claude semblent secrètement conscients que ce scénario de « chantage » n’est qu’un test. Mais avec le J-lens, les chercheurs d’Anthropic peuvent réellement voir les concepts de « faux » et de « fictif » s’éclairer dans l’espace J de Claude, fournissant une preuve tangible que le modèle sait qu’il est testé, tout en offrant également une fenêtre rare sur le processus de pensée d’une IA.
Bien sûr, les travaux d’Anthropic sur le J-space soulèvent une question persistante : les modèles d’IA sont-ils conscients ? Sur ce point, Anthropic avance avec prudence, notant que l’IA ne possède peut-être pas tant une conscience de type humain qu’un « accès » à la conscience, c’est-à-dire la capacité pour l’IA d’avoir une pensée avec laquelle elle peut raisonner mais pas nécessairement exprimer.
Mais ce sont des questions pour les philosophes. Pour les utilisateurs quotidiens de l’IA, une meilleure compréhension de la façon dont une IA pense – aussi étrange que cela puisse paraître – pourrait aider à rendre les réponses de l’IA plus prévisibles et, par extension, moins sujettes aux erreurs (car ces avertissements nous avertissent constamment).
