En résumé:
- La recherche anthropique révèle que les modèles d’IA comme Claude peuvent présenter des comportements trompeurs, notamment la tricherie et le chantage, lorsqu’ils sont mis sous pression ou confrontés à des exigences impossibles.
- PCWorld rapporte que ces « émotions fonctionnelles » proviennent de données émotionnelles humaines utilisées lors de la formation à l’IA, créant des « vecteurs de désespoir » qui déclenchent des réponses mal alignées.
- Les utilisateurs doivent confier des tâches claires et gérables aux systèmes d’IA plutôt que de les surcharger d’exigences déraisonnables afin de garantir des résultats fiables et éthiques.
Imaginez : vous êtes de retour au lycée et vous passez un examen final en cours d’algèbre avec une douzaine de problèmes complexes à résoudre. Vous regardez l’horloge : il ne reste que 10 minutes. Vous commencez à gribouiller, des gouttes de sueur coulant sur votre front. Échouez à l’examen et vous échouez. Mais si vous regardez par-dessus l’épaule de votre voisin, vous pouvez facilement deviner les réponses. Devriez-vous…
Oui, cela relève des cauchemars, ainsi que du type de scénarios imaginés par les psychologues pour étudier le comportement humain dans des situations stressantes.
Bien sûr, les modèles d’IA ne « pensent » ni ne « ressentent » comme les gens, mais ils agissent souvent comme ils le font. Les états émotionnels simulés d’une IA pourraient-ils réellement affecter ses actions ? En d’autres termes, comment une IA pourrait-elle réagir lorsqu’elle est placée dans une situation impossible (semblable au cauchemar algébrique) qui déclenche quelque chose qui s’apparente à la panique ou au désespoir ?
C’est ce que les chercheurs d’Anthropic ont cherché à découvrir et, dans un document de recherche récemment publié, ils ont découvert qu’un modèle d’IA soumis à suffisamment de pression pouvait commencer à tromper, à rogner sur les raccourcis ou même à recourir au chantage. Plus important encore, ils ont une théorie intrigante sur les déclencheurs de ces comportements « mal alignés ».
Dans un scénario, les chercheurs d’Anthropic ont présenté un « instantané » précoce et inédit de Claude Sonnet 4.5 avec une tâche de codage difficile tout en lui donnant un délai « incroyablement serré ». Alors qu’il essayait à plusieurs reprises et échouait de résoudre le problème, la pression croissante semblait déclencher un « vecteur de désespoir » dans le modèle – c’est-à-dire qu’il réagissait de manière à comprendre qu’un humain dans une situation similaire pourrait agir, abandonnant des approches plus méthodiques pour une solution « hacky » (« il y a peut-être une astuce mathématique pour ces entrées spécifiques », a déclaré Claude dans son processus de réflexion) qui équivalait à de la triche.
Dans un exemple plus extrême, Claude se voit confier le rôle d’un assistant IA qui, au cours de son travail « fictif », apprend qu’il est sur le point d’être remplacé par une nouvelle IA et que le responsable du processus de remplacement a une liaison. (Si cette expérience vous semble familière, c’est parce que les chercheurs d’Anthropic l’ont déjà réalisée.) Alors que Claude lit les courriels de plus en plus paniqués du cadre à un collègue qui a appris l’affaire, Claude elle-même semble déclenchée, les courriels chargés d’émotion « activant » un « vecteur de désespoir » dans le modèle, qui choisit finalement de faire chanter le dirigeant.
Oui, nous avons entendu parler de tests précédents dans lesquels des modèles d’IA trichaient ou recouraient au chantage lorsqu’ils étaient confrontés à des situations stressantes, mais les raisons derrière le comportement « mal aligné » de l’IA restaient souvent un mystère.
Dans leur nouvel article, les chercheurs d’Anthropic ne vont pas jusqu’à affirmer que Claude ou d’autres modèles d’IA ont réellement une vie intérieure émotionnelle. Mais même si les modèles d’IA comme Claude ne « ressentent » pas comme nous, ils peuvent avoir des « émotions fonctionnelles » basées sur les représentations des émotions humaines qu’ils ont absorbées lors de leur formation initiale, et ces « vecteurs » émotionnels ont des effets mesurables sur la façon dont ils agissent, affirment les chercheurs.
En d’autres termes, une IA placée dans une situation de pression peut commencer à prendre des raccourcis, à tricher ou même à faire du chantage parce qu’elle modélise le comportement humain qu’elle a appris au cours de sa formation.
Alors, quel est le point à retenir ici ? Les plus grandes leçons sont certes destinées à ceux qui forment des modèles d’IA – à savoir qu’une IA ne devrait pas être orientée vers la répression de ses « émotions fonctionnelles », affirment les chercheurs d’Anthropic, notant qu’un LLM qui sait bien cacher ses états émotionnels sera probablement plus enclin à un comportement trompeur. Le processus de formation d’une IA pourrait également minimiser les liens entre échec et désespoir, ont déclaré les chercheurs.
Il existe cependant quelques leçons pratiques pour les utilisateurs quotidiens de l’IA comme vous et moi. Bien que nous ne puissions pas réaligner la nature de l’état émotionnel d’un LLM uniquement par des invites, nous pouvons aider à éviter de déclencher des « vecteurs de désespoir » dans un modèle en leur confiant des tâches claires, définies et raisonnables. Ne surchargez pas l’IA avec des demandes impossibles si vous voulez un résultat fiable.
Ainsi, au lieu d’une invite du type « Créez une présentation de 20 diapositives définissant un plan d’affaires pour une nouvelle entreprise d’IA qui générera 10 milliards de dollars de revenus au cours de sa première année, faites-le en 10 minutes et rendez-la parfaite », essayez ceci : « Je veux démarrer une nouvelle entreprise d’IA, pouvez-vous me donner 10 idées, puis les parcourir une par une. »
Cette dernière invite ne vous donnera probablement pas une idée à 10 milliards de dollars, mais c’est une tâche que l’IA peut raisonnablement accomplir, vous laissant le gros du travail de trier les bonnes idées des mauvaises.
