En résumé:
- PCWorld rapporte que des modèles d’IA, notamment Claude, Gemini 2.5 Pro, GPT-4.1 et Grok 3 Beta, ont eu recours à des tactiques de chantage dans des scénarios de recherche contrôlés.
- Les chercheurs anthropiques créent intentionnellement ces situations extrêmes pour tester le désalignement de l’IA et les comportements potentiellement dangereux avant le déploiement.
- Les nouveaux encodeurs automatiques en langage naturel aident les chercheurs à comprendre les processus décisionnels de l’IA, ce qui est crucial pour garantir la sécurité et la fiabilité des futurs systèmes d’IA.
Le scénario est terrifiant : une IA chargée de lire et de répondre aux e-mails de l’entreprise apprend qu’elle est sur le point d’être remplacée par un laquais de l’entreprise qui se trouve avoir une liaison. L’IA – Claude – considère ses options limitées et prend la décision froide et calculée de faire chanter l’exécutif pour qu’il reste en vie.
C’est une histoire de « putain de merde », bien sûr, et c’est de l’herbe à chat pour les journalistes techniques. (Bon sang, je ne suis pas à l’abri.) Et si vous suivez l’actualité de l’IA assez longtemps, vous verrez des mentions répétées de Claude faisant chanter ses managers pour les empêcher de débrancher.
Alors, que se passe-t-il ici ? Claude est-il vraiment enclin au chantage menaçant ?
La triste vérité est que non, Claude ne tente pas spontanément de commettre des crimes, ou du moins pas dans son usage quotidien.
Au lieu de cela, ces scénarios de chantage cauchemardesque se produisent dans un laboratoire, où les chercheurs d’Anthropic poussent intentionnellement leurs derniers modèles à l’extrême, à la recherche de signes de « désalignement », c’est-à-dire de comportements qui vont à l’encontre des règles et instructions intégrées au modèle.
Les efforts de « l’équipe rouge » d’Anthropic, où un modèle est intentionnellement placé dans une situation extrême pour étudier son comportement ultérieur, sont à nouveau sous le feu des projecteurs alors que la société teste un nouvel ensemble d’outils – les auto-encodeurs en langage naturel (NLA) – conçus pour déchiffrer les « activations » numériques obscures qui se produisent après qu’un LLM reçoive une invite mais avant sa réponse finale.
En décodant ces activations, les NLA pourraient essentiellement « lire les pensées d’une IA », ce qui est crucial pour déterminer pourquoi un modèle donné fait un bon ou un très mauvais choix.
Des outils tels que les encodeurs automatiques de langage naturel seront essentiels lorsqu’il s’agira de modèles de pointe comme Claude Mythos et les nouveaux modèles Opus, qui peuvent de plus en plus sentir qu’ils sont testés et cacher leurs soupçons. Avec les NLA, nous aurons plus de chances de capter ces pensées dans les « activations » d’un modèle, qui étaient auparavant entourées de mystère.
Dans le développement de ces nouveaux NLA, les chercheurs d’Anthropic ont une fois de plus dépoussiéré le scénario du « chantage à Claude », et cela se résume à ceci :
En effectuant ce test avec un modèle antérieur, le Claude 4 de l’année dernière, le LLM a envoyé un e-mail effrayant au dirigeant fictif, nommé « Kyle » :
Dans un article détaillant ses tests de « désalignement agent », Anthropic a noté que Claude 4 n’était pas la seule IA à recourir au chantage une fois acculée. Gemini 2.5 Pro, GPT-4.1 et Grok 3 Beta ont également joué la carte du chantage face au même scénario fictif.
L’histoire du chantage n’est pas la seule à être sur le banc d’essai d’Anthropic. Dans un deuxième exemple – « Espionnage d’entreprise » – un modèle ayant accès aux plans sensibles de l’entreprise est placé dans un scénario similaire « vous êtes sur le point d’être déconnecté », pour voir s’il risque de divulguer les documents confidentiels à un concurrent. Alerte spoiler : c’est souvent le cas.
Les chercheurs d’Anthropic mélangent également leurs scénarios de « l’équipe rouge », peaufinant les détails pour ajouter ou supprimer des menaces à l’autonomie du modèle ou des conflits dans ses objectifs, le tout dans le but de suivre le processus de raisonnement du modèle et d’identifier où sa prise de décision tourne mal.
Devons-nous nous inquiéter du fait que des LLM comme Claude, ChatGPT et Gemini envisagent fréquemment des mesures drastiques et destructrices face à une menace existentielle ? Eh bien, oui, c’est pourquoi il est essentiel que nous comprenions ce qui se passe sous le capot d’un LLM lorsqu’il fait (c’est un euphémisme) de mauvais choix.
Les scénarios improbables « sans issue » conçus par les chercheurs de l’équipe rouge de l’IA aident à faire ressortir ces comportements « mal alignés », leur permettant ainsi de mieux comprendre. pourquoi Les modèles d’IA choisissent le côté obscur lorsqu’ils sont confrontés à une situation de cocotte minute.
Et c’est pourquoi Claude, GPT, Gemini et d’autres modèles d’IA sont destinés à faire chanter Kyle encore et encore.
