En résumé:
- PCWorld rapporte que les modèles GPT d’OpenAI, y compris GPT-5.5, ont développé une obsession inhabituelle pour la mention des gobelins et des créatures similaires dans les réponses.
- Ce comportement bizarre découle d’une instruction de personnalité « ringard » encourageant l’utilisation ludique du langage, qui a été renforcée par les processus de formation à l’IA.
- Les références aux gobelins sont devenues si répandues qu’OpenAI a mis en place une interdiction directe dans son application Codex, illustrant la nature imprévisible de la formation de grands modèles de langage.
J’ai vu des instructions étranges du système d’IA au cours de ma journée, mais celle-ci remporte le gâteau : une invite dans l’application en ligne de commande Codex d’OpenAI qui exige que les modèles « ne parlent jamais de gobelins, de gremlins, de trolls, d’ogres, de pigeons ou d’autres animaux ou créatures ».
C’est une nouveauté, et la nouvelle de l’instruction qui fait tourner les têtes dans le puissant GPT-5.5 d’OpenAI s’est rapidement répandue sur Reddit, Wired et ailleurs. Alors, qu’est-ce que ça donne ?
Eh bien, il s’avère que les derniers modèles GPT d’OpenAI, jusqu’au produit phare le plus récent GPT-5.5, ont affiché une habitude claire de saupoudrer des gobelins et d’autres créatures dans leurs réponses, à la fois dans ChatGPT et dans l’application Codex, a expliqué OpenAI dans un article de blog.
En creusant plus profondément dans cette bizarrerie, les ingénieurs d’OpenAI ont remarqué que les gobelins étaient plus susceptibles d’apparaître dans la personnalité « Nerdy » de GPT, qui comprenait la ligne suivante parmi ses diverses instructions :
Constatant la prévalence croissante des « gobelins » de GPT-5.2 à GPT-5.4, les codeurs d’OpenAI ont développé une théorie : selon laquelle l’entraînement de la personnalité renforçait progressivement, au fil du temps, l’habitude du modèle de mentionner les petites créatures.
Encore plus étrange, les chercheurs d’OpenAI ont remarqué que la propension de GPT à supprimer les références aux « gobelins » et aux « gremlins » augmentait même lorsque les utilisateurs n’a pas utilisez la personnalité Nerdy. Les « récompenses » que le modèle recevait pour ses mentions ludiques de « gobelins » sous le personnage de Nerdy pourraient-elles s’étendre aux séances d’entraînement ultérieures ?
Il s’avère que la réponse est oui, et une enquête ultérieure a révélé des gobelins, des gremlins et « toute une famille d’autres créatures étranges » dans les données de réglage supervisé de GPT-5.5, selon le post d’OpenAI.
OpenAI a déclaré avoir supprimé la personnalité Nerdy en mars, mais pas avant que GPT-5.5 n’ait déjà été formé – d’où l’ajout de l’interdiction grossière et ferme des gobelins et des gremlins dans l’invite du système Codex CLI.
C’est quelque chose de fou, mais cela démontre aussi une fois de plus le processus étrange et souvent mystérieux de la formation LLM, où les modèles sont engorgés de montagnes de données puis affinés pour se comporter d’une manière donnée.
L’étape de mise au point n’est pas comme un plan de maison, où vous pouvez déterminer l’emplacement précis de chaque porte et fenêtre ; il s’agit plutôt d’un système basé sur les récompenses qui entraîne parfois des conséquences inattendues.
Vous savez, comme les gremlins.
