Les cas de «psychose de l’IA» sont apparemment en augmentation, et plusieurs personnes se sont suicidées après avoir conversé avec le modèle de grande langue Chatgpt. C’est assez horrible. Les représentants de Chatgpt Maker Openai témoignent devant le Congrès américain en réponse, et la société annonce de nouvelles méthodes de détection de l’âge des utilisateurs. Selon le PDG, cela peut inclure la vérification d’identification.
Les systèmes de détection du nouvel âge sont mis en œuvre dans Chatgpt, et lorsque le système automatisé ne peut pas vérifier (pour lui-même, au moins) qu’un utilisateur est un adulte, il sera par défaut l’expérience «de moins de 18 ans» plus verrouillée qui bloque le contenu sexuel et, «impliquant potentiellement l’application de la loi pour assurer la sécurité». Dans un article de blog séparé repéré par ARS Technica, le PDG d’Openai, Sam Altman, a déclaré que dans certains pays, le système peut également demander une pièce d’identité pour vérifier l’âge de l’utilisateur.
« Nous savons qu’il s’agit d’un compromis pour la confidentialité pour les adultes, mais pensons que c’est un compromis digne », a écrit Altman. La politique officielle de Chatgpt est que les utilisateurs de moins de 13 ans ne sont pas autorisés, mais OpenAI affirme qu’il construit une expérience appropriée pour les enfants de 13 à 17 ans.
Altman a également parlé de l’angle de confidentialité, une sérieuse préoccupation dans les pays et les États qui nécessitent désormais une vérification des identifiants avant que les adultes puissent accéder à la pornographie ou à un autre contenu controversé. «Nous développons des fonctionnalités de sécurité avancées pour garantir que vos données sont privées, même des employés d’Openai», a écrit Altman. Mais des exceptions seront faites, apparemment à la discrétion des systèmes de Chatgpt et OpenAI. «Une mauvaise utilisation grave potentielle», y compris les menaces à la vie de quelqu’un ou prévoit de nuire aux autres, ou «un incident potentiel de cybersécurité massif», pourrait être vu et examiné par des modérateurs humains.
À mesure que Chatgpt et d’autres services de modèle de grande langue deviennent plus omniprésents, leur utilisation est devenue plus examinée sous tous les angles. La «psychose de l’IA» semble être un phénomène où les utilisateurs communiquent avec un LLM comme une personne, et la nature généralement obligeante de la conception de LLM les se livre à un cycle de digression répétitif de l’illusion et du préjudice potentiel. Le mois dernier, les parents d’un homme de 16 ans de Californie qui se sont suicidés ont déposé une plainte pour mort injustifiée contre Openai. L’adolescent avait conversé avec Chatgpt, et les journaux des conversations qui ont été confirmés comme authentiques incluent des instructions pour lier un nœud coulant et ce qui semble être des encouragements et un soutien à la décision de se suicider.
Ce n’est que la dernière d’une série continue de crises et de suicides en santé mentale, qui semblent être directement inspirées ou aggravées par le chat avec des produits «intelligence artificielle» comme Chatgpt et le personnage.ai. Les parents dans l’affaire ci-dessus et les représentants d’OpenAI ont témoigné devant le Sénat américain plus tôt cette semaine dans une enquête sur les systèmes de chat, et la Federal Trade Commission examine Openai, personnage.ai, meta, google et xai (maintenant propriétaire officiel de X, anciennement Twitter, sous Elon Musk) pour les dangers potentiels des chatbots AI.
Comme plus d’un billion de dollars américains sont investis dans diverses industries de l’IA, et les pays s’efforcent de s’assurer qu’ils ont un morceau de cette tarte, les questions émergent sur les dangers des systèmes LLM. Mais avec tout cet argent qui vole, une approche «bouger rapide et casser les choses» semble avoir été la position par défaut jusqu’à présent. Les sauvegardes émergent, mais l’équilibrer avec la confidentialité des utilisateurs ne sera pas facile. « Nous réalisons que ces principes sont en conflit et que tout le monde ne sera pas d’accord avec la façon dont nous résolvons ce conflit », a écrit Altman.
