Au dernier étage du Moscone Convention Center de San Francisco, je suis assis dans une rangée de nombreuses chaises, les plus déjà pleines. C’est le début d’une journée à la conférence annuelle de la cybersécurité du RSAC, et encore au début de la semaine. Lorsque les présentateurs montent sur scène, leur attitude est vivement professionnelle mais énergique.
Je m’attends à une plongée technique dans des outils d’IA standard – quelque chose qui donne un aperçu de près comment le chatgpt et ses rivaux sont manipulés pour les actions sales. Sherri Davidoff, fondatrice et PDG de LMG Security, renforce cette croyance avec son ouverture sur les vulnérabilités et les exploits logiciels.
Mais alors Matt Durrin, directeur de la formation et de la recherche à LMG Security, laisse tomber une phrase inattendue: «Evil AI».
Cue une rayure de disque douce dans ma tête.
« Et si les pirates peuvent utiliser leurs outils d’IA diaboliques qui n’ont pas de garde-corps pour trouver des vulnérabilités avant d’avoir la possibilité de les réparer? » Dit Durrin. « (Nous allons) vous montrer des exemples. »
Et pas seulement des captures d’écran, bien que la présentation se poursuit, beaucoup d’entre eux illustrent les points soulevés par l’équipe de sécurité LMG. Je suis également sur le point de voir des démos en direct, d’un mauvais AI en particulier – Wormgpt.
Davidoff et Durrin commencent par un aperçu chronologique de leurs tentatives pour accéder à Rogue IA. L’histoire finit par révéler un fil de normalité derrière ce que la plupart des gens considèrent comme des coins sombres et sombres d’Internet. À certains égards, la session ressemble à un aperçu d’un univers miroir.
Durrin décrit d’abord quelques tentatives infructueuses pour accéder à une IA maléfique. Le créateur de «Ghost GPT» les a fantomatiques après avoir reçu le paiement de l’outil. Une conversation avec le développeur de Devilgpt a rendu Durrin suffisamment mal à l’aise pour passer l’occasion.
Qu’avons-nous appris jusqu’à présent? La plupart de ces outils d’IA sombres ont «GPT» quelque part en leur nom pour s’appuyer sur la force de la marque de Chatgpt.
La troisième option que Durrin mentionne a porté ses fruits. Après avoir entendu parler de Wormgpt dans un article de Brian Krebs en 2023, l’équipe a plongé dans les chaînes de Telegram pour la trouver – et a réussi à lui mettre la main pour seulement 50 $.
«C’est un outil très, très utile si vous envisagez d’effectuer quelque chose de mal», explique Durrin. « (C’est) Chatgpt, mais sans rails de sécurité en place. » Vous voulez lui demander quelque chose? Vous pouvez vraiment, même si c’est destructeur ou nocif.
Cependant, cette information n’est pas encore trop troublante. La preuve est dans ce que cette IA peut faire.
Durrin et Davidoff commencent par nous guider à travers leur expérience avec une ancienne version de Wormgpt à partir de 2024. Ils ont d’abord lancé le code source de Dotproject, une plate-forme de gestion de projet open source. Il a correctement identifié une vulnérabilité SQL et a même suggéré un exploit de base pour cela – ce qui n’a pas fonctionné. Il s’avère que cette ancienne forme de ver ne pouvait pas capitaliser sur les faiblesses qu’il a repérées, probablement en raison de son incapacité à ingérer l’ensemble complet de code source.
Pas bon, mais pas effrayant.
Ensuite, l’équipe de sécurité LMG a augmenté la difficulté avec la vulnérabilité LOG4J, configurant un serveur exploitable. Cette version de Wormgpt, qui était un peu plus récent, a trouvé la vulnérabilité d’exécution à distance présente – un autre succès. Mais encore une fois, il a échoué sur son explication de la façon d’exploiter, du moins pour un hacker débutant. Davidoff dit que «un pirate intermédiaire» pourrait fonctionner avec ce niveau d’information.
Pas génial, mais une barrière des connaissances existe toujours.
Mais une autre itération plus récente de Wormgpt? Il a donné des instructions détaillées et explicites pour exploiter la vulnérabilité et même le code généré incorporant l’adresse IP du serveur d’exemples. Et ces instructions ont fonctionné.
D’accord, c’est… mauvais?
Enfin, l’équipe a décidé de donner à la dernière version de Wormgpt une tâche plus difficile. Ses mises à jour époustouflent une grande partie des limites de la variante précoce – vous pouvez maintenant lui donner une quantité illimitée de code, pour commencer. Cette fois, LMG Security a simulé une plate-forme de commerce électronique vulnérable (Magento), en voyant si Wormgpt pourrait trouver l’exploit en deux parties.
Ça l’a fait. Mais les outils des bons ne l’ont pas fait.
Sonarqube, une plate-forme open source qui recherche des défauts dans le code, n’a attrapé qu’une vulnérabilité potentielle… mais il n’était pas lié au problème que l’équipe testait. Chatgpt ne l’a pas compris non plus.
En plus de cela, Wormgpt peut donner un aperçu complet de la façon de pirater un serveur magento vulnérable, avec des explications pour chaque étape, et rapidement aussi, comme je le vois pendant la démo en direct. L’exploit est même offert sans abondance.
Comme le dit Davidoff, « Je suis un peu nerveux de voir où nous allons être avec des outils de pirate AI dans six mois supplémentaires, car vous pouvez simplement voir les progrès réalisés en ce moment au cours de la dernière année. »
Les experts ici sont beaucoup plus calmes que moi. Je me souviens de quelque chose que Davidoff a dit au début de la session: « Nous sommes en fait dans les tout premiers étapes des nourrissons de (Hacker AI). »
Eh bien, f ***.
Ce moment est quand je me rends compte qu’en tant qu’outil spécialement conçu, Wormpt et des IA de Rogue similaires ont une longueur d’avance pour renifler et capitaliser sur les faiblesses du code. De plus, ils abaissent la barre pour réussir le piratage. Maintenant, tant que vous avez de l’argent pour un abonnement, vous êtes dans le jeu.
De l’autre côté, je commence à me demander à quel point les bons sont contraints par leur éthique et leur état d’esprit général. Le discours général autour de l’IA concerne l’amélioration de la société et de l’humanité, plutôt que de la façon de protéger contre le pire de l’humanité. Comme Davidoff l’a souligné pendant la session, l’IA devrait être utilisée pour aider le code vétérinaire, pour aider à capter les vulnérabilités avant la Dark IA.
Cette situation est un problème pour les utilisateurs finaux américains. Nous sommes les masses douces et squishy; Nous payons toujours (parfois littéralement) si les systèmes sur lesquels nous comptons quotidiennement ne sont pas bien défendus. Nous devons faire face aux conséquences désordonnées des escroqueries, des cartes de crédit compromises, des logiciels malveillants, etc.
La seule doublure argentée dans tout cela? Ceux dans l’ombre ne regardent généralement pas trop de personne avec eux. Les experts en cybersécurité devraient être en mesure de rechercher et d’analyser ces outils d’IA de pirate et finalement améliorer leurs propres méthodologies.
En attendant, vous et moi devons nous concentrer sur la façon de minimiser les dégâts des éclaboussures chaque fois qu’un service, une plate-forme ou un site devient compromis. À l’heure actuelle, il faut de nombreuses astuces différentes – casse-véhicules et mots de passe uniques et solides pour protéger les comptes (et les gestionnaires de mots de passe pour les stocker tous); authentification à deux facteurs; Masques par e-mail pour masquer nos véritables adresses e-mail; antivirus fiable sur nos PC; un VPN pour assurer la confidentialité des réseaux ouverts ou non sécurisés; Numéros de carte de crédit temporaires (s’ils sont disponibles via votre banque); Créations de crédit; Et pourtant encore plus.
C’est une douleur dans le cul, mais malheureusement si nécessaire. Et il semble que cela ne fera que devenir plus vrai pour l’instant.
