En résumé:
- L’examen par PCWorld de la nouvelle fonctionnalité « utilisation de l’ordinateur » de Claude montre que l’IA peut contrôler les ordinateurs de bureau Mac, mais est confrontée à des limitations importantes avec des interfaces complexes telles que les applications d’échecs.
- La fonctionnalité nécessite des autorisations d’enregistrement d’écran et d’accessibilité étendues, ce qui soulève des problèmes de confidentialité tout en étant lente et gourmande en jetons pour les abonnés payants.
- Bien que fascinante en tant qu’avancée de l’IA, elle est actuellement peu pratique pour la plupart des utilisateurs en raison de problèmes de performances et de coûts d’utilisation élevés.
J’étais donc là, assis devant mon Mac mini avec l’application Claude sur mon écran, attendant de répondre à mes attentes. Avec beaucoup d’appréhension, j’avais accordé à Claude la permission de prendre le contrôle de mon Mac en utilisant sa fonctionnalité « utilisation de l’ordinateur » qui venait d’être lancée, mais j’avais du mal à décider ce que je voulais réellement que Claude fasse. faire sur mon Mac.
Finalement, j’ai décidé que je voulais que Claude joue aux échecs.
« Claude, peux-tu ouvrir l’application Chess ? » » ai-je demandé. Un instant plus tard, les bords de l’écran de mon Mac sont devenus rouges et une fenêtre contextuelle a averti que Claude prenait le contrôle de mon ordinateur. Ensuite, l’icône de l’application Chess est apparue dans le dock macOS et un échiquier est apparu.
« Les échecs sont ouverts! » Claude a rapporté. « On dirait que vous avez déjà une partie en cours – les blancs doivent avancer. »
C’est là que j’ai eu un picotement, un de ces picotements du type « il se passe quelque chose de vraiment cool » que j’éprouve parfois lorsque j’essaie pour la première fois une nouvelle fonctionnalité d’IA délirante. « Allez-y et jouez à un jeu », dis-je à Claude.
Et puis… eh bien, rien. J’ai attendu, attendu et attendu encore, jusqu’à ce que je constate que mon allocation de cinq heures d’utilisation de Claude était pratiquement épuisée après à peine 30 minutes d’utilisation de l’ordinateur de Claude. (Je suis abonné à Claude Pro, pas à Claude Max.)
Alors si vous vous demandez pourquoi je n’ai laissé Claude utiliser sa nouvelle fonctionnalité « utilisation informatique » que pendant une demi-heure seulement, c’est pourquoi. (J’expliquerai les raisons des problèmes d’échecs de Claude dans un instant.) Et pendant que j’attends la fin de la période de recharge d’utilisation de Claude, je me demande : « Cool, mais comment et pourquoi devrais-je réellement utiliser cette chose ?
« L’utilisation de l’ordinateur » pour les LLM comme Claude n’est pas une fonctionnalité particulièrement nouvelle : Anthropic en parle depuis au moins 2024, et le modèle GPT-5.4 d’OpenAI peut utiliser des ordinateurs lorsqu’il a accès à des outils compatibles. Ce qui est nouveau ici, c’est qu’Anthropic vient de déployer l’utilisation d’un ordinateur sur l’application grand public Claude, ce qui signifie que les utilisateurs quotidiens peuvent essayer la fonctionnalité (qui est encore en « aperçu de recherche ») dès maintenant.
Il y a bien sûr des mises en garde à considérer. D’une part, l’utilisation de l’ordinateur sur l’application Claude est actuellement réservée aux utilisateurs Mac, de la même manière que les appareils macOS ont obtenu la première chance chez Claude Cowork. (La prise en charge de Windows « sera bientôt disponible », déclare Anthropic.)
Deuxièmement, vous devez être un utilisateur payant de Claude Pro ou Max pour essayer l’astuce d’utilisation de l’ordinateur, ce qui signifie que les utilisateurs gratuits n’ont pas besoin de postuler.
Et troisièmement, les implications en termes de confidentialité du fait de permettre à Claude de contrôler votre Mac sont assez inquiétantes. Pour que Claude prenne en charge votre souris, il doit prendre des captures d’écran pour voir où il se trouve et où il clique, ce qui signifie qu’il peut tout voir sur votre écran : ouvrir des fichiers PDF (comme des relevés bancaires), des fenêtres de discussion, des onglets de navigateur, etc.
Vous trouverez la bascule « utilisation de l’ordinateur » de Claude dans la Paramètres > Général menu, et vous devrez accorder à Claude les autorisations « d’accessibilité » et « d’enregistrement d’écran » au niveau macOS. Vous devez également donner à Claude un accès spécifique à une application avant qu’il puisse l’ouvrir.
Mais une fois que Claude a accès à une application, elle peut utiliser ses menus, saisir des saisies à l’aide du clavier et théoriquement faire tout ce qu’elle veut. Anthropic dit qu’il existe des garde-fous pour empêcher Claude de négocier des actions, de gratter des images faciales ou de faire d’autres choses ébouriffantes, mais vous devriez quand même vous abstenir de demander à Claude de lancer Quicken.
Alors pour mes brefs tests, j’ai demandé à Claude d’effectuer des tâches assez anodines. Par exemple, j’ai demandé à Claude d’ouvrir l’application macOS Notes et de créer une nouvelle note indiquant « Hello World ». Les bordures de mon écran sont devenues rouges lorsque Claude a pris le relais (semblable à ce qui se passe dans le navigateur Chrome lorsque Gemini commence à naviguer) et j’ai regardé l’application Notes s’ouvrir et Claude créer la note et commencer à taper.
J’ai également essayé l’utilisation de l’ordinateur Claude via la nouvelle fonctionnalité Dispatch d’Anthropic, qui vous permet de contrôler les sessions de bureau Claude à distance depuis l’application mobile Claude. « Claude, peux-tu utiliser cette même note et ajouter une liste de courses avec les ingrédients des lasagnes ? » J’ai tapé sur mon iPhone.
Quelques secondes plus tard, c’est exactement ce que Claude a fait, en tapant la liste sur mon bureau Mac. « C’est fait ! La liste de courses des lasagnes est maintenant dans la note, avec tous les ingrédients : nouilles, bœuf haché, saucisse italienne, sauce/pâte de tomate/tomates concassées, ricotta, mozzarella, parmesan, œuf, ail, oignon, huile d’olive et herbes séchées. «
Puis vint l’expérience d’échecs, où Claude s’est raccroché en essayant de déplacer une seule pièce d’échecs. « L’application Chess utilise un échiquier en perspective 3D, ce qui rend difficile le clic précis sur les pièces », a expliqué Claude plus tard, et a également révélé toutes les méthodes qu’elle a essayées, y compris le bricolage du menu Paramètres et le zoom sur l’échiquier. Toute cette réflexion et les tentatives infructueuses qui ont suivi coûtent des jetons, et une fois que j’ai vu que mon allocation d’utilisation de cinq heures était presque épuisée, j’ai arrêté la tâche.
Alors, intéressant, mais et alors ? Pourquoi demander à Claude de rédiger une liste de courses pour les lasagnes sur mon bureau alors que je pourrais tout aussi bien le faire dans l’application Claude, puis transférer la liste dans Notes sur mon iPhone ? Et à quoi sert Claude de pouvoir utiliser Quicken sur mon bureau si je ne le lui permets pas pour des raisons de confidentialité ?
Eh bien, ce sont de très bonnes questions, et personnellement, je ne vois pas de cas d’utilisation informatique de Claude pour moi – ou du moins, pas encore.
OMS pourrait utiliser les capacités informatiques de Claude ? De bons exemples incluent les développeurs ou autres utilisateurs avancés cherchant à automatiser des tâches répétitives nécessitant de cliquer sur une interface graphique de bureau, ou peut-être de tester l’interface utilisateur.
Une possibilité que j’aimerais essayer est d’utiliser Claude pour contrôler Handbrake, l’application de conversion vidéo que j’utilise pour traiter les vidéos avant de les ajouter à ma bibliothèque Plex. C’est une tâche fastidieuse qui nécessite de nombreux clics sur l’interface, et je peux imaginer que cela se déchargera sur Claude, c’est-à-dire une fois que mon allocation d’utilisation de Claude sera actualisée.
Les capacités de Claude en matière d’utilisation de l’ordinateur ouvrent la voie à un avenir sur lequel j’écrivais la semaine dernière : un avenir où nos PC et Mac seront contrôlés par des agents IA, et au lieu d’utiliser des applications pour effectuer des tâches de bureau, nous demandons simplement à nos agents de les faire pour nous.
Mais dans l’état actuel des choses, tous les clics de souris, les frappes au clavier et les captures d’écran constantes nécessaires à l’utilisation de l’ordinateur de Claude (ou à tout LLM contrôlant l’ordinateur) sont lents et coûteux. Et puis il y a les problèmes de confidentialité ainsi que le risque d’injection rapide, lorsqu’un document ou un site Web malveillant tente de tromper Claude pour qu’il révèle des données sensibles ou modifie ses propres instructions « d’invite système ». (Anthropic dit que Claude est formé pour détecter s’il est soumis à une attaque par injection rapide.)
En d’autres termes, l’utilisation de l’ordinateur par Claude est un aperçu fascinant d’un avenir qui, du moins pour la plupart d’entre nous, n’est pas prêt à être diffusé aux heures de grande écoute.
