En résumé:
- PCWorld rend compte de la nouvelle fonctionnalité « Magic Pointer » de Google, qui utilise Gemini AI pour interpréter les gestes de la souris afin de contrôler les tâches sur les prochains Googlebooks remplaçant les Chromebooks.
- La fonctionnalité développée par DeepMind promet des fonctionnalités avancées telles que l’édition de Google Docs et la réservation de tables de restaurant via de simples mouvements de souris et des invites d’IA.
- Les premiers tests effectués dans Google AI Studio révèlent des capacités de base en matière d’édition d’images et de navigation sur Maps, mais la mise en œuvre actuelle reste maladroite et limitée pour une adoption généralisée.
Une fonctionnalité emblématique des prochains Googlebooks de Google promet d’apporter une nouvelle touche d’IA à l’une des plus anciennes interfaces informatiques : le pointeur de la souris.
Avec le Magic Pointer, un produit du laboratoire DeepMind de Google, vous pourrez agiter le pointeur sur un objet ou une zone sur l’écran de l’ordinateur et dire simplement à Gemini ce que vous voulez qu’il fasse : de la modification de l’image que vous pointez à l’ajout d’ingrédients d’une recette à une liste de courses, le pointeur de la souris compatible avec l’IA agissant comme un raccourci pour les invites.
Le Magic Pointer est l’une des fonctionnalités haut de gamme des nouveaux Googlebooks de Google, le successeur des Chromebooks alimentés par Gemini et attendus à l’automne. Mais même s’il faudra attendre plus tard cette année pour mettre la main sur un Googlebook, vous pouvez tester le Magic Pointer dès maintenant.
Une façon d’essayer Magic Pointer consiste à utiliser Gemini dans Chrome, qui vous permet d’utiliser le pointeur pour interroger facilement Gemini sur n’importe quelle partie d’une page Web donnée. Maintenant, je n’ai pas pu faire fonctionner Magic Pointer dans Chrome (c’est peut-être parce que j’utilise Chrome sur un Mac), mais je a fait parvenez à le faire fonctionner dans Google AI Studio, qui propose quelques brèves démos de Magic Pointer.
Dans la première démo, vous pouvez utiliser Magic Pointer pour modifier une image – dans ce cas, une illustration de dessin animé d’une plage peuplée d’un palmier, d’un crabe, d’un pingouin surfeur, d’un bonhomme de neige et d’un panneau en bois.
La démo vous guide à travers une série de tâches, dont une dans laquelle vous déplacez le crabe d’une partie de l’image à une autre. Il vous suffit d’agiter le pointeur magique vers le crabe, puis de déplacer le pointeur là où vous voulez que le crabe aille et de dire « déplacez le crabe ici ».
Les points sur l’écran où vous avez agité le pointeur devraient commencer à briller en jaune pendant que Gemini traite votre invite. Lorsque je l’ai essayé, Gemini a mâché l’invite « déplacez le crabe ici » pendant plusieurs secondes avant de finalement déplacer le crabe là où je l’avais demandé. Brut, oui, mais il a fait le travail.
J’ai ensuite pointé du doigt la casquette du bonhomme de neige et dit : « faites-en un chapeau de soleil », et boum, un chapeau de soleil est apparu. J’ai également utilisé le pointeur magique pour transformer le pingouin en tortue (« faites-en une tortue ») et j’ai modifié l’écriture sur le panneau (« faites dire à ceci la plage de Ben », bien que Gemini l’ait entendu comme « plage de Benz »).
Dans la deuxième démo, vous utilisez le Magic Pointer pour rechercher des lieux sur Google Maps. Pour celui-ci, j’ai pointé la souris sur une image de Hyde Park à Londres et j’ai demandé « où est-ce ? En quelques instants, Gemini avait localisé Hyde Park sur Google Maps.
Une tâche beaucoup plus difficile impliquait d’utiliser le pointeur magique pour demander aux Gémeaux des directions d’un point à un autre. Dans la démo, vous êtes censé encercler une photo d’un endroit, puis encercler une autre image, puis dire « comment puis-je aller d’ici à là ? »
Mais lors des premières tentatives, Gemini a continué à insister sur le fait que j’entourais la même photo, même si j’étais presque sûr que ce n’était pas le cas. Au moment où j’ai fait fonctionner la démo, j’avais l’impression que taper l’invite complète dans Gemini aurait été plus facile.
Bien sûr, le premier Magic Pointer que j’ai essayé était extrêmement limité, et Google promet des fonctionnalités beaucoup plus puissantes une fois son nouveau Googlebooks lancé. Par exemple, vous pourrez pointer sur des sections d’un document Google et demander à Gemini de les réécrire, ou pointer sur l’image d’un restaurant et demander à Gemini de réserver une table.
Intéressant, mais le Magic Pointer sera-t-il vraiment pouvoir réinventer la souris ? Colorez-moi sceptique pour l’instant.
