Un partenariat entre Qualcomm et une startup d’IA promet une IA ultra-rapide là où elle est vraiment nécessaire : rechercher et utiliser vos photos et vidéos comme source d’informations stockées localement sur votre appareil.
À l’heure actuelle, le partenariat est fondamental et tourné vers l’avenir. Memories.ai lance ce qu’elle appelle ses Large Visual Memory Models 2.0 en partenariat avec Qualcomm, en vue de sa sortie en 2026. À ce stade, les deux sociétés commenceront à présenter le LVMM aux clients qui développent leurs propres applications pour smartphones, casques et PC.
Pourrions-nous voir une galerie Samsung sur un téléphone Android, alimenté par Memories ? Conceptuellement, c’est le genre de relation envisagée par Memories.ai.
Les gens ne sont pas doués pour se souvenir des détails d’une expérience, mais un visuel peut servir de déclencheur pour déverrouiller les détails environnants. C’est la métaphore utilisée par Memories.ai, comme la façon dont l’image d’un hamburger que vous avez mangé il y a deux semaines aide à ramener tous les détails de ce que vous avez mangé, où il était et avec qui vous l’avez mangé, a expliqué Shawn Shen, co-fondateur et directeur général de Memories.Ai. Le problème que Memories.ai essaie de résoudre est que les machines ont appris à être géniales et à reconnaître les relations entre les mots et les données, mais sont beaucoup moins capables en matière d’images.
« En fin de compte, les souvenirs l’emporteront », a déclaré Shen.
Memories.ai développe deux éléments technologiques : un encodeur et l’infrastructure de recherche. Memories n’alimente pas réellement l’image ou la vidéo que vous souhaitez retirer ou montrer à vos amis ou à votre famille. Au lieu de cela, il s’agit de capturer une version de l’image ou de la vidéo optimisée pour les informations qu’elle contient. Ces données sont ensuite transmises à l’infrastructure de recherche, de sorte qu’une requête telle que « mon groupe d’amis dînant en Corée » renvoie les informations appropriées.
Memories a fourni ci-dessous une démonstration de sa technologie, ainsi que la manière dont les vidéos peuvent être recherchées et interrogées en langage naturel.
Recherche de photos et requête de photos
La technologie Memories évolue dans plusieurs directions différentes. Pour l’instant, le partenariat semble viser simplement à fournir une meilleure version de la recherche de photos et de vidéos sur l’appareil, en prenant essentiellement quelque chose comme Google Photos et en développant une version supérieure et privée. Certaines applications de galerie de photos intégrées marquent les photos avec des lieux ou des personnes qu’elles ont capturées ; Memories crée essentiellement ces balises à la volée.
Shen a déclaré que la technologie de codage pouvait fonctionner en permanence, récupérant les informations glanées dans le monde réel. Il ne semble cependant pas que l’enregistrement constant soit un plan pour les ordinateurs de poche comme la plate-forme XR de Qualcomm pour les lunettes intelligentes ou d’autres appareils portables. Au lieu de cela, cela pourrait être une fonction pour une caméra de sécurité. La deuxième fonction majeure de la technologie Memories.ai est la possibilité de « lui parler », de la même manière que le service de transcription IA d’Otter.ai vous permet de poser des questions au service sur une transcription particulière.
« Quand la pizza a-t-elle été livrée pour la dernière fois ? Quels événements suspects se sont produits autour de ma maison ? Quand mon chien a-t-il renversé le vase ? Vous pouvez interagir avec tous vos fichiers multimédias personnels enregistrés par les caméras en discutant simplement en langage naturel », a déclaré Shen.
Certaines de ces informations pourraient bien entendu provenir de différentes sources ; vous pouvez toujours savoir la dernière fois que vous êtes allé au Japon en consultant votre calendrier ou en recherchant une réservation de voyage sur votre courrier électronique. Memories.ai pense que vous trouverez plus de contexte que cela dans une photo ou une vidéo.
Le partenariat Qualcomm est la première fois que l’équipe Memories.ai s’associe publiquement à une société de puces pour la recherche sur l’appareil.
« Ce partenariat permettra aux plates-formes d’IA non seulement réactives mais également sensibles au contexte, capables de conserver des informations visuelles, de reconnaître des modèles sur de longues périodes et de fonctionner de manière fiable même à la périphérie des réseaux », a déclaré Vinesh Sukumar, vice-président de la gestion des produits et responsable de la génération d’IA chez Qualcomm, dans un communiqué. « Ensemble, nous accélérons notre objectif commun : fournir une intelligence plus intelligente et plus intuitive aux applications du monde réel. »
En interne, Qualcomm est « très enthousiasmé » par ce partenariat, estimant que la technologie Memories.ai pourrait être utilisée pour rechercher dans des vidéos et même éventuellement les éditer, ont déclaré des employés. De plus, le modèle Memories est suffisamment petit pour pouvoir être exécuté localement sur l’appareil, éliminant ainsi le besoin d’être connecté au cloud ainsi que le décalage nécessaire pour faire des allers-retours avec le cloud lors de la recherche.
Le partenariat n’identifie pas spécifiquement les processeurs Qualcomm ciblés, mais Shen a déclaré que le processus d’encodage est exécuté sur le NPU local et que la récupération revient essentiellement à utiliser le CPU pour récupérer des requêtes à partir d’une base de données. Qualcomm, bien sûr, a lancé cet automne le processeur PC Snapdragon X2 Elite, aux côtés du Snapdragon 8 Elite Gen 5 pour smartphones et autres appareils mobiles.
À terme, a déclaré Shen, Memories prévoit de concevoir sa propre application. Mais pour l’instant, Memories et Qualcomm ont l’intention de commencer à proposer aux fabricants d’appareils d’intégrer la technologie Memories.ai dans les appareils portables, les téléphones et les appareils photo à partir de 2026.
