L'IA Pointer de Google DeepMind : Réinventer la souris pour les interactions avec Gemini

Google DeepMind a dévoilé le pointeur activé par l'IA, un prototype qui enrichit le curseur de souris traditionnel avec une conscience contextuelle propulsée par Gemini. L'idée principale : au lieu de faire glisser du contenu dans une fenêtre d'outil IA, les utilisateurs peuvent pointer n'importe quoi à l'écran et donner une commande en langage naturel (par exemple, pointer une image de bâtiment et dire « Montre-moi les directions »). L'IA comprend à la fois le contexte visuel et sémantique, traitant les pixels comme des entités actionnables (lieux, dates, objets).

Quatre principes d'interaction

• Maintenir le flux : L'IA fonctionne à travers toutes les applications, pas dans une fenêtre séparée. Exemples : pointer un PDF et demander un résumé à puces à coller dans un e-mail ; survoler un tableau et demander un camembert ; surligner une recette et dire « double tous les ingrédients ».
• Montrer et dire : Le pointeur capture le contexte visuel et sémantique, vous n'avez donc pas besoin d'une invite détaillée. Il suffit de pointer, et l'IA sait quel mot, paragraphe, partie d'image ou bloc de code est pertinent.
• Adopter la puissance de 'Ceci' et 'Cela' : Utilisez des raccourcis naturels comme « Corrige ceci », « Déplace cela ici » ou « Que signifie ceci ? » — l'IA combine le geste, le contexte et la parole pour déduire l'intention.
• Transformer les pixels en entités actionnables : Une photo d'une note griffonnée devient une liste de tâches interactive ; une image figée dans une vidéo de voyage devient un lien de réservation pour le restaurant montré.

Intégration dans les produits

DeepMind déploie ces capacités à deux endroits :

• Chrome (intégration Gemini) : Pointez une partie d'une page web et interrogez Gemini à ce sujet. Exemple : sélectionnez quelques produits et demandez à les comparer, ou pointez l'endroit où vous voulez visualiser un nouveau canapé.
• Googlebook (Magic Pointer) : Une fonctionnalité à venir pour l'ordinateur portable Googlebook qui met Gemini « au bout des doigts » pour des interactions intuitives.

Des démos expérimentales sont également disponibles dans Google AI Studio pour éditer des images ou trouver des lieux sur une carte en pointant et en parlant. L'équipe teste également des concepts futurs via la plateforme Disco de Google Labs.

À qui cela s'adresse : Aux développeurs construisant des interfaces d'agents IA, aux chercheurs UX, et à toute personne travaillant sur les modèles d'interaction homme-IA.