Tech • IA • Robotique
Propulsez l’avenir de la robotique avec Gemini
5/10INTRO
Google DeepMind fait progresser la robotique avec des modèles alimentés par Gemini qui permettent aux machines de percevoir, raisonner et agir dans des environnements réels complexes.
POINTS CLÉS
Passage de l’IA numérique aux agents physiques
L’intelligence artificielle s’étend au-delà du texte et du traitement de données vers des applications réelles dominées par l’incertitude et l’interaction physique. La robotique pose des défis comme interpréter des environnements désordonnés, reconnaître des dangers (ex. liquides renversés) et naviguer dans des espaces dynamiques. L’approche de DeepMind vise à rendre les machines fiables hors des cadres contrôlés.
Modèle Gemini Robotics ER pour le raisonnement
Le modèle Gemini Robotics ER 1.6 est conçu pour la robotique, combinant vision, compréhension du langage et raisonnement spatial. Contrairement aux modèles classiques, il agit comme une « unité logique », soutenant la perception et la planification dans la chaîne percevoir–planifier–agir.
Détection d’objets à vocabulaire ouvert
Le système remplace les modèles à étiquettes fixes par des modèles vision-langage (VLMs) capables de comprendre des descriptions naturelles. Les robots peuvent identifier des objets via des requêtes abstraites comme « l’outil le plus utilisé » sans jeux de données prédéfinis, réduisant l’entraînement spécifique et facilitant le déploiement.
Bon sens physique et raisonnement sémantique
Le modèle intègre un raisonnement physique, lui permettant d’inférer poids, fragilité et contraintes structurelles. Il peut éviter de soulever un objet lourd ou manipuler avec précaution des éléments fragiles. Il interprète aussi des consignes ambiguës en s’appuyant sur le contexte, par exemple ce que signifie « ranger à l’écart ».
Compréhension temporelle et basée sur la vidéo
Basé sur l’architecture Gemini 3 Flash, le système prend en charge des entrées multi-images et vidéo pour un raisonnement à long horizon. Les robots analysent des séquences d’événements, comme vérifier la réussite d’une prise, améliorant la validation sans règles complexes.
Perception auto-améliorée via génération de code
Une fonction appelée « Gentic vision » permet de générer du code pour prétraiter les images (recadrage, rotation). Cela améliore la lecture d’étiquettes, l’inspection de jauges ou la détection d’anomalies en milieu industriel.
Orchestration des tâches et planification des mouvements
Le système traduit des instructions de haut niveau en séquences d’actions exécutables. Par exemple, « mets le bloc bleu dans le bol orange » est décomposé en saisir, déplacer et relâcher. Il prend aussi en charge la planification de trajectoires avec points intermédiaires et évitement d’obstacles.
Modèles Vision-Langage-Action (VLA)
DeepMind a introduit des modèles VLA qui mappent directement les entrées visuelles et les commandes en actions motrices. Ils permettent un contrôle en temps réel pour des tâches comme le nettoyage ou la manipulation d’objets sans programmation explicite.
Dextérité et incarnation polyvalente
Les modèles visent à fonctionner sur divers matériels, humanoïdes ou non, tout en améliorant la motricité fine (ex. brancher des câbles). Des démonstrations montrent l’exécution de tâches nouvelles, comme placer une balle dans un anneau sans entraînement préalable.
Interaction humain-robot et retour en direct
L’API Gemini Live permet une communication bidirectionnelle à faible latence, combinant voix, vision et appels de fonctions. Des conversations naturelles peuvent déclencher des actions, rendant la collaboration plus intuitive.
Cadres de sécurité et benchmarks réels
DeepMind met en avant des systèmes de sécurité en couches inspirés du modèle du fromage suisse. Les benchmarks Asimov intègrent des données réelles de blessures issues du National Electronic Injury Surveillance System et s’alignent sur les normes ISO pour évaluer les risques.
CONCLUSION
L’intégration du raisonnement, de la perception et de l’action dans des systèmes unifiés basés sur Gemini marque une avancée majeure vers des robots autonomes capables d’opérer efficacement et en sécurité dans le monde réel.
Explique-moi