Créer des compétences d’agent pour l’IA générative sur appareil (I/O Connect ’26)

INTRO

Google a montré comment les développeurs peuvent créer des « agent skills » pour étendre les modèles d’IA sur appareil grâce à sa pile AI Edge, permettant des applications plus rapides, privées et fonctionnant hors ligne.

POINTS CLÉS

Orientation vers l’IA sur appareil

Google fait progresser AI Edge, une boîte à outils multiplateforme conçue pour exécuter des modèles de machine learning directement sur des appareils comme Android, iOS, navigateurs web, ordinateurs de bureau et matériel IoT. L’exécution locale réduit la latence en supprimant les délais réseau, améliore la confidentialité en gardant les données sur l’appareil et permet un fonctionnement entièrement hors ligne. Elle diminue aussi les coûts d’infrastructure en déplaçant le calcul hors des centres de données cloud.

Pipeline de déploiement de bout en bout

La pile AI Edge offre un flux complet du modèle brut au déploiement. Des outils comme LiteRTorch convertissent les modèles en formats compatibles, tandis que Edge Quantizer réduit leur taille pour s’adapter aux contraintes des appareils sans perte majeure de performance. La couche d’exécution, LiteRT, prend en charge CPU, GPU et NPU, assurant de bonnes performances sur du matériel varié.

APIs dédiées à l’IA générative

Pour gérer la complexité des modèles de langage exécutés localement, Google a introduit les API LiteTLM, qui prennent en charge des tâches comme le KV caching, la gestion de la fenêtre de contexte et les boucles de génération de texte. Ces abstractions permettent aux développeurs de se concentrer sur l’expérience utilisateur plutôt que sur l’optimisation bas niveau, rendant l’IA générative sur appareil plus accessible.

Conception multiplateforme et orientée développeur

Le framework prend en charge le développement dans plusieurs environnements avec des liaisons Kotlin et Swift, des plugins Flutter et des API C++ bas niveau pour les cas avancés. Cette flexibilité permet de développer une fois et de déployer largement, des smartphones aux appareils edge comme Raspberry Pi.

Les agent skills étendent les capacités des modèles

Un concept central est l’usage des agent skills, une manière structurée de donner de nouvelles capacités aux modèles. Elles réduisent les prompts répétitifs, permettent la découverte dynamique de fonctionnalités et injectent des connaissances métier. Elles sont particulièrement utiles pour les petits modèles sur appareil qui peuvent nécessiter davantage de guidage pour accomplir des tâches complexes avec précision.

Architecture structurée des skills

Chaque skill est empaqueté comme un répertoire contenant métadonnées, instructions, code exécutable et ressources. Un fichier de balisage définit l’identité, la description et les règles de fonctionnement, tandis que d’autres composants gèrent la logique et l’interface utilisateur. Cette conception modulaire permet aux skills de fonctionner comme des plug-ins que les modèles peuvent invoquer au besoin.

Démo concrète: planificateur de tâches et minuteur

Une démonstration a présenté une skill de « planificateur de tâches et minuteur » qui compense les limites des LLM dans la compréhension du temps. Face à plusieurs activités, le modèle invoque automatiquement la skill, génère des appels de fonctions structurés et affiche une interface avec des minuteurs actifs. L’exemple montre comment du code déterministe et des composants UI peuvent enrichir les sorties génératives.

Outils de test et d’optimisation

Les développeurs peuvent valider les performances avec Edge Portal, qui benchmarke les modèles sur de vrais appareils, et Model Explorer, qui aide à identifier les goulots d’étranglement architecturaux. Ces outils visent un déploiement fiable en conditions réelles avant la mise en production.

Écosystème open source et expérimentation

Google souligne que son application AI Edge Gallery et les outils associés sont open source, permettant d’inspecter les implémentations et de réutiliser des composants. L’intégration avec des agents de code peut accélérer le développement en générant du code standard pour de nouvelles skills.

CONCLUSION

Le framework AI Edge de Google et l’approche par agent skills illustrent un virage vers une IA puissante, personnalisable et exécutée directement sur les appareils, combinant efficacité, confidentialité et extensibilité.

Sur le même sujet : Google

• →Transformez vos fichiers en connaissances avec Gemini dans Google Drive· 21 juil.
• →Payer la « taxe de l’inaction » ? Conduire le changement de l’IA par l’innovation portée par les employés· 21 juil.
• →Éliminez les hallucinations et faites de l’IA votre partenaire de réflexion grâce au cadre ABCDQ· 21 juil.