Tech • IA • Crypto
Outil, compétence ou sous-agent ? Décomposer un agent qui a dépassé son prompt
6/10INTRO
La refactorisation d’un agent IA devenu trop complexe, en simplifiant les prompts, en réduisant les outils et en réorganisant les sous-agents, a amélioré les performances de 83 % à 92 % tout en diminuant le coût et la latence.
POINTS CLÉS
La complexité des agents entraîne une dégradation des performances
Un système de gestion des stocks appelé Stock Pilot a accumulé des fonctionnalités au fil du temps, atteignant un prompt système de 400 lignes, 12 outils et plusieurs sous-agents. Chaque ajout répondait à un besoin métier, mais l’absence de refonte architecturale a entraîné des régressions, des inefficacités et une baisse des scores d’évaluation.
Un cadre d’évaluation a révélé des problèmes systémiques
Le système a été testé sur 12 tâches d’évaluation, incluant des régressions et des scénarios d’échec multi-tours. Les performances initiales sont descendues jusqu’à 62 % de réussite, avec des échecs liés à l’inefficacité, des instructions contradictoires et des ruptures entre orchestrateurs et sous-agents.
La surcharge de contexte a provoqué des erreurs de raisonnement
Un échec clé en prévision a montré que l’agent récupérait les bonnes données mais appliquait un mauvais multiplicateur, révélant une confusion de contexte plutôt qu’une faiblesse du modèle. Des instructions surchargées et contradictoires dans le prompt système ont conduit à des comportements proches de l’hallucination.
Réduction du prompt système via l’abstraction de “skills”
Les ingénieurs ont remplacé le long prompt par un prompt central d’environ 15 à 50 lignes, en déplaçant les connaissances conditionnelles dans des skills — des blocs de contexte modulaires à la demande. Cette approche de “divulgation progressive” garantit que le modèle n’accède qu’aux informations pertinentes pour chaque tâche.
Simplification des outils vers des primitives essentielles
Les 12 outils initiaux ont été en grande partie supprimés au profit de primitives comme l’exécution de code, l’accès au système de fichiers et la recherche web. Cela a fortement réduit l’usage de tokens, passant de plus de 200 000 tokens par tâche à des niveaux bien inférieurs, tout en diminuant coûts et temps d’exécution.
Usage des sous-agents restreint et clarifié
Plusieurs sous-agents ont été supprimés à cause de problèmes de coordination. Un seul sous-agent de prévision a été conservé pour offrir un environnement de raisonnement isolé, illustrant deux cas d’usage valides: résolution parallèle et contextes de revue indépendante.
Les défaillances de communication comme risque clé
Une évaluation a échoué malgré une logique correcte à cause d’un désalignement entre l’orchestrateur et les sorties du sous-agent. Cela souligne la difficulté de maintenir la cohérence dans des systèmes d’agents distribués.
Le passage à une infrastructure gérée a amélioré la scalabilité
La migration vers Claude Managed Agents a éliminé les contraintes d’infrastructure (scalabilité, sécurité, gestion de session), permettant aux développeurs de se concentrer sur la conception et le comportement des agents.
L’efficacité des tokens a directement réduit les coûts
En activant l’exécution de code plutôt qu’en intégrant de grands jeux de données dans le contexte, le système a réduit à la fois la consommation de tokens et les coûts opérationnels, tout en maintenant ou améliorant la qualité des résultats.
Une amélioration continue par “hill climbing” avec évaluations
Des évaluations continues et des corrections incrémentales — appelées “hill climbing” — ont permis des gains constants. Le système final a atteint environ 92 % de réussite, avec une meilleure cohérence et une utilisation réduite des ressources.
CONCLUSION
La simplification de l’architecture des agents, via un contexte modulaire, des outils réduits et des évaluations rigoureuses, améliore fortement la fiabilité, les coûts et la scalabilité des systèmes IA complexes.