Tech • IA • Robotique
GPT-6 Astra : les benchmarks IA ne veulent plus rien dire ?
8/10INTRO
La sortie de GPT6 Astra relance le débat sur les benchmarks d’IA: un même modèle peut afficher 62,7 % ou 99,9 % sur ARC AGI 3 selon le protocole retenu, preuve qu’un score brut ne suffit plus à juger les performances.
POINTS CLÉS
Deux scores officiels pour un même modèle
Sur ARC AGI 3, GPT6 Astra atteint 62,7 % avec le protocole standard Harness, puis 99,9 % via un provider adapter. Ces deux résultats ne se contredisent pas: ils répondent à deux questions différentes. Le premier mesure ce que vaut le modèle dans une interface commune à tous, le second ce qu’il peut faire lorsqu’il exploite les mécanismes conçus spécifiquement pour lui.
L’interface change fortement le résultat
Le mode provider adapter permet notamment de préserver l’état de raisonnement entre plusieurs interactions et de mieux gérer les contextes très longs. Autrement dit, l’évaluation ne mesure plus seulement le modèle, mais le modèle dans des conditions techniques précises. Un score élevé doit donc toujours être lu avec son protocole, ses outils et son budget de calcul.
Même au sein d’un protocole, les paramètres pèsent
Les tests sur ARC AGI 3 comparent plusieurs niveaux de raisonnement: no, low, medium, high, xi et max. Fait notable, le meilleur résultat n’est pas obtenu au niveau maximal: xi monte à 99,95 %, contre 98,55 % pour max. Cela montre qu’une annonce du type “ce modèle fait 99,9 %” reste incomplète sans les réglages exacts.
Plusieurs benchmarks approchent du plafond
D’autres résultats publiés montrent des scores déjà très élevés: 97,6 % sur Frontier Math 4 V2, 96 % sur GPQA Diamond, 99,9 % sur ARC AGI 3 et 100 % sur Exploit Bench. Ce phénomène de ceiling effect réduit fortement l’intérêt comparatif de ces tests. Quand plusieurs modèles convergent vers 97 à 100 %, l’outil de mesure ne discrimine plus vraiment les meilleurs systèmes.
La contamination devient un risque central
Plus un benchmark est public, plus il risque de se retrouver dans des articles, dépôts GitHub ou jeux de données utilisés à l’entraînement. Une étude de 2024 sur 31 modèles en raisonnement mathématique signalait déjà des indices substantiels de contamination. Cela ne signifie pas que les modèles se contentent de mémoriser, mais que l’interprétation des scores devient plus délicate.
Le cas d’Exploit Bench illustre le problème
GPT6 Astra obtient 100 % sur Exploit Bench, un benchmark en cybersécurité. Mais OpenAI précise que ce score peut être artificiellement gonflé par la présence de vulnérabilités historiques potentiellement connues durant l’entraînement. Sur une nouvelle évaluation fondée sur des failles divulguées entre juin et août 2026, donc postérieures à la coupure de connaissances du modèle, le score tombe à 39 %.
Le vrai enjeu est la généralisation
Ce passage de 100 % à 39 % change complètement la lecture du résultat. Le premier score peut refléter en partie un effet de mémoire, le second teste davantage la capacité à généraliser à des cas inédits. La conception du benchmark détermine donc la question réellement posée au modèle.
Il n’existe pas de “meilleure IA” en général
Les classements varient selon les domaines. GPT6 Astra devance nettement Claude Fable 5.1 sur Frontier Math 4 V2, mais se retrouve derrière sur un examen de niveau universitaire en humanités. Ces renversements rappellent qu’un benchmark mesure une capacité particulière, pas une intelligence générale unique et stable.
Vers des benchmarks vivants et plus concrets
De nouvelles approches cherchent à réduire ces biais. LiveBench renouvelle fréquemment ses questions avec des sources récentes pour limiter la contamination. D’autres évaluations misent sur des problèmes ouverts en mathématiques ou sur le time horizon, c’est-à-dire la durée des tâches qu’un agent peut accomplir seul avec une probabilité donnée, une mesure plus proche de l’utilité réelle et du coût d’usage.
CONCLUSION
Les benchmarks d’IA restent indispensables, mais leur lecture exige désormais le protocole, les paramètres et le contexte de test. Avec GPT6 Astra, l’écart entre 62,7 % et 99,9 % montre qu’un score isolé n’informe plus assez sur les capacités réelles d’un modèle.
Explique-moi