Tech • IA • Crypto
First impressions of GPT-5.5 from Will Koh
Résumé
INTRO
GPT-5.5 fait un bond significatif dans l’assistance de codage par IA en comprenant des tâches ambiguës, en utilisant des outils de manière autonome, et en maintenant le contexte à travers des workflows complexes, améliorant substantiellement les performances dans des applications réelles.
Points clés
Évolution des modèles d’IA pour le codage
Les outils d’IA pour le codage ont rapidement évolué ces deux dernières années, passant de simples complétions d’onglets à des modèles capables de gérer de manière autonome des tâches de programmation complexes et ambiguës. Cette progression montre comment l’intégration de l’IA dans le génie logiciel a mûri, évoluant d’une fonction d’autocomplétion limitée à des agents actifs de résolution de problèmes. Les premières IA nécessitaient des consignes très détaillées, alors que les modèles actuels interprètent et exécutent efficacement des instructions vagues.
Premières impressions de GPT-5.5
GPT-5.5 représente une étape transformatrice avec une meilleure compréhension des intentions des développeurs sans besoin de consignes précises et directives. Les utilisateurs peuvent confier des tâches approximatives ou ambiguës, et le modèle explore de façon autonome les sections appropriées du code, élabore plusieurs solutions potentielles, puis implémente la meilleure. Cette compréhension intuitive réduit l’effort dans les workflows de codage et optimise l’achèvement des projets.
Intégration en environnements pratiques
Dans un cadre d’entreprise chez Ramp, GPT-5.5 a été intégré à un outil interne existant nommé Inspect, qui sert de cadre pour les tâches de codage. Le modèle a accédé à diverses ressources telles que les bases de données de l’entreprise et les outils de télémétrie. Contrairement aux modèles précédents requérant une direction manuelle pour l’utilisation des outils ou souvent mal appliqués, GPT-5.5 a identifié et utilisé de façon créative les bons outils de manière autonome, démontrant une nouvelle capacité à résoudre les problèmes avec un minimum d’intervention humaine.
Autonomie et capacités de résolution de problèmes
La capacité de GPT-5.5 à auto-diriger les investigations et à combiner les outils marque un progrès considérable. Les IA antérieures nécessitaient souvent une guidance humaine continue ou des corrections pour mener correctement les tâches à bien. La maîtrise de GPT-5.5, non seulement pour comprendre le problème mais aussi pour choisir les bonnes méthodologies sans ingénierie de prompt, représente une avancée importante vers des assistants de codage IA entièrement autonomes.
Gestion des tâches longues et continuité contextuelle
Lors des tests, GPT-5.5 a montré une capacité exceptionnelle à gérer des tâches longues dépassant sa fenêtre de contexte immédiat. Habituellement, ces tâches perdent de l’information lorsque le modèle d’IA réinitialise ou compacte le contexte. Cependant, GPT-5.5 semble conserver les conclusions clés et maintenir la continuité des objectifs à travers ces transitions contextuelles, ignorant effectivement les limites habituelles de compression et poursuivant le travail sans interruption.
Performances sur des benchmarks réels
Ramp a mené des évaluations pertinentes pour ses workflows, telles que l’extraction d’informations détaillées à partir de longs documents financiers clients. Le succès a été mesuré par le « taux d’extraction parfaite », qui évalue la fréquence à laquelle l’IA récupère toutes les informations requises sans correction humaine. GPT-5.5 a atteint le taux d’extraction parfaite le plus élevé enregistré, une avancée améliorant fiabilité et satisfaction client.
Impact sur l’expérience client
L’amélioration de la précision et de l’autonomie de GPT-5.5 se traduit par une expérience plus « magique » pour les utilisateurs finaux. Les clients utilisant les produits de Ramp bénéficient d’une plus grande précision et d’une intervention manuelle réduite, rendant l’extraction de données complexes quasiment sans effort et plus fiable.
Résumé des capacités actuelles de l’IA en codage
La transition des aides de codage IA précédentes vers GPT-5.5 illustre une tendance plus large en intelligence artificielle : passer d’outils d’assistance aux étapes mécaniques basiques du codage à des collaborateurs sophistiqués capables de comprendre l’intention, de mener des recherches et d’innover des solutions de manière indépendante dans des environnements complexes.
Dans l’ensemble, GPT-5.5 établit une nouvelle référence dans l’ingénierie logicielle assistée par IA, combinant intelligence contextuelle, usage autonome d’outils et exécution impeccable de tâches multi-étapes, avec des premiers utilisateurs rapportant des avancées enthousiasmantes en productivité et précision.
Transcription complète
Hi everyone, Romain from OpenAI here. Very excited to be here today with Will, who is an AI engineer. And Will, you've been using AI models for coding for a long time now. How has it felt? How has it been? It's been a wild journey. I feel like even two years ago, we started off with tab completions, and now we're all the way to the point where AI is actively doing ambiguous tasks that we assign it and partitions it and just gets it done. And it's just been kind of amazing being there at the forefront of it all. Obviously, I'm lucky enough to have access, you know, early access to some of the newest models. But yeah, it's been honestly a crazy time. Speaking of newest model, I'm very excited that you've tried GPT-5.5. What has been your first impression? My first impression of GPT-5.5 is that it is different in the sense that it actually understands what I'm trying to tell it to do. I see before previously, a lot of my prompts have to be very detailed or very instruction-y, kind of, where I'm trying to tell it like, "hey, look in this part of the code base, do this." Whereas with GPT-5.5, sometimes I become lazy and I kind of give it a very ambiguous task, but then it will figure it out. It actually directs its research and exploration to the right areas of the code base, comes up with potentially multiple options of how we could do it, and then gets it done for me. So it's been impressive. That's amazing. And I think in your work at Ramp, you were also building your own harness, right? I'd love to hear more how you've been using and testing GPT-5.5 in this harness of yours. Yeah, so at Ramp, we do have our own harness called Inspect. And it was honestly just kind of a plug and play. So we opened the API, opened it to GPT-5.5, and it worked like any other model. But the impressive part was that it was discovering ways to use the tools that we had given it, such as access to our databases, access to our telemetry tools, and figure out novel ways to solve problems using them. So it's been interesting to see how it comes up with newer ways to solve problems. Was that a magical thing that you did not see the others model do before? Yeah, the other models, I would have to direct it to use tools, or it would sometimes use the wrong tools. And it got the job done in the end, I think, one way or the other, and a lot of intervention. But with GPT-5.5, it's been discovering ways to solve the problem on its own. I'm curious, in your testing so far for the past week or so, has there been anything that really surprised you that the model got right? Yeah, I think, so with some of the tasks that I'm giving it, with the bigger tasks, it's more likely to run out of its context window. But during those compaction periods, I actually noticed it much less as if it's running on the same context. It's able to pass on the right details, the right findings, and the right goal from one compaction to the other and is able to carry on its task as if compaction never happened. I think that's amazing. Can you tell us more about the evals you've run so far? Yeah, so we have within Ramp some benchmarks that we have for our use cases such as extracting information out of large customer financial documents and how often can we get it from a zero touch we got everything correct and we call that perfect extraction rate. And we've seen that GPT-5.5 is actually performing at the highest rate of that, which is amazing for our customers. You know, it's like a magical experience for them. And we're really excited to get that into their hands.