Claude Opus 4.8 et SWE-bench Pro : nous avons passé l'annonce phare d’Anthropic sur notre Gateway

Lorsque Anthropic a lancé Claude Opus 4.8 le 28 mai 2026, le chiffre marquant concernait le développement informatique : 69,2 % sur SWE-bench Pro, contre 64,3 % pour Opus 4.7 — un gain de 4,9 points sur l'un des benchmarks de génie logiciel les plus exigeants du secteur.

Nous avons voulu vérifier si cette amélioration se concrétise lorsque les deux modèles sont appelés de la manière dont la plupart des équipes les utilisent réellement : via une gateway en production, une API unique, une latence réelle et des factures de tokens bien réelles. Nous avons exécuté 50 problèmes de code complexes issus du jeu de test public SWE-bench Pro via TrueFoundry AI Gateway.

Opus 4.8 a fourni un patch de code utilisable pour chaque problème ; Opus 4.7 en a manqué trois. La tendance confirme les affirmations d'Anthropic. Nos scores absolus sont différents — et c'est précisément cet écart qui est instructif.

Le chiffre que tout le monde cite

Chaque lancement majeur de modèle s'accompagne d'un tableau de résultats de benchmarks. Pour Opus 4.8, la ligne qui a le plus retenu l'attention concerne SWE-bench Pro.

SWE-bench Pro est un test de résistance pour les capacités de développement de l'IA. Les problèmes proviennent de véritables projets open-source : des bases de code maintenues, des bugs multi-fichiers, le type de travail sur lequel un ingénieur senior pourrait passer une après-midi entière. Le résultat publié par Anthropic a été mesuré avec une configuration d'agent complète : le modèle pouvait parcourir le dépôt, exécuter des commandes, essayer un correctif et itérer. C'est la bonne méthode pour évaluer ce que le modèle peut accomplir au maximum de son potentiel.

Ce n'est cependant pas ce qui se produit lorsque votre application envoie une seule requête via une API et attend une réponse.

Cette nuance a son importance. Les équipes plateforme n'évoluent pas dans le harnais d'évaluation d'Anthropic. Elles opèrent derrière une gateway : un seul endpoint, des règles de routage, des limites de débit et une facture à la fin du mois. Lorsqu'un fournisseur annonce « +4,9 points », la question pratique est plus ciblée et plus immédiate : sur l'infrastructure que nous utilisons déjà, le nouveau modèle surpasse-t-il toujours l'ancien sur des tâches de code complexes ?

Notre test

Nous avons routé Claude Opus 4.8 et Claude Opus 4.7 via TrueFoundry AI Gateway — la même interface API compatible OpenAI que nos clients utilisent pour accéder aux modèles de pointe. Derrière la gateway, les deux modèles ont emprunté des routes de fournisseurs différentes. Du point de vue de l'application, l'intégration était identique : même URL, mêmes identifiants, seul le nom du modèle changeait.

Pour le test principal, nous avons sélectionné 50 problèmes du jeu de test public SWE-bench Pro (731 problèmes au total). Chaque problème décrit un bug réel dans un dépôt réel. Nous avons envoyé la description au modèle en un seul tour et avons demandé un unified diff — le format standard pour un patch de code. Pas de navigation. Pas d'accès au terminal. Pas de seconde chance pour réviser.

Nous avons ensuite évalué chaque réponse selon une règle simple : cela ressemble-t-il à un patch légitime ? Nous n'avons pas lancé de conteneurs Docker ni exécuté la suite de tests du projet. Nous n'avons pas non plus utilisé un second modèle pour faire office de juge.

Il s'agit d'un test plus léger que celui d'Anthropic, mais il répond à une question différente : lorsque Opus 4.8 arrive sur votre gateway, produit-il plus souvent du code crédible sur des problèmes complexes qu'Opus 4.7 ?

Ce que nous avons observé sur SWE-bench Pro

Sur notre échantillon de 50 problèmes, Opus 4.8 a renvoyé une réponse sous forme de patch à chaque fois — 50 sur 50. Opus 4.7 en a manqué trois, atteignant 47 sur 50. En pourcentage, cela représente un écart de six points sur notre échantillon, contre un écart de 4,9 points pour Anthropic sur le benchmark officiel complet.

Le classement des modèles est l'élément qui nous importait. Anthropic a affirmé que le nouveau modèle est plus performant sur ce type de travail. Lors de notre test sur la gateway, le nouveau modèle s'est également révélé plus performant.

Les chiffres absolus racontent une tout autre histoire et ne doivent pas être comparés directement. Les 69,2 % d'Anthropic signifient que le modèle a résolu environ sept problèmes sur dix avec un agent capable d'explorer et de tester. Nos scores de 100 % et 94 % signifient que le modèle a renvoyé un élément ressemblant à un patch du premier coup. L'exigence appliquée ici est bien inférieure. Présenter nos scores comme « surpassant » ceux d'Anthropic serait trompeur. Considérer la tendance — 4.8 devant 4.7 — comme une validation de cohérence est parfaitement juste.

Ce test a également apporté des enseignements d'ordre pratique. En appliquant les prix publics d'Anthropic lors du lancement (5 $ par million de tokens d'entrée, 25 $ par million de tokens de sortie), cet échantillon SWE-bench a coûté environ 1,45 $ pour Opus 4.8 et 1,66 $ pour Opus 4.7. Les réponses pour les descriptions de problèmes longues ont nécessité une médiane d'environ 12 secondes pour 4.8 et 13 secondes pour 4.7 ; les 20 % de requêtes les plus lentes ont atteint respectivement 27 et 37 secondes. Pour une phase de validation ponctuelle, cela reste raisonnable. Pour un agent qui s'exécute des dizaines de fois par tâche, les coûts et la latence s'accumulent rapidement.

Analyse des autres résultats de l'annonce

L'annonce d'Anthropic ne s'est pas limitée à SWE-bench Pro. La même publication citait des gains sur les tâches de terminal, l'automatisation de bureau, les questions-réponses scientifiques de niveau universitaire, les workflows financiers, et plus encore. Nous n'avons pas non plus réexécuté ces harnais officiels — nous avons associé chaque catégorie à un petit ensemble de prompts représentatifs et fait passer les deux modèles par la Gateway.

Le comportement observé sur le code s'est répété. Sur des tâches représentatives courtes — corriger un bug Python, répondre à une question Bash, sélectionner la bonne action d'interface — les deux modèles ont souvent atteint le score maximal. Cela indique que les modèles sont accessibles et réactifs sur des tâches ciblées.

Deux résultats se sont révélés particulièrement instructifs.

Sur les tests SWE-bench Verified (des corrections de code plus simples que sur Pro), Opus 4.8 a répondu correctement aux deux prompts tandis qu'Opus 4.7 n'a réussi qu'une réponse sur deux — un écart plus important que le score officiel d'Anthropic (88,6 % contre 87,6 %), bien que sur un échantillon très restreint.

Sur les tests Finance Agent, les deux modèles ont obtenu un score nul. Cela est très probablement dû à une limitation du système d'évaluation — une correspondance stricte des réponses sur un test réduit — et non à l'incapacité d'Opus à traiter des tâches financières. Cela rappelle que les tests simplifiés peuvent manquer de précision. La seule suite à laquelle nous accordons notre confiance pour classer les modèles est SWE-bench Pro sur 50 problèmes.

Pour les autres catégories — examens de raisonnement, mathématiques appliquées, QCM scientifiques — les deux modèles ont réussi nos jeux de tests restreints. Le tableau officiel d'Anthropic présente des nuances que nous n'avons pas capturées (GPQA Diamond avantage légèrement 4.7, par exemple). Nos tests étaient trop superficiels pour faire ressortir ces écarts.

Pourquoi nous avons choisi cette approche

Notre objectif n'est pas de remplacer le système d'évaluation d'Anthropic. Leurs chiffres illustrent ce dont Opus 4.8 est capable lorsqu'on lui fournit des outils, du temps et leur harnais complet. Notre test décrit ce qui se passe au premier jour d'une migration vers une gateway — lorsqu'une équipe d'ingénierie souhaite savoir si le routage du trafic vers 4.8 justifie les ajustements nécessaires avant de réentraîner des agents et d'adapter des prompts.

Trois éléments principaux ressortent de cette expérience.

•  La promesse d'amélioration se confirme en conditions réelles de production. Des chemins de fournisseurs différents, une seule intégration client, les deux modèles appelables sans réarchitecturer l'application. C'est précisément l'objectif d'intégration pour lequel Gateway est conçue.

•  Une évaluation réaliste vaut mieux qu'une évaluation surévaluée. Une vérification heuristique de type « ressemble à un patch » est facile à critiquer — et nous la critiquons nous-mêmes. Cependant, elle est économique, reproductible et difficile à fausser par un modèle juge trop indulgent. Pour une analyse indicative après un lancement, ce compromis est pertinent.

•  Les benchmarks des fournisseurs et la réalité d'une gateway mesurent des aspects différents. Les 69,2 % d'Anthropic représentent le plafond. Notre échantillon de 50 problèmes constitue un contrôle de base : le nouveau modèle phare apporte-t-il une amélioration concrète sur des tâches de code complexes lorsqu'il est appelé de la même façon que vos services ?

Ce qu'il faut en retenir

La progression d'Anthropic sur SWE-bench Pro reste la preuve publique la plus solide qu'Opus 4.8 constitue une avancée majeure pour le développement. Nous n'avons pas cherché à réévaluer ce chiffre. Nous avons confirmé le classement relatif — 4.8 devant 4.7 — sur un parcours via gateway identique à la manière dont les services en production appellent les modèles de pointe, avec les coûts et latences associés.

Nos pourcentages ne sont pas comparables à ceux d'Anthropic, et nous ne les présenterons pas ainsi. L'enseignement principal de notre test est simple : l'amélioration annoncée se vérifie dans la même direction sur notre stack.

Nous avons également tiré des enseignements sur la façon d'interpréter les annonces de lancement. Les 69,2 % d'Anthropic décrivent un modèle disposant d'outils, de temps et d'un harnais d'évaluation complet — le plafond. Notre échantillon de cinquante problèmes correspond à un appel API unique et à une simple vérification de la structure du patch — le plancher. Les deux démarches sont légitimes et répondent à des questions différentes. La nôtre était : lorsque Opus 4.8 est intégré sur Gateway, surpasse-t-il de manière visible Opus 4.7 sur du code complexe ? Sur cet échantillon, la réponse est oui.

TrueFoundry AI Gateway est la couche d'infrastructure à travers laquelle nous avons mené cette évaluation : une API unique compatible OpenAI, plus de 1000 modèles, le routage des fournisseurs géré en arrière-plan. Même client, nom de modèle différent, différence mesurable sur une infrastructure déjà déployée.