Claude Opus 4.8 en SWE-bench Pro: We hebben Anthropic's kopregel door onze Gateway gehaald

Toen Anthropic op 28 mei 2026 Claude Opus 4.8 lanceerde, was het belangrijkste cijfer gericht op coderen: 69,2% op SWE-bench Pro, vergeleken met 64,3% voor Opus 4.7 — een winst van 4,9 procentpunten op een van de zwaarste software-engineering benchmarks in de sector.

We wilden weten of die upgrade ook zichtbaar is wanneer beide modellen worden aangeroepen op de manier waarop de meeste teams ze daadwerkelijk aanroepen: via een productie-gateway, één API, echte latency en echte tokenfacturen. We hebben 50 moeilijke codeerproblemen uit de openbare SWE-bench Pro-testset door de TrueFoundry AI Gateway gehaald.

Opus 4.8 kwam bij elk probleem terug met een bruikbaar ogende codepatch; Opus 4.7 miste er drie. De richting kwam overeen met de claim van Anthropic. Onze absolute scores kwamen dat niet — en dat verschil is precies waar het om gaat.

Het cijfer dat iedereen citeert

Elke grote modellancering gaat gepaard met een tabel vol benchmarkscores. Voor Opus 4.8 was de rij die de meeste aandacht trok SWE-bench Pro.

SWE-bench Pro is een stresstest voor het vermogen van AI om te coderen. De problemen zijn afkomstig uit echte open-sourceprojecten — onderhouden codebases, bugs in meerdere bestanden, het soort werk waar een senior engineer een middag aan bezig kan zijn om het te ontrafelen. Het door Anthropic gepubliceerde resultaat werd gemeten met een volledige agent-setup: het model kon door de repository bladeren, commando's uitvoeren, een oplossing proberen en itereren. Dat is de juiste manier om te meten wat het model op zijn best kan doen.

Het is echter niet wat er gebeurt wanneer uw applicatie een enkele query stuurt via een API en op een antwoord wacht.

Dat onderscheid is van belang. Platformteams leven niet binnen het evaluatiekader van Anthropic. Ze werken achter een gateway: één endpoint, routingregels, rate limits en een factuur aan het einde van de maand. Wanneer een leverancier '+4,9 punten' zegt, is de praktische vraag gerichter en urgenter: verslaat het nieuwe model het oude model op harde codeeropdrachten nog steeds op de infrastructuur die we al gebruiken?

We hebben die controle uitgevoerd

We hebben Claude Opus 4.8 en Claude Opus 4.7 gerouteerd via TrueFoundry AI Gateway — hetzelfde OpenAI-compatibele API-oppervlak dat onze klanten gebruiken om frontier-modellen te bereiken. Achter de gateway kwamen de twee modellen op verschillende providerroutes terecht. Vanuit het perspectief van de applicatie was de integratie identiek: dezelfde URL, dezelfde inloggegevens, een andere modelnaam.

Voor de kerntest hebben we 50 problemen gehaald uit de openbare SWE-bench Pro-testset (731 issues in totaal). Elk probleem beschrijft een echte bug in een echte repository. We hebben de beschrijving in één enkele beurt naar het model gestuurd en gevraagd om een unified diff — het standaardformaat voor een codepatch. Geen browsen. Geen terminaltoegang. Geen tweede kans om te herzien.

Vervolgens hebben we elk antwoord beoordeeld met een eenvoudige regel: ziet dit eruit als een legitieme patch? We hebben geen Docker-containers gestart en de testsuite van het project niet uitgevoerd. We hebben geen tweede model gevraagd om als beoordelaar op te treden.

Dit is een lichtere test dan die van Anthropic, maar hij beantwoordt een andere vraag: wanneer Opus 4.8 op uw gateway arriveert, levert het dan vaker geloofwaardige codeeroutput op bij moeilijke problemen dan Opus 4.7?

Wat we vonden op SWE-bench Pro

Op onze steekproef van 50 problemen gaf Opus 4.8 elke keer een antwoord in de vorm van een patch — 50 van de 50. Opus 4.7 miste er drie en kwam uit op 47 van de 50. In percentages is dat een verschil van zes punten op ons deel vergeleken met het verschil van 4,9 punten van Anthropic op de volledige officiële benchmark.

De volgorde is waar het ons om ging. Anthropic zei dat het nieuwe model beter is in dit werk. Tijdens onze gateway-run was het nieuwe model ook beter in dit werk.

De absolute aantallen zijn een ander verhaal en mogen niet direct naast elkaar worden vergeleken. Anthropic's 69,2% betekent dat het model ongeveer zeven uit tien problemen oploste met een agent die kon verkennen en testen. Onze 100% en 94% betekenen dat het model in één keer iets teruggaf dat eruitzag als een patch. De drempel die wij hebben gebruikt, ligt veel lager. Het beschouwen van onze scores als het 'verslaan' van Anthropic zou misleidend zijn. Het beschouwen van de richting — 4.8 vóór 4.7 — als een sanity check is terecht.

Er zat ook een praktische kant aan de run. Tegen de door Anthropic gepubliceerde tarieven bij de lancering ($5 per miljoen input tokens, $25 per miljoen output tokens) kostte het SWE-bench-deel ongeveer $1,45 voor Opus 4.8 en $1,66 voor Opus 4.7. Antwoorden op lange issuebeschrijvingen duurden mediaan ongeveer 12 seconden voor 4.8 en 13 seconden voor 4.7; het langzaamste vijfde deel van de verzoeken liep op tot respectievelijk 27 en 37 seconden. Voor een eenmalige validatiesprint is dat beheersbaar. Voor een agent die tientallen lussen per taak uitvoert, loopt dit snel op.

De rest van de lanceringstabel lezen

De aankondiging van Anthropic bleef niet beperkt tot SWE-bench Pro. In hetzelfde bericht werden verbeteringen geciteerd op het gebied van terminaltaken, desktopautomatisering, wetenschappelijke Q&A op universitair niveau, financiële workflows en meer. We hebben die officiële kaders ook niet opnieuw afgespeeld — we hebben elke categorie gekoppeld aan een kleine set representatieve prompts en beide modellen via de Gateway laten draaien.

Het patroon herhaalde wat we zagen bij het coderen. Bij korte proxy-taken — het oplossen van een Python-bug, het beantwoorden van een bash-vraag, het kiezen van de juiste UI-actie — scoorden beide modellen vaak op het maximale niveau. Dat laat zien dat de modellen bereikbaar en responsief zijn bij werk op categorieniveau.

Twee resultaten waren informatiever dan de rest.

Op SWE-bench Verified-proxies (eenvoudigere codeeroplossingen dan Pro) beantwoordde Opus 4.8 beide prompts correct, terwijl Opus 4.7 een van de twee beantwoordde — een groter verschil dan de officiële 88,6% vs. 87,6% van Anthropic, hoewel op een zeer kleine steekproef.

Op Finance Agent-proxies scoorden beide modellen nul. Dat is vrijwel zeker een beperking van de beoordeling — strikte antwoordvergelijking op een miniatuur-vervanger — en geen bewijs dat Opus geen financieel werk kan doen. Het is een herinnering dat lichtgewicht proxies stilzwijgend kunnen falen. De enige suite die we vertrouwen voor modelvolgorde is SWE-bench Pro bij 50 issues.

Voor de overige categorieën — redeneerexamens, kenniswerk-wiskunde, wetenschappelijke meerkeuzevragen — slaagden beide modellen voor onze kleine proxy-sets. De officiële tabel van Anthropic toont nog steeds nuances die we niet hebben opgevangen (GPQA Diamond bevoordeelt 4.7 bijvoorbeeld lichtjes). Onze proxies waren te oppervlakkig om dat aan het licht te brengen.

Waarom we het op deze manier hebben uitgevoerd

We proberen de evaluatie van Anthropic niet te vervangen. Hun cijfers beschrijven wat Opus 4.8 kan doen als je het tools, tijd en hun evaluatiekader geeft. Onze run beschrijft wat er gebeurt op dag nul van een gateway-migratie — wanneer een engineeringteam wil weten of het omleiden van verkeer naar 4.8 de moeite waard is voordat agents opnieuw worden getraind en prompts opnieuw worden afgesteld.

Drie dingen vielen op buiten het scorebord.

•  Het upgradeverhaal bleef overeind bij productierouting. Verschillende providerpaden, één clientintegratie, beide modellen aanroepbaar zonder de applicatie opnieuw te hoeven ontwerpen. Dat is het integratieverhaal waarvoor Gateway is gebouwd.

•  Eerlijke beoordeling is beter dan indrukwekkende beoordeling. Een heuristische 'ziet eruit als een patch'-controle is gemakkelijk te bekritiseren — en we bekritiseren het zelf ook. Het is ook goedkoop, reproduceerbaar en moeilijk te beïnvloeden met een goedgezind beoordelingsmodel. Voor een indicatieve meting na een lancering was die afweging logisch.

•  Benchmarks van leveranciers en de realiteit van gateways meten verschillende lagen. Anthropic's 69,2% is het plafond. Onze steekproef van 50 problemen is een controle van de ondergrens: is het nieuwe vlaggenschip daadwerkelijk vooruitgegaan op het gebied van complexe codeeroutput wanneer het wordt aangeroepen op de manier waarop uw diensten het aanroepen?

Wat we eruit meenemen

Anthropic's SWE-bench Pro-delta blijft het sterkste openbare bewijs dat Opus 4.8 een betekenisvolle upgrade is voor coderen. We hebben dat cijfer niet opnieuw bewezen. We hebben de volgorde bevestigd — 4.8 voor 4.7 — op een gatewaypad dat weerspiegelt hoe productiediensten frontier-modellen aanroepen, inclusief kosten en latencies.

Onze percentages zijn niet vergelijkbaar met die van Anthropic en we zouden ze ook niet op die manier presenteren. De nuttige conclusie uit onze run is eenvoudiger: de belangrijkste winst wijst in dezelfde richting op onze stack.

We hebben ook iets geleerd over het interpreteren van het lanceringsseizoen. Anthropic's 69,2% beschrijft een model met tools, tijd en een volledig evaluatiekader — het plafond. Onze steekproef van vijftig problemen beschrijft een enkele API-call en een eenvoudige controle op de vorm van de patch — de vloer. Beide zijn legitiem; ze beantwoorden verschillende vragen. De onze was: wanneer Opus 4.8 beschikbaar komt op Gateway, loopt het dan zichtbaar uit op 4.7 bij complexe codeeroutput? Op deze steekproef wel.

TrueFoundry AI Gateway is de laag waar we die vraag doorheen hebben gehaald: één OpenAI-compatibele API, 1000+ modellen, providerrouting achter de schermen afgehandeld. Zelfde client, andere modelnaam, meetbaar verschil op infrastructuur die we al gebruiken.