Claude Opus 4.8 und SWE-bench Pro: Wir haben Anthropics Schlagzeile durch unser Gateway getestet

Als Anthropic am 28. Mai 2026 Claude Opus 4.8 auf den Markt brachte, stand das Thema Coding im Mittelpunkt: 69,2 % bei SWE-bench Pro, verglichen mit 64,3 % bei Opus 4.7 – ein Plus von 4,9 Punkten bei einem der anspruchsvollsten Software-Engineering-Benchmarks der Branche.

Wir wollten wissen, ob sich diese Verbesserung auch dann zeigt, wenn beide Modelle so aufgerufen werden, wie die meisten Teams sie tatsächlich nutzen: über ein Produktions-Gateway, eine API, reale Latenzzeiten und reale Token-Kosten. Wir haben 50 schwere Programmierprobleme aus dem öffentlichen SWE-bench Pro-Testset über das TrueFoundry AI Gateway ausgeführt.

Opus 4.8 lieferte für jedes einzelne Problem einen brauchbar aussehenden Code-Patch; Opus 4.7 verfehlte drei. Die Richtung entsprach Anthropics Behauptung. Unsere absoluten Ergebnisse taten dies nicht – und genau dieser Unterschied ist der entscheidende Punkt.

Die Zahl, die jeder zitiert

Jeder größere Modellstart wird mit einer Tabelle von Benchmark-Ergebnissen geliefert. Für Opus 4.8 war die Zeile, die die meiste Aufmerksamkeit erregte, SWE-bench Pro.

SWE-bench Pro ist ein Stresstest für die KI-Programmierfähigkeiten. Die Probleme stammen aus realen Open-Source-Projekten – gepflegte Codebasen, dateiübergreifende Bugs, also genau die Art von Arbeit, für die ein Senior Engineer einen Nachmittag zum Entwirren benötigen könnte. Anthropics veröffentlichtes Ergebnis wurde mit einem vollständigen Agenten-Setup gemessen: Das Modell konnte das Repository durchsuchen, Befehle ausführen, eine Korrektur versuchen und iterieren. Das ist der richtige Weg, um zu messen, was das Modell bestenfalls leisten kann.

Es spiegelt jedoch nicht wider, was passiert, wenn Ihre Anwendung eine einzelne Anfrage über eine API sendet und auf eine Antwort wartet.

Dieser Unterschied ist wichtig. Platform-Teams arbeiten nicht innerhalb des Evaluierungs-Frameworks von Anthropic. Sie arbeiten hinter einem Gateway: ein Endpunkt, Routing-Regeln, Rate Limits und eine Rechnung am Ende des Monats. Wenn ein Anbieter '+4,9 Punkte' verspricht, lautet die praktische und unmittelbarere Frage: Schlägt das neue Modell das alte bei schwierigen Programmieraufgaben auch auf der Infrastruktur, die wir bereits nutzen?

Wir haben diesen Check durchgeführt

Wir haben Claude Opus 4.8 und Claude Opus 4.7 über das TrueFoundry AI Gateway geroutet – dieselbe OpenAI-kompatible API-Oberfläche, die unsere Kunden nutzen, um Frontier-Modelle zu erreichen. Hinter dem Gateway landeten die beiden Modelle auf unterschiedlichen Provider-Routen. Aus Sicht der Anwendung war die Integration identisch: dieselbe URL, dieselben Anmeldeinformationen, anderer Modellname.

Für den Kerntest haben wir 50 Probleme aus dem öffentlichen SWE-bench Pro-Testset (insgesamt 731 Issues) ausgewählt. Jedes Problem beschreibt einen realen Bug in einem realen Repository. Wir haben die Beschreibung in einem einzigen Durchgang an das Modell gesendet und nach einem Unified Diff gefragt – dem Standardformat für einen Code-Patch. Kein Browsen. Kein Terminalzugriff. Keine zweite Chance zur Überarbeitung.

Anschließend haben wir jede Antwort nach einer einfachen Regel bewertet: Sieht dies wie ein legitimer Patch aus? Wir haben keine Docker-Container gestartet und auch nicht die Testsuite des Projekts ausgeführt. Wir haben kein zweites Modell gebeten, als Richter zu fungieren.

Dies ist ein leichterer Test als der von Anthropic, aber er beantwortet eine andere Frage: Wenn Opus 4.8 auf Ihrem Gateway ankommt, erzeugt es bei schwierigen Problemen häufiger glaubwürdigen Code-Output als Opus 4.7?

Was wir bei SWE-bench Pro herausgefunden haben

In unserer Stichprobe von 50 Problemen lieferte Opus 4.8 jedes Mal eine wie ein Patch geformte Antwort – 50 von 50. Opus 4.7 verfehlte drei und landete bei 47 von 50. In Prozent ausgedrückt ist das ein Unterschied von sechs Punkten auf unserem Ausschnitt im Vergleich zum 4,9-Punkte-Abstand von Anthropic auf dem gesamten offiziellen Benchmark.

Die Rangfolge war das, was uns interessierte. Anthropic sagte, das neue Modell sei bei dieser Arbeit besser. Bei unserem Gateway-Lauf war das neue Modell bei dieser Arbeit ebenfalls besser.

Die absoluten Zahlen erzählen eine andere Geschichte und sollten nicht direkt miteinander verglichen werden. Anthropics 69,2 % bedeuten, dass das Modell etwa sieben von zehn Problemen mit einem Agenten gelöst hat, der explorieren und testen konnte. Unsere 100 % und 94 % bedeuten, dass das Modell auf Anhieb etwas zurückgegeben hat, das wie ein Patch aussah. Die von uns genutzte Hürde liegt viel niedriger. Unsere Ergebnisse als 'besser' als die von Anthropic darzustellen, wäre irreführend. Die Richtung– 4.8 vor 4.7 – als Plausibilitätsprüfung zu betrachten, ist hingegen fair.

Der Lauf hatte auch eine praktische Seite. Bei den von Anthropic zum Start veröffentlichten Listenpreisen ($5 pro Million Input-Token, $25 pro Million Output-Token) kostete der SWE-bench-Ausschnitt etwa $1.45 für Opus 4.8 und $1.66 für Opus 4.7. Die Antworten auf lange Issue-Beschreibungen dauerten im Median etwa 12 Sekunden für 4.8 und 13 Sekunden für 4.7; das langsamste Fünftel der Anfragen dehnte sich auf etwa 27 bzw. 37 Sekunden aus. Für einen einmaligen Validierungssprint ist das bewältigbar. Für einen Agenten, der pro Aufgabe Dutzende Male Schleifen durchläuft, summiert sich das schnell.

Der Rest der Launch-Tabelle im Detail

Die Ankündigung von Anthropic beschränkte sich nicht nur auf SWE-bench Pro. Derselbe Beitrag zitierte Zuwächse bei Terminal-Aufgaben, Desktop-Automatisierung, Fragen und Antworten aus der Wissenschaft auf Graduiertenniveau, Finanz-Workflows und mehr. Wir haben diese offiziellen Hüllen ebenfalls nicht direkt nachgestellt – wir haben jede Kategorie einer kleinen Gruppe repräsentativer Prompts zugeordnet und beide Modelle über das Gateway ausgeführt.

Das Muster wiederholte sich bei dem, was wir beim Programmieren gesehen haben. Bei kurzen Ersatzaufgaben – das Beheben eines Python-Bugs, das Beantworten einer Bash-Frage, das Auswählen der richtigen UI-Aktion – erreichten beide Modelle oft das Maximum. Das zeigt, dass die Modelle bei Aufgaben dieser Art erreichbar und reaktionsschnell sind.

Zwei Ergebnisse waren informativer als der Rest.

Bei den SWE-bench Verified -Proxies (einfachere Code-Korrekturen als Pro) beantwortete Opus 4.8 beide Prompts korrekt, während Opus 4.7 einen von zwei beantwortete – ein größerer Abstand als Anthropics offizielle 88,6 % gegenüber 87,6 %, wenn auch bei einer sehr kleinen Stichprobe.

Bei den Finance Agent-Proxies erzielten beide Modelle null Punkte. Das ist fast sicher eine Einschränkung der Bewertung – ein strikter Antwortabgleich bei einem miniaturisierten Stellvertreter – und kein Beweis dafür, dass Opus keine Finanzaufgaben erledigen kann. Es ist eine Erinnerung daran, dass leichtgewichtige Proxies unbemerkt scheitern können. Die einzige Suite, der wir für die Modell-Rangfolge vertrauen, ist SWE-bench Pro mit 50 Issues.

Für die verbleibenden Kategorien – Reasoning-Prüfungen, Mathematik für die Wissensarbeit, Multiple-Choice-Fragen aus den Naturwissenschaften – haben beide Modelle unsere kleinen Proxy-Sets bestanden. Anthropics offizielle Tabelle zeigt weiterhin Nuancen, die wir nicht erfasst haben (GPQA Diamond bevorzugt beispielsweise leicht 4.7). Unsere Proxies waren zu oberflächlich, um das aufzudecken.

Warum wir es so durchgeführt haben

Wir versuchen nicht, die Evaluierung von Anthropic zu ersetzen. Ihre Zahlen beschreiben, was Opus 4.8 leisten kann, wenn man ihm Werkzeuge, Zeit und ihr Test-Framework zur Verfügung stellt. Unser Lauf beschreibt, was am Tag Null einer Gateway-Migration passiert – wenn ein Engineering-Team wissen möchte, ob das Routing von Traffic zu 4.8 den Aufwand wert ist, bevor Agenten neu trainiert und Prompts neu angepasst werden.

Drei Dinge stachen über die Anzeigetafel hinaus hervor.

•  Die Upgrade-Story hielt dem Kontakt mit dem Produktions-Routing stand. Verschiedene Provider-Pfade, eine Client-Integration, beide Modelle aufrufbar, ohne die Anwendung neu zu strukturieren. Das ist genau die Integrationsgeschichte, für die das Gateway gebaut wurde.

•  Ehrliche Bewertung schlägt eindrucksvolle Bewertung. Eine heuristische 'Sieht aus wie ein Patch'-Prüfung ist leicht zu kritisieren – und wir kritisieren sie selbst. Sie ist aber auch günstig, reproduzierbar und schwer durch ein freundlich gesinntes Richter-Modell zu manipulieren. Für eine richtungsweisende Einschätzung nach einem Launch war dieser Kompromiss sinnvoll.

•  Anbieter-Benchmarks und Gateway-Realität messen unterschiedliche Ebenen. Anthropics 69,2 % ist das Maximum. Unsere 50-Probleme-Stichprobe ist eine Basisprüfung: Hat sich das neue Flaggschiff bei schwierigen Programmieraufgaben tatsächlich verbessert, wenn es so aufgerufen wird, wie Ihre Dienste es tun?

Was wir daraus mitnehmen

Anthropics SWE-bench Pro-Delta bleibt der stärkste öffentliche Beweis dafür, dass Opus 4.8 ein bedeutendes Coding-Upgrade ist. Wir haben diese Zahl nicht erneut bewiesen. Wir haben die Rangfolge bestätigt – 4.8 vor 4.7 – auf einem Gateway-Pfad, der widerspiegelt, wie Produktionsdienste Frontier-Modelle aufrufen, inklusive Kosten und Latenzen.

Unsere Prozentwerte sind nicht mit denen von Anthropic vergleichbar, und wir würden sie auch nicht so darstellen. Die nützliche Erkenntnis aus unserem Lauf ist einfacher: Die in den Schlagzeilen verkündete Verbesserung zeigt auf unserer Infrastruktur in dieselbe Richtung.

Wir haben auch etwas darüber gelernt, wie man Ankündigungen bei Produktstarts lesen sollte. Anthropics 69,2 % beschreiben ein Modell mit Werkzeugen, Zeit und einem vollständigen Evaluierungs-Framework – das Maximum. Unsere Stichprobe von fünfzig Problemen beschreibt einen einzelnen API-Aufruf und eine einfache Prüfung auf Patch-Form – die Basis. Beide sind legitim; sie beantworten unterschiedliche Fragen. Unsere lautete: Wenn Opus 4.8 auf dem Gateway verfügbar ist, setzt es sich dann bei schwierigen Programmieraufgaben sichtbar von 4.7 ab? In dieser Stichprobe: Ja.

TrueFoundry AI Gateway ist die Schicht, über die wir diese Frage getestet haben: eine OpenAI-kompatible API, 1000+ Modelle, Provider-Routing hinter den Kulissen abgewickelt. Derselbe Client, anderer Modellname, messbarer Unterschied auf der Infrastruktur, die wir bereits betreiben.