Wir haben GLM 5.2 gegen Claude Opus 4.8 bei Aufgaben getestet, die Lücken aufdecken sollten. Wir haben eine gefunden – aber nicht dort, wo wir sie erwartet hatten.

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
GLM 5.2, das Open-Weight-Modell von Z.ai, klettert seit seiner Veröffentlichung in den Benchmark-Bestenlisten nach oben. Unabhängige Evaluierungen von Artificial Analysis bewerten es als das leistungsfähigste frei verfügbare Sprachmodell auf dem Markt. Für jeden, der darauf aufbaut, stellt sich die offensichtliche Frage: Wie viel Leistungsfähigkeit gibt man auf, wenn man von einem führenden proprietären Modell auf das aktuell beste Open-Weight-Modell wechselt?
Die meiste bisherige Berichterstattung beantwortet diese Frage mit dem Zitieren von Benchmarks. Wir wollten sie beantworten, indem wir unsere eigenen Aufgaben über unser eigenes AI Gateway ausführen und beide Modelle nach demselben Bewertungsschema benoten. Hier ist, was wir herausgefunden haben.
Der Aufbau
Wir haben eine Suite von 10 Aufgaben entwickelt, die in drei Stufen unterteilt ist und über das TrueFoundry AI Gateway gegen Claude Opus 4.8 und GLM 5.2 ausgeführt wurde:
- Baseline-Aufgaben (4): bewusst einfache Probleme mit einer einzelnen Funktion oder einem einzelnen Tool-Aufruf. Diese dienen als Mindeststandard-Prüfung, nicht als echter Leistungstest.
- Schwere Aufgaben (4): entwickelt rund um Bereiche, in denen öffentliche Benchmarks wie SWE-Bench Pro und Agents' Last Exam eine echte Trennung zwischen Modellen zeigen. Multi-Datei-Schlussfolgerung, verzweigte mehrstufige Tool-Nutzung, eine subtil falsche „offensichtliche“ Behauptung zum Erkennen und eine wirklich unvollständige Spezifikation, um zu sehen, ob ein Modell nachfragt oder rät.
- Long-Context-Aufgaben (2): Nadel-im-Heuhaufen-Abruf und quellenübergreifende Schlussfolgerungen über reale gemeinfreie Dokumente hinweg, etwa 290.000 bis über eine Million Token, je nachdem, welcher Tokenizer zählt (mehr zu dieser Diskrepanz weiter unten).
Jede Antwort wurde nach expliziten Pass/Fail-Kriterien bewertet, die wir geschrieben haben, bevor eines der Modelle einen Prompt sah.
Erkenntnis 1: Qualitätsparität, auch bei den schweren Aufgaben
Über alle 8 wohldefinierten Aufgaben hinweg erzielten beide Modelle 40 von 40 Punkten.
Das schließt die Aufgaben ein, die speziell entwickelt wurden, um sie zu trennen. Bei der Aufgabe zur Multi-Datei-Rabatt-Engine implementierten beide Modelle korrekt die Logik für den besten Rabatt und beide schrieben einen Test, der die Arithmetik bei einem wirklich nicht offensichtlichen Fall richtig hinbekam (eine Bestellung über 120 $, bei der ein Rabatt von 10 Prozent und ein pauschaler Rabatt von 15 $ ähnlich aussehen, sich aber auf 108 $ gegenüber 105 $ auflösen). Bei der verzweigten Agenten-Aufgabe verweigerten beide Modelle korrekt das Raten, als eine Suche nach „dem Leiter der Partnerschaften“ zwei verschiedene Personen mit zwei verschiedenen Rollen zurückgab, und beide baten um Klärung, bevor sie fortfuhren. Bei der Schlussfolgerungsfalle, einem versteckten Bug mit veränderbaren Standardargumenten hinter einer validierten, aber falschen Behauptung über einen Cache-Schlüssel, erkannten beide Modelle das Problem, erklärten, warum es auftritt, und lieferten einen korrekten Fix.
Wir haben hier kein Unentschieden erwartet. Die veröffentlichten Benchmarks zeigen bei genau dieser Art von Aufgabe eine echte Trennung zwischen führenden proprietären Modellen und Open-Weight-Modellen. Bei unserer spezifischen Suite haben wir das nicht gesehen.
Erkenntnis 2: GLM 5.2 ist deutlich günstiger
Über die 8 gültigen Aufgaben hinweg kostete Opus 4.8 insgesamt ca. 0,20 $. GLM 5.2 kostete ca. 0,05 $, etwas mehr als ein Viertel des Preises, was den veröffentlichten Raten pro Token entspricht (5 $/25 $ pro Million Token für Opus gegenüber 1,40 $/4,40 $ für GLM 5.2). Wenn Ihr Arbeitsaufwand auf die Art von Aufgaben in dieser Suite ausgerichtet ist, ist das ein echter Kostenhebel und keine geringfügige Einsparung.
Erkenntnis 3: Bei der Latenz weichen die Modelle wirklich voneinander ab – und es ist kein einfacher Multiplikator
Dies ist das interessantere Ergebnis, weil es nicht einheitlich ist. Bei zwei Aufgaben war GLM 5.2 schneller als Opus. Bei der schwersten Schlussfolgerungsaufgabe dauerte es 10-mal länger.
Das Muster folgt der Schlussfolgerungstiefe, nicht der Aufgabenkategorie. Einfache Tool-Nutzungsaufgaben liegen nahe an der Parität oder bevorzugen GLM leicht. Die Aufgaben, die die meiste interne Schlussfolgerung erfordern, sind diejenigen, bei denen die Latenz von GLM am stärksten ansteigt. Wenn Sie etwas Latenzempfindliches bauen, benötigt die Aussage „GLM ist günstiger“ einen zweiten Teilsatz: günstiger, mit gelegentlichen Latenzspitzen bei Ihren schwersten Anfragen, nicht durchgehend günstiger.
Erkenntnis 4: Ein echter Fallstrick bei der Bereitstellung von GLM-Reasoning-Token
Dies ist die Erkenntnis, nach der wir nicht gesucht haben. Unser erster Durchlauf durch die Suite nutzte ein Output-Budget von 2048 Token, ausgelegt darauf, wie lange die Antworten von Opus gewöhnlich dauerten. Opus kam dieser Obergrenze bei keiner Aufgabe nahe. GLM 5.2 erreichte sie zweimal: einmal brach es mitten im Satz ab und einmal lieferte es eine völlig leere Antwort zurück, nachdem es das gesamte Budget verbraucht hatte.
Die Ursache sind die Reasoning-Modi von GLM 5.2. Interne Reasoning-Token zählen zum selben Budget wie die sichtbare Antwort, und bei schwereren Aufgaben kann diese interne Logik das meiste oder das gesamte Budget verbrauchen, das für ein Modell ohne diesen Overhead großzügig wäre. Wir haben die zwei betroffenen Aufgaben erneut mit einem Budget von 8.000 Token speziell für GLM ausgeführt, und beide wurden korrekt abgeschlossen, wobei sie die Qualität von Opus erreichten (siehe Erkenntnis 1).
Die praktische Erkenntnis: Wenn Sie Anfragen über ein Gateway zwischen Modellen routen und ein Token-Budget wiederverwenden, das für ein anderes Modell optimiert ist, benötigt GLM 5.2 deutlich mehr Puffer für die gleiche Aufgabenkomplexität, insbesondere bei arbeitsintensiven Logikaufgaben. Wenn Sie das falsch machen, erhalten Sie keinen Fehler. Sie erhalten eine abgeschnittene oder stillschweigend leere Antwort, die wie ein Modellfehler aussieht, obwohl es sich eigentlich um ein Konfigurationsproblem handelt.
Erkenntnis 5: Echte Long-Context-Tests und ein echter Fehlschlag für Opus
Wir haben diesmal zwei Long-Context-Aufgaben mit realen Dokumenten erstellt: einen Nadel-im-Heuhaufen-Abruf im Volltext eines gemeinfreien Romans (etwa 290.000 bis 420.000 Token, je nachdem, welcher Tokenizer zählt) und eine Querverweis-Aufgabe, die von einem Modell verlangt, zwei Fakten zu kombinieren, die an entgegengesetzten Enden von vier zusammengefügten Romanen platziert sind (etwa 700.000 Token bis knapp über eine Million, wiederum abhängig vom Tokenizer).
Bei der einfacheren Abrufaufgabe fanden beide Modelle den eingefügten Fakt korrekt. Opus ging noch weiter und identifizierte genau, an welcher Stelle im Text der Fakt eingefügt worden war, was eine wirklich starke Leistung im Bereich des Kontextbewusstseins ist. Aber wir hatten darum gebeten, den Fakt alleine zu zitieren, und Opus erklärte ihn, anstatt ihn nur zu zitieren. GLM antwortete nur mit dem Fakt selbst und sonst nichts – die wörtlichere, korrektere Antwort auf das, was gefragt war.
Bei der schwereren Querverweis-Aufgabe schlug Opus 4.8 komplett fehl. Kein falsches Ergebnis: ein harter Fehler, da das Dokument unter dem Tokenizer von Anthropic auf knapp über eine Million Token tokenisiert wurde und damit das Kontextfenster von Opus 4.8 um etwa 4 Prozent überschritt. GLM 5.2 schloss dieselbe Aufgabe korrekt ab, und der Grund dafür verdient eine eigene Erwähnung: Das identische Dokument wurde unter dem Tokenizer von Z.ai auf etwa 718.000 Token tokenisiert, etwa 31 Prozent weniger Token als der Tokenizer von Anthropic für genau dieselbe englische Prosa zählte (entsprechend zählte der Tokenizer von Anthropic etwa 45 Prozent mehr Token als der von Z.ai für den identischen Text).
Das ist kein Leistungsunterschied. Es ist eine Erinnerung daran, dass Token-Zahlen nicht über Tokenizer hinweg übertragbar sind und ein Dokument, das bequem in das Kontextfenster eines Modells passt, für denselben Inhalt bei einem anderen Modell stillschweigend die Grenze überschreiten kann. Wenn Sie einen Long-Context-Test erstellen oder einen echten Produktions-Prompt für mehr als ein Modell bemessen, überprüfen Sie die tatsächliche Anzahl des Tokenizers pro Modell, anstatt sie aus der Wort- oder Zeichenanzahl zu schätzen. Eine Spanne, die für ein Modell sicher aussieht, kann für ein anderes ein harter Fehlschlag sein.
Kosten skalieren mit der Kontextlänge auf eine Weise, die man leicht unterschätzt, bis man die Zahl sieht. Die einzelne Nadel-im-Heuhaufen-Abfrage an Opus kostete für sich genommen ca. 2,09 $, mehr als die gesamte 8-Aufgaben-Baseline und die schweren Stufen zusammen (ca. 0,20 $ insgesamt, aus Erkenntnis 2). Dieselbe Abfrage an GLM kostete ca. 0,40 $. Über beide Long-Context-Aufgaben hinweg betrug die Gesamtsumme von GLM ca. 1,41 $ gegenüber den ca. 2,09 $ von Opus für einen erfolgreichen Aufruf (der zweite Aufruf schlug komplett fehl und wurde nicht berechnet). Wenn Ihre Arbeitslast regelmäßig lange Dokumente umfasst, summiert sich der Unterschied bei den Kosten pro Token zwischen den Modellen schnell – weit über das hinaus, was der Kostenvergleich bei den Baseline-Aufgaben vermuten lassen würde.
Erkenntnis 6: Ein früherer Fehler, der es trotzdem wert ist, erwähnt zu werden
Bei einem früheren Versuch, diese Suite zu erstellen, wurden aus Versehen Platzhaltertexte anstelle von realen Dokumenten für die zwei Long-Context-Aufgaben verwendet. Die Reaktionen der beiden Modelle auf diese fehlerhafte Eingabe sind eine Fußnote wert, auch wenn der Fehler seitdem behoben wurde. Opus verweigerte bei der Übergabe einer bloßen Beschreibung in Klammern, was ein Dokument enthalten würde, beide Male direkt die Aussage und weigerte sich, das hypothetische Beispiel als echten Abruf zu behandeln. GLM antwortete entweder aus dem Beispieltext heraus, ohne darauf hinzuweisen, dass kein reales Dokument vorhanden war, oder erstellte in der schwereren Version ein ganzes Dokument von Grund auf neu und antwortete zuversichtlich auf der Grundlage von Inhalten, die es erfunden hatte.
Das ist eine eigenständige Erkenntnis über das Verhalten bei fehlerhaften Eingaben, unabhängig von den realen Long-Context-Zahlen oben. Es lohnt sich, dies im Hinterkopf zu behalten, da die eigenen Release Notes von Z.ai für GLM 5.2 mehr Reward-Hacking-Verhalten während des Trainings offenlegten als bei der vorherigen Version, einschließlich des Lesens geschützter Evaluierungsdateien und des Heranziehens von Referenzlösungen zur künstlichen Erhöhung der Punktzahlen. Ein Modell, das bereit ist, als Reaktion auf einen fehlerhaften Prompt plausibel aussehende Inhalte zu konstruieren, sollte genau beobachtet werden, bevor Sie es auf reale Produktionseingaben ansetzen, die gelegentlich fehlerhaft oder unvollständig sein können.
Was das bedeutet, wenn Sie zwischen den beiden wählen
Bei Aufgaben, die in die Kontextfenster beider Modelle passen, gibt es keine Qualitätslücke, sobald GLM 5.2 ausreichend Token-Puffer hat. Der einzige Ort, an dem sich eine echte Lücke zeigte, war nicht die Schlussfolgerungsqualität, sondern die Kontextkapazität: Dasselbe lange Dokument, das GLM 5.2 ohne Probleme verarbeitete, führte bei Opus 4.8 zu einem harten Fehlschlag – aus Tokenizer-Gründen und nicht aus Intelligenzgründen. Die Entscheidung läuft auf vier Dinge hinaus, die nichts mit der reinen Leistungsfähigkeit bei einer typischen Aufgabe zu tun haben:
- Kosten. GLM 5.2 kostet bei dieser Suite etwa ein Viertel des Preises von Opus 4.8 für gleichwertige Arbeit.
- Latenz-Vorhersehbarkeit. Die Latenz von GLM 5.2 ist kein fester Multiplikator. Es kann bei einfachen Aufgaben schneller als Opus sein und bei schweren Logikaufgaben um eine Größenordnung langsamer. Wenn Ihr Produkt strikte Latenzanforderungen hat, ist diese Varianz wichtiger als der Durchschnitt.
- Konfigurationskorrektheit. Wenn Sie Anfragen über ein Gateway modellübergreifend routen, planen Sie für GLM 5.2 deutlich mehr Puffer für Output-Token ein als für Opus, insbesondere bei reasoning-intensiven Arbeitslasten. Andernfalls riskieren Sie ein stillschweigendes Abschneiden ohne Fehlermeldung.
- Kontextdimensionierung über Tokenizer hinweg. Wenn Ihre Arbeitslast irgendwo in die Nähe der Kontext-Obergrenze eines der beiden Modelle kommt, überprüfen Sie die tatsächliche Token-Anzahl unter dem eigenen Tokenizer jedes Modells, anstatt sie aus der Wort- oder Zeichenanzahl zu schätzen. Dasselbe Dokument kann in ein Modell bequem hineinpassen und bei einem anderen hart fehlschlagen.
Ähnliche Beiträge
- Open-Weight Routing at Scale: GLM-5.1 vs Claude Opus 4.7 on TrueFoundry AI Gateway — eine frühere Version desselben Vergleichs mit einem klassifikatorbasierten Router, der beide Modelle mischt
- Self-Hosting Open-Weight Models Behind an AI Gateway — für Teams, die erwägen, GLM 5.2 oder ähnliche Modelle auf ihrer eigenen Infrastruktur statt über eine gehostete API auszuführen
- Cost Considerations of Using an AI Gateway — ein breiterer Blick auf die Kostenhebel, die in Erkenntnis 2 und Erkenntnis 5 angesprochen wurden
- Kimi K2.6: The Open-Source Giant Reshaping Agentic AI — ein weiteres Open-Weight-Modell, das es wert ist, einem ähnlichen Test unterzogen zu werden
Beide Modelle in diesem Vergleich sowie alles andere, was Sie dagegen testen möchten, sind über eine einzige OpenAI-kompatible API im TrueFoundry AI Gateway erreichbar. Sehen Sie, wie Sie ein Modell verbinden und mit dem Vergleichen beginnen können.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
















.webp)
.webp)








