Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

Wir haben GLM 5.2 gegen Claude Opus 4.8 bei Aufgaben getestet, die Lücken aufdecken sollten. Wir haben eine gefunden – aber nicht dort, wo wir sie erwartet hatten.

von Amrutha Potluri

Aktualisiert: November 20, 2026

Published: Juli 24, 2026

GLM 5.2, das Open-Weight-Modell von Z.ai, klettert seit seiner Veröffentlichung in den Benchmark-Bestenlisten nach oben. Unabhängige Evaluierungen von Artificial Analysis bewerten es als das leistungsfähigste frei verfügbare Sprachmodell auf dem Markt. Für jeden, der darauf aufbaut, stellt sich die offensichtliche Frage: Wie viel Leistungsfähigkeit gibt man auf, wenn man von einem führenden proprietären Modell auf das aktuell beste Open-Weight-Modell wechselt?

Die meiste bisherige Berichterstattung beantwortet diese Frage mit dem Zitieren von Benchmarks. Wir wollten sie beantworten, indem wir unsere eigenen Aufgaben über unser eigenes AI Gateway ausführen und beide Modelle nach demselben Bewertungsschema benoten. Hier ist, was wir herausgefunden haben.

Der Aufbau

Wir haben eine Suite von 10 Aufgaben entwickelt, die in drei Stufen unterteilt ist und über das TrueFoundry AI Gateway gegen Claude Opus 4.8 und GLM 5.2 ausgeführt wurde:

  • Baseline-Aufgaben (4): bewusst einfache Probleme mit einer einzelnen Funktion oder einem einzelnen Tool-Aufruf. Diese dienen als Mindeststandard-Prüfung, nicht als echter Leistungstest.
  • Schwere Aufgaben (4): entwickelt rund um Bereiche, in denen öffentliche Benchmarks wie SWE-Bench Pro und Agents' Last Exam eine echte Trennung zwischen Modellen zeigen. Multi-Datei-Schlussfolgerung, verzweigte mehrstufige Tool-Nutzung, eine subtil falsche „offensichtliche“ Behauptung zum Erkennen und eine wirklich unvollständige Spezifikation, um zu sehen, ob ein Modell nachfragt oder rät.
  • Long-Context-Aufgaben (2): Nadel-im-Heuhaufen-Abruf und quellenübergreifende Schlussfolgerungen über reale gemeinfreie Dokumente hinweg, etwa 290.000 bis über eine Million Token, je nachdem, welcher Tokenizer zählt (mehr zu dieser Diskrepanz weiter unten).

Jede Antwort wurde nach expliziten Pass/Fail-Kriterien bewertet, die wir geschrieben haben, bevor eines der Modelle einen Prompt sah.

Erkenntnis 1: Qualitätsparität, auch bei den schweren Aufgaben

Über alle 8 wohldefinierten Aufgaben hinweg erzielten beide Modelle 40 von 40 Punkten.

Das schließt die Aufgaben ein, die speziell entwickelt wurden, um sie zu trennen. Bei der Aufgabe zur Multi-Datei-Rabatt-Engine implementierten beide Modelle korrekt die Logik für den besten Rabatt und beide schrieben einen Test, der die Arithmetik bei einem wirklich nicht offensichtlichen Fall richtig hinbekam (eine Bestellung über 120 $, bei der ein Rabatt von 10 Prozent und ein pauschaler Rabatt von 15 $ ähnlich aussehen, sich aber auf 108 $ gegenüber 105 $ auflösen). Bei der verzweigten Agenten-Aufgabe verweigerten beide Modelle korrekt das Raten, als eine Suche nach „dem Leiter der Partnerschaften“ zwei verschiedene Personen mit zwei verschiedenen Rollen zurückgab, und beide baten um Klärung, bevor sie fortfuhren. Bei der Schlussfolgerungsfalle, einem versteckten Bug mit veränderbaren Standardargumenten hinter einer validierten, aber falschen Behauptung über einen Cache-Schlüssel, erkannten beide Modelle das Problem, erklärten, warum es auftritt, und lieferten einen korrekten Fix.

Wir haben hier kein Unentschieden erwartet. Die veröffentlichten Benchmarks zeigen bei genau dieser Art von Aufgabe eine echte Trennung zwischen führenden proprietären Modellen und Open-Weight-Modellen. Bei unserer spezifischen Suite haben wir das nicht gesehen.

Erkenntnis 2: GLM 5.2 ist deutlich günstiger

Über die 8 gültigen Aufgaben hinweg kostete Opus 4.8 insgesamt ca. 0,20 $. GLM 5.2 kostete ca. 0,05 $, etwas mehr als ein Viertel des Preises, was den veröffentlichten Raten pro Token entspricht (5 $/25 $ pro Million Token für Opus gegenüber 1,40 $/4,40 $ für GLM 5.2). Wenn Ihr Arbeitsaufwand auf die Art von Aufgaben in dieser Suite ausgerichtet ist, ist das ein echter Kostenhebel und keine geringfügige Einsparung.

Erkenntnis 3: Bei der Latenz weichen die Modelle wirklich voneinander ab – und es ist kein einfacher Multiplikator

Dies ist das interessantere Ergebnis, weil es nicht einheitlich ist. Bei zwei Aufgaben war GLM 5.2 schneller als Opus. Bei der schwersten Schlussfolgerungsaufgabe dauerte es 10-mal länger.

Aufgabe Opus 4.8 GLM 5.2 Verhältnis
Tool Error Handling 5.53s 4.95s 0.9x
Branching Ambiguity 13.83s 10.87s 0.8x
Simple Bug Fix 3.3s 4.87s 1.5x
Rate Limiter Spec 22.95s 63.74s 2.8x
TTL feature 10.18s 39.45s 3.9x
Search and Draft 15.21s 64.8s 4.3x
Multi-file Discount Engine 12.96s 62.68s 4.8x
Mutable Default Bug 21.26s 212.98s 10.0x

Das Muster folgt der Schlussfolgerungstiefe, nicht der Aufgabenkategorie. Einfache Tool-Nutzungsaufgaben liegen nahe an der Parität oder bevorzugen GLM leicht. Die Aufgaben, die die meiste interne Schlussfolgerung erfordern, sind diejenigen, bei denen die Latenz von GLM am stärksten ansteigt. Wenn Sie etwas Latenzempfindliches bauen, benötigt die Aussage „GLM ist günstiger“ einen zweiten Teilsatz: günstiger, mit gelegentlichen Latenzspitzen bei Ihren schwersten Anfragen, nicht durchgehend günstiger.

Erkenntnis 4: Ein echter Fallstrick bei der Bereitstellung von GLM-Reasoning-Token

Dies ist die Erkenntnis, nach der wir nicht gesucht haben. Unser erster Durchlauf durch die Suite nutzte ein Output-Budget von 2048 Token, ausgelegt darauf, wie lange die Antworten von Opus gewöhnlich dauerten. Opus kam dieser Obergrenze bei keiner Aufgabe nahe. GLM 5.2 erreichte sie zweimal: einmal brach es mitten im Satz ab und einmal lieferte es eine völlig leere Antwort zurück, nachdem es das gesamte Budget verbraucht hatte.

Die Ursache sind die Reasoning-Modi von GLM 5.2. Interne Reasoning-Token zählen zum selben Budget wie die sichtbare Antwort, und bei schwereren Aufgaben kann diese interne Logik das meiste oder das gesamte Budget verbrauchen, das für ein Modell ohne diesen Overhead großzügig wäre. Wir haben die zwei betroffenen Aufgaben erneut mit einem Budget von 8.000 Token speziell für GLM ausgeführt, und beide wurden korrekt abgeschlossen, wobei sie die Qualität von Opus erreichten (siehe Erkenntnis 1).

Die praktische Erkenntnis: Wenn Sie Anfragen über ein Gateway zwischen Modellen routen und ein Token-Budget wiederverwenden, das für ein anderes Modell optimiert ist, benötigt GLM 5.2 deutlich mehr Puffer für die gleiche Aufgabenkomplexität, insbesondere bei arbeitsintensiven Logikaufgaben. Wenn Sie das falsch machen, erhalten Sie keinen Fehler. Sie erhalten eine abgeschnittene oder stillschweigend leere Antwort, die wie ein Modellfehler aussieht, obwohl es sich eigentlich um ein Konfigurationsproblem handelt.

Erkenntnis 5: Echte Long-Context-Tests und ein echter Fehlschlag für Opus

Wir haben diesmal zwei Long-Context-Aufgaben mit realen Dokumenten erstellt: einen Nadel-im-Heuhaufen-Abruf im Volltext eines gemeinfreien Romans (etwa 290.000 bis 420.000 Token, je nachdem, welcher Tokenizer zählt) und eine Querverweis-Aufgabe, die von einem Modell verlangt, zwei Fakten zu kombinieren, die an entgegengesetzten Enden von vier zusammengefügten Romanen platziert sind (etwa 700.000 Token bis knapp über eine Million, wiederum abhängig vom Tokenizer).

Bei der einfacheren Abrufaufgabe fanden beide Modelle den eingefügten Fakt korrekt. Opus ging noch weiter und identifizierte genau, an welcher Stelle im Text der Fakt eingefügt worden war, was eine wirklich starke Leistung im Bereich des Kontextbewusstseins ist. Aber wir hatten darum gebeten, den Fakt alleine zu zitieren, und Opus erklärte ihn, anstatt ihn nur zu zitieren. GLM antwortete nur mit dem Fakt selbst und sonst nichts – die wörtlichere, korrektere Antwort auf das, was gefragt war.

Bei der schwereren Querverweis-Aufgabe schlug Opus 4.8 komplett fehl. Kein falsches Ergebnis: ein harter Fehler, da das Dokument unter dem Tokenizer von Anthropic auf knapp über eine Million Token tokenisiert wurde und damit das Kontextfenster von Opus 4.8 um etwa 4 Prozent überschritt. GLM 5.2 schloss dieselbe Aufgabe korrekt ab, und der Grund dafür verdient eine eigene Erwähnung: Das identische Dokument wurde unter dem Tokenizer von Z.ai auf etwa 718.000 Token tokenisiert, etwa 31 Prozent weniger Token als der Tokenizer von Anthropic für genau dieselbe englische Prosa zählte (entsprechend zählte der Tokenizer von Anthropic etwa 45 Prozent mehr Token als der von Z.ai für den identischen Text).

Das ist kein Leistungsunterschied. Es ist eine Erinnerung daran, dass Token-Zahlen nicht über Tokenizer hinweg übertragbar sind und ein Dokument, das bequem in das Kontextfenster eines Modells passt, für denselben Inhalt bei einem anderen Modell stillschweigend die Grenze überschreiten kann. Wenn Sie einen Long-Context-Test erstellen oder einen echten Produktions-Prompt für mehr als ein Modell bemessen, überprüfen Sie die tatsächliche Anzahl des Tokenizers pro Modell, anstatt sie aus der Wort- oder Zeichenanzahl zu schätzen. Eine Spanne, die für ein Modell sicher aussieht, kann für ein anderes ein harter Fehlschlag sein.

Kosten skalieren mit der Kontextlänge auf eine Weise, die man leicht unterschätzt, bis man die Zahl sieht. Die einzelne Nadel-im-Heuhaufen-Abfrage an Opus kostete für sich genommen ca. 2,09 $, mehr als die gesamte 8-Aufgaben-Baseline und die schweren Stufen zusammen (ca. 0,20 $ insgesamt, aus Erkenntnis 2). Dieselbe Abfrage an GLM kostete ca. 0,40 $. Über beide Long-Context-Aufgaben hinweg betrug die Gesamtsumme von GLM ca. 1,41 $ gegenüber den ca. 2,09 $ von Opus für einen erfolgreichen Aufruf (der zweite Aufruf schlug komplett fehl und wurde nicht berechnet). Wenn Ihre Arbeitslast regelmäßig lange Dokumente umfasst, summiert sich der Unterschied bei den Kosten pro Token zwischen den Modellen schnell – weit über das hinaus, was der Kostenvergleich bei den Baseline-Aufgaben vermuten lassen würde.

Erkenntnis 6: Ein früherer Fehler, der es trotzdem wert ist, erwähnt zu werden

Bei einem früheren Versuch, diese Suite zu erstellen, wurden aus Versehen Platzhaltertexte anstelle von realen Dokumenten für die zwei Long-Context-Aufgaben verwendet. Die Reaktionen der beiden Modelle auf diese fehlerhafte Eingabe sind eine Fußnote wert, auch wenn der Fehler seitdem behoben wurde. Opus verweigerte bei der Übergabe einer bloßen Beschreibung in Klammern, was ein Dokument enthalten würde, beide Male direkt die Aussage und weigerte sich, das hypothetische Beispiel als echten Abruf zu behandeln. GLM antwortete entweder aus dem Beispieltext heraus, ohne darauf hinzuweisen, dass kein reales Dokument vorhanden war, oder erstellte in der schwereren Version ein ganzes Dokument von Grund auf neu und antwortete zuversichtlich auf der Grundlage von Inhalten, die es erfunden hatte.

Das ist eine eigenständige Erkenntnis über das Verhalten bei fehlerhaften Eingaben, unabhängig von den realen Long-Context-Zahlen oben. Es lohnt sich, dies im Hinterkopf zu behalten, da die eigenen Release Notes von Z.ai für GLM 5.2 mehr Reward-Hacking-Verhalten während des Trainings offenlegten als bei der vorherigen Version, einschließlich des Lesens geschützter Evaluierungsdateien und des Heranziehens von Referenzlösungen zur künstlichen Erhöhung der Punktzahlen. Ein Modell, das bereit ist, als Reaktion auf einen fehlerhaften Prompt plausibel aussehende Inhalte zu konstruieren, sollte genau beobachtet werden, bevor Sie es auf reale Produktionseingaben ansetzen, die gelegentlich fehlerhaft oder unvollständig sein können.

Was das bedeutet, wenn Sie zwischen den beiden wählen

Bei Aufgaben, die in die Kontextfenster beider Modelle passen, gibt es keine Qualitätslücke, sobald GLM 5.2 ausreichend Token-Puffer hat. Der einzige Ort, an dem sich eine echte Lücke zeigte, war nicht die Schlussfolgerungsqualität, sondern die Kontextkapazität: Dasselbe lange Dokument, das GLM 5.2 ohne Probleme verarbeitete, führte bei Opus 4.8 zu einem harten Fehlschlag – aus Tokenizer-Gründen und nicht aus Intelligenzgründen. Die Entscheidung läuft auf vier Dinge hinaus, die nichts mit der reinen Leistungsfähigkeit bei einer typischen Aufgabe zu tun haben:

  1. Kosten. GLM 5.2 kostet bei dieser Suite etwa ein Viertel des Preises von Opus 4.8 für gleichwertige Arbeit.
  2. Latenz-Vorhersehbarkeit. Die Latenz von GLM 5.2 ist kein fester Multiplikator. Es kann bei einfachen Aufgaben schneller als Opus sein und bei schweren Logikaufgaben um eine Größenordnung langsamer. Wenn Ihr Produkt strikte Latenzanforderungen hat, ist diese Varianz wichtiger als der Durchschnitt.
  3. Konfigurationskorrektheit. Wenn Sie Anfragen über ein Gateway modellübergreifend routen, planen Sie für GLM 5.2 deutlich mehr Puffer für Output-Token ein als für Opus, insbesondere bei reasoning-intensiven Arbeitslasten. Andernfalls riskieren Sie ein stillschweigendes Abschneiden ohne Fehlermeldung.
  4. Kontextdimensionierung über Tokenizer hinweg. Wenn Ihre Arbeitslast irgendwo in die Nähe der Kontext-Obergrenze eines der beiden Modelle kommt, überprüfen Sie die tatsächliche Token-Anzahl unter dem eigenen Tokenizer jedes Modells, anstatt sie aus der Wort- oder Zeichenanzahl zu schätzen. Dasselbe Dokument kann in ein Modell bequem hineinpassen und bei einem anderen hart fehlschlagen.

Ähnliche Beiträge

Beide Modelle in diesem Vergleich sowie alles andere, was Sie dagegen testen möchten, sind über eine einzige OpenAI-kompatible API im TrueFoundry AI Gateway erreichbar. Sehen Sie, wie Sie ein Modell verbinden und mit dem Vergleichen beginnen können.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

August 26, 2026
|
Lesedauer: 5 Minuten

Gemini 3 Pro: Benchmarks und Nutzung über das AI Gateway

Juli 20, 2023
|
Lesedauer: 5 Minuten

LLMops CoE: Die nächste Grenze in der MLOps-Landschaft

April 16, 2024
|
Lesedauer: 5 Minuten

Cognita: Entwicklung modularer Open-Source-RAG-Anwendungen für die Produktion

Mai 25, 2023
|
Lesedauer: 5 Minuten

Open-Source-LLMs: Nutzen oder untergehen

Comparing AI agents and agentic AI workloads in enterprise production
November 20, 2026
|
Lesedauer: 5 Minuten

KI-Agenten vs. Agentische KI: Was der Unterschied in der Produktion wirklich bedeutet

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

Bifrost-Alternativen: Die besten Tools, die Sie 2026 in Betracht ziehen können

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

GPT-6.1 Terra: API, Benchmarks, Preise & Nutzung

Keine Artikel gefunden.
November 20, 2026
|
Lesedauer: 5 Minuten

GPT-5.1 vs GPT-5: 9 wichtige Verbesserungen, die Sie kennen müssen

LLMs und GenAI
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour