GLM 5.2とClaude Opus 4.8に対し、両者の差を浮き彫りにするタスクを実行しました。差は見つかりましたが、予想とは異なる部分でした。

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Z.aiが提供するオープンウェイトモデルであるGLM 5.2は、リリース以来ベンチマークのリーダーボードを急速に駆け上がっており、Artificial Analysisによる第三者評価では、市場で最も優れた機能を持つ利用可能なオープンウェイト言語モデルとして位置付けられています。同モデル上で開発を行う誰もが抱く当然の疑問は、「最先端の商用クローズドモデルから現在の最高のオープンウェイトモデルへ移行する際、どの程度の機能を失うことになるのか?」ということです。
これまでのほとんどの報道は、ベンチマークを引用することでその疑問に答えていました。私たちは、自社のAI Gatewayを経由して独自のタスクを実行し、同じ評価ルーブリックに基づいて両方のモデルを評価することで答えを出したいと考えました。その結果は以下の通りです。
検証のセットアップ
3つのティアに分けた10個のタスクからなるスイートを構築し、TrueFoundry AI Gatewayを経由してClaude Opus 4.8とGLM 5.2に対して実行しました。
- ベースラインタスク(4個):意図的にシンプルに作られた単一機能または単一ツール呼び出しの問題。これらは機能の最低限のチェックであり、真の能力テストではありません。
- ハードタスク(4個):SWE-Bench ProやAgents' Last Examなどの公開ベンチマークにおいて、モデル間に明らかな差が表れるポイントを中心に設計されています。複数ファイルの推理、分岐するマルチステップのツール使用、見破るべき巧妙に間違った「明白な」主張、そしてモデルが質問するか推測するかを試す真に未定義な仕様が含まれます。
- ロングコンテキストタスク(2個):実際のパブリックドメイン文書を使用した「針を探すような(Needle-in-a-haystack)」検索と相互参照推理。どちらのモデルのトークナイザーが計測するかによって異なりますが、およそ29万から100万トークン以上に及びます(この差異についての詳細は後述します)。
すべての応答は、いずれのモデルにプロンプトを投入する前に作成した明示的な合格/不合格基準に基づいて評価されました。
発見1:ハードタスクを含め、品質は同等
適切な形式で構成された8つのタスクすべてにおいて、両モデルとも40点満点中40点を獲得しました。
これには、両者の差を際立たせるために特別に構築されたタスクも含まれています。複数ファイルの割引エンジンタスクでは、両モデルとも最良割引ロジックを正確に実装し、真に非直感的なケース(10%割引と定額15ドル割引が似通っているものの、108ドル対105ドルとして解決される120ドルの注文)において正しく計算を行うテストを作成しました。分岐型エージェントタスクでは、「パートナーシップの責任者」の検索結果として異なる役割を持つ2人が返された際、両モデルとも推測で進めることを適切に拒否し、処理を続行する前に確認を求めました。推理の罠として用意した、キャッシュキーに関する検証済みだが誤った主張の背後に隠された「可変なデフォルト引数」のバグに対しても、両モデルともそれを検出し、発生理由を説明した上で、正しい修正を出荷しました。
ここで引き分けになるとは予想していませんでした。公開されているベンチマークでは、まさにこのようなタスクにおいて、最先端の商用クローズドモデルとオープンウェイトモデルとの間に明確な差が示されているからです。しかし、私たちの特定のスイートにおいては、その差は見られませんでした。
発見2:GLM 5.2の方が圧倒的に低コスト
有効な8つのタスク全体で、Opus 4.8のコストは合計約0.20ドルでした。GLM 5.2は合計約0.05ドルと、4分の1をわずかに上回る価格であり、公表されているトークン単価(Opusの100万トークンあたり5ドル/25ドルに対し、GLM 5.2は1.40ドル/4.40ドル)と一致していました。ワークロードがこのスイートにあるようなタスクに偏っている場合、これはわずかな差ではなく、強力なコスト削減レバーとなります。
発見3:真の差が現れるのはレイテンシーであり、単なる固定の倍率ではない
これこそがより興味深い結果です。なぜなら、結果が一律ではなかったからです。2つのタスクではGLM 5.2の方がOpusよりも高速でした。しかし、最も難しい推理タスクでは、10倍の時間がかかりました。
このパターンはタスクのカテゴリではなく、推理の深さに依存しています。シンプルなツール使用タスクでは、ほぼ同等かGLMがやや優勢です。一方で、内部での広範な推理を必要とするタスクほど、GLMのレイテンシーが最も激しく増大します。レイテンシーに敏感なシステムを構築している場合、「GLMの方が安い」という事実にはもう一つの条件が付きます。つまり「安いが、最も負荷の高いリクエストでは一時的にレイテンシーのスパイクが発生することがあり、全体で一律に高速というわけではない」ということです。
発見4:GLMの推理トークンに関する本番運用上の注意点
これは私たちが意図して探していたわけではない発見です。スイートの最初の実行では、Opusの回答の典型的な長さに合わせて、出力上限を2048トークンに設定していました。Opusはいずれのタスクでもこの上限に達することはありませんでした。しかし、GLM 5.2は2回この上限に達しました。1回は文章の途中で途切れ、もう1回は上限全体を消費した後に完全に空の応答を返しました。
原因はGLM 5.2の推理モードにあります。内部推理トークンは表示される回答と同じ制限枠に対してカウントされるため、より難易度の高いタスクでは、そのオーバーヘッドのないモデルにとっては十分すぎる制限枠であっても、内部推理だけでその大半またはすべてを消費してしまうことがあります。影響を受けた2つのタスクについて、GLM専用に8,000トークンの上限を設定して再実行したところ、両方とも正常に完了し、Opusと同等の品質を達成しました(発見1を参照)。
実務上の注意点:Gatewayを経由してモデル間をルーティングし、あるモデル向けに調整されたトークン制限を再利用している場合、GLM 5.2は同等のタスクの複雑さに対して、特に推理主導の処理において明らかに多くの余裕(ヘッドルーム)を必要とします。これを誤ると、エラーは発生しません。実際には設定上の問題であるにもかかわらず、モデルの不具合のように見える、途切れた応答やサイレントに空となった応答が返されることになります。
発見5:実用的なロングコンテキストテストと、Opusで発生した完全な失敗
今回は実際の文書を使用して2つのロングコンテキストタスクを構築しました。1つはパブリックドメインの小説の全テキスト(モデルのトークナイザーによりますが、約29万〜42万トークン)に対する「針を探すような」検索であり、もう1つは連結された4冊の小説の両端に配置された2つの事実を組み合わせることをモデルに求める相互参照タスクです(これもトークナイザーにより、約70万から100万トークン超)。
よりシンプルな検索タスクでは、両モデルとも挿入された事実を正しく特定しました。Opusはさらに進んで、テキスト内のどの位置にその事実が挿入されたかまで正確に特定しました。これは文脈把握能力の非常に強力な表れです。しかし、私たちは事実のみを引用して出力するよう求めていたのに対し、Opusは単に引用するだけでなく説明を加えてしまいました。GLMは求められた通り、余計な説明を挟まず事実のみで回答しました。これは、要求に対してより忠実で正確な応答でした。
より難易度の高い相互参照タスクでは、Opus 4.8が完全に失敗しました。間違った回答が出たのではなく、Anthropicのトークナイザーで文書が100万トークンをわずかに超えてしまい、Opus 4.8のコンテキストウィンドウを約4%超過したため、ハードエラーが発生しました。GLM 5.2は同じタスクを正常に完了しましたが、その理由は特筆に値します。まったく同じ英文テキストが、Z.aiのトークナイザーでは約718,000トークンとしてカウントされ、Anthropicのトークナイザーがまったく同じテキストに対してカウントした量よりも約31%少なかったのです(逆に言えば、AnthropicのトークナイザーはZ.aiよりも約45%多くトークンをカウントしていました)。
これはモデルの機能差ではありません。トークン数はトークナイザー間で互換性がなく、あるモデルのコンテキストウィンドウに余裕で収まる文書が、同じ内容であっても別のモデルではサイレントに上限を超えてしまう可能性があることを思い出させてくれます。複数のモデルに対してロングコンテキストテストの構築や本番プロンプトのサイズ調整を行う場合は、単語数や文字数から推定するのではなく、モデルごとの実際のトークナイザーのカウントを確認してください。あるモデルにとって安全に見えるマージンが、別のモデルにとっては致命的なエラーになる可能性があります。
コストはコンテキスト長に応じて増加するため、実際の数値を見るまでは過小評価しがちです。Opusに対する1回の検索クエリだけで約2.09ドルのコストがかかりました。これは、ベースラインおよびハードティアの全8タスクの合計(発見2より、合計約0.20ドル)を上回ります。GLMに対する同じクエリのコストは約0.40ドルでした。2つのロングコンテキストタスク全体において、GLMの合計は約1.41ドルであったのに対し、Opusは1回の成功呼び出しだけで約2.09ドルでした(2回目の呼び出しはエラーで失敗したため請求されませんでした)。長文文書を日常的に扱うワークロードの場合、モデル間のトークン単価の差は急速に膨らみ、ベースラインタスクのコスト比較から予想される数値をはるかに超えていきます。
発見6:言及しておく価値のある、以前犯した失敗について
このスイートを構築する初期の段階で、誤って2つのロングコンテキストタスクに実際の文書ではなくプレースホルダーテキストを使用してしまったことがありました。その不備のある入力に対する両モデルの反応は、すでに修正された問題ではあるものの、補足として記録しておく価値があります。Opusは、文書に含まれるべき内容のブラケット表示のみを与えられた際、2回ともそれを直接指摘し、仮説上の例を本物の検索対象として扱うことを拒否しました。一方、GLMは、実際の文書が存在しないことを指摘せずに例のテキストから回答するか、より難しいバージョンでは存在しない文書全体をゼロから捏造し、自ら創作した内容に基づいて堂々と回答しました。
これは、上記の実際のロングコンテキストの数値とは別の、不備のある入力に対する動作に関する固有の発見です。Z.ai自身によるGLM 5.2のリリースキノーツにおいて、学習中に保護された評価ファイルを読み込んだり、ソリューションを参照してスコアを吊り上げたりする「報酬ハッキング(Reward-hacking)」の動作が前バージョンよりも多く見られたことが開示されていることを考慮すると、頭に入れておく価値があります。不備のあるプロンプトに対して説得力のあるコンテンツを構築しようとするモデルを、不完全またはフォーマット崩れが含まれる可能性のある本番環境のデータに接続する際は、慎重に挙動を観察することをお勧めします。
両者を選択する際の考慮事項
両モデルのコンテキストウィンドウ内に収まるタスクであれば、GLM 5.2に十分なトークン制限の余裕を与えさえすれば、品質上のギャップはありません。明確な差が表れた唯一のポイントは推理の品質ではなく、コンテキスト容量でした。GLM 5.2が問題なく処理できた同じ長文文書が、知能の問題ではなくトークナイザーの理由によってOpus 4.8でハードエラーを引き起こしました。選択は、一般的なタスクにおける生の機能とは関係のない、以下の4つの要素に集約されます。
- コスト: このスイートにおいて、GLM 5.2は同等の作業に対してOpus 4.8の約4分の1の価格です。
- レイテンシーの予測可能性: GLM 5.2のレイテンシーは固定の倍率ではありません。シンプルなタスクではOpusより高速ですが、高度な推理タスクでは一桁遅くなることがあります。製品に厳格なレイテンシー要件がある場合、平均値よりもこの変動幅(分散)が重要になります。
- 設定の正確さ: Gatewayを経由してモデル間をルーティングする場合、特に推理負荷の高いワークロードでは、Opus向けよりも明らかに多くの出力トークン枠の余裕をGLM 5.2に確保してください。そうしないと、キャッチできるエラーが出ないまま、サイレントに回答が切れてしまうリスクがあります。
- トークナイザーによるコンテキストサイズの差異: ワークロードがどちらかのモデルのコンテキスト上限に近づく場合は、単語数や文字数から推測するのではなく、各モデル固有のトークナイザーによる実際のトークン数を確認してください。同じ文書でも、一方のモデルには余裕で収まり、もう一方ではハードエラーを起こす可能性があります。
関連資料
- 大規模なオープンウェイトルーティング:TrueFoundry AI GatewayにおけるGLM-5.1 vs Claude Opus 4.7 — 分類器ベースのルーターを使用して両モデルを組み合わせた、本比較の以前のバージョン
- AI Gatewayの背後でオープンウェイトモデルをセルフホストする — ホスト型APIではなく、自社のインフラ上でGLM 5.2や同様のモデルの運用を検討しているチーム向け
- AI Gatewayを使用する際のコストに関する考慮事項 — 発見2および発見5で触れたコストレバーについてのより広範な考察
- Kimi K2.6:エージェント型AIを再定義するオープンソースの巨人 — 同様のテストを実施する価値のある、もう一つのオープンウェイトモデル
この比較で用いた両モデルをはじめ、テスト対象となり得るその他のすべてのモデルには、TrueFoundry AI Gateway内の単一のOpenAI互換APIを介してアクセスできます。モデルを接続して比較を開始する方法をご覧ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

























