Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

大規模オープンウェイトルーティング: TrueFoundry AI GatewayにおけるGLM-5.1対Claude Opus 4.7

By ジテンダー・クマール

Updated: November 3, 2026

Published: July 2, 2026

TrueFoundry AI Gatewayを通じて20個の固定プロンプトを実行し、4つの戦略を比較しました: すべてClaude Opus 4.7、すべてZ.AI GLM-5.1、Haiku分類器ルーター(簡単 → オープン、難解 → フロンティア)、および80/20仮想モデル。このプロンプト構成において、分類器ルーティングは、Sonnetジャッジによる評価スコアでより高い値(4.94対4.85)を獲得しながら、すべてOpusの場合と比較してブレンドコストを約31%削減(1Mトークンあたり$15.72対$22.72)しました。すべてオープンの構成は最も低コスト($3.00 / 1M)でしたが、低速であり、品質も僅かに下回りました。結論として、すべてのリクエストに単一のモデル文字列を使用する必要はありません。Gatewayルーティングと安価な分類器を組み合わせることで、簡単なタスクでフロンティア価格を支払うことなく、難解なタスクにおいてフロンティア品質を維持できます。

今これが重要である理由

オープンウェイトの波は、もはや理論上の話ではありません。GLM-5.1のようなモデルは、エージェント型コーディングのポジショニング、200Kトークンのコンテキスト、フロンティアAPIよりも一桁低い定価を備えてリリースされています。一方で、Claude Opus 4.7は依然として高度な推論の基準であり続けています。

プラットフォームチームは、よく知られたトレードオフに直面しています:

  • すべてをフロンティアにルーティングする → 予測可能な品質が得られるが、大規模運用時にはユニットエコノミクスが極めて悪化する。
  • すべてをオープンウェイトにルーティングする → 魅力的なコストとなるが、難解なプロンプトにおいて品質やレイテンシのロングテールにばらつきが生じる。
  • カスタムルーターを構築する → 柔軟ではあるが、プロバイダー間における分類ロジック、フェイルオーバー、請求の不整合解消、キャッシュセマンティクスを自社で所有・管理する必要がある。

TrueFoundry AI Gatewayはその中間に位置します。統合されたOpenAI互換APIを介した1000以上のLLM、重みベースのルーティングを備えた仮想モデル、セマンティックキャッシュヘッダー、正確な請求のための透明性の高い価格設定メトリクスを提供します。シンプルなEASY/HARD分類器(リクエストあたり1回のHaiku呼び出し)が、現実的な20プロンプトのワークロードにおいて、コストと品質の両面で両極端なアプローチを上回ることができるかどうかを検証したいと考えました。

比較対象(技術的概要)

オープンウェイトのベースライン: GLM-5.1

GLM-5.1はZ.AIの2026年4月のフラッグシップモデルであり、TrueFoundryのGateway経由でアクセスし、計画作成、ツール利用、複数ステップのコーディングループなど、長期的なエージェント型タスクを対象としています。

フロンティアのベースライン: Claude Opus 4.7

Opus 4.7は、複雑な推論に向けたAnthropicの最高峰モデルです。注: Opus 4.7は新しいトークナイザーを使用しており、同じテキストでも古いClaudeモデルより多くのトークンを生成する可能性があります。コスト比較には文字数ではなく、計測されたトークン数を使用する必要があります。

アプリレベルの分類器ルーター

当社のルーターは、単一の呼び出し(約8出力トークン)で各プロンプトをEASYまたはHARDに分類します。EASY → GLM-5.1、HARD → Opus 4.7。品質評価には、LLMジャッジとしてClaude Sonnet 4.6を使用します(プロンプトごとのルーブリックに対して1〜5段階評価)。

Gateway仮想モデル (80/20)

また、重みベースのルーティング(UI上でオープン80% / フロンティア20%)に設定されたGatewayの仮想モデルもテストしました。これはアプリレベルの分類を行わないプロバイダー側のロードバランシングを測定するものであり、Haikuルーターとは異なる制御機構です。

ベンチマークについて

プロンプト: 20個のタスク — 10個の「簡単」ラベル(要約、JSON整形、翻訳)と10個の「難解」ラベル(分散システムのトレードオフ、SQLインジェクションレビュー、契約のあいまいさ、K8s OOMデバッグなど)。

戦略ごとのメトリクス:

メトリクス 測定方法
コスト トークン使用量 × 公開定価。ルーター戦略にはHaiku + Sonnetジャッジのオーバーヘッドを含む
レイテンシ リクエストあたりの実測時間。p50 / p95を報告
品質 プロンプトごとのSonnetジャッジの平均スコア(1〜5)

主張していないこと: ベンダーのSWE-benchスコア、本番環境のトラフィックパターン。
‍

ベンダー価格情報 (2026年5月)

モデル 入力 / 1M 出力 / 1M ソース
Claude Opus 4.7 $5 $25 Anthropic料金
Z.AI GLM 5.1 $0.98 $3.08 OpenRouter


GLM-5.1は、ルーティング、キャッシュ、エンタープライズ割引を考慮する前の定価ベースで、Opus 4.7と比較して入力が約5倍、出力が約8倍安価です。興味深い問いは、難解なプロンプトをフロンティアに送信した後に、その差額をどれだけ維持できるかということです。
‍

分析結果 (20プロンプトの実行)

1Mトークンあたりのコスト(今回の実行のトークン構成)

戦略 $ / 1Mトークン 合計 (20プロンプト) 品質 (平均) レイテンシ p50
baseline_opus $22.72 $0.28 4.85 9,094 ms
baseline_open $3.00 $0.07 4.75 20,060 ms
router_classifier $15.72 $0.28 4.94 14,944 ms
virtual_weighted $7.19 $0.14 4.50 23,404 ms

‍

ルーターの振り分け割合 (分類器)

Haikuルーターは、10/20個のプロンプトをGLM-5.1へ、10/20個をOpus 4.7へ送信しました。このプロンプトセット(設計上、簡単10個 + 難解10個)において50/50の分割となりました。トークン量も同様の傾向を示し、生成トラフィックにおいてGLMが7,774トークン、Opusが10,072トークンでした。

レイテンシのロングテールが重要

すべてオープンウェイトの構成は、最も遅いp50(20.1秒)と、極端なp95(約115秒)を示しました。難解なプロンプトにおけるGLMの1回の長い出力がロングテールを支配しました。すべてOpusの構成は、適度なp95(約21秒)とともにp50で最も高速(9.1秒)でした。分類器はp50で中間(14.9秒)、p95は約26秒に収まりました。

品質対コスト: 分類器の最適解

  • ルーター対すべてOpus: 平均ジャッジスコアが高く(4.94対4.85)、ブレンド$/1Mが約31%低くなりました($15.72対$22.72)。20プロンプトの合計ドルコストは実質同じ(約$0.28)でした。これはジャッジ + ルーターのオーバーヘッドがGLMによる削減額を相殺したためです。トークンボリュームが大きくなれば、トークンあたりの差額が拡大していきます。
  • ルーター対すべてオープン: $/1Mは約5.2倍高くなりますが、品質ポイントは+0.19向上しました。難解なプロンプトが重要である場合、最安値が最善とは言えません。
  • 仮想 80/20: 定価のブレンド推計値では$7.19 / 1Mですが、品質(4.50)は両方のベースラインを下回りました。タスクを考慮しない重みベースのルーティングは、このワークロードにおいて分類の代わりにはなりません。単なる仮想モデルIDだけでなく、Gateway Metricsで実際のバックエンド構成を確認してください。

これらの結果が重要である理由

  1. 分類はフロンティアモデルの生成処理に比べて非常に低コストです。リクエストあたり1回のHaiku呼び出しは、難解なタスクにおける1,024トークンのOpus生成処理と比べれば無視できるレベルです。ルーターの経済性は、簡単なトラフィックが全体の大半を占め、かつ誤ルーティングがまれである場合に機能します。
  2. 定価 ≠ 実際の請求額。Gatewayは異なるプロバイダーを経由してルーティングしたり、キャッシュを適用したり、レートのネゴシエーションを行ったりする場合があります。今回の結果では実行時の計測トークン数に公開定価を適用しています。FinOpsのガードレールを設定する前に、Gateway Metrics → Download Raw Dataで突き合わせを行う必要があります。
  3. レイテンシと品質は連動しています。トークン費用を31%削減できたとしても、p95レイテンシがSLOに違反してしまっては意味がありません。オープンウェイトのベースラインが示したように、単一の誤ったルーティング決定(難解なプロンプトをGLMのみに送るなど)がテールレイテンシを爆発させる可能性があります。
  4. 2つのルーティングパターン、2つのアプローチ。アプリレベルのEASY/HARDルーティングは、このセットにおける品質コストを最適化しました。UIレベルの80/20仮想モデルは運用上のシンプルさを最適化しましたが、ここでの品質面ではパフォーマンスが下回りました。段階的なロールアウトには有用ですが、タスクを考慮したルーティングの完全な代替にはなりません。

プラットフォームチーム向けの実践的なポイント

  1. 1つのGatewayベースURLで接続されたフロンティア + オープンウェイトのペアから始める。モデル文字列を変更するだけでモデルを切り替え可能 — プロバイダーごとのSDKフォークは不要です。
  2. 仮想モデルの重みに複雑さを加える前に、安価な分類器(Haikuなど)を追加する。厳選したプロンプトのサブセットで誤ルーティング率を測定します。
  3. 評価基準に沿ったプロンプトのティアリスト(簡単 / 難解)を公開する — 当社の20プロンプトセットはテンプレートであり、本番環境のトラフィック分布そのものではありません。
  4. ノートブックの推計値ではなく、Gateway Metricsでコストの整合性を確認する。生の請求CSVをエクスポートし、トレースメタデータと結合します。
  5. ルーティングが安定した後にセマンティックキャッシュを重ねる — 言い換えられた簡単なプロンプトに対するセマンティックキャッシュこそが、通常キャッシュのROIが表れる場所です(今回のベースライン実行では測定されていません)。

TrueFoundry AI Gatewayがこれらを可能にする仕組み

  • 統合されたOpenAI互換API — 単一のクライアント、Gatewayを指すbase_url。GLM、Opus、Haiku、Sonnetに対して同一のコードパスを使用。
  • 仮想モデル — アプリケーションの変更なしで重みベースの80/20ルーティングを実施 (docs)。
  • セマンティックキャッシュ — 類似性に基づくレスポンスの再利用 (docs)。
  • 可視性(Observability) — 整合性のためのトークン使用量、レイテンシ、コストヘッダー。ハイスループットなプロキシシナリオにおいて、ゲートウェイ層で1 vCPUあたり約3〜4 msのレイテンシと350+ RPSを実現。

結論

GLM-5.1のようなオープンウェイトモデルは、簡単なトラフィックを獲得するのに適した価格設定になっています。Claude Opus 4.7は、難解なプロンプトにおいて依然としてその価値を発揮します。両者の差は非常に大きいため、モデルのマーケティングよりもルーティングの方が重要になります。

TrueFoundry AI Gatewayを通じた20プロンプトの検証において、Haiku分類器ルーターが最高の組み合わせ結果を提供しました: すべてOpusの場合と比較して、100万トークンあたりのブレンドコストを約31%削減し、より高い平均ジャッジスコア(4.94対4.85)を記録しました。すべてオープンはコストの最安値を維持し、すべてOpusは品質およびp50レイテンシのスピードにおいて最高水準を維持しました。

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
November 17, 2026
|
5 min read

Claude Codeの制限について解説(2026年版)

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 17, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour