大規模オープンウェイトルーティング: TrueFoundry AI GatewayにおけるGLM-5.1対Claude Opus 4.7

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundry AI Gatewayを通じて20個の固定プロンプトを実行し、4つの戦略を比較しました: すべてClaude Opus 4.7、すべてZ.AI GLM-5.1、Haiku分類器ルーター(簡単 → オープン、難解 → フロンティア)、および80/20仮想モデル。このプロンプト構成において、分類器ルーティングは、Sonnetジャッジによる評価スコアでより高い値(4.94対4.85)を獲得しながら、すべてOpusの場合と比較してブレンドコストを約31%削減(1Mトークンあたり$15.72対$22.72)しました。すべてオープンの構成は最も低コスト($3.00 / 1M)でしたが、低速であり、品質も僅かに下回りました。結論として、すべてのリクエストに単一のモデル文字列を使用する必要はありません。Gatewayルーティングと安価な分類器を組み合わせることで、簡単なタスクでフロンティア価格を支払うことなく、難解なタスクにおいてフロンティア品質を維持できます。
今これが重要である理由
オープンウェイトの波は、もはや理論上の話ではありません。GLM-5.1のようなモデルは、エージェント型コーディングのポジショニング、200Kトークンのコンテキスト、フロンティアAPIよりも一桁低い定価を備えてリリースされています。一方で、Claude Opus 4.7は依然として高度な推論の基準であり続けています。
プラットフォームチームは、よく知られたトレードオフに直面しています:
- すべてをフロンティアにルーティングする → 予測可能な品質が得られるが、大規模運用時にはユニットエコノミクスが極めて悪化する。
- すべてをオープンウェイトにルーティングする → 魅力的なコストとなるが、難解なプロンプトにおいて品質やレイテンシのロングテールにばらつきが生じる。
- カスタムルーターを構築する → 柔軟ではあるが、プロバイダー間における分類ロジック、フェイルオーバー、請求の不整合解消、キャッシュセマンティクスを自社で所有・管理する必要がある。
TrueFoundry AI Gatewayはその中間に位置します。統合されたOpenAI互換APIを介した1000以上のLLM、重みベースのルーティングを備えた仮想モデル、セマンティックキャッシュヘッダー、正確な請求のための透明性の高い価格設定メトリクスを提供します。シンプルなEASY/HARD分類器(リクエストあたり1回のHaiku呼び出し)が、現実的な20プロンプトのワークロードにおいて、コストと品質の両面で両極端なアプローチを上回ることができるかどうかを検証したいと考えました。
比較対象(技術的概要)
オープンウェイトのベースライン: GLM-5.1
GLM-5.1はZ.AIの2026年4月のフラッグシップモデルであり、TrueFoundryのGateway経由でアクセスし、計画作成、ツール利用、複数ステップのコーディングループなど、長期的なエージェント型タスクを対象としています。
フロンティアのベースライン: Claude Opus 4.7
Opus 4.7は、複雑な推論に向けたAnthropicの最高峰モデルです。注: Opus 4.7は新しいトークナイザーを使用しており、同じテキストでも古いClaudeモデルより多くのトークンを生成する可能性があります。コスト比較には文字数ではなく、計測されたトークン数を使用する必要があります。
アプリレベルの分類器ルーター
当社のルーターは、単一の呼び出し(約8出力トークン)で各プロンプトをEASYまたはHARDに分類します。EASY → GLM-5.1、HARD → Opus 4.7。品質評価には、LLMジャッジとしてClaude Sonnet 4.6を使用します(プロンプトごとのルーブリックに対して1〜5段階評価)。
Gateway仮想モデル (80/20)
また、重みベースのルーティング(UI上でオープン80% / フロンティア20%)に設定されたGatewayの仮想モデルもテストしました。これはアプリレベルの分類を行わないプロバイダー側のロードバランシングを測定するものであり、Haikuルーターとは異なる制御機構です。
ベンチマークについて
プロンプト: 20個のタスク — 10個の「簡単」ラベル(要約、JSON整形、翻訳)と10個の「難解」ラベル(分散システムのトレードオフ、SQLインジェクションレビュー、契約のあいまいさ、K8s OOMデバッグなど)。
戦略ごとのメトリクス:
主張していないこと: ベンダーのSWE-benchスコア、本番環境のトラフィックパターン。
ベンダー価格情報 (2026年5月)
GLM-5.1は、ルーティング、キャッシュ、エンタープライズ割引を考慮する前の定価ベースで、Opus 4.7と比較して入力が約5倍、出力が約8倍安価です。興味深い問いは、難解なプロンプトをフロンティアに送信した後に、その差額をどれだけ維持できるかということです。
分析結果 (20プロンプトの実行)
1Mトークンあたりのコスト(今回の実行のトークン構成)
ルーターの振り分け割合 (分類器)
Haikuルーターは、10/20個のプロンプトをGLM-5.1へ、10/20個をOpus 4.7へ送信しました。このプロンプトセット(設計上、簡単10個 + 難解10個)において50/50の分割となりました。トークン量も同様の傾向を示し、生成トラフィックにおいてGLMが7,774トークン、Opusが10,072トークンでした。
レイテンシのロングテールが重要
すべてオープンウェイトの構成は、最も遅いp50(20.1秒)と、極端なp95(約115秒)を示しました。難解なプロンプトにおけるGLMの1回の長い出力がロングテールを支配しました。すべてOpusの構成は、適度なp95(約21秒)とともにp50で最も高速(9.1秒)でした。分類器はp50で中間(14.9秒)、p95は約26秒に収まりました。
品質対コスト: 分類器の最適解
- ルーター対すべてOpus: 平均ジャッジスコアが高く(4.94対4.85)、ブレンド$/1Mが約31%低くなりました($15.72対$22.72)。20プロンプトの合計ドルコストは実質同じ(約$0.28)でした。これはジャッジ + ルーターのオーバーヘッドがGLMによる削減額を相殺したためです。トークンボリュームが大きくなれば、トークンあたりの差額が拡大していきます。
- ルーター対すべてオープン: $/1Mは約5.2倍高くなりますが、品質ポイントは+0.19向上しました。難解なプロンプトが重要である場合、最安値が最善とは言えません。
- 仮想 80/20: 定価のブレンド推計値では$7.19 / 1Mですが、品質(4.50)は両方のベースラインを下回りました。タスクを考慮しない重みベースのルーティングは、このワークロードにおいて分類の代わりにはなりません。単なる仮想モデルIDだけでなく、Gateway Metricsで実際のバックエンド構成を確認してください。
これらの結果が重要である理由
- 分類はフロンティアモデルの生成処理に比べて非常に低コストです。リクエストあたり1回のHaiku呼び出しは、難解なタスクにおける1,024トークンのOpus生成処理と比べれば無視できるレベルです。ルーターの経済性は、簡単なトラフィックが全体の大半を占め、かつ誤ルーティングがまれである場合に機能します。
- 定価 ≠ 実際の請求額。Gatewayは異なるプロバイダーを経由してルーティングしたり、キャッシュを適用したり、レートのネゴシエーションを行ったりする場合があります。今回の結果では実行時の計測トークン数に公開定価を適用しています。FinOpsのガードレールを設定する前に、Gateway Metrics → Download Raw Dataで突き合わせを行う必要があります。
- レイテンシと品質は連動しています。トークン費用を31%削減できたとしても、p95レイテンシがSLOに違反してしまっては意味がありません。オープンウェイトのベースラインが示したように、単一の誤ったルーティング決定(難解なプロンプトをGLMのみに送るなど)がテールレイテンシを爆発させる可能性があります。
- 2つのルーティングパターン、2つのアプローチ。アプリレベルのEASY/HARDルーティングは、このセットにおける品質コストを最適化しました。UIレベルの80/20仮想モデルは運用上のシンプルさを最適化しましたが、ここでの品質面ではパフォーマンスが下回りました。段階的なロールアウトには有用ですが、タスクを考慮したルーティングの完全な代替にはなりません。
プラットフォームチーム向けの実践的なポイント
- 1つのGatewayベースURLで接続されたフロンティア + オープンウェイトのペアから始める。モデル文字列を変更するだけでモデルを切り替え可能 — プロバイダーごとのSDKフォークは不要です。
- 仮想モデルの重みに複雑さを加える前に、安価な分類器(Haikuなど)を追加する。厳選したプロンプトのサブセットで誤ルーティング率を測定します。
- 評価基準に沿ったプロンプトのティアリスト(簡単 / 難解)を公開する — 当社の20プロンプトセットはテンプレートであり、本番環境のトラフィック分布そのものではありません。
- ノートブックの推計値ではなく、Gateway Metricsでコストの整合性を確認する。生の請求CSVをエクスポートし、トレースメタデータと結合します。
- ルーティングが安定した後にセマンティックキャッシュを重ねる — 言い換えられた簡単なプロンプトに対するセマンティックキャッシュこそが、通常キャッシュのROIが表れる場所です(今回のベースライン実行では測定されていません)。
TrueFoundry AI Gatewayがこれらを可能にする仕組み
- 統合されたOpenAI互換API — 単一のクライアント、Gatewayを指すbase_url。GLM、Opus、Haiku、Sonnetに対して同一のコードパスを使用。
- 仮想モデル — アプリケーションの変更なしで重みベースの80/20ルーティングを実施 (docs)。
- セマンティックキャッシュ — 類似性に基づくレスポンスの再利用 (docs)。
- 可視性(Observability) — 整合性のためのトークン使用量、レイテンシ、コストヘッダー。ハイスループットなプロキシシナリオにおいて、ゲートウェイ層で1 vCPUあたり約3〜4 msのレイテンシと350+ RPSを実現。
結論
GLM-5.1のようなオープンウェイトモデルは、簡単なトラフィックを獲得するのに適した価格設定になっています。Claude Opus 4.7は、難解なプロンプトにおいて依然としてその価値を発揮します。両者の差は非常に大きいため、モデルのマーケティングよりもルーティングの方が重要になります。
TrueFoundry AI Gatewayを通じた20プロンプトの検証において、Haiku分類器ルーターが最高の組み合わせ結果を提供しました: すべてOpusの場合と比較して、100万トークンあたりのブレンドコストを約31%削減し、より高い平均ジャッジスコア(4.94対4.85)を記録しました。すべてオープンはコストの最安値を維持し、すべてOpusは品質およびp50レイテンシのスピードにおいて最高水準を維持しました。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






