TrueFoundry vs OpenRouter: レート制限、バジェット、キャッシュ、LLMコスト制御の比較 (2026年版)
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
OpenRouterでレート制限に達した経験がある場合、その原因は通常、トラフィックによるものではありません。OpenRouterはキーごと、およびアカウントごとにリクエストを制限しており、割り当てられる制限枠は購入したクレジット残高と連動しています。そのため、残高が少ないとレート制限も厳しくなります。これは可用性制御の役割を果たしている課金上の仕様であり、OpenRouterのコストモデルとプラットフォームチームのコストモデルが、異なる対象者のために構築されていることを示す最初の兆候です。
本記事では、TrueFoundry vs OpenRouter シリーズの「コスト制御と最適化」を取り上げます。レート制限、バジェットと警告/ブロックの挙動、クォータとリセットウィンドウ、コスト考慮型ルーティングと価格テーブルの維持方法、キャッシュ、チャージバックのための属性付与について解説します。本記事はLLMのAPIコスト削減を求められているエンジニアや、報告義務のあるプラットフォームリード向けに書かれており、すべての主張は両ベンダーの公式ドキュメントに基づいています。LLM gatewayがどのような位置付けになるかについては、当社のプライマーからお読みください。
概要一覧
OpenRouterのレート制限の仕組みと、制限に達する理由
OpenRouterのレート制限はリクエスト数に基づいており、制限値はアカウント残高に連動しています。無料モデルのバリエーションは毎分20リクエストに制限されます。生涯クレジット購入額が10ドル未満のアカウントには、1日あたり50回までの無料モデルリクエストが与えられ、10ドル以上を支払うと永久的に1日1,000回まで引き上げられます。失敗したリクエストも上限としてカウントされる場合があります。無料枠を超えた場合、無料モデルのレート制限は購入したクレジットに依存するため、スループットの余地は公開されているテナントごとのクォータではなく、アカウント残高の関数となります。トークンベースの制限や同時実行数の制限についてはドキュメントに記載がありません。レート制限を超えたリクエストはキューイングされず、即座に拒否されます。
ここから2つの結果が生じます。第一に、OpenRouterのクレジット上限は支出制御であると同時に可用性制御でもあります。残高が減過するとレート制限が厳しくなり、ゼロになるとトラフィックが停止します。第二に、クレジットはアカウントレベルに存在し、ワークスペースはその下位にあるため、1つのワークスペースのトラフィックが組織内の他のすべてのワークスペースと共有している上限を消費する可能性があり、製品内でそれを隔離する機能はありません。
TrueFoundryは、分、時間、日単位のリクエスト数およびトークン数によってレート制限を行います。ルールはユーザー、チーム、バーチャルアカウント、モデル、またはリクエストメタデータごとに適用され、最初に一致したルールが優先されます(rate limiting)。ゲートウェイはメモリ内でルールを保持し、リクエストを処理する際に残高を参照しないため、制限は支払額や他チームのトラフィックとは完全に独立しています。同時実行数の制限については、当社のドキュメントにも記載がありません。これは、ドキュメントを読むよりも実際にテストすべき唯一の項目です。ルールのサイズ設定方法については、rate limiting in an LLM gateway のガイドをご覧ください。



バジェット:ハードストップ vs 警告後ブロック
OpenRouterのバジェットは3つのレベルで存在します。キーごとには、UTC深夜に任意で日、週、月単位のリセットが可能なクレジット上限があり、超過時にキーが自動無効化されます。メンバーごとおよびワークスペースごとには、バジェットを強制しキーやメンバーに割り当て可能なガードレールがあり、アカウントレベルのポリシーが上限として機能します(ワークスペースはこれを絞り込むことしかできません)。ワークスペースバジェットは専用のAPIを持つ主要機能であり、期間をネスト(生涯、月、週、日)でき、短期間になるほど上限値を厳密に小さく設定する必要があり、BYOK(独自キーの持ち込み)インフェレンスをカウントするかを決めるinclude_byok_in_budgetsスイッチを備えています。
ここで重要な3つの設計上の特徴があります。まず、バジェットがプールされることはありません。3人のメンバーに同じ日次バジェットガードレールを適用した場合、各メンバーに個別にそのバジェットが割り当てられ、リクエストはキーのバジェットと所有メンバーのバジェットの両方にカウントされます。次に、モデル別およびアプリケーション別の直接的なメカニズムは存在しません。アプリバジェットは、そのアプリが専用のキーとして定義されている場合にのみ機能します。最後に、バジェットはアラートではなくハードストップです。警告のみのモードはドキュメントに記載されておらず、上限を超えたリクエストはHTTP 403を返します。チームがバジェットの枯渇に気づくのは、通常このタイミングです。
TrueFoundryのBudget Limiting V2では、テナントまたはチーム範囲でルールを定義し、ユーザー、チーム、バーチャルアカウント、モデル(具象または仮想)、プロバイダーアカウント、およびX-TFY-METADATAヘッダー経由のリクエストメタデータによってフィルタリングできます。そのため、アプリごとのバジェットもバーチャルアカウントやメタデータタグで容易に実現できます(budget limiting v2)。ルールは強制モード(リクエストをブロック)または警告のみモードで動作し、複数のルールがAND条件で組み合わされます。制限は合計またはユーザーごと、バーチャルアカウントごと、モデルごと、メタデータ値ごとに適用され、期間は日、週、月、四半期、生涯から選択でき、1つのルール内で重複設定が可能です(例: 1日あたり$0.50かつ四半期あたり$2、どちらの違反でもブロック)。75%、90%、95%、100%の達成時点で、メール、Slack Webhook、またはSlackボットへ通知アラートが送信されます。ただし注意点として、記録は期間の開始時点ではなくルールが作成された時点から開始されるため、それ以前の支出は過去に遡ってカウントされません。


運用上の実質的な違いとして、TrueFoundryではチームは75%の時点で警告を受け取り、ルールが「警告のみ」であれば100%を超えても作業を継続できます。一方、OpenRouterではリクエストが403エラーを返し始めて初めてバジェットの上限に達したことを知ることになります。
OpenRouterのプロンプトキャッシュ vs セマンティックキャッシュ
ここでは異なる2つの概念がどちらも「キャッシュ」と呼ばれており、これらを混同することがコストレビューにおける最も一般的な誤りです。
「プロバイダープロンプトキャッシュ」とは、モデルプロバイダーがキャッシュされた入力トークンの料金を割引く仕組みです。OpenRouterはこれを透過的に通過させ、最適にルーティングします。キャッシュの読み取りはプロバイダーによって通常の入力価格の約0.1〜0.5倍となり、session_idによってウォームキャッシュを保持するプロバイダーへのセッションが維持されます。TrueFoundryもプロバイダープロンプトキャッシュを通過させ、公式ドキュメントではゲートウェイキャッシュと組み合わせる方法を明記しています(caching)。どちらのベンダーも独自にこれを開発したわけではありませんが、両者ともこの機能を活用できるようにしています。
「ゲートウェイレスポンスキャッシュ」とは、ゲートウェイ自体がプロバイダーを呼び出さずにリクエストに応答する機能です。現在ベータ版であるOpenRouterのレスポンスキャッシュは「完全一致」方式であり、APIキー、モデル、エンドポイントタイプ、ストリーミングモード、リクエストボディ全体が同一である場合にのみ同一リクエストとみなされます。X-OpenRouter-Cache: trueヘッダーを介してリクエストごとにオプトイン可能で、モデルに依存せず、Chat Completions、Responses、Messages、Embeddingsをカバーします(レガシーなCompletions、TTS、STT、Rerank、Videoは対象外)。キャッシュヒット時は料金が発生せず、トークンも消費せずにレスポンスを返します。評価すべき特徴として、キャッシュヒットはプロバイダーのレート制限にカウントされず、アクティビティログで確認できる点が挙げられます。一方で制限事項として、OpenRouterのキャッシュは単一のAPIキーにスコープ設定されているため、同じアカウント配下の異なるキー間で共有されず、独自キーを持つ複数のサービス群はお互いのトラフィックの恩恵を受けられません。また、セマンティックキャッシュは提供されていません。自社テストでは、同一再リクエストに対して100%のヒット率を記録し、キャッシュミス時の2,866.8 msに対してヒット時は58.5 ms、TTL(生存時間)は2〜5分でした。
TrueFoundryは、Redisをバックエンドとした完全一致およびセマンティックキャッシュの両方をゲートウェイレベルで提供します。キャッシュヒット時はプロバイダーの呼び出しとコストが完全にゼロでレスポンスを返し、すべてのプロバイダーに対応します。キャッシュは単一キーに閉じられず、すべての呼び出し元で共有されるため、あるチームが実行した質問のキャッシュを別のチームも活用できます。セマンティックキャッシュは、カスタマーサポートのアシスタント、社内検索、動的変数を含むプロンプトテンプレートなど、完全一致がヒットしないワークロードで真価を発揮します。ヒット率はトラフィックの性質に完全に依存するため公開していません。自社のプロンプトで1週間テストを行うことが最も確実な検証方法です。
コスト考慮型ルーティング:最安プロバイダー vs 最安モデル
ルーティング指示が設定されていない場合でも、OpenRouterは以下の3ステップで自動的に価格を最適化します。過去30秒間に重大な障害が発生したプロバイダーの優先度を下げ、安定しているプロバイダーの中から価格の逆2乗で重み付けされた低コスト候補を選択し、残りをフォールバックとして保持します。さらに明示的な制御を重ねることが可能です。provider.sort: "price"または:floorモデルスラッグショートカットは最安順にルーティングし、:nitroはスループット重視でルーティングし、provider.max_priceはソートと組み合わせ可能な100万トークンあたりの上限ドル価格を設定し、provider.only、ignore、量子化の推奨設定によって候補セットを絞り込みます。OpenRouter自身が販売者であるため、価格リスト=販売価格であり、価格テーブルが古くなることはありません。真実として付言すべき限界が2つあります。これは特定のモデルに対するプロバイダー間のアービトラージであり、モデルの代替(置き換え)ではない点と、安価なプロバイダーが同じモデルの異なる量子化版を提供する可能性があるため、価格順ルーティングが品質の一貫性とトレードオフになる点です。
TrueFoundryは価格テーブル駆動のプロバイダーアービトラージは行いません。当社が提供するのは「複雑性ベースのルーティング」です。ゲートウェイは各リクエストを「シンプル」「中程度」「複雑」に分類し、スティッキーセッションを維持しながら各ティア向けに設定されたモデルへルーティングします。つまり、人間がティアごとに安価なモデルを選択し、ゲートウェイがティアの分類を担当します(auto routing)。その周囲で、ターゲット間の重み、レイテンシ、優先度に基づくロードバランシングが機能し、バジェットを超過したターゲットを自動スキップする仮想モデルフォールバックチェーンがコストサーキットブレーカーとして動作します。価格データはオープンソースカタログと、交渉済み契約やファインチューニング済みモデル用のプライベートレートから取得されます(cost tracking)。したがって正当な結論としては、「許容可能な最安モデルの選択」は可能ですが、「このモデルにおける最安プロバイダーの自動選択」は行わない、ということになります。この2つのアプローチがルーティング設計にどう適合するかについては、当社のLLM routerの解説記事をご覧ください。


属性付与と社内課金(チャージバック)
支出を管理するための第一歩は、「誰が消費したか」を把握することです。TrueFoundryはユーザー、チーム、バーチャルアカウント、モデル、プロバイダーアカウント、および任意のメタデータキーごとにコストとトークンを割り当てます。X-TFY-METADATAヘッダーがチャージバックフックとして機能するため、コストセンターやアプリケーションIDがタグ付けされたリクエストはその下に集計・レポートされます。ダッシュボードではこれらのあらゆる次元で支出の内訳が表示され、バジェットAPIは使用状況や高額消費者のリーダーボードを公開します(cost tracking、budgets API)。メモリ内でこれらのルールを適用する同一のゲートウェイプレーンは、1,000以上のLLMにわたってオーバーヘッドを約3〜4 ms、vCPUあたり毎秒350以上のリクエスト処理能力に抑えているため、属性付与によってレイテンシの代償を払う必要はありません。財務面での詳細については、当社のLLM cost tracking solutionガイドをご覧ください。
OpenRouterはキー(説明的なラベル付き)、ワークスペース、モデル、プロバイダーごとに属性を付与します。「Activity」と「Logs」はアカウントレベルのビューを提供し、任意のワークスペースフィルタリングが可能です。usage: {include: true}はレスポンスボディ内でリクエストごとの使用量を返し、「Activity Export」はモデル、キー、またはメンバーごとにグループ化されたCSVやPDFを出力します。また、「User Tracking」機能とカスタム分類子によって、ユーザーごとおよびカテゴリごとの次元が追加されます。請求は全ワークスペースをまとめた1通の請求書で行われます。アプリケーションごとやコストセンターごとの属性付与は、カスタムユーザーIDや分類子をネイティブに使用するか、Broadcastメタデータ経由で自社の可視化プラットフォームに送信することで実現可能です。
これが両者におけるLLMコスト最適化の全体像です。単一アプリケーションのLLM APIコストを削減することが目標であれば、OpenRouterのルーティングによって自動的に大部分を処理できます。組織全体でのコスト削減が目標であれば、どのチームが消費しているかを把握し、遮断される前に警告を出し、簡単なリクエストを安価なモデルへルーティングする必要があります。これこそがTrueFoundryの設計思想です。
TrueFoundry vs OpenRouter: コスト制御の直接比較
TrueFoundryの機能は公式ドキュメントに基づいており、OpenRouterの機能は執筆時点で公開されているドキュメントに基づいています。
OpenRouterを選択すべきケース
- 主なコスト削減の手法が「プロバイダー間における単一モデルの価格比較」であり、設定した厳格な価格上限の下でそのアービトラージを自動化したい場合。
- キーがアプリケーションと1対1で対応しており、キーごとのバジェットがアプリごとのバジェットとして機能するため、モデルごとの適用範囲が欠けていても問題ない場合。
- 事前チャージした残高を厳格な損失上限とする運用を好み、上限到達時の403エラーが想定通りの挙動として許容できる場合。
TrueFoundryを選択すべきケース
- 財務部門がチームやコストセンターごとの社内課金データを必要としており、データパイプラインを構築せずにメタデータヘッダーとダッシュボードでそれを実現したい場合。
- アクセスが遮断される前にチームへ警告を出す必要があり、一部のルールは決してブロックさせたくない場合。
- 複数の呼び出し元にわたってモデル別やアプリケーション別にバジェットを適用し、レート制限でリクエスト数だけでなくトークン数も管理したい場合。
- コスト戦略の核がプロバイダーの比較ではなくモデルの代替(簡単なリクエストを安価なモデルへ回す)であり、複数のサービス群でセマンティックキャッシュを共有したい場合。
なお、どちらのベンダーも支出予測や異常検知のドキュメントを公開していません。TrueFoundryはエージェントガバナンスのロードマップで異常アラートを「近日公開」としており、OpenRouterには通知機能がありますがアラートタイプは明記されていません。どちらを採用する場合でもFinOpsツールの予算を確保することをお勧めします。より広い選択肢については、OpenRouter alternativesガイドをご覧ください。
関連ドキュメント
- Rate Limiting in an LLM Gateway — チームごとのリクエストおよびトークン制限の設計
- LLM Cost Tracking Solution — 属性付与と社内課金の財務向け機能
- LLM Load Balancing — ターゲット間の重み・レイテンシ・優先度ルーティング
- What is an LLM Router? — モデルレベル vs プロバイダーレベルのルーティング
- OpenRouter Alternatives — エンタープライズ向け選択肢の比較
結論
OpenRouterのレート制限、バジェット、キャッシュ機能は、単一のキーを管理するデベロッパー向けに設計されています。残高に連動する制限、警告なしでブロックするバジェット、キーに紐づくキャッシュを提供する代わりに、市場で最も優れたプロバイダーの自動アービトラージ機能を利用できます。一方、TrueFoundryのコスト制御機能は、財務部門に対応するプラットフォームチーム向けに設計されています。リクエスト数とトークン数による制限、遮断前に警告を出しチーム・モデル・アプリ単位にスコープ設定できるバジェット、すべての呼び出し元で共有されるセマンティックキャッシュ、そして導入してすぐに使えるコストセンター別の社内課金機能を備えています。両者とも予測や異常検知は行わないため、それらは別途計画する必要があります。実用上の判断基準は、「バジェットレポートを読む人物がデベロッパーか、それとも財務パートナーか」という点に集約されます。
マルチチーム展開向けに設定されたバジェット、制限、キャッシュ機能を実際に確認するには、TrueFoundry AI Gatewayを体験していただくか、本番環境でのコスト制御をご検討中の場合はbook a demoからデモをご予約ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















