Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

TrueFoundry vs OpenRouter: レート制限、バジェット、キャッシュ、LLMコスト制御の比較 (2026年版)

Published: 11月 20, 2026

要約:

OpenRouterはモデルの「価格」を最適化し、TrueFoundryはガバナンスと支出管理を最適化します。OpenRouterのレート制限はリクエスト数のみでカウントされ、購入したクレジット残高に応じて拡張されます。バジェット機能はハードストップのみ(事前警告なしでHTTP 403を返す)で、キャッシュは完全一致かつ単一APIキーに限定されており、モデル別やアプリケーション別のバジェット設定はできません。その代わり、自身が販売元である強みを活かして維持している価格テーブルを元に、デフォルトで価格加重プロバイダールーティングを行うという点において、私たちが知るどのゲートウェイよりも優れています。

  • OpenRouterの主な強み: 厳格な価格上限を設定した最安プロバイダーへの自動ルーティング、プロバイダーのレート制限にカウントされないキャッシュヒット、事前チャージされた残高内に抑えられる損害リスク。
  • TrueFoundryの主な強み: 75/90/95/100%でのアラート機能を備えた警告または強制(Enforce)モードのバジェット、リクエスト数およびトークン数による制限、モデル別・アプリ別のバジェット、すべての呼び出し元で共有される完全一致およびセマンティックキャッシュ、チームやコストセンターごとの社内課金(チャージバック)。
  • OpenRouterが適しているケース: コスト削減の主な手段が複数プロバイダー間での単一モデルの価格比較であり、APIキーとアプリが1対1で対応している場合。
  • TrueFoundryが適しているケース: 財務部門が社内課金データを必要としている場合、ブロックされる前にチームへの警告が必要な場合、あるいは簡単なリクエストを安価なモデルへルーティングすることがコスト戦略の核である場合。
  • 両者とも支出予測や異常検知機能は備えていません。 どちらを採用する場合でもFinOpsツールの導入を検討してください。

OpenRouterでレート制限に達した経験がある場合、その原因は通常、トラフィックによるものではありません。OpenRouterはキーごと、およびアカウントごとにリクエストを制限しており、割り当てられる制限枠は購入したクレジット残高と連動しています。そのため、残高が少ないとレート制限も厳しくなります。これは可用性制御の役割を果たしている課金上の仕様であり、OpenRouterのコストモデルとプラットフォームチームのコストモデルが、異なる対象者のために構築されていることを示す最初の兆候です。

本記事では、TrueFoundry vs OpenRouter シリーズの「コスト制御と最適化」を取り上げます。レート制限、バジェットと警告/ブロックの挙動、クォータとリセットウィンドウ、コスト考慮型ルーティングと価格テーブルの維持方法、キャッシュ、チャージバックのための属性付与について解説します。本記事はLLMのAPIコスト削減を求められているエンジニアや、報告義務のあるプラットフォームリード向けに書かれており、すべての主張は両ベンダーの公式ドキュメントに基づいています。LLM gatewayがどのような位置付けになるかについては、当社のプライマーからお読みください。

概要一覧

機能TrueFoundryOpenRouter
レート制限分・時間・日単位のリクエスト数およびトークン数。ユーザー、チーム、バーチャルアカウント、モデル、メタデータごとリクエスト数のみ。クレジット残高に連動
バジェットモード強制(ブロック)または警告のみ(Warn-only)ハードストップのみ(HTTP 403)
ブロック前の事前アラート75 / 90 / 95 / 100% の時点でメールまたはSlackに通知ドキュメント記載なし
バジェットの適用範囲ユーザー、チーム、バーチャルアカウント、モデル、プロバイダーアカウント、メタデータキー、メンバー、ワークスペース
キャッシュ完全一致およびセマンティックキャッシュ、全呼び出し元で共有完全一致のみ、APIキーごと、オプトイン方式、ベータ版
コスト考慮型ルーティング複雑性に基づくモデルティアリングデフォルトで価格加重によるプロバイダー選択
社内課金(チャージバック)メタデータヘッダーによるチーム、コストセンター、アプリごとキー、ワークスペース、モデル、プロバイダーごと。ユーザー追跡機能あり

OpenRouterのレート制限の仕組みと、制限に達する理由

OpenRouterのレート制限はリクエスト数に基づいており、制限値はアカウント残高に連動しています。無料モデルのバリエーションは毎分20リクエストに制限されます。生涯クレジット購入額が10ドル未満のアカウントには、1日あたり50回までの無料モデルリクエストが与えられ、10ドル以上を支払うと永久的に1日1,000回まで引き上げられます。失敗したリクエストも上限としてカウントされる場合があります。無料枠を超えた場合、無料モデルのレート制限は購入したクレジットに依存するため、スループットの余地は公開されているテナントごとのクォータではなく、アカウント残高の関数となります。トークンベースの制限や同時実行数の制限についてはドキュメントに記載がありません。レート制限を超えたリクエストはキューイングされず、即座に拒否されます。

ここから2つの結果が生じます。第一に、OpenRouterのクレジット上限は支出制御であると同時に可用性制御でもあります。残高が減過するとレート制限が厳しくなり、ゼロになるとトラフィックが停止します。第二に、クレジットはアカウントレベルに存在し、ワークスペースはその下位にあるため、1つのワークスペースのトラフィックが組織内の他のすべてのワークスペースと共有している上限を消費する可能性があり、製品内でそれを隔離する機能はありません。

TrueFoundryは、分、時間、日単位のリクエスト数およびトークン数によってレート制限を行います。ルールはユーザー、チーム、バーチャルアカウント、モデル、またはリクエストメタデータごとに適用され、最初に一致したルールが優先されます(rate limiting)。ゲートウェイはメモリ内でルールを保持し、リクエストを処理する際に残高を参照しないため、制限は支払額や他チームのトラフィックとは完全に独立しています。同時実行数の制限については、当社のドキュメントにも記載がありません。これは、ドキュメントを読むよりも実際にテストすべき唯一の項目です。ルールのサイズ設定方法については、rate limiting in an LLM gateway のガイドをご覧ください。

図1: TrueFoundryにおけるLLMリクエストのレート制限ルールの適用
図2: TrueFoundryにおけるレート制限の概要表示
図3: TrueFoundryにおけるMCPツール呼び出しのレート制限ルールの適用

バジェット:ハードストップ vs 警告後ブロック

OpenRouterのバジェットは3つのレベルで存在します。キーごとには、UTC深夜に任意で日、週、月単位のリセットが可能なクレジット上限があり、超過時にキーが自動無効化されます。メンバーごとおよびワークスペースごとには、バジェットを強制しキーやメンバーに割り当て可能なガードレールがあり、アカウントレベルのポリシーが上限として機能します(ワークスペースはこれを絞り込むことしかできません)。ワークスペースバジェットは専用のAPIを持つ主要機能であり、期間をネスト(生涯、月、週、日)でき、短期間になるほど上限値を厳密に小さく設定する必要があり、BYOK(独自キーの持ち込み)インフェレンスをカウントするかを決めるinclude_byok_in_budgetsスイッチを備えています。

ここで重要な3つの設計上の特徴があります。まず、バジェットがプールされることはありません。3人のメンバーに同じ日次バジェットガードレールを適用した場合、各メンバーに個別にそのバジェットが割り当てられ、リクエストはキーのバジェットと所有メンバーのバジェットの両方にカウントされます。次に、モデル別およびアプリケーション別の直接的なメカニズムは存在しません。アプリバジェットは、そのアプリが専用のキーとして定義されている場合にのみ機能します。最後に、バジェットはアラートではなくハードストップです。警告のみのモードはドキュメントに記載されておらず、上限を超えたリクエストはHTTP 403を返します。チームがバジェットの枯渇に気づくのは、通常このタイミングです。

TrueFoundryのBudget Limiting V2では、テナントまたはチーム範囲でルールを定義し、ユーザー、チーム、バーチャルアカウント、モデル(具象または仮想)、プロバイダーアカウント、およびX-TFY-METADATAヘッダー経由のリクエストメタデータによってフィルタリングできます。そのため、アプリごとのバジェットもバーチャルアカウントやメタデータタグで容易に実現できます(budget limiting v2)。ルールは強制モード(リクエストをブロック)または警告のみモードで動作し、複数のルールがAND条件で組み合わされます。制限は合計またはユーザーごと、バーチャルアカウントごと、モデルごと、メタデータ値ごとに適用され、期間は日、週、月、四半期、生涯から選択でき、1つのルール内で重複設定が可能です(例: 1日あたり$0.50かつ四半期あたり$2、どちらの違反でもブロック)。75%、90%、95%、100%の達成時点で、メール、Slack Webhook、またはSlackボットへ通知アラートが送信されます。ただし注意点として、記録は期間の開始時点ではなくルールが作成された時点から開始されるため、それ以前の支出は過去に遡ってカウントされません。

図4: TrueFoundryにおけるバジェット制限の適用
図5: TrueFoundryにおけるユーザーレベルのバジェット使用状況のモニタリング

運用上の実質的な違いとして、TrueFoundryではチームは75%の時点で警告を受け取り、ルールが「警告のみ」であれば100%を超えても作業を継続できます。一方、OpenRouterではリクエストが403エラーを返し始めて初めてバジェットの上限に達したことを知ることになります。

OpenRouterのプロンプトキャッシュ vs セマンティックキャッシュ

ここでは異なる2つの概念がどちらも「キャッシュ」と呼ばれており、これらを混同することがコストレビューにおける最も一般的な誤りです。

「プロバイダープロンプトキャッシュ」とは、モデルプロバイダーがキャッシュされた入力トークンの料金を割引く仕組みです。OpenRouterはこれを透過的に通過させ、最適にルーティングします。キャッシュの読み取りはプロバイダーによって通常の入力価格の約0.1〜0.5倍となり、session_idによってウォームキャッシュを保持するプロバイダーへのセッションが維持されます。TrueFoundryもプロバイダープロンプトキャッシュを通過させ、公式ドキュメントではゲートウェイキャッシュと組み合わせる方法を明記しています(caching)。どちらのベンダーも独自にこれを開発したわけではありませんが、両者ともこの機能を活用できるようにしています。

「ゲートウェイレスポンスキャッシュ」とは、ゲートウェイ自体がプロバイダーを呼び出さずにリクエストに応答する機能です。現在ベータ版であるOpenRouterのレスポンスキャッシュは「完全一致」方式であり、APIキー、モデル、エンドポイントタイプ、ストリーミングモード、リクエストボディ全体が同一である場合にのみ同一リクエストとみなされます。X-OpenRouter-Cache: trueヘッダーを介してリクエストごとにオプトイン可能で、モデルに依存せず、Chat Completions、Responses、Messages、Embeddingsをカバーします(レガシーなCompletions、TTS、STT、Rerank、Videoは対象外)。キャッシュヒット時は料金が発生せず、トークンも消費せずにレスポンスを返します。評価すべき特徴として、キャッシュヒットはプロバイダーのレート制限にカウントされず、アクティビティログで確認できる点が挙げられます。一方で制限事項として、OpenRouterのキャッシュは単一のAPIキーにスコープ設定されているため、同じアカウント配下の異なるキー間で共有されず、独自キーを持つ複数のサービス群はお互いのトラフィックの恩恵を受けられません。また、セマンティックキャッシュは提供されていません。自社テストでは、同一再リクエストに対して100%のヒット率を記録し、キャッシュミス時の2,866.8 msに対してヒット時は58.5 ms、TTL(生存時間)は2〜5分でした。

TrueFoundryは、Redisをバックエンドとした完全一致およびセマンティックキャッシュの両方をゲートウェイレベルで提供します。キャッシュヒット時はプロバイダーの呼び出しとコストが完全にゼロでレスポンスを返し、すべてのプロバイダーに対応します。キャッシュは単一キーに閉じられず、すべての呼び出し元で共有されるため、あるチームが実行した質問のキャッシュを別のチームも活用できます。セマンティックキャッシュは、カスタマーサポートのアシスタント、社内検索、動的変数を含むプロンプトテンプレートなど、完全一致がヒットしないワークロードで真価を発揮します。ヒット率はトラフィックの性質に完全に依存するため公開していません。自社のプロンプトで1週間テストを行うことが最も確実な検証方法です。

コスト考慮型ルーティング:最安プロバイダー vs 最安モデル

ルーティング指示が設定されていない場合でも、OpenRouterは以下の3ステップで自動的に価格を最適化します。過去30秒間に重大な障害が発生したプロバイダーの優先度を下げ、安定しているプロバイダーの中から価格の逆2乗で重み付けされた低コスト候補を選択し、残りをフォールバックとして保持します。さらに明示的な制御を重ねることが可能です。provider.sort: "price"または:floorモデルスラッグショートカットは最安順にルーティングし、:nitroはスループット重視でルーティングし、provider.max_priceはソートと組み合わせ可能な100万トークンあたりの上限ドル価格を設定し、provider.only、ignore、量子化の推奨設定によって候補セットを絞り込みます。OpenRouter自身が販売者であるため、価格リスト=販売価格であり、価格テーブルが古くなることはありません。真実として付言すべき限界が2つあります。これは特定のモデルに対するプロバイダー間のアービトラージであり、モデルの代替(置き換え)ではない点と、安価なプロバイダーが同じモデルの異なる量子化版を提供する可能性があるため、価格順ルーティングが品質の一貫性とトレードオフになる点です。

TrueFoundryは価格テーブル駆動のプロバイダーアービトラージは行いません。当社が提供するのは「複雑性ベースのルーティング」です。ゲートウェイは各リクエストを「シンプル」「中程度」「複雑」に分類し、スティッキーセッションを維持しながら各ティア向けに設定されたモデルへルーティングします。つまり、人間がティアごとに安価なモデルを選択し、ゲートウェイがティアの分類を担当します(auto routing)。その周囲で、ターゲット間の重み、レイテンシ、優先度に基づくロードバランシングが機能し、バジェットを超過したターゲットを自動スキップする仮想モデルフォールバックチェーンがコストサーキットブレーカーとして動作します。価格データはオープンソースカタログと、交渉済み契約やファインチューニング済みモデル用のプライベートレートから取得されます(cost tracking)。したがって正当な結論としては、「許容可能な最安モデルの選択」は可能ですが、「このモデルにおける最安プロバイダーの自動選択」は行わない、ということになります。この2つのアプローチがルーティング設計にどう適合するかについては、当社のLLM routerの解説記事をご覧ください。

図6: TrueFoundryにおけるLLMリクエストルーティングの設定
図7: TrueFoundryのルーティング設定における、重み・優先度・レイテンシに基づく新しいルールの追加

属性付与と社内課金(チャージバック)

支出を管理するための第一歩は、「誰が消費したか」を把握することです。TrueFoundryはユーザー、チーム、バーチャルアカウント、モデル、プロバイダーアカウント、および任意のメタデータキーごとにコストとトークンを割り当てます。X-TFY-METADATAヘッダーがチャージバックフックとして機能するため、コストセンターやアプリケーションIDがタグ付けされたリクエストはその下に集計・レポートされます。ダッシュボードではこれらのあらゆる次元で支出の内訳が表示され、バジェットAPIは使用状況や高額消費者のリーダーボードを公開します(cost tracking、budgets API)。メモリ内でこれらのルールを適用する同一のゲートウェイプレーンは、1,000以上のLLMにわたってオーバーヘッドを約3〜4 ms、vCPUあたり毎秒350以上のリクエスト処理能力に抑えているため、属性付与によってレイテンシの代償を払う必要はありません。財務面での詳細については、当社のLLM cost tracking solutionガイドをご覧ください。

OpenRouterはキー(説明的なラベル付き)、ワークスペース、モデル、プロバイダーごとに属性を付与します。「Activity」と「Logs」はアカウントレベルのビューを提供し、任意のワークスペースフィルタリングが可能です。usage: {include: true}はレスポンスボディ内でリクエストごとの使用量を返し、「Activity Export」はモデル、キー、またはメンバーごとにグループ化されたCSVやPDFを出力します。また、「User Tracking」機能とカスタム分類子によって、ユーザーごとおよびカテゴリごとの次元が追加されます。請求は全ワークスペースをまとめた1通の請求書で行われます。アプリケーションごとやコストセンターごとの属性付与は、カスタムユーザーIDや分類子をネイティブに使用するか、Broadcastメタデータ経由で自社の可視化プラットフォームに送信することで実現可能です。

これが両者におけるLLMコスト最適化の全体像です。単一アプリケーションのLLM APIコストを削減することが目標であれば、OpenRouterのルーティングによって自動的に大部分を処理できます。組織全体でのコスト削減が目標であれば、どのチームが消費しているかを把握し、遮断される前に警告を出し、簡単なリクエストを安価なモデルへルーティングする必要があります。これこそがTrueFoundryの設計思想です。

TrueFoundry vs OpenRouter: コスト制御の直接比較

TrueFoundryの機能は公式ドキュメントに基づいており、OpenRouterの機能は執筆時点で公開されているドキュメントに基づいています。

機能TrueFoundryOpenRouter
レート制限分/時間/日単位のリクエスト数およびトークン数。ユーザー、チーム、VA、モデル、メタデータごとリクエスト数のみ。購入クレジット残高に連動。ワークスペース間で上限を共有
同時実行数制限ドキュメント記載なしドキュメント記載なし
バジェットの適用範囲ユーザー、チーム、VA、モデル、プロバイダーアカウント、メタデータでフィルタリングするテナント/チームルールキー、メンバー、ワークスペース。モデル別やアプリ別は不可
バジェットモード強制(ハードストップ)または警告のみ(Warn-only)ハードストップのみ(HTTP 403)
ブロック前の事前アラート75 / 90 / 95 / 100% のマイルストーン通知ドキュメント記載なし
バジェットのプール1つのルール内で集計または対象ごとに個別に適用プール不可。各メンバーおよびキーは独立
リセットウィンドウ日、週、月、四半期、生涯。重複設定可能。00:00 UTC日、週、月、生涯。深夜UTC
コスト考慮型ルーティング複雑性ベースのモデルティアリング、重み/レイテンシ/優先度バランシング、バジェット超過ターゲットのスキップデフォルトで価格加重によるプロバイダー選択、:floor, :nitro, max_price, プロバイダーフィルター
価格テーブルオープンソースカタログおよびプライベートレート販売者(OpenRouter)独自の価格リスト
ゲートウェイキャッシュ完全一致およびセマンティック。呼び出し元間で共有。Redis対応完全一致のみ。キーごと。オプトインヘッダー。ベータ版。測定TTLは2〜5分
キャッシュヒット vs プロバイダー制限ヒット時のプロバイダー呼び出しはゼロヒット時のプロバイダー呼び出しはゼロ。プロバイダーのレート制限にカウントされない
プロバイダープロンプトキャッシュ透過的に通過。ゲートウェイキャッシュと組み合わせ可能透過的に通過。session_idによりウォームキャッシュを保持
属性付与の次元ユーザー、チーム、VA、モデル、プロバイダーアカウント、メタデータ。リーダーボード表示キー、ワークスペース、モデル、プロバイダー。ユーザー追跡、分類子、Broadcast経由のメタデータ
予測 / 異常アラートドキュメント記載なし(異常アラートはロードマップに存在)ドキュメント記載なし
バジェット超過時の動作ブロック(Enforce)またはアラート付きで許可(Warn)ブロック。残高ゼロで全トラフィックが停止

OpenRouterを選択すべきケース

  • 主なコスト削減の手法が「プロバイダー間における単一モデルの価格比較」であり、設定した厳格な価格上限の下でそのアービトラージを自動化したい場合。
  • キーがアプリケーションと1対1で対応しており、キーごとのバジェットがアプリごとのバジェットとして機能するため、モデルごとの適用範囲が欠けていても問題ない場合。
  • 事前チャージした残高を厳格な損失上限とする運用を好み、上限到達時の403エラーが想定通りの挙動として許容できる場合。

TrueFoundryを選択すべきケース

  • 財務部門がチームやコストセンターごとの社内課金データを必要としており、データパイプラインを構築せずにメタデータヘッダーとダッシュボードでそれを実現したい場合。
  • アクセスが遮断される前にチームへ警告を出す必要があり、一部のルールは決してブロックさせたくない場合。
  • 複数の呼び出し元にわたってモデル別やアプリケーション別にバジェットを適用し、レート制限でリクエスト数だけでなくトークン数も管理したい場合。
  • コスト戦略の核がプロバイダーの比較ではなくモデルの代替(簡単なリクエストを安価なモデルへ回す)であり、複数のサービス群でセマンティックキャッシュを共有したい場合。

なお、どちらのベンダーも支出予測や異常検知のドキュメントを公開していません。TrueFoundryはエージェントガバナンスのロードマップで異常アラートを「近日公開」としており、OpenRouterには通知機能がありますがアラートタイプは明記されていません。どちらを採用する場合でもFinOpsツールの予算を確保することをお勧めします。より広い選択肢については、OpenRouter alternativesガイドをご覧ください。

関連ドキュメント

結論

OpenRouterのレート制限、バジェット、キャッシュ機能は、単一のキーを管理するデベロッパー向けに設計されています。残高に連動する制限、警告なしでブロックするバジェット、キーに紐づくキャッシュを提供する代わりに、市場で最も優れたプロバイダーの自動アービトラージ機能を利用できます。一方、TrueFoundryのコスト制御機能は、財務部門に対応するプラットフォームチーム向けに設計されています。リクエスト数とトークン数による制限、遮断前に警告を出しチーム・モデル・アプリ単位にスコープ設定できるバジェット、すべての呼び出し元で共有されるセマンティックキャッシュ、そして導入してすぐに使えるコストセンター別の社内課金機能を備えています。両者とも予測や異常検知は行わないため、それらは別途計画する必要があります。実用上の判断基準は、「バジェットレポートを読む人物がデベロッパーか、それとも財務パートナーか」という点に集約されます。

マルチチーム展開向けに設定されたバジェット、制限、キャッシュ機能を実際に確認するには、TrueFoundry AI Gatewayを体験していただくか、本番環境でのコスト制御をご検討中の場合はbook a demoからデモをご予約ください。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 20, 2026
|
5 min read

GPT-6.1 Terra: API、ベンチマーク、料金体系、使い方ガイド

No items found.
11月 20, 2026
|
5 min read

Machine Learningの進化:Savinの歩みを深く掘り下げる

True MLトーク
11月 20, 2026
|
5 min read

CrewAI vs LangGraph: 違いを知る

比較
11月 20, 2026
|
5 min read

すべてのリクエストを評価:Confident AIとTrueFoundry AI Gateway

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour