TrueFoundry vs OpenRouter:デプロイメントとアーキテクチャ — セルフホスト環境で実行できるか?(2026年版)
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
OpenRouterは管理型SaaSルーターであり、どのティアにおいてもセルフホスト、VPC、またはオンプレミス版は提供されておらず、送信するすべてのプロンプトがネットワーク外へ出ることになります。これは製品の欠点ではなく、そのアーキテクチャによるものです。しかし、この単一の事実によって、機能比較を始める前にエンタープライズ企業によるOpenRouterの評価が終了することが多く、プラットフォームチームやセキュリティチームが自社で運用可能なAI gatewayと比較検討する理由となっています。
本記事は、「どこで動作し、プロンプトはどこへ送られるのか」という問いに答える必要がある方向けの内容です。本番デプロイメントのサイジングを行うプラットフォームエンジニア、データ境界の要件を持つセキュリティリード、そしてコントロールプレーンとゲートウェイプレーンの実際の役割を把握したいアーキテクトを対象としています。OpenRouterのホスト型専用モデルと、TrueFoundry AI Gatewayの4つのデプロイメントモード(マネージドSaaS、自社ストレージ対応SaaS、ハイブリッド、完全セルフホスト/エアギャップ)を比較し、それらのモードを可能にするアーキテクチャと、各モードで運用が必要なコンポーネントを明確に解説します。すべての主張は両ベンダーの公式ドキュメントに基づいています。
自社境界内にゲートウェイを配置する必要があることが既に分かっている場合は、TrueFoundryのデモを予約して、以下の比較表にスキップしてください。
一目でわかる比較
なぜ「OpenRouter self hosted」への回答が存在しないのか
OpenRouterは、コントロールプレーンとデータプレーンの両方を自社のインフラ上で実行しています。ユーザー側でどちらも運用しないため、デプロイするものも、Kubernetesの構成も、ステートフルな依存関係も、実行すべきアップグレードも一切存在しません。顧客向けのアーキテクチャは、エンドポイントとキーのみで構成されています。デプロイメントモードではなく変更されるのはエンドポイントです。デフォルトではグローバルのopenrouter.ai/api/v1が使用され、Enterprise顧客向けにはeu.openrouter.aiおよびus.openrouter.aiといったリージョン固有のベースURLが提供されます。そこではリクエストの復号と処理がそのリージョン内のみで行われ、その地域で運用されているプロバイダーにのみルーティングされます。また、Enterprise向けのPrivate Modelsを使用すると、ユーザーがホストするモデルエンドポイントをOpenRouterから呼び出すことができ、同社チームが手動でオンボーディングを行います(Models)。
しかし、これらはいずれもセルフホストではありません。プロンプト、レスポンス、メタデータはすべてOpenRouterを経由し、その後リクエストを処理するプロバイダーへと送られます。OpenRouterは関連する3つの制御機能を文書化しており、それぞれが何を行うかを正確に理解しておく価値があります。「イン-リージョンルーティング」はデータが復号される管轄区域を制限し、「ゼロデータリテンションルーティング」はプロンプトやレスポンスを保存しないプロバイダーにリクエストを限定し、provider.data_collection: "deny"はユーザーデータを収集しないプロバイダーにのみルーティングします。これら3つはすべてデータの送信先と保持条件を管理するものであり、データが外部に出るかどうかを変更するものではありません。なお、2つのリージョンエンドポイント間のフェイルオーバーについては文書化されていません。
一方、逆の側面も同様に評価する必要があります。どのようなスケールであってもインフラ運用が完全に不要であることは大きなメリットです。ただし、運用作業が消失するわけではなく、アプリケーション側へと移行します。具体的には、クライアント側でのリトライやタイムアウト処理、クレジット残高のモニタリング、そしてホスト型ゲートウェイがリクエストパス上の単一障害点となるため、プロバイダーへの直接パスを第2のルートとして維持するかどうかの意思決定が必要になります。
TrueFoundryの4つのデプロイメントモード
一般的なセルフホスト型AIゲートウェイは、ベンダー製品のフォーク(別バイナリ、別機能セット、別サポート契約)であることがほとんどです。TrueFoundryは、4つのモードを1つのコントロールプレーン上の1つの製品として提供しており、これが本テーマにおける構造的な違いとなっています(modes of deployment):
- 完全マネージドSaaS:弊社がすべてをホストし、インフラコストはゼロ。世界分散型のゲートウェイを提供。
- 顧客所有データストレージ対応SaaS:同じマネージドゲートウェイを使用し、トレースとログを選択したリージョンの自社ブロブバケットに格納。
- ハイブリッド:自社VPC内にセルフホスト型ゲートウェイプレーンを配置し、データパスを内部に維持。コントロールプレーンはTrueFoundryがホスト。基本インフラコストは月額約600ドル。
- 完全セルフホスト:コントロールプレーンとゲートウェイプレーンの両方を自社VPC内またはオンプレミスに配置。エアギャップ環境もサポート。基本インフラコストは月額約800〜1,000ドル。
これらのモードはそれぞれ異なる課題を解決するためのものであり、これらを混同することが評価において最もよく見られる間違いです。モード2はデータパスのエグレス(外部送信)を解決することなくデータレジデンシーを解決します(プロンプトは引き続き弊社ゲートウェイを経由します)。モード3はプロンプトがVPCから出ることはないためデータパスのエグレスを解決しつつ、ゲートウェイプレーンが状態を保持しない(ステートレス)ため運用負荷をほぼゼロに抑えます。モード4は、1つの開示済みコールバックを除いてすべてを解決します。ログインとライセンス認証は弊社のグローバル認証サーバーを経由し、ユーザーのメールアドレスとリクエスト数を受け取りますが、リクエストパスからのデータは一切受け取りません。既に自社環境でモデルを実行している場合は、on-premise LLM deploymentのガイドでゲートウェイをそれらのモデルと並行して配置する方法を説明しています。
公平を期すために2つの補足を加えておきます。オープンソースのセルフホスト版は存在しません。$0のDeveloperティアはSaaSティアであり、セルフホスト可能なバイナリではなく、セルフホストはEnterpriseプランの機能です。また、モード間の移行(SaaSから開始し、ハイブリッドへ移行するなど)は共有コントロールプレーンにより構造上可能ですが、サポートされた移行手順としてはまだドキュメント化されていません。
LLMゲートウェイアーキテクチャ:ステートレスなゲートウェイプレーンがもたらすメリット
4つのモードを1つの製品として提供できる理由は、コントロールプレーンとゲートウェイプレーンの分離にあり、ハイブリッドモードを低コストで運用できる理由は、ゲートウェイプレーンが状態を持たないことにあります。
ゲートウェイプレーンは完全にステートレスです。設定(モデル、キー、ポリシー、RBAC)はNATSキューを介してコントロールプレーンから同期され、メモリ上に保持されます。リクエストパス上のすべてのチェック(認証、RBAC、レート制限、予算)はメモリ内で実行され、ホットパス上でのデータベース呼び出しはありません。ログとメトリクスはレスポンス後に非同期でアップストリームに流れるため、ログの書き込みがリクエストをブロックすることはありません。コントロールプレーンはすべての状態を保持します。設定とユーザー用にPostgres、同期用にNATS、ログとアナリティクス用にブロブストレージをバックエンドとするClickHouseを使用します(gateway plane architecture、control plane architecture)。これにより、1つのOpenAI互換エンドポイントを介して2,500以上のLLMのフロントに立ちながら、1 vCPUあたり約3〜4 msのレイテンシ加算と350 RPS以上の処理能力を実現しています。また、マルチVPCやマルチリージョンデプロイメントにおいて、1つのコントロールプレーンに複数のゲートウェイプレーンを接続できるのもこのためです。

このAIゲートウェイアーキテクチャの主張を正確に理解するために、2つのポイントを挙げておきます。「リクエストパス上に外部呼び出しが存在しない」ことにはドキュメント化された例外があります。キャッシュが有効なルートでのRedis、およびルートにアタッチされたTrueFoundry管理のガードレールはネットワークホップを追加します。また、この分離はハイブリッド限定の機能ではありません。フルSaaSも同じアーキテクチャで動作するため、ハイブリッドは製品をフォークしたものではなく、一方のプレーンの配置場所を変更しただけの同一製品です。
この分離は、すべてのプラットフォームチームが抱く「コントロールプレーンに到達できない場合に何が起きるか」という疑問にも答えます。ゲートウェイは最後に同期された設定を使用してサービスを提供し続けます。低下するのは設定の鮮度、集計予算の正確性、および新しいポッドを起動する能力です。最悪のケースはNATSとコントロールプレーンのバックエンドの両方がダウンした場合で、リアルタイム同期が停止し、ログパイプラインがストップし、集計カウンターがフリーズし、ポッドの再起動が失敗します。NATSが稼働しておりバックエンドのみがダウンしている場合は、同期、集計、ログの処理は継続され、UIとAPIのみが影響を受けます(deployment FAQ)。OpenRouterの同等機能はよりシンプルかつ厳しいものです。コントロールプレーンとデータプレーンが1つのホスト型システムであり顧客側でのフォールバック手段がないため、そこでの障害はすべてのプロバイダーへのアクセスを同時に遮断します。これはまさに、マルチプロバイダールーターを採用することで回避しようとしている障害パターンです。

ゲートウェイプレーンはNode.js上のHonoで記述されており、Kubernetes 1.27以上(EKS、GKE、AKS、OpenShift、オンプレミスが動作確認済み)向けのtfy-llm-gateway Helmチャートとして提供されます。CRDやオペレーターは存在しません。ゲートウェイオブジェクトはコントロールプレーンに存在し、NATS経由で同期されるため、kubectlがゲートウェイの構成を直接操作することはありません。1つのブレイン(頭脳)でクラスターごとの設定ドリフトが発生せず、運用コストを抑えられます。ただし、ゲートウェイポリシーをKubernetesマニフェスト経由でGitOps化することはできず、GitOps/IaC機能はEnterprise機能となっています(deploy gateway plane)。

エアギャップとデータレジデンシー:詳細な仕様解説
この市場における「エアギャップ」の主張には3つのレベルがあり、導入検討者は自身がどのレベルのものを評価しているのかを知る必要があります。「マーケティング上のエアギャップ」はプライベートネットワーキングを備えたSaaSを指します。「データパスのエアギャップ」は、開示された制御チャネルの例外を除きリクエストデータが外部に出ないことを意味します。「物理的切断」はいかなる外部送信も行わず、オフラインライセンスを使用することを意味します。
TrueFoundryは明確に2番目のレベルに該当します。制限された環境での完全セルフホスト導入がドキュメント化されており、プライベートレジストリへのイメージやチャートのミラーリングに対応し、トラフィック処理においてパブリックインターネットへの依存はありません。ライセンスはKubernetes Secretとして保存されるキーであり、リクエストごとではなく起動時および同期時に検証されます。稼働中のポッドはライセンスサーバーとの接続が切れても無期限でサービスを提供し続け、新しいポッドの起動時のみコントロールプレーンとNATSが必要となります。ファイルベースのオフラインライセンスは存在しないため、これがレベル3との明確な違いです。なお、エアギャップ環境におけるLLM利用に関して、1つの注意点があります。組み込みのPIIガードレールはAzure AI Languageを採用しており、TrueFoundryが管理するインフラ上で動作するため、セルフホストデプロイメントでこれを有効にするとリクエストコンテンツが境界を越えて送信されます。エアギャップ構成では、セルフホスト型またはカスタムガードレールを使用する必要があります(PII guardrail)。
OpenRouterはこの比較軸上には位置しません。OpenRouterのデータレジデンシーに関して公式ドキュメントで最も注目すべき点は、「インプット&アウトプットロギング」がEUまたはUSエンドポイントを経由するリクエストには適用されないことです。これらのリクエストは通常通り処理されますが、ロギングはスキップされます。したがって、リージョン内処理と保存されるプロンプトコンテンツは排他的(両立不可)関係にあり、EU内でのレジデンシーを求めるエンタープライズ顧客は、プラットフォームを介したプロンプトレベルのデバッグや監査を行うことができません。また、OpenRouterが保持するリクエストメタデータがどこに、どのリージョンに保存されるかは文書化されていません。
マルチリージョンに関して:TrueFoundry SaaSは最も近い正常なゲートウェイへ自動的にフェイルオーバーします(globally distributed SaaS)。セルフホストでのマルチリージョン構成は、1つのコントロールプレーンのもとに複数のゲートウェイプレーンを配置する形態となり(Enterprise)、トラフィックルーティングおよびコントロールプレーンのディザスタリカバリ(DR)設計はユーザー側で行う必要があります。

TrueFoundry vs OpenRouter:デプロイメントとアーキテクチャの直接比較
TrueFoundryの機能は公式ドキュメントに基づいています。OpenRouterの機能は、執筆時点で公開されているドキュメントの内容を反映しています。
運用の実態とコスト構造
TrueFoundryの本番最小構成は、スケールよりも選択するモードによって決まります。ハイブリッドモードでは、2つのアベイラビリティゾーンにまたがるKubernetesクラスター、オートスケーリングとアンチアフィニティを備えた2つ以上のステートレスなゲートウェイレプリカ、TLS付きイングレス、コントロールプレーンおよびプロバイダーへのエグレス、そしてキャッシュの使用や厳密なレプリカ間予算管理が必要な場合のみRedisを設置します。高可用性の実現は、本質的にレプリカを増やすだけで完結します。完全セルフホストに移行する場合、ステートフルコンポーネントは「オプション1つ」から「必須4つ」(マネージドマルチAZ Postgres、3ノードのNATSクラスター、レプリケートされたClickHouse、高耐久ブロブストレージ)へと増加し、それぞれをマネージドサービスとして運用するかオンコール対象として管理する必要があります。そのため、スケール前のインフラ基本コストはハイブリッドで月額約600ドル、完全セルフホストで月額約800〜1,000ドルとなり、運用工数はハイブリッドで約0.1〜0.15 FTE、セルフホスト型コントロールプレーンで約0.3〜0.5 FTEと推定されます(これらは公表値ではなく当社の試算値です)。

OpenRouterのコストは$0であり、小規模チームであれば運用工数は約0.02 FTEで済みます。これは明確な強みです。しかし、検討者が実際に行うべき比較は「無料 vs $800」ではなく、「エンタープライズLLMゲートウェイの導入理由となった要件を、ホスト型製品で満たせるかどうか」です。プロンプトを自社境界内に保持することが必須条件である場合、インフラ費用はその要件を満たすためのコストとなります。セルフホストの選択肢全般については、OpenRouter alternativesのガイドで詳しく解説しています。
どちらを選ぶべきか
- OpenRouterを選ぶべきケース:インフラを一切運用したくなく、プロンプトがサードパーティを経由しても問題ない場合。クライアント側の回復性(リトライ処理、クレジット残高監視、クリティカルな処理のためのプロバイダー直接フォールバック)を備えたSaaS APIとして組み込みを計画してください。
- TrueFoundry SaaSを選ぶべきケース:現時点ではインフラ運用をゼロにしたいものの、1年以内にVPCやハイブリッドデプロイメントが必要になると予想される場合。同じコントロールプレーン上の同一製品であるため、移行手順が公式に文書化されていない現時点でも、将来の移行パスが確保されます。
- TrueFoundryハイブリッドを選ぶべきケース:プロンプトを自社VPC内に留める必要があるものの、ステートフルなコントロールプレーンを運用したくない場合。2つ以上のステートレスレプリカとオプションのRedisで構成され、アーキテクチャの費用対効果が最も高くなるモードです。
- TrueFoundry完全セルフホストを選ぶべきケース:コントロールプレーン自体を自社境界内に配置する必要がある場合(エアギャップ環境、規制対象環境、データ主権要件など)。4つのコンポーネントからなるステートフルスタックと専用ノードグループの予算を確保し、組み込みPIIガードレールの代わりにセルフホスト型ガードレールを使用し、自社向けのコントロールプレーンDR計画を策定してください。
関連資料
- On-Premise LLM Deployment — 自社環境内でのモデルおよびゲートウェイの運用方法
- On-Premise AI Platform — 完全なオンプレミスAIスタックの構成概要
- OpenRouter Alternatives — セルフホスト型およびエンタープライズ向けの幅広い選択肢
- What is an LLM Gateway? — アーキテクチャに関する基礎知識
- OpenRouter vs AI Gateway — 本比較の背景にあるカテゴリの違い
まとめ
OpenRouterのセルフホスト版という製品は存在せず、どれだけリージョンルーティングやゼロリテンションの設定を行っても、ホスト型マーケットプレイスがセルフホスト型製品になるわけではありません。OpenRouterはシンプルなデプロイにおいて優れていますが、選択肢の柔軟性には欠けます。運用作業が不要である反面、自社ネットワーク内に保持できるものは何もありません。TrueFoundryは選択肢の豊富さで優れていますが、その分インフラの運用規模が必要となります。1つのコントロールプレーンで4つのモードを提供し、コントロールプレーンの障害時でも処理を継続するステートレスなゲートウェイプレーンを備え、ステートフルスタックとエンジニアのリソースを投資することでセルフホスト環境を実現できます。データの境界に関する要件を持つ組織にとって、決定はこのデプロイメントの観点だけで明確になります。
VPC、ハイブリッド、またはエアギャップ環境でのAIゲートウェイの評価を行っている場合は、デモを予約して自社クラスター内で動作するゲートウェイプレーンをご確認いただくか、TrueFoundry AI Gatewayをご検討のうえ、まずはマネージドSaaSから開始して後からプレーンを移行する運用をお試しください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















