EUホスティング vs セルフホストAI: コントロールプレーンを運用するのは誰か?
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
2025年6月、Microsoft Franceの幹部はフランス参議院の調査委員会において宣誓のうえ、フランスの公的機関のデータがフランス側の承認なしに米国当局へ渡されないことを保証できるかという問いに対し、「いいえ、保証できません」と回答しました。同氏は、そのような事態はこれまで一度も発生していないとも付け加えました。
このやり取りこそが、「EU内でホストされている」という説明だけではAI導入に関する議論が完結しなくなった理由です。ヨーロッパでビジネスを行うすべてのベンダーがそのように主張できます。しかし、プロンプトが通過するシステムを誰が運用しているのか、誰がキーを保持しているのか、そしてデータの引き渡しを強制され得る主体は誰なのかを明確に説明できるベンダーは、はるかに少ないのが現状です。
EUホスティングはデータが存在する場所を示します。セルフホストは誰がそれを制御するかを示します。すべてのモデル呼び出しが通過するレイヤーであるAIゲートウェイにおいて、その違いがベンダー評価項目の大部分を左右します。
本ブログでは、コントロールプレーンとデータプレーンの違い、単一のAI呼び出し中にデータが処理される場所、EUホスティングによって米国のCLOUD法から保護されるかどうか、DORAが銀行や保険会社にもたらす変化、そしてソブリンAIゲートウェイの評価方法について解説します。

コントロールプレーン vs データプレーン: すべてを決定づける違い
すべてのAIゲートウェイには2つのパートが存在します。
データプレーンはリクエストが流れる場所です。プロンプトが到達すると、ゲートウェイは呼び出し元を認証し、ポリシーを適用し、モデルへ呼び出しを転送して応答を返します。コンテンツを直接取り扱うため、AIスタックの中で最も機密性の高い部分です。
コントロールプレーンはルールが定義される場所です。どのチームがどのモデルを呼び出せるか、どのガードレールを適用するか、予算やレート制限をどのように設定するかを管理します。構成、アイデンティティ、ポリシーを保持し、それらをデータプレーンへ配信します。
これにより、主に3つのデプロイメント形態が生じます。
- EUホスト型SaaS。 ベンダーがヨーロッパのデータセンターで両方のプレーンを運用します。プロンプト、ログ、ポリシーはベンダーのインフラ上に配置されます。
- ハイブリッド。 ゲートウェイはお客様自身のクラウドアカウントまたはVPCで動作するため、LLMトラフィックはお客様のインフラ内にとどまります。ベンダーは構成とポリシーを保持するコントロールプレーンをホストします。
- セルフホスト。 両方のプレーンがお客様の環境内で動作します。ベンダーはソフトウェアを提供し、お客様がそれを運用します。
3つすべての形態において、データをヨーロッパ内に配置することが可能です。しかし、経路のすべての部分がお客様の管理するインフラ上で動作するのは、3番目のセルフホストのみです。

データはどこで処理されるのか?AIゲートウェイ呼び出しにおけるすべてのホップ
ベンダーにデータの処理場所を尋ねると、通常は単一のリージョン名という回答が返ってきます。しかし、1回のゲートウェイ呼び出しは複数のプロセスを経由し、それぞれに個別のデータ処理場所が存在します。
- 認証。 誰が呼び出しているか、そしてその人物に関して何が記録されるか。
- 入力ガードレール。 PII(個人識別情報)の検出やプロンプトインジェクションのチェック。一部のゲートウェイではこれらを別サービスに委任します。
- セマンティックキャッシュ。 プロンプトと応答の保存されたコピー。
- モデルルーティング。 通常、リージョン設定によって制御されるホップ。
- 出力ガードレール。 応答が戻る際の、ステップ2と同様のチェック。
- ログとトレース。 デバッグのために完全なプロンプトと完了テキストがここに書き込まれることが多く、自社で保有する最も大規模な機密AIデータの蓄積場所となる可能性があります。
- ミーティング(従量課金計測)。 請求や分析のために送信される利用量およびコストデータ。
EUホスト型のゲートウェイでは、これらのステップのほとんどがベンダーのインフラ上で動作します。セルフホスト型のゲートウェイでは、これらはお客様自身のインフラ上で動作します。
ただし、すべての選択肢に共通する1つの注意点があります。ゲートウェイ自体は、モデルルーティングによるリクエストの送信先を変更するわけではありません。米国でホストされているモデルにプロンプトをルーティングすれば、データは米国へ送られます。セルフホストによって得られるメリットは、特定のチームに対してEUリージョンのモデルのみを許可するといったルールを自ら強制できること、そして事後にログを監査できることです。TrueFoundryはルーティング前にデータレジデンシーの制限を評価し、ワークロードの許可されたリージョンに適格なモデルエンドポイントのみを選択します。

EUホスティングは米国のCLOUD法から保護してくれるか?
それ単体では、保護されません。
2018年に署名されたCLOUD法(Clarifying Lawful Overseas Use of Data Act)は、米国の司法管轄下にあるプロバイダーに対し、データが米国の内外どちらに保管されているかを問わず、自社の「所有、保管、または管理」下にあるデータの開示を義務付けています。米国企業がお客様のゲートウェイを運用している場合、フランクフルトのデータセンターを使用することでデータの保管場所は変わりますが、それを運用する企業におよぶ法的要求の効力が変わるわけではありません。
欧州の事業者が運用するソブリンクラウドは、このリスクを軽減します。ただし、リスクを完全に排除できるかどうかは、法務チームによる法的判断が必要です。
構造的な議論はよりシンプルです。プロバイダーは、自社が保持または管理しているものしか開示を強制され得ません。ゲートウェイ、ログ、およびキーがお客様自身のインフラ上で動作し、ベンダーがそれらに対する常時アクセス権を持っていない場合、第三者が強制的に取得できる対象は大幅に減少します。「大幅に減少する」ということは「ゼロになる」ということではありません。ソフトウェアが外部に送信するデータはベンダーに届くため、後述のチェックリストでは環境から何が外部へ出るかを正確に確認する項目を設けています。

欧州の銀行におけるソブリンAI: DORAがもたらす変化
2025年1月17日以降、デジタル運用レジリエンス法(DORA、規則 (EU) 2022/2554)がEU内の銀行、保険会社、投資会社、決済機関、その他の金融機関に適用されています。DORAの第三者リスクに関する規制では、すべてのICT取り決めに関する台帳の作成、特定の契約条項の盛り込み、集中リスクの評価、および重要な機能を担うプロバイダーに対するテスト済みの離脱戦略(出口戦略)が義務付けられています。サービスの提供者が誰であれ、リスクに対する最終的な責任は金融機関側にとどまります。
AIゲートウェイは、企業が行うすべてのモデル呼び出しの最前線に位置します。ベンダーがそれを運用する場合、1社の外部プロバイダーがすべてのAIトラフィックの経路上に存在し、規制当局から提示を求められる可能性のあるログを保持することになります。したがって、そのプロバイダーは台帳への登録および集中リスク評価の対象となります。
セルフホストを選択しても、ソフトウェアのライセンスを取得している以上、ベンダーが台帳から除外されるわけではありません。しかし、離脱計画(出口戦略)でカバーすべき内容が変わります。ログと構成情報はすでにお客様自身の環境内に存在するため、ベンダーからの離脱はデータ抽出作業ではなく、単なるソフトウェアの移行作業となります。

ソブリンAIゲートウェイとは何か?購買者のためのチェックリスト
ソブリンAIゲートウェイとは、お客様自身がリクエスト経路を運用し、自社環境から外部へ送信されるデータを正確に証明できるゲートウェイのことです。当社を含むあらゆるベンダーを評価する際は、以下の基準をご活用ください。

TrueFoundryにおける各デプロイメント形態への対応
TrueFoundryは3つすべてのデプロイメント形態を提供しています。マネージドSaaSゲートウェイは、アイルランドでコントロールプレーンをホストしています。ハイブリッド構成では、お客様がゲートウェイプレーンを運用し、TrueFoundryがコントロールプレーンをホストします。セルフホスト型インストールでは、コントロールプレーンとAI Gatewayの両方がお客様自身のKubernetesクラスタ内でHelmチャートとして動作し、エアギャップ環境でのインストールでは実行時に外部ネットワークへの依存関係が一切存在しません。
上記のデータ主権に関する要件について、セルフホストおよびエアギャップの形態はすべての条件を満たします。セルフホスト型インストールでは、構成、シークレット、プロンプト、応答、ログ、トレースはお客様のインフラ内にとどまります。ソフトウェアは、ログイン用メールアドレス、時間ごとの使用量とコストのカウント、構成数のカウント、バージョン情報などのアウトバウンド通信専用のライセンスおよびアナリティクスメタデータ、ならびにコントロールプレーンのクラッシュおよびエラーログのみをTrueFoundryへ送信します。ユーザーログインは、お客様のアイデンティティプロバイダーを直接接続しない限り、TrueFoundryの認証サーバーを経由します。具体的なペイロードの内容はドキュメント化されており、プロンプトや応答のコンテンツが含まれることは一切ありません。

ゲートウェイをご自身で運用しても、処理速度が犠牲になることはありません。ポリシーチェックはメモリ内で実行され、リクエスト経路上での外部呼び出しは発生しません。TrueFoundryが公開しているベンチマークでは、単一のvCPU上で動作する1つのゲートウェイPodは、毎秒250リクエストの負荷において約3ミリ秒のレイテンシ追加にとどまり、CPUが飽和するまでに毎秒約350リクエストまでスケールしました。
ケムニッツ(ドイツ)とニューヨークに本社を置くエンプライー・エクスペリエンス・プラットフォームのStaffbaseは、9つのリージョンにまたがる141のモデルデプロイメントを1つのエンドポイントの背後に集約しています。同社はヨーロッパ、米国、オーストラリア向けに独立した地域ゲートウェイを運用しており、データレジデンシーとレイテンシの双方において最適な地理的拠点からリクエストが処理されています。
結論
「EU内でホストされている」という説明は、データレジデンシー(保管場所)に関する問いへの回答に過ぎません。データ主権(データソブリン)とは、誰がシステムを運用し、誰がキーを保持し、何がお客様の環境から送信されるのかを問うものです。
これらの回答がお客様の顧客や規制当局にとって重要であるならば、書面での回答を求め、TrueFoundryを含むすべてのベンダーを上記のチェックリストに照らして検証してください。当社はセルフホスト型インストールにおいて送信されるデータを公開しており、言葉をそのまま鵜呑みにされるよりも、お客様自身で検証されることを推奨しています。
セルフホスト環境でのTrueFoundryの導入と、そのアウトバウンドトラフィックの実態を直接確認されたい方は、デモをご予約ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















