2026年版 セキュアなデータルーティングのためのAIゲートウェイ選定ガイド

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
AIゲートウェイを通過するすべてのリクエストには、顧客の質問、内部コードの断片、RAGパイプラインの根拠となるデータベースのレコードなど、保護すべき重要な情報が含まれています。そのデータがどこへ向かうのか、パブリックインターネットを経由するのか、デフォルトでログが保存されるのか、そして誰が暗号化キーを管理するのか。これらは後から設定するような些細なことではなく、アーキテクチャ設計の根幹に関わる問題です。設計を誤れば、自社のAIインフラにデータ流出経路を組み込んでしまうことになりかねません。
本稿では、セキュアなデータルーティングという観点から、TrueFoundry、AWS Bedrock、Cloudflare AI Gatewayの3つを比較します。それぞれ、AWSネイティブなインフラセキュリティ、エッジネットワークのゼロトラスト、VPCファーストのデプロイメントといった異なるアプローチを採用しています。機密データを扱う本番環境で導入する前に、各製品の特性を正しく理解しておくことが重要です。
AIゲートウェイに求められる「セキュアなデータルーティング」の要件
- 暗号化されたパブリック通信だけでなく、プライベートなネットワーク経路の確保 パブリックインターネットを一切経由しないトラフィックは、単に暗号化してインターネットを通過させるトラフィックとは、セキュリティの観点で根本的に異なります。
- 顧客自身がキーを管理できる暗号化 保存時および転送時の暗号化は最低限の要件です。規制の厳しい業界では、ベンダー任せではなく、自社でキーを管理できる機能が不可欠となります。
- 適切なデータ保持のデフォルト設定 プロンプトやレスポンスがデフォルトで保存されるかどうか、またその機能をどれだけ簡単にオフにできるかは、技術的に可能かどうか以上に重要な問題です。
- リクエスト経路におけるPII(個人情報)およびDLP(データ漏洩防止)スキャン モデルプロバイダーの対応に頼るのではなく、モデルにデータが到達する前、あるいはレスポンスがユーザーに届く前に、機密データを検知・遮断する必要があります。
- ルーティング先の全プロバイダー間での一貫性 特定のクラウドのネイティブモデルにしか適用できないセキュリティモデルでは、複数のプロバイダーを使い分ける際に十分な効果を発揮できません。
TrueFoundry:全プロバイダーで一貫したセキュリティを実現するVPCファーストのルーティング

TrueFoundryの AIゲートウェイ は、「セキュアなルーティングとは、単にトラフィックが暗号化されていることではなく、ゲートウェイ自体が自社のネットワーク内に存在することである」という考えに基づいています。完全にセルフホスト可能なコントロールプレーンとコンピュートプレーンとして、自社のVPC、オンプレミス、またはエアギャップ環境にデプロイ可能です。コンピュートプレーンはアウトバウンド専用のWebSocket接続でコントロールプレーンと通信するため、ファイアウォールでインバウンドポートを開放する必要はありません。データは保存時および転送時に暗号化され、基盤となるマネージドインフラはSOC2 Type II、ISO 27001、GDPR、HIPAAに準拠しています。
データ検査の面では、組み込みのPII検出機能が単純なパターンマッチングではなく文脈を理解して動作します。ミューテートモードでは、機密情報を自動的にマスキングしてリクエストを継続できるため、処理を完全に失敗させることなく安全な運用が可能です。さらに高度な規制対応が必要なワークロード向けには、TrojAI(クレジットカード情報のブロック)、Pillar Security(SSNやプロンプトインジェクションのブロック)、Verra(規制業界向けのマネージドガバナンス)といった統合機能が、同じ ゲートウェイアーキテクチャルーティング、ガードレール、暗号化は、1,000種類以上のサポート対象LLMのどれにリクエストが送信される場合でも同様に適用されるため、その日にどのプロバイダーへルーティングするかによってセキュリティ体制が変わることはありません。
- デプロイメント: VPC、オンプレミス、エアギャップ環境、ハイブリッド環境に対応。インバウンドポートは不要です。
- 暗号化: マネージドインフラストラクチャ全体で、保存時および転送時のデータを暗号化します。
- PII/DLPガードレール: コンテキストを認識するPII検出機能を内蔵し、TrojAI、Pillar Security、Verraとの統合も可能です。
- プロバイダー非依存のセキュリティ: 特定のクラウドのネイティブモデルだけでなく、1,000種類以上のLLM全体で同一のルーティングおよびガードレールポリシーが適用されます。
- コンプライアンス: マネージドインフラストラクチャにおいて、SOC2 Type II、ISO 27001、GDPR、HIPAAに準拠しています。
最適な用途: 複数のモデルプロバイダーへルーティングを行うチームで、ゲートウェイ自体を自社ネットワーク内で実行し、どのプロバイダーがリクエストを処理する場合でも一貫したセキュリティおよびガードレールポリシーを維持する必要がある場合に最適です。
Cloudflare AI Gateway

Cloudflareのアプローチでは、AIトラフィックを、ワークフォースやマシン間トラフィックに一般的に適用されるゼロトラストアーキテクチャと同じ経路でルーティングします。AI Gatewayには、Cloudflareのファイアウォールを通じたプロンプトとレスポンスのDLPスキャン機能が含まれており、チームはどのDLPプロファイルをブロックまたはフラグ付けするかを選択できます。また、Log Explorerを使用することで、セキュリティアナリストは使用量の急増を追跡したり、個人情報を取得しようとするブロックされた試行を検索したり、未承認モデルに対する特定のユーザーのやり取りを再構築したりすることが可能です。Data Localization Suiteにより、データの保存場所を特定の地理的領域に制限できるほか、Cloudflare OneのセキュアWebゲートウェイを使用して、ネットワークレベルで未承認のAIアプリケーションを完全にブロックすることもできます。
これは強力かつ真にエッジネイティブなセキュリティモデルであり、コアとなるキャッシュ、レート制限、DLP機能はCloudflareアカウントで無料で利用できます。ただし、VPCデプロイ型のゲートウェイとは範囲が異なります。ここでのセキュリティは、自社のプライベートネットワーク内ではなく、Cloudflareのネットワークエッジで強制されるため、一部のアーキテクチャには適していますが、他のアーキテクチャにとっては重要な違いとなります。
- DLPスキャン: 設定可能なプロファイルを用いた、Cloudflareファイアウォールによるプロンプトおよびレスポンスのスキャン。
- ゼロトラストアーキテクチャ: ワークフォースおよびマシン間AIトラフィックにも同様のモデルが適用されます。
- データローカライゼーション: Data Localization Suiteによる、データ保存場所の地理的制限。
- コスト: コアとなるセキュリティ機能およびキャッシュ機能は、Cloudflareアカウントで無料で利用可能です。
最適な用途: すでにCloudflareのゼロトラストエコシステムを導入しており、個別のインフラを構築することなく、ネットワークエッジでDLP(データ損失防止)とデータローカライゼーションを強制したいチーム。
AWS Bedrock
Bedrockのセキュリティモデルは、モデルやインフラがすでにAWS上にある場合、非常に強力な強みとなります。AWS PrivateLinkやVPCエンドポイントを使用することで、トラフィックをパブリックインターネットから完全に隔離できます。保存データの暗号化はAWS KMSを通じて行われ、キーポリシーやローテーションの管理が必要な場合には顧客管理キーもサポートされています。また、デフォルトではプロンプトやモデルの応答は保存されず、推論データは一時的に処理されます(モデル呼び出しログを明示的に有効にした場合を除く)。Amazonは、ユーザーのデータをモデルプロバイダーと共有したり、基盤モデルのトレーニングに使用したりすることは一切ないと明言しており、設定可能なガードレール機能によって、リクエストパス上で機密情報や有害なコンテンツをフィルタリングできます。
トレードオフとなるのは適用範囲です。このセキュリティモデルは、Bedrock独自のホスト型モデルやAWSネイティブなインフラに対して最も深く機能します。AWS外のモデルへのルーティングや、マルチクラウド環境全体で同様のプライベートネットワーク保証を維持するには、Bedrockがネイティブで提供する機能に加えて、追加のアーキテクチャが必要となります。
- プライベートルーティング: AWS PrivateLinkおよびVPCエンドポイントにより、トラフィックをパブリックインターネットから隔離します。
- 暗号化: KMSベースの保存データ暗号化。顧客管理キーもサポート。
- データ保持: デフォルトではプロンプトや応答は保存されません。ログ記録を明示的に有効にしない限り、データは一時的に処理されます。
- ガードレール: プラットフォームに組み込まれた設定可能なコンテンツフィルタリング。
最適な用途: すでにAWS内でAIワークロードを実行しており、特にBedrockホスト型モデルに対して、深くネイティブなセキュリティ制御を求めるチーム。
比較表
機能TrueFoundryAWS BedrockCloudflare AI Gatewayプライベートネットワークルーティング対応(VPC/オンプレミス、インバウンドポート不要)対応(PrivateLinkおよびVPCエンドポイント経由)ゼロトラストエッジネットワーク保存データの暗号化対応(KMSおよび顧客管理キー)対応(KMSおよび顧客管理キー)Cloudflareのプラットフォーム暗号化を継承デフォルトのデータ保持設定可能(環境内にデプロイ)ログ記録を有効にしない限りデフォルトでは保持されないDLPプロファイル経由でログ設定可能PII/DLPスキャン組み込み型のコンテキストPII検出およびガードレール統合設定可能なガードレールFirewall経由のDLPスキャンマルチプロバイダーの一貫性1,000以上のLLMで同一ポリシーを適用Bedrockネイティブモデルで最も詳細な制御が可能Cloudflare経由でルーティングされるプロバイダー間で一貫性を維持コンプライアンスSOC2 Type II、ISO 27001、GDPR、HIPAAAWSのコンプライアンスプログラムを継承Cloudflareのコンプライアンスプログラムを継承コストエンタープライズ価格についてはお問い合わせくださいAWSの従量課金制コアとなるDLPおよびルーティング機能は無料
選び方
TrueFoundryを選ぶべきケース: 複数のモデルプロバイダーを利用しており、ゲートウェイ自体を自社のVPCやオンプレミス環境にデプロイし、プロバイダーを問わず一貫したセキュリティおよびPIIポリシーを適用したい場合。
AWS Bedrockを選ぶべきケース: モデルやインフラがすでにAWS上にあり、Bedrockでホストされるモデルに対して、PrivateLink、KMS、ガードレールによる詳細なネイティブサポートを必要とする場合。
Cloudflare AI Gatewayを選ぶべきケース: すでにCloudflareのゼロトラストスタックを利用しており、ネットワークエッジでのDLPスキャンやデータローカライゼーションを無料で適用したい場合。
よくある質問
Q:安全なデータルーティングに最適なAIゲートウェイはどれですか?A:既存のインフラ環境によって異なります。TrueFoundryは、ゲートウェイを自社のVPCやオンプレミス環境にデプロイし、すべてのモデルプロバイダーで一貫したセキュリティを確保したいチームに適しています。AWS Bedrockは、すでにAWS上でネイティブに運用しているチームに適しています。Cloudflare AI Gatewayは、すでにCloudflareのゼロトラストエコシステムを利用しているチームに適しています。
Q:AWS Bedrockはデフォルトでプロンプトや応答を保存しますか?A:いいえ。デフォルトでは、Bedrockはプロンプトやモデルの応答を保持しません。モデル呼び出しログを明示的に有効にしない限り、推論データは一時的に処理されるだけです。
Q:TrueFoundryのAIゲートウェイは、完全に自社ネットワーク内で実行できますか?A:はい。VPC、オンプレミス、エアギャップ環境、またはハイブリッド環境にデプロイ可能です。コンピュートプレーンはコントロールプレーンへのアウトバウンド接続のみを使用するため、ファイアウォールでインバウンドポートを開放する必要はありません。
Q:Cloudflare AI GatewayのDLPスキャンは無料ですか?A:はい。コアとなるDLPスキャン、キャッシュ、レート制限機能はCloudflareアカウントに含まれています。より多くのログボリュームが必要な場合は、有料のWorkersプランが必要です。
Q:TrueFoundryは、機密データの安全なルーティングのためにHIPAAやGDPRをサポートしていますか?A:はい。管理対象インフラはSOC2 Type II、ISO 27001、GDPR、HIPAAのコンプライアンスに準拠しています。また、プラットフォームを自社のVPCやオンプレミス環境に完全にデプロイできるため、機密データが自社のドメイン外に出ることはありません。
関連資料
- LLMゲートウェイとは?:ルーティング、ガードレール、ゲートウェイ層での暗号化に関するアーキテクチャ入門
- 規制産業におけるLLM導入:2026年版 HIPAA、SOC2、GDPR対応プレイブック:AIワークロードにおけるセキュアなデータ運用のコンプライアンス面について
- 2026年版 エンタープライズ向けAIゲートウェイ比較:全容解説:データルーティングのセキュリティにとどまらない、企業向け評価の全体像
- 2026年版 Cloudflare AI Gatewayの料金体系を解説:Cloudflareの料金プランと機能ティアの詳細分析
結論
AWS Bedrockは、すでにAWSを利用しているチームにとって、ネイティブで高度なセキュリティを提供します。一方、Cloudflare AI Gatewayは、ゼロトラストDLPとデータローカライゼーションをエッジで実現し、しかも無料で利用可能です。TrueFoundryが提案するセキュアなデータルーティングの強みは、ゲートウェイ自体を自社のVPC内やオンプレミス環境で実行できる点にあります。これにより、AWS、Azure、GCPなど、どのモデルへリクエストを送信する場合でも、一貫した暗号化、PII保護、コンプライアンス体制を維持できます。単一クラウドのネイティブモデルのセキュリティだけでなく、複数のプロバイダーを横断したセキュアなルーティングこそが解決すべき課題であるなら、 デモを予約 して、お客様の環境でゲートウェイがどのように機能するかをご確認ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.












.webp)




.png)
.png)

.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)
.png)





