VMware Cloud Foundation 上の TrueFoundry AI Gateway

エンタープライズ AI ガバナンス — 自社インフラ上で、完全な管理下に

課題

人工知能の進化は急速です。事業部門は複数のベンダーの大型言語モデル（LLM）を試用し、個別にサブスクリプションを立ち上げ、機密性の高い企業データを パブリッククラウド API 経由でルーティングしています。これらは多くの場合、可視性がなく、支出管理も行われず、監査トレイルも存在しない状態です。同時に、規制の厳しい業界では、独自のデータを企業ペリメーターの外に送信することはできません。IT およびセキュリティチームは、ポリシーの適用、コストの追跡、コンプライアンスの確保を実践的に行う手段がないまま、拡大し管理の行き届かない AI サーフェスの管理を余儀なくされています。その結果、AI のスプロール化、予算リスク、そして容認できないデータ露出が発生します。

ソリューション

TrueFoundry AI Gateway は、エンタープライズ全体のすべての AI モデルとの対話に対して、単一の集中管理されたアクセスポイントを提供します。チームが機密ワークロードのためにオンプレミスモデルを使用する場合でも、一般的な生産性のために クラウドプロバイダー を使用する場合でも、すべてのリクエストは1つの統合エンドポイントを経由してルーティングされ、監視、属性指定、ポリシー制御が行われます。

VMware Cloud Foundation (VCF) は、Sovereign AI を可能にするエンタープライズグレードのプライベートクラウドプラットフォームを提供します。vSphere、vSAN、NSX 上に構築された VCF は、企業が期待する運用一貫性を備え、本番ワークロードを完全なオンプレミスで実行します。VCF の Kubernetes サービス（VKS）は、TrueFoundry AI Gateway がデプロイおよび管理されるコンピューティング基盤を提供します。

これら両者を組み合わせることで、すべてのモデルとの対話を顧客自身のインフラ内に維持する、本番対応可能で監査可能な AI プラットフォームを提供します。ガバナンス、ロギング、ポリシー適用のための外部クラウドサービスへの依存は一切ありません。

 主な機能

以下に記載するすべての機能は、vSphere Kubernetes Service を備えた VMware Cloud Foundation 上で検証済みです。

- 統合モデルアクセス — 単一の API エンドポイントが、オンプレミスおよびクラウド AI モデルのあらゆる組み合わせにリクエストをルーティングします。本日デプロイされているモデルであれ、将来デプロイされるモデルであれ、チームはその背後でどのモデルが動作しているかにかかわらず、1つの標準インターフェースを使用します。

- 利用状況の完全な可視化 — すべてのリクエストとレスポンスはフルでログに記録され、オンプレミスに保存され、リアルタイムでクエリ可能です。AI Monitoring ダッシュボードは、利用傾向、モデルのパフォーマンス、チーム、プロジェクト、個人ごとのコスト内訳を可視化します。

- 予算およびレート制限制御 — リクエストがモデルに到達する前に、チームごとおよびモデルごとの支出上限が Gateway で適用されます。予算しきい値に達すると、アクセスは自動的にブロックされ、手動での介入は不要です。

- コンテンツガードレール — ポリシーベースのフィルターが、プロンプトがモデルに到達する前に検査します。ルールによって特定のトピック、キーワード、またはコンテンツカテゴリをブロックでき、コンプライアンスチームや法務チームは AI レイヤーが処理する内容と処理しない内容を直接制御できます。

- インテリジェントなレスポンスキャッシュ — 繰り返し実行されるクエリには、トークンコストゼロでキャッシュから回答が提供され、コールドモデル呼び出しと比較して API 支出と応答レイテンシーの両方を最大67倍削減します。

ビジネス上のメリット

データソブリンティ（データ主権）AI トラフィックが企業ペリメーターから外に出ることはありません。すべてのモデル対話、ログ、ガバナンスポリシーは VCF 内部で実行されます。金融サービス、ヘルスケア、防衛、その他の規制対象セクターにとって、これがエンタープライズグレードの AI 導入に向けた唯一の実行可能な選択肢です。

コストの明確化 トークン使用量は個々のリクエストレベルで追跡され、それを発生させたチームまたはプロジェクトに割り当てられます。プラットフォームチームは、クラウドベンダーの課金 API に依存することなく、自社のインフラを使用してすべての事業部門にわたり正確なチャージバックレポートを作成できます。

運用のシンプルさ TrueFoundry AI Gateway は、新しいクラウドアカウント、追加の SaaS ベンダー、個別の管理プレーンを必要とせず、既存の VCF インフラ上にデプロイされます。1つの統合プラットフォームが Web ベースのダッシュボードからすべての AI アクセスを管理し、すでに VCF を管理している IT チームの運用オーバーヘッドを削減します。

ユースケース

VCF と TrueFoundry を選ぶ理由

VMware Cloud Foundation は、エンタープライズプライベートクラウドのための実績ある基盤であり、大企業が頼りにするインフラの一貫性、セキュリティ、運用のスケールを提供します。TrueFoundry は、エンタープライズ IT に欠けていた AI ガバナンスレイヤーをもたらします。これは、組織全体のすべての AI 対話を制御、監視、属性指定するための本番グレードのプラットフォームです。

この組み合わせにより、AI への野心とエンタープライズの現実との間のギャップが解消されます。規制の厳しい環境が求めるデータ制御、コスト規律、監査能力を維持しながら、アジリティのためにクラウドモデルへ、機密性のためにオンプレミスモデルへとルーティングすることで、組織は AI を活用して迅速に動くことができます。

VMware Cloud Foundation 上で検証済み

この概要で説明されているすべての機能は、vSphere Kubernetes Service を備えた VMware Cloud Foundation 上でデプロイおよび検証されています。この共同取り組みの一環として、詳細なテクニカルリファレンスアーキテクチャとデプロイメントガイドが準備中です。

はじめに

VMware Cloud Foundation 上への TrueFoundry AI Gateway のデプロイの詳細については、Broadcom AI Platform Solutions チームにお問い合わせいただくか、www.truefoundry.com から直接 TrueFoundry にお問い合わせください。

© 2026 Broadcom Inc. All rights reserved. VMware Cloud Foundation および vSphere は Broadcom Inc. の商標です。TrueFoundry は TrueFoundry, Inc. の商標です。