TrueFoundryとGCPの連携方法:コントロールプレーンアーキテクチャ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Google Cloud Platform (GCP) 上にGenerative AIを展開するには、 Google Kubernetes Engine (GKE)、Cloud TPU、 Vertex AI などの複雑なプリミティブ群をオーケストレートする必要があります。GCPは生のマシンリソースを提供しますが、これらを要件に準拠したInternal Developer Platform (IDP) として組み上げるには、大規模なカスタムエンジニアリングが必要です。
TrueFoundryはインフラストラクチャオーバーレイとして機能します。当社がオーケストレーションを処理するため、お客様はVPCやデータレジデンシーに対する完全な制御権を保持できます。本記事では、特にスプリットプレーンアーキテクチャ、 Workload Identity Federation、TPU管理に関するGCPとの統合パターンを詳しく解説します。
デプロイメントモデル:スプリットプレーンアーキテクチャ
管理インターフェースとワークロード実行環境を分離するために、スプリットプレーンアーキテクチャを採用しています。
- コントロールプレーン: 当社がホストするAPIサーバーおよびダッシュボード。メタデータ、RBAC、ジョブスケジューリングを処理します。
- コンピュートプレーン: お客様のGKEクラスタ上で直接実行されるAgentおよび Controller。モデルの重み、顧客データ、推論を処理します。
セキュリティ境界 インバウンドのファイアウォールルールは不要です。クラスタ内のAgentが、当社のコントロールプレーンへの安全なアウトバウンド専用WebSocketまたはgRPCストリームを開始します。Agentはデプロイマニフェストをポーリングし、テレメトリを送信します。お客様のVPCは外部からのイングレスアクセスに対してプライベートに保たれます。

図1:スプリットプレーンアーキテクチャにより、データ処理が顧客のVPC内に隔離されます。
ネットワークトポロジー
高いパフォーマンスを実現するため、 Alias IP を使用したVPCネイティブクラスタとしてコンピュートプレーンを構成します。すべてのコンピュートリソースはプライベートサブネット内に配置されます。
イングレス(推論リクエスト) アプリケーションのトラフィックは、 Cloud Load Balancing(通常はGlobal External ALB)を経由してVPCに入ります。ALBはTLSをターミネートし、GKEクラスタ内で動作する Istio Ingress Gateway にリクエストを転送します。
Private Google Access コンプライアンスを維持するため、Google API(Cloud Storage、Vertex AI)へのトラフィックは Private Google Access を経由してルーティングされます。これにより、推論podとGCPマネージドサービス間のトラフィックはパブリックインターネットをバイパスし、Googleのネットワークバックボーン上に維持されます。
エグレス GKEワーカーノードが Artifact Registry からコンテナ画像をプルするには、アウトバウンドアクセスが必要です。このトラフィックは、プライベートサブネットにアタッチされた Cloud NAT を経由してルーティングします。

図2:イングレスとプライベート接続の詳細を示すネットワークトラフィックフロー。
アイデンティティフェデレーション
静的なService Accountキー(.jsonファイル)の廃止を徹底しています。TrueFoundryは、すべてのワークロード認証に対してGKE Workload Identityを実装します。
認証シーケンス
- 作成: サービスをデプロイすると、Kubernetes Service Account (KSA) が作成されます。
- バインディング: roles/iam.workloadIdentityUser バインディングを介して、KSAをGoogle Service Account (GSA) にバインドするアノテーションを付与します。
- トークン交換: GKE metadata server がリクエストをインターセプトし、KSAトークンを短期間有効なGoogle Cloudアクセスキーと交換します。
- アクセス: podはこのトークンを使用して、BigQueryやVertex AIなどのリソースに対してネイティブ(ADC)に認証を行います。
万が一podが侵害された場合でも、被害の最小化範囲(ブラストレディアス)はその特定のGSAに付与されたIAMロールだけに厳密に制限されます。

図3:GKE Workload Identity認証フロー。
コンピュート:TPUとSpotの最適化
NVIDIA GPUおよびCloud TPUをオーケストレートするために、 GKE Node Pools と統合されています。
TPUオーケストレーション TPU上でのスケジューリングには、特定のトポロジー制約への対応が必要です。TrueFoundryは、podをTPUスライス(v4-8、v5eなど)にスケジュールするために必要なnodeSelectorやtolerationsを管理します。デプロイマニフェストに必要なドライバーとリソース制限を自動挿入し、低レベルなKubernetes設定を抽象化します。
Spot VM管理 バッチ処理や開発ワークロード向けに、コスト削減(オンデマンド比で通常60〜90%の削減)を実現する Spot VMs の管理を行います。
- プロビジョニング: Spotプロビジョニングを有効にしたNode Poolsをオーケストレートします。
- 中断処理: 30秒前の中断予告(Preemption Notice)を監視します。検知時には該当ノードをコーデン(cordon)し、スケジューラーをトリガーしてpodをフォールバック用のオンデマンドプールまたは代替のSpotノードへ移動させます。
AI Gateway:統合インターフェース
Gemini Pro などのモデルごとに個別キーを管理することは、運用上のオーバーヘッドを生み出します。TrueFoundryは統合APIインターフェースとして機能するAI Gatewayを提供します。
- 統合認証: Gatewayに対して一度認証を行えば、ダウンストリームのVertex AIとのWorkload Identity交換はTrueFoundryが処理します。
- モデル切り替え: 設定パラメーターを変更するだけで、gemini proからセルフホストのllama-3-70bへと切り替え可能です。コードの書き換えは不要です。
- コスト帰属: プロジェクトごとにトークン使用量をログ記録するため、共有しているVertex AIのコストを社内のコストセンターへと正しく紐付けることができます。
運用比較
まとめ
この統合により、チームは生のKubernetes管理に伴う運用の摩擦に悩まされることなく、GCPのハードウェア優位性(特にTPUと高スループットネットワーク)を最大限に活用できるようになります。TrueFoundryはインフラストラクチャのフォースマルチプライヤー(効果増幅装置)として機能します。セキュリティとデータレジデンシーに対する完全な統制権はお客様が保持したまま、GKEオーケストレーションの複雑さを抽象化します。このバランスにより、GenAIワークロードを即座に運用化し、インフラを制約から競争上のスピードという強みへと変換できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






