TrueFoundryによるマルチクラウドGPUオーケストレーション:ハイパースケーラーと特化型クラウド向けの参照アーキテクチャ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
GPU容量は、現在AIチームにとって最も厳しい制約の1つです。Amazon EC2 P5 インスタンスやAzure ND H100 v5シリーズVMのプロビジョニングは、クォータ制限、リージョンごとの容量制限、あるいは消化が難しい商用コミットメントに直面する可能性があります。その結果、特化型GPUクラウド(CoreWeave、Lambda、Fluidstack、その他数社)は、単なるオーバーフロー容量としてだけでなく、実用的な本番環境のターゲットとなっています。これらのプロバイダーはそれぞれ、GPUワークロード向けのマネージドKubernetesパスを提供しています。CoreWeave Kubernetes Service (CKS)、1-Click Cluster上のLambda Managed Kubernetes (MK8s)、そしてFluidstackマネージドKubernetesです。
これらをハイパースケーラー環境と並行して運用することは、本質的な運用の複雑さを生み出します。ダッシュボード、アイデンティティシステム、オブザーバビリティ、デプロイフローがそれぞれ個別に存在する状態です。ここでTrueFoundryが果たす役割は、これらの各Kubernetesクラスタを単一のControl Planeに接続し、1つのUIでデプロイターゲットとして提示し、その上に一貫したK8s運用レイヤーを提供することです。各プロバイダーがすでに提供しているクラスタネイティブな自動化を置き換える必要はありません。
このポストでは、具体的な構成について解説します。アーキテクチャ、クラスタ接続に必要な要件、プラットフォームの自動化とプロバイダーの自動化の境界線、そして推奨する実践的なパターンについて取り上げます。
アーキテクチャ:1つのControl Planeと複数のCompute Plane
TrueFoundryは分離プレーンアーキテクチャを採用しています。Control Plane(TrueFoundry管理またはセルフホスト)は、メタデータ、RBAC、デプロイマニフェスト、UIを保持します。Compute Planeは、お客様ご自身のKubernetesクラスタです。複数のCompute Planeを1つのControl Planeに接続できるため、EKSクラスタ、AKSクラスタ、CKSクラスタ、MK8sクラスタ、Fluidstackマネージed K8sクラスタのすべてを同じダッシュボードに報告させることができます。
tfy-agentは各クラスタ内で実行され、Control Planeへの安全なアウトバウンドWebSocketを確立します。エージェントはクラスタの状態をストリーミングし、エージェントプロキシによってControl Planeはクラスタ上のインバウンドエンドポイントを必要とせずに、そのアウトバウンド接続を介してKubernetesの変更を適用できます。ワークロード、データプレーンのトラフィック、プロバイダーの認証情報は各クラスタのクラウドアカウント内に留まり、トラフィックがControl Plane経由でCompute Plane間を流れることはありません。これらは独立したアイデンティティを持つ独立したクラウドであり続けます。

「クラスタの接続」に実際に必要なもの
エージェントのインストール自体は単一のhelmコマンドで行えますが、それには具体的な前提条件を満たしたセットアップが必要です。すべてのクラスタ(ハイパースケーラーまたは特化型)を正常に接続するには、クラスタに以下が必要です:
- 想定されるワークロードプロファイルに応じて、約250ノード / 4,096ポッドに対応可能な余裕を持つKubernetes 1.28以上
- TrueFoundryがプルするコンテナレジストリへのアウトバウンドエグレス:
public.ecr.aws、quay.io、ghcr.io、tfy.jfrog.io、docker.io/natsio、nvcr.io、registry.k8s.io - ワイルドカードドメイン(例:
*.lambda-pool.example.com)とTLS証明書 — cert-manager + Let's Encryptがドキュメント化されているパターンです - 動作するロードバランサーまたは Ingress パス。 管理対象のハイパースケール K8s は通常、クラウドロードバランサーの統合を通じてこれを提供します。ベアメタルまたは専門的なクラスターでは、プロバイダーがサポートする Ingress および IP 割り当てパスを確認してください
- 永続ストレージのサポート(ボリュームおよびアーティファクト用)。通常、プロバイダーの CSI バックアップブロック、ファイルシステム、またはオブジェクトストレージ統合を通じて提供されます
- 到達可能なコンテナレジストリおよびアーティファクトストア(イメージのプル、ビルド出力、およびワークフローアーティファクト用)
- ノードラベル(汎用/専門的クラスター上): すべてのノードに
truefoundry.com/nodepool=<pool-name>、GPU ノードにtruefoundry.com/gpu_type=<GPU_TYPE>(TrueFoundry は EKS/GKE/AKS 上でのみノードプールを自動検出します)
管理対象のハイパースケール K8s では、TrueFoundry の OpenTofu/Terraform モジュールがこれらの大部分をカバーします。専門的なクラウドでは、プロバイダーの管理対象 K8s オファリングを直接使用します。コンソールからプロビジョニングし、前提条件を準備してからアタッチします。正確なエージェントインストールコマンドは、プラットフォーム UI で Attach Existing Cluster をクリックしたときに生成されます。通常、次のような形式になります:
専門的クラウドの詳細: アドオン重複問題
これは、多くのアーキテクチャに関する記事で見落とされがちな部分です。前述の専門的クラウドは、TrueFoundry のデフォルトアドオンスタックの一部と重複する Kubernetes コンポーネントをすでに提供しています。両側が同じコンポーネントをインストールすると、重複したダッシュボードからサポート対象外の GPU オペレーターデプロイに至るまで、さまざまなコンフリクトが発生する可能性があります。
CoreWeave はこれについて明確に述べています: CoreWeave は CKS クラスター上の NVIDIA GPU Operator を管理しており、二重インストールに対して警告しています。プラットフォーム管理によるデプロイのみがサポートされます。CKS クラスターをアタッチする際は、TrueFoundry の GPU Operator アドオンを無効にしてください。
具体的には:
- CoreWeave CKS には、最近のクラスターにおける CoreWeave 管理の NVIDIA GPU Operator、Cilium ネットワーキング、ストレージ統合、DPU ベースのインフラストラクチャ、および CoreWeave のオブザーバビリティが含まれています。アタッチする際は、TrueFoundry の GPU Operator アドオンを無効にし、オブザーバビリティの重複を確認してください。
- Lambda MK8s は、GPU および InfiniBand/RDMA サポート、
lambda-sharedStorageClass を通じた共有永続ストレージ、NVIDIA DCGM Grafana ダッシュボード、および自動ノード修復を提供します。Lambda がすでに GPU の有効化を管理している場合は、TrueFoundry の GPU Operator アドオンを無効にしてください。プロバイダーの DCGM ダッシュボードは TrueFoundry のオブザーバビリティとは独立しており、並行して実行できます。 - Fluidstack 管理対象 Kubernetes は、GPU Operator および Network Operator、Ray、バッチスケジューリング用の Volcano と Kueue、Atlas 管理ストレージ、およびクラスターヘルスオブザーバビリティのサポートを謳っています。プロバイダーがすでに管理している場合は、TrueFoundry の GPU Operator アドオンを無効にしてください。プロバイダーのバッチスケジューリングスタックは、ワークフローオーケストレーションを代替するものではなく、補完するものです。
Attach Existing Cluster フォームには Cluster Addons セクションがあり、プロバイダーがすでに提供しているアドオンのチェックをオフにすることができます。これはクラスターごとの一度限りの設定です。
TrueFoundry がクラスター全体に追加するもの
クラスターがアタッチされると、プラットフォームはプロバイダーが提供した K8s の上に、一貫した運用エクスペリエンスをレイヤー化します:
- すべてのクラスターのための単一 UI。 すべてのデプロイ、すべてのジョブ、すべてのサービス、すべてのワークスペースが、同じダッシュボード内のアタッチされたすべてのクラスターにわたって可視化されます。
- 一貫したデプロイマニフェスト形式。 サービスまたはジョブを一度作成すれば、送信先クラスターの前提条件(一致する GPU タイプ、レジストリアクセス、シークレット、ストレージクラス)が一致している限り、
cluster_nameフィールドを変更するだけで別のクラスターをターゲットにできます。 - ArgoCD を介した GitOps バージョン管理デリバリー。各クラスタにデプロイされ、GitOps が有効な場合、デプロイメント構成は Git に保存されます。
- クラスターごとの可観測性(Observability):PrometheusベースのメトリクスがControl Plane UIに表示され、より詳細なクラスターレベルのダッシュボード用にオプションでGrafanaが利用可能です。(注:これは集約された運用可視性を提供するものであり、統合された長期メトリクスバックエンドを代替するものではありません。)
- 各クラスターでのArgo Workflows:バッチジョブやトレーニング実行に対応し、実行履歴やステップレベルの可観測性が均一に可視化されます。
- 各クラスター内のサービスの自動スケーリング:リクエストレートベースのスケーリング、時間ベースのルール、キューベースのパターン、および適切なワークロード向けのスケールツーゼロに対応します。
- クラスター内のキャパシティタイプに応じた配置:基礎となるクラウドおよびノードプロビジョニング設定がサポートしている場合、ワークロードはスポット、オンデマンド、またはオンデマンドフォールバック付きスポットキャパシティをターゲットにできます。
- プラットフォーム層でのワークスペースベースのRBACとSSO:ワークロードがどのクラスターで実行されるかに関わらず、一貫した権限モデルを提供します。
TrueFoundryが(現時点で)対応していないこと
スコープを明確にするため記載します。以下は顧客から要望のある実際の機能ですが、現時点ではプラットフォーム機能として提供されていません。
- クロスクラスター スケジューリング: ジョブをデプロイする際、特定クラスターをターゲットとして指定します。プラットフォームが自動的に最も安価なクラスターを選択したり、リアルタイムのキャパシティに基づいてルーティングしたり、実行中のワークロードをクラスター間で再分散したりすることはありません。
- クロスクラスター フェイルオーバー: Lambda 1CCでハードウェア障害が発生したり、CoreWeaveリージョンでキャパシティが不足したりした場合でも、プラットフォームが自動的にEKSリザーブドインスタンスでジョブを再試行することはありません。クラスター内の配置およびフォールバックポリシーは、基礎となるクラスターがサポートしている場合には役立ちますが、クロスクラスターフェイルオーバーは異なる課題であり、機能としては提供されていません。
- 集約されたGPUキャパシティプール: CoreWeave、Lambda、AWS上のH100キャパシティは、1つのプールされたクォータではなく、3つの別々のクラスターとして追跡されます。UIには3つすべてが表示されますが、スケジューラはこれらを独立したものとして扱います。
- コストを考慮した自動ルーティング: リアルタイムのプロバイダー価格に基づいてジョブの実行場所を選択する機能は、現時点ではプラットフォーム機能ではありません。
ユースケースでクロスクラスター オーケストレーションが真に必要な場合(例:利用可能な最も安価なクラウドに即座に拡張する必要があるトレーニングジョブなど)は、TrueFoundryのクラスターごとのデプロイAPIの上にあるオーケストレーション層(CI/CDロジック、小規模なカスタムスケジューラ、あるいはArgo WorkflowsやTemporalなどのワークフローツール)でその決定ロジックを構築してください。プラットフォームはクラスター間で一貫したデプロイ基本機能(プリミティブ)を提供し、ルーティングの決定はユーザー側に委ねられます。
実際のワークフロー:Lambda 1-Click Clusterの追加
期待値を正しく設定するための具体的な手順は以下の通りです。
- Lambda上でManaged Kubernetesを有効にした1-Click Clusterをプロビジョニングする: サイズ(16から2,000以上のGPU)とリザベーション期間を選択します。
- Lambdaの認証フローを通じてクラスター管理者アクセスを取得する:
kubectl get nodesでGPUワーカーがReadyとして表示されていることを確認します。 - クラスター内で前提条件を準備する: ワイルドカードDNSとインプレスパスを設定し、TLS証明書の自動化をインストールまたは検証します。共有ストレージが必要な場合は
lambda-sharedStorageClass が存在することを確認し、TrueFoundryに必要なコンテナレジストリへのエグレス(送信アウトバウンド通信)を検証します。 - TrueFoundryで「Attach Existing Cluster」をクリックし、クラスターの詳細を入力します。LambdaがすでにGPU有効化機能を提供している場合は、GPU Operatorアドオンを無効にします。
- 生成されたhelmコマンドをクラスター内で実行します。エージェントと選択したアドオンが起動するまで待ちます(前提条件が整った後、通常5〜10分かかります)。
- このクラスターをターゲットとするTrueFoundryワークスペースでTolerations(耐性)を設定する: MK8sノードにはGPU Taints(テイント)が設定されているため、これを許容(Tolerate)する必要があります。ワークスペースレベルのToleration設定により、そのクラスターに送信されるすべてのジョブに適用されます。
- クラスターが接続済みとして表示されることを確認し、本番ワークロードを移動する前に、小規模なテストジョブ(単一GPUのvLLMサービスまたは1ノードのトレーニング実行)をデプロイします。
準備されたクラスターでの合計時間は通常30〜60分であり、その大半はDNS伝播、証明書発行、およびhelmインストールに費やされます。
実用的な比較
結論
マルチクラウドGPU戦略は現実的であり、コンピューティングキャパシティがAIロードマップの制約となるにつれて、ますます実用的になっています。現実的なアプローチは、EKS、AKS、GKE、CKS、MK8s、Fluidstack Managed Kubernetesのいずれであっても、各クラスターを標準的なKubernetesアタッチメントとして扱い、プラットフォームがその上に一貫した運用層を提供することです。
導入によって得られるメリット:追加したすべてのクラスターにまたがる単一UI、クラウドに関わらない一貫したデプロイおよびGitOpsパターン、マニフェストレベルでのワークロードのポータビリティ(前提条件が一致する場合)、顧客のクラウドアカウント間での完全なデータ分離。現時点で提供されない機能:自動クロスクラスター スケジューリング、キャパシティプーリング、コスト考慮ルーティング。これらの決定は、プラットフォームのクラスターごとのデプロイAPIの上でユーザー自身が構築・管理することになります。
このスタックを検討する場合、まず最適な出発点となるのは、2つのクラスタ(1つはハイパースケーラー、もう1つは特化型)を接続し、それぞれで代表的なジョブを実行して、スケールアウトする前に運用のエルゴノミクス(使いやすさ)を検証することです。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






