Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

TrueFoundryによるマルチクラウドGPUオーケストレーション:ハイパースケーラーと特化型クラウド向けの参照アーキテクチャ

By Boyu Wang

Updated: November 3, 2026

Published: July 2, 2026

GPU容量は、現在AIチームにとって最も厳しい制約の1つです。Amazon EC2 P5 インスタンスやAzure ND H100 v5シリーズVMのプロビジョニングは、クォータ制限、リージョンごとの容量制限、あるいは消化が難しい商用コミットメントに直面する可能性があります。その結果、特化型GPUクラウド(CoreWeave、Lambda、Fluidstack、その他数社)は、単なるオーバーフロー容量としてだけでなく、実用的な本番環境のターゲットとなっています。これらのプロバイダーはそれぞれ、GPUワークロード向けのマネージドKubernetesパスを提供しています。CoreWeave Kubernetes Service (CKS)、1-Click Cluster上のLambda Managed Kubernetes (MK8s)、そしてFluidstackマネージドKubernetesです。

これらをハイパースケーラー環境と並行して運用することは、本質的な運用の複雑さを生み出します。ダッシュボード、アイデンティティシステム、オブザーバビリティ、デプロイフローがそれぞれ個別に存在する状態です。ここでTrueFoundryが果たす役割は、これらの各Kubernetesクラスタを単一のControl Planeに接続し、1つのUIでデプロイターゲットとして提示し、その上に一貫したK8s運用レイヤーを提供することです。各プロバイダーがすでに提供しているクラスタネイティブな自動化を置き換える必要はありません。

このポストでは、具体的な構成について解説します。アーキテクチャ、クラスタ接続に必要な要件、プラットフォームの自動化とプロバイダーの自動化の境界線、そして推奨する実践的なパターンについて取り上げます。

アーキテクチャ:1つのControl Planeと複数のCompute Plane

TrueFoundryは分離プレーンアーキテクチャを採用しています。Control Plane(TrueFoundry管理またはセルフホスト)は、メタデータ、RBAC、デプロイマニフェスト、UIを保持します。Compute Planeは、お客様ご自身のKubernetesクラスタです。複数のCompute Planeを1つのControl Planeに接続できるため、EKSクラスタ、AKSクラスタ、CKSクラスタ、MK8sクラスタ、Fluidstackマネージed K8sクラスタのすべてを同じダッシュボードに報告させることができます。

tfy-agentは各クラスタ内で実行され、Control Planeへの安全なアウトバウンドWebSocketを確立します。エージェントはクラスタの状態をストリーミングし、エージェントプロキシによってControl Planeはクラスタ上のインバウンドエンドポイントを必要とせずに、そのアウトバウンド接続を介してKubernetesの変更を適用できます。ワークロード、データプレーンのトラフィック、プロバイダーの認証情報は各クラスタのクラウドアカウント内に留まり、トラフィックがControl Plane経由でCompute Plane間を流れることはありません。これらは独立したアイデンティティを持つ独立したクラウドであり続けます。

図1. マルチクラウドアーキテクチャ。1つのControl Plane、クラスタごとに1つのアウトバウンドエージェント接続が存在し、プラットフォームを経由するクラスタ間のデータプレーントラフィックはありません。各Compute Planeは独自のアイデンティティ境界、ストレージ、プロバイダー管理コンポーネントを保持します。

「クラスタの接続」に実際に必要なもの

エージェントのインストール自体は単一のhelmコマンドで行えますが、それには具体的な前提条件を満たしたセットアップが必要です。すべてのクラスタ(ハイパースケーラーまたは特化型)を正常に接続するには、クラスタに以下が必要です:

  • 想定されるワークロードプロファイルに応じて、約250ノード / 4,096ポッドに対応可能な余裕を持つKubernetes 1.28以上
  • TrueFoundryがプルするコンテナレジストリへのアウトバウンドエグレス:public.ecr.aws、quay.io、ghcr.io、tfy.jfrog.io、docker.io/natsio、nvcr.io、registry.k8s.io
  • ワイルドカードドメイン(例:*.lambda-pool.example.com)とTLS証明書 — cert-manager + Let's Encryptがドキュメント化されているパターンです
  • 動作するロードバランサーまたは Ingress パス。 管理対象のハイパースケール K8s は通常、クラウドロードバランサーの統合を通じてこれを提供します。ベアメタルまたは専門的なクラスターでは、プロバイダーがサポートする Ingress および IP 割り当てパスを確認してください
  • 永続ストレージのサポート(ボリュームおよびアーティファクト用)。通常、プロバイダーの CSI バックアップブロック、ファイルシステム、またはオブジェクトストレージ統合を通じて提供されます
  • 到達可能なコンテナレジストリおよびアーティファクトストア(イメージのプル、ビルド出力、およびワークフローアーティファクト用)
  • ノードラベル(汎用/専門的クラスター上): すべてのノードに truefoundry.com/nodepool=<pool-name>、GPU ノードに truefoundry.com/gpu_type=<GPU_TYPE>(TrueFoundry は EKS/GKE/AKS 上でのみノードプールを自動検出します)

管理対象のハイパースケール K8s では、TrueFoundry の OpenTofu/Terraform モジュールがこれらの大部分をカバーします。専門的なクラウドでは、プロバイダーの管理対象 K8s オファリングを直接使用します。コンソールからプロビジョニングし、前提条件を準備してからアタッチします。正確なエージェントインストールコマンドは、プラットフォーム UI で Attach Existing Cluster をクリックしたときに生成されます。通常、次のような形式になります:

専門的クラウドの詳細: アドオン重複問題

これは、多くのアーキテクチャに関する記事で見落とされがちな部分です。前述の専門的クラウドは、TrueFoundry のデフォルトアドオンスタックの一部と重複する Kubernetes コンポーネントをすでに提供しています。両側が同じコンポーネントをインストールすると、重複したダッシュボードからサポート対象外の GPU オペレーターデプロイに至るまで、さまざまなコンフリクトが発生する可能性があります。

CoreWeave はこれについて明確に述べています: CoreWeave は CKS クラスター上の NVIDIA GPU Operator を管理しており、二重インストールに対して警告しています。プラットフォーム管理によるデプロイのみがサポートされます。CKS クラスターをアタッチする際は、TrueFoundry の GPU Operator アドオンを無効にしてください。

具体的には:

  • CoreWeave CKS には、最近のクラスターにおける CoreWeave 管理の NVIDIA GPU Operator、Cilium ネットワーキング、ストレージ統合、DPU ベースのインフラストラクチャ、および CoreWeave のオブザーバビリティが含まれています。アタッチする際は、TrueFoundry の GPU Operator アドオンを無効にし、オブザーバビリティの重複を確認してください。
  • Lambda MK8s は、GPU および InfiniBand/RDMA サポート、lambda-shared StorageClass を通じた共有永続ストレージ、NVIDIA DCGM Grafana ダッシュボード、および自動ノード修復を提供します。Lambda がすでに GPU の有効化を管理している場合は、TrueFoundry の GPU Operator アドオンを無効にしてください。プロバイダーの DCGM ダッシュボードは TrueFoundry のオブザーバビリティとは独立しており、並行して実行できます。
  • Fluidstack 管理対象 Kubernetes は、GPU Operator および Network Operator、Ray、バッチスケジューリング用の Volcano と Kueue、Atlas 管理ストレージ、およびクラスターヘルスオブザーバビリティのサポートを謳っています。プロバイダーがすでに管理している場合は、TrueFoundry の GPU Operator アドオンを無効にしてください。プロバイダーのバッチスケジューリングスタックは、ワークフローオーケストレーションを代替するものではなく、補完するものです。

Attach Existing Cluster フォームには Cluster Addons セクションがあり、プロバイダーがすでに提供しているアドオンのチェックをオフにすることができます。これはクラスターごとの一度限りの設定です。

TrueFoundry がクラスター全体に追加するもの

クラスターがアタッチされると、プラットフォームはプロバイダーが提供した K8s の上に、一貫した運用エクスペリエンスをレイヤー化します:

  • すべてのクラスターのための単一 UI。 すべてのデプロイ、すべてのジョブ、すべてのサービス、すべてのワークスペースが、同じダッシュボード内のアタッチされたすべてのクラスターにわたって可視化されます。
  • 一貫したデプロイマニフェスト形式。 サービスまたはジョブを一度作成すれば、送信先クラスターの前提条件(一致する GPU タイプ、レジストリアクセス、シークレット、ストレージクラス)が一致している限り、cluster_name フィールドを変更するだけで別のクラスターをターゲットにできます。
  • ArgoCD を介した GitOps バージョン管理デリバリー。各クラスタにデプロイされ、GitOps が有効な場合、デプロイメント構成は Git に保存されます。
  • クラスターごとの可観測性(Observability):PrometheusベースのメトリクスがControl Plane UIに表示され、より詳細なクラスターレベルのダッシュボード用にオプションでGrafanaが利用可能です。(注:これは集約された運用可視性を提供するものであり、統合された長期メトリクスバックエンドを代替するものではありません。)
  • 各クラスターでのArgo Workflows:バッチジョブやトレーニング実行に対応し、実行履歴やステップレベルの可観測性が均一に可視化されます。
  • 各クラスター内のサービスの自動スケーリング:リクエストレートベースのスケーリング、時間ベースのルール、キューベースのパターン、および適切なワークロード向けのスケールツーゼロに対応します。
  • クラスター内のキャパシティタイプに応じた配置:基礎となるクラウドおよびノードプロビジョニング設定がサポートしている場合、ワークロードはスポット、オンデマンド、またはオンデマンドフォールバック付きスポットキャパシティをターゲットにできます。
  • プラットフォーム層でのワークスペースベースのRBACとSSO:ワークロードがどのクラスターで実行されるかに関わらず、一貫した権限モデルを提供します。

TrueFoundryが(現時点で)対応していないこと

スコープを明確にするため記載します。以下は顧客から要望のある実際の機能ですが、現時点ではプラットフォーム機能として提供されていません。

  • クロスクラスター スケジューリング: ジョブをデプロイする際、特定クラスターをターゲットとして指定します。プラットフォームが自動的に最も安価なクラスターを選択したり、リアルタイムのキャパシティに基づいてルーティングしたり、実行中のワークロードをクラスター間で再分散したりすることはありません。
  • クロスクラスター フェイルオーバー: Lambda 1CCでハードウェア障害が発生したり、CoreWeaveリージョンでキャパシティが不足したりした場合でも、プラットフォームが自動的にEKSリザーブドインスタンスでジョブを再試行することはありません。クラスター内の配置およびフォールバックポリシーは、基礎となるクラスターがサポートしている場合には役立ちますが、クロスクラスターフェイルオーバーは異なる課題であり、機能としては提供されていません。
  • 集約されたGPUキャパシティプール: CoreWeave、Lambda、AWS上のH100キャパシティは、1つのプールされたクォータではなく、3つの別々のクラスターとして追跡されます。UIには3つすべてが表示されますが、スケジューラはこれらを独立したものとして扱います。
  • コストを考慮した自動ルーティング: リアルタイムのプロバイダー価格に基づいてジョブの実行場所を選択する機能は、現時点ではプラットフォーム機能ではありません。

ユースケースでクロスクラスター オーケストレーションが真に必要な場合(例:利用可能な最も安価なクラウドに即座に拡張する必要があるトレーニングジョブなど)は、TrueFoundryのクラスターごとのデプロイAPIの上にあるオーケストレーション層(CI/CDロジック、小規模なカスタムスケジューラ、あるいはArgo WorkflowsやTemporalなどのワークフローツール)でその決定ロジックを構築してください。プラットフォームはクラスター間で一貫したデプロイ基本機能(プリミティブ)を提供し、ルーティングの決定はユーザー側に委ねられます。

実際のワークフロー:Lambda 1-Click Clusterの追加

期待値を正しく設定するための具体的な手順は以下の通りです。

  1. Lambda上でManaged Kubernetesを有効にした1-Click Clusterをプロビジョニングする: サイズ(16から2,000以上のGPU)とリザベーション期間を選択します。
  2. Lambdaの認証フローを通じてクラスター管理者アクセスを取得する: kubectl get nodes でGPUワーカーが Ready として表示されていることを確認します。
  3. クラスター内で前提条件を準備する: ワイルドカードDNSとインプレスパスを設定し、TLS証明書の自動化をインストールまたは検証します。共有ストレージが必要な場合は lambda-shared StorageClass が存在することを確認し、TrueFoundryに必要なコンテナレジストリへのエグレス(送信アウトバウンド通信)を検証します。
  4. TrueFoundryで「Attach Existing Cluster」をクリックし、クラスターの詳細を入力します。LambdaがすでにGPU有効化機能を提供している場合は、GPU Operatorアドオンを無効にします。
  5. 生成されたhelmコマンドをクラスター内で実行します。エージェントと選択したアドオンが起動するまで待ちます(前提条件が整った後、通常5〜10分かかります)。
  6. このクラスターをターゲットとするTrueFoundryワークスペースでTolerations(耐性)を設定する: MK8sノードにはGPU Taints(テイント)が設定されているため、これを許容(Tolerate)する必要があります。ワークスペースレベルのToleration設定により、そのクラスターに送信されるすべてのジョブに適用されます。
  7. クラスターが接続済みとして表示されることを確認し、本番ワークロードを移動する前に、小規模なテストジョブ(単一GPUのvLLMサービスまたは1ノードのトレーニング実行)をデプロイします。

準備されたクラスターでの合計時間は通常30〜60分であり、その大半はDNS伝播、証明書発行、およびhelmインストールに費やされます。

実用的な比較

機能・能力 ハイパースケーラー(EKS / AKS / GKE) 特化型クラウド(CKS / MK8s / Fluidstack) TrueFoundryが追加する機能
GPU利用可能性 キャパシティクォータ、リザベーション計画、およびリージョンごとの利用制限 ベアメタルH100 / H200 / B200 / GB200キャパシティ(プロバイダーの利用可能性および商用条件による) 追加されたすべてのクラスターを1つのUIに表示。ワークロードごとにデプロイターゲットを選択可能
料金体系 公示料金、リザーブド割引 大規模GPUクラスター向けに最適化されることが多いプロバイダー固有の料金 クラスターごとのデプロイ。クロスクラスターのコストルーティングはプラットフォームネイティブではない
スポット / プリエンプション クラウドネイティブのスポット、オンデマンド、リザベーション構成。フォールバックはノードプロビジョニング設定に依存 プロバイダー管理(多様) クラスターごとに設定。クロスクラスターフェイルオーバーはユーザー側で実装
ストレージ ネイティブのEBS / EFS、Persistent Disk / Filestore、Azure Disk / Azure Files、および設定されたオブジェクトストア統合 CoreWeaveストレージ、Lambda共有ファイルシステム、Fluidstack Atlas管理ストレージなどのプロバイダー管理ストレージ統合 プロバイダーがサポートするKubernetesストレージ抽象化を使用。ワークロードごとにアクセスモードとパフォーマンスを検証
GPUドライバー / Operator クラスター側で未提供の場合、TrueFoundryのGPU Operatorアドオンによってインストール プロバイダー管理であることが多い。プロバイダーがすでにGPU有効化を管理している場合はTrueFoundryのアドオンを無効化 追加フォームにあるクラスターごとのアドオン切り替えスイッチ
可観測性(Observability) プラットフォームUIに表示されるクラスターごとのPrometheus + Grafana LambdaのDCGM Grafanaなど、利用可能な場合はプロバイダーネイティブのダッシュボードに加えてTrueFoundryの可観測性を提供 集約されたクラスター可視性(統合された長期メトリクスではない)
アイデンティティ(認証・認可) 各プロバイダーの標準に従って設定されるEKS IRSA / GKE Workload Identity / Azure WI プロバイダー固有のRBACおよびIAM プラットフォーム層でのワークスペースベースのRBACとSSO。ネイティブK8s RBACはクラスターごとに維持

結論

マルチクラウドGPU戦略は現実的であり、コンピューティングキャパシティがAIロードマップの制約となるにつれて、ますます実用的になっています。現実的なアプローチは、EKS、AKS、GKE、CKS、MK8s、Fluidstack Managed Kubernetesのいずれであっても、各クラスターを標準的なKubernetesアタッチメントとして扱い、プラットフォームがその上に一貫した運用層を提供することです。

導入によって得られるメリット:追加したすべてのクラスターにまたがる単一UI、クラウドに関わらない一貫したデプロイおよびGitOpsパターン、マニフェストレベルでのワークロードのポータビリティ(前提条件が一致する場合)、顧客のクラウドアカウント間での完全なデータ分離。現時点で提供されない機能:自動クロスクラスター スケジューリング、キャパシティプーリング、コスト考慮ルーティング。これらの決定は、プラットフォームのクラスターごとのデプロイAPIの上でユーザー自身が構築・管理することになります。

このスタックを検討する場合、まず最適な出発点となるのは、2つのクラスタ(1つはハイパースケーラー、もう1つは特化型)を接続し、それぞれで代表的なジョブを実行して、スケールアウトする前に運用のエルゴノミクス(使いやすさ)を検証することです。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour