Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

ベアメタル AI のオーケストレーション: TrueFoundry と Oracle Cloud Infrastructure の統合

By Boyu Wang

Updated: November 3, 2026

Published: July 2, 2026

Oracle Cloud Infrastructure (OCI) は、VM ファーストのハイパースケールクラウドとは異なる AI コンピューティングへのアプローチをとっています。その差別化されたレイヤーがベアメタルです。BM.GPU.H100.8 などの OCI の GPU シェイプは、ハイパーバイザーのオーバーヘッドなしで動作し、カスタム RDMA over Converged Ethernet (RoCE v2) クラスタネットワーク上で NVIDIA ConnectX SmartNIC を介して接続されます。

その性能の限界の高さは、ベアメタル上でクラウドインフラストラクチャを管理する際の運用上の考慮事項と裏返しです。ベアメタルということは、通常 VM が抽象化するレイヤー(GPU ドライバと OFED スタック、クラスタネットワークのトポロジ制約内でのスケジューリング、OCI IAM によるアイデンティティの連携、モデル重み用の複数のストレージパスからの選択)を自ら担当することを意味します。これらはどれも異質なものではありませんが、マネージド VM サービスには現れない相当な量の Kubernetes 作業となります。

このスタックにおける TrueFoundry の役割は、Kubernetes ネイティブな運用レイヤーです。Compute Plane は、OCI ベアメタル上で動作するお客様独自の Oracle Cloud Infrastructure Kubernetes Engine (OKE) クラスタです。本プラットフォームは、オープンソースおよび CNCF 関連のコンポーネント群(ArgoCD、Argo Workflows、NVIDIA GPU Operator、Prometheus、KEDA、Istio など)をマネージドデプロイメントとしてパッケージ化し、統合 UI と GitOps ワークフローを追加し、サービス、ジョブ、GPU 利用率にわたる可観測性(Observability)を提供します。OCI プリミティブを置き換えるのではなく、その上に位置します。

本記事では、OCI ベアメタル上で TrueFoundry を実行した際に構築されるアーキテクチャ(Control Plane/Compute Plane の分離、RDMA トレーニングの Kubernetes への適用方法、ワークロードアイデンティティの仕組み、大規模でのモデル重み読み込みのプラクティカルなパターン)について解説します。

デプロイメントモデル: Control Plane と Compute Plane

TrueFoundry はプレーン分離アーキテクチャを使用します。Control Plane(TrueFoundry マネージドまたはセルフホスト)は、メタデータ、RBAC、API サーバー、およびデプロイメントマニフェストストアを保持します。Compute Plane は、お客様自身のクラウド環境内にある1つ以上の Kubernetes クラスタ(この場合は OCI ベアメタル上の OKE クラスタ)です。ワークロード、モデルの重み、お客様のデータはお客様のテナンシ内に留まります。

両者間のリンクは tfy-agent であり、Compute Plane クラスタ上で動作し、Control Plane に対してアウトバウンド専用の WebSocket を開きます。エージェントはデプロイメントマニフェストを取得し、Kubernetes リソースの更新を押し戻します。接続がアウトバウンドであるため、VCN 上でインバウンドポートを開いたり、クラスタ API サーバーをパブリックインターネットに公開したりする必要はありません。

TrueFoundry が Compute Plane をセットアップすると、エージェントは ArgoCD を介して一連のオープンソースアドオンをインストールし、管理します。

  • GitOps スタイルのアプリケーション配信のための ArgoCD
  • Jobs 機能(トレーニング実行、バッチパイプライン)のための Argo Workflows
  • カナリアデプロイおよびブルー/グリーンデプロイのための Argo Rollouts
  • 自動スケーリングと可観測性を推進するメトリクスのための Prometheus / kube-prometheus-stack
  • イベント駆動型自動スケーリングのための KEDA
  • プライマリ Ingress コントローラーおよびトラフィック管理のための Istio
  • GPU ドライバのライフサイクル、DCGM ベースのヘルスチェック、Node Feature Discovery を介した GPU ノードラベルのための NVIDIA GPU Operator(OCI 固有の RDMA トポロジラベルは、OCI 独自のノードプロビジョニングによって別途公開されます — 下記のネットワークセクションを参照)
  • ログ集約のための Victoria Logs + Vector(オプション)

これらの既存インスタンスを自前で持ち込むことも可能です — TrueFoundry は、既存の ArgoCD、Prometheus、または Istio インストールと共存するために必要な設定をドキュメント化しています。

図1. プレーン分離アーキテクチャ。Compute Plane はお客様の OCI テナンシ内の OKE クラスタ上で動作し、tfy-agent は Control Plane にアウトバウンド接続します。VCN 上でインバウンドポートは必要ありません。

ベアメタルネットワーク: OKE 上の RDMA

OCI のクラスタネットワークは、大規模な分散トレーニングを可能にする差別化されたネットワークレイヤーです。Oracle は、NVIDIA ConnectX SmartNIC 上で RoCE v2 を使用したこのファブリックにおいて、単一ラッククラスタで最短 2 マイクロ秒、マルチラックスーパークラスタ全体で通常 2.5〜9 マイクロ秒という一桁マイクロ秒のレイテンシを示す内部計測結果を公表しています。本番環境での実際の数値は、クラスタトポロジ、メッセージサイズ、および競合に依存します。Oracle の First Principles の解説記事で基本的な設計が取り上げられています。

RDMA を効果的に使用するには、以下の2点が真である必要があります。

  • ノードが同じ OCI クラスタネットワーク内にあること。 OCI は OKE ノード上でトポロジラベル(oci.oraclecloud.com/rdma.local_block_id、network_block_id、hpc_island_id)を公開しており、Oracle の oci-hpc-oke クイックスタートでは、最高の NCCL パフォーマンスを得るために Kueue のトポロジ認識スケジューリングでこれらを使用する方法を示しています。密結合なトレーニングの場合は、同じ Local Block 内にポッドを同じ場所へ配置(Co-locate)することをお勧めします。
  • トレーニングポッドが RDMA デバイスにアクセスできること。 OCI の H100 ノードでは、Mellanox/NVIDIA ドライバが /dev/infiniband/ の下に RDMA デバイスを公開します(トランスポートが Ethernet 上の RoCE v2 であっても、パスの命名規則は下層の IB verbs API を反映しています)。

Oracle のクイックスタートによる標準的なポッドパターンは以下のようになります。

これらの昇格された権限(privileged: true、IPC_LOCK、ホストネットワーク)は、HPC/RDMA ワークロードに特有のものです。本番環境では、アドミッションポリシー(例:特定ネームスペースでは Pod Security Admission を privileged に設定し、他の場所では restricted に設定、またはラベルでゲートする OPA/Kyverno ポリシー)を使用して、これらのポッドを専用の GPU ネームスペースに隔離し、無関係なワークロードが同じコンテキストを継承しないようにしてください。

‍

図2. 同じ OCI クラスタネットワーク内の2つのベアメタル H100 ノード間の RDMA ネットワークフロー。トレーニングポッドはユーザー空間 RDMA スタック(libibverbs)を使用して /dev/infiniband を介してキューペアをセットアップします。セットアップが完了すると、データパス操作はカーネルをバイパスし、ConnectX SmartNIC が RoCE v2 をクラスタネットワークファブリックにオフロードします。

‍

ここでの TrueFoundry の役割は、これらのトレーニングポッドの実行を通常のデプロイメントワークフローの一部にすることです。お客様がワークロードを作成すると、プラットフォームはそれを Argo Workflows 経由でプッシュし、Prometheus は GPU Operator に同梱された DCGM Exporter から GPU メトリクスをスクレイピングし、ArgoCD はマニフェストのバージョニングを行います。NCCL カウンタのようなワークロードレベルのシグナルは、アプリケーションがそれらを公開している場合にのみスクレイピングされます。RDMA 固有の要素(hostPath マウント、IPC_LOCK、トポロジアフィニティ)は、上記の標準パターンに従ってジョブ仕様内で設定されます。プラットフォームはそれらのフィールドを置き換えるのではなく、指定されたものをデプロイします。

特にマルチノード分散トレーニングの場合、通常は Helm チャートを介してクラスタ上にオペレーターをインストールします。MPIJob ベースの実行(PyTorch DDP、DeepSpeed、NCCL)用の MPI Operator、PyTorchJob/TFJob 用の Kubeflow Training Operator、または Ray ベースのトレーニング用の KubeRay などです。TrueFoundry はこれらをデフォルトではバンドルしていません。インストールされると、プラットフォームは他の Kubernetes ワークロードと同様に、同じ GitOps と可観測性のストーリーで MPIJob/PyTorchJob/RayJob リソースをデプロイします。現時点で OCI 上の RDMA を使用した分散トレーニングは、TrueFoundry のファーストクラス機能ではありません。これは Oracle が公開している参照マニフェストに基づく実装パターンであり、プラットフォームは RDMA 固有のオーケストレーションではなく、その周りの運用スタックを処理します。

アイデンティティ連携: OKE Workload Identity

サポートされているクラスタタイプにおいて、OCI はポッドに長期の API キーを配布するのではなく、OKE Workload Identity を使用することを推奨するようになりました。このメカニズムは AWS IRSA や GKE Workload Identity と同様に動作します。Kubernetes ServiceAccount が OCI IAM ポリシーにマッピングされ、OCI SDK は呼び出し時にポッドの射影された ServiceAccount トークンを短期間有効な OCI アクセストークンと交換します。ポッド内に静的な認証情報は存在しません。

Oracle のドキュメントからの2つの重要な制約事項:

  • Workload Identity は Enhanced OKE クラスタでのみ動作し、Basic クラスタでは動作しません。
  • Workload Identity を介した認証は、OCI SDK(Java、Python、Go など)を介してのみサポートされ、OCI CLI やコンソールからはサポートされません。
図3. OKE Workload Identity の認証シーケンス。OCI SDK は射影された ServiceAccount トークンを読み取り、OCI Auth Service を介して短期間有効な OCI アクセストークンと交換し、その後の OCI サービスへの呼び出しにそのトークンを使用します。

Kubernetes 側では、ワークロードはネームスペーススコープの ServiceAccount にバインドされ、プラットフォームはデプロイメントフローの一環としてそれらの作成を自動化できます。OCI 側(request.principal.type='workload' ルールとクラスタ/ネームスペース/サービスアカウントセレクターを持つ IAM ポリシー)は、Oracle の標準的な Workload Identity セットアップに従って設定されます。両側の準備が整うと、OCI アクセスを必要とするデプロイメントは SDK を介して透過的に短期トークンを取得します。

ストレージとモデルの読み込み

OCI ベアメタルでは、モデルの重みを VRAM に読み込むための複数のストレージ選択肢が提供されます。それぞれにトレードオフがあり、TrueFoundry のボリューム抽象化(PVC、ボリュームマウント、初期化コンテナ)はこれらすべてで動作します。適切なパターンはワークロードに依存します。

  • ローカル NVMe。 BM.GPU.H100.8 には 16 個の NVMe SSD(各 3.84 TB、計 ~61 TB のローカルストレージ)が搭載されています。各ノードがチェックポイントキャッシュから独自の重みのコピーをロードするワークロードの場合、ローカル NVMe が最も高速なオプションです。ホットパスにネットワークは関与しません。
  • ハイパフォーマンスマウントターゲット(HPMT)を備えた OCI File Storage Service (FSS)。 FSS HPMT は、高いスループットで RWX(ReadWriteMany)ファイルストレージを提供し、複数のベアメタルノード全体に同時にマウント可能です。これは、Kubernetes RWX PersistentVolumes を中心に構築されている TrueFoundry ボリューム抽象化に自然に適合します。共有モデルの重み、データセット、トレーニング中のチェックポイントストレージに適しています。Oracle は、超高スループットのケース向けに完全に管理された Lustre ファイルサービスも提供しています。
  • OCI Block Volume(マルチアタッチ)。 単一のブロックボリュームを、同じアベイラビリティ・ドメイン内の最大 32 個のインスタンスに読み取り専用共有としてアタッチできます。パフォーマンスはボリューム単位(接続されているすべてのインスタンスで共有)であり、ベアメタルではアタッチにマルチパス付きの iSCSI を使用します。ファイルシステムレイヤーを経由せずに、ジョブ内のすべてのノードがローカルディスクのように感じる単一の固定モデルアーティファクトをマウントさせたい場合に便利です。
  • OCI Object Storage。 ポッドの起動時に、Object Storage からローカル NVMe またはメモリに重みを引き込みます。最もシンプルなパターンであり、TrueFoundry の初期化コンテナフックでよく機能します。各ポッドは独立した帯域幅を取得するため、多くの場合、単一ボリュームの IOPS バジェットを多数のリーダーで共有するよりも優れています。

適切なパターンはワークロードに依存します。ほとんどのトレーニング実行において、ローカル NVMe(一時的なホットデータ用)と FSS(共有チェックポイントおよび重み用)の組み合わせが本番環境のセットアップとなります。Block Volume のマルチアタッチは、単一の不変アーティファクトを多数のリーダーにローカルディスクのように見せる必要がある特定のケース向けのオプションです。

運用上の考慮事項

生(Raw)の OCI プリミティブ上でベアメタル GPU ワークロードを実行することは可能であり、Oracle は Terraform ベースの HPC スタックと oci-hpc-oke クイックスタートを提供していますが、それだけでは相当な量の Kubernetes 運用レイヤーを自ら所有することになります。以下の表は、TrueFoundry がその上に追加する内容を説明しています。

タスク 生の OCI / OKE OKE 上の TrueFoundry を使用する場合
クラスタのブートストラップ Terraform / Resource Manager を使用して OKE クラスタ + GPU ノードプール + RDMA 対応イメージをプロビジョニング 同じ OKE + ノードプールのセットアップに加え、TrueFoundry の Generic Compute Plane アタッチフロー(プラットフォーム UI によって生成される Helm ベースのエージェント + アドオンインストール)を使用
分散トレーニング Helm 経由で MPI Operator / Training Operator / KubeRay をインストール。hostPath マウントと RDMA トポロジアフィニティを備えた MPIJob/PyTorchJob/RayJob マニフェストを作成 同じオペレーターインストール(Helm 経由)と同じマニフェスト。プラットフォームはデプロイメントのライフサイクル、GitOps バージョニング、実行履歴、および Prometheus ベースの可観測性を処理(オペレーターのインストール自体ではありません)
モデル重みへのアクセス FSS、Block Volume をマウントするか、Object Storage から引き込み。初期化コンテナを手動で配線 プラットフォーム UI を通じて管理される標準の Kubernetes PVC と初期化コンテナフック
ワークロードアイデンティティ OCI IAM ポリシー、ServiceAccount を作成し、SDK を設定 UI を通じて ServiceAccount を作成。OCI IAM バインディングは Oracle の標準 Workload Identity セットアップに従って設定
自動スケーリング OKE Cluster Autoscaler と GPU ノードプールのスケーリングを手動で設定 Kubernetes リソース要求によってトリガーされる OKE Cluster Autoscaler。KEDA + Prometheus がアプリケーションレベルの自動スケーリングとゼロへのスケーリングを駆動
GPU ヘルス NVIDIA GPU Operator をインストールし、DCGM を設定 エージェントによってデプロイおよび管理される GPU Operator。DCGM Exporter メトリクスはプラットフォームの kube-prometheus-stack によってスクレイピングされ、可観測性 UI に表示

パターンは一貫しています。OCI がベアメタルのコンピューティングとネットワークのプリミティブを提供し、TrueFoundry がその上に Kubernetes 運用レイヤーを提供します。

結論

OCI 上の TrueFoundry は、Oracle のベアメタルスタック上で動作する Kubernetes ネイティブなプラットフォームです。Compute Plane はお客様の OKE クラスタであり、ワークロードは標準的な Kubernetes パターンを通じて OCI の RoCE v2 クラスタネットワークと Workload Identity を使用し、プラットフォームはオープンソースおよび CNCF 関連の運用レイヤー(GitOps、可観測性、自動スケーリング、GPU オペレーター)をマネージドデプロイメントとしてパッケージ化します。その結果、OCI 固有の設定を隠蔽するのではなく透明に保ったまま、ベアメタル GPU ワークロードを運用するためのプラットフォームエンジニアリングのオーバーヘッドを削減できます。

実践的な評価パスとしては、小規模な OKE クラスタ(通常は1つまたは2つの BM.GPU シェイプと、プラットフォームアドオン用の CPU プール)へのリファレンスデプロイメントを行い、フルサイズのスーパークラスタにスケールアップする前にアーキテクチャを検証することをお勧めします。

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour