ベアメタル AI のオーケストレーション: TrueFoundry と Oracle Cloud Infrastructure の統合

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Oracle Cloud Infrastructure (OCI) は、VM ファーストのハイパースケールクラウドとは異なる AI コンピューティングへのアプローチをとっています。その差別化されたレイヤーがベアメタルです。BM.GPU.H100.8 などの OCI の GPU シェイプは、ハイパーバイザーのオーバーヘッドなしで動作し、カスタム RDMA over Converged Ethernet (RoCE v2) クラスタネットワーク上で NVIDIA ConnectX SmartNIC を介して接続されます。
その性能の限界の高さは、ベアメタル上でクラウドインフラストラクチャを管理する際の運用上の考慮事項と裏返しです。ベアメタルということは、通常 VM が抽象化するレイヤー(GPU ドライバと OFED スタック、クラスタネットワークのトポロジ制約内でのスケジューリング、OCI IAM によるアイデンティティの連携、モデル重み用の複数のストレージパスからの選択)を自ら担当することを意味します。これらはどれも異質なものではありませんが、マネージド VM サービスには現れない相当な量の Kubernetes 作業となります。
このスタックにおける TrueFoundry の役割は、Kubernetes ネイティブな運用レイヤーです。Compute Plane は、OCI ベアメタル上で動作するお客様独自の Oracle Cloud Infrastructure Kubernetes Engine (OKE) クラスタです。本プラットフォームは、オープンソースおよび CNCF 関連のコンポーネント群(ArgoCD、Argo Workflows、NVIDIA GPU Operator、Prometheus、KEDA、Istio など)をマネージドデプロイメントとしてパッケージ化し、統合 UI と GitOps ワークフローを追加し、サービス、ジョブ、GPU 利用率にわたる可観測性(Observability)を提供します。OCI プリミティブを置き換えるのではなく、その上に位置します。
本記事では、OCI ベアメタル上で TrueFoundry を実行した際に構築されるアーキテクチャ(Control Plane/Compute Plane の分離、RDMA トレーニングの Kubernetes への適用方法、ワークロードアイデンティティの仕組み、大規模でのモデル重み読み込みのプラクティカルなパターン)について解説します。
デプロイメントモデル: Control Plane と Compute Plane
TrueFoundry はプレーン分離アーキテクチャを使用します。Control Plane(TrueFoundry マネージドまたはセルフホスト)は、メタデータ、RBAC、API サーバー、およびデプロイメントマニフェストストアを保持します。Compute Plane は、お客様自身のクラウド環境内にある1つ以上の Kubernetes クラスタ(この場合は OCI ベアメタル上の OKE クラスタ)です。ワークロード、モデルの重み、お客様のデータはお客様のテナンシ内に留まります。
両者間のリンクは tfy-agent であり、Compute Plane クラスタ上で動作し、Control Plane に対してアウトバウンド専用の WebSocket を開きます。エージェントはデプロイメントマニフェストを取得し、Kubernetes リソースの更新を押し戻します。接続がアウトバウンドであるため、VCN 上でインバウンドポートを開いたり、クラスタ API サーバーをパブリックインターネットに公開したりする必要はありません。
TrueFoundry が Compute Plane をセットアップすると、エージェントは ArgoCD を介して一連のオープンソースアドオンをインストールし、管理します。
- GitOps スタイルのアプリケーション配信のための ArgoCD
- Jobs 機能(トレーニング実行、バッチパイプライン)のための Argo Workflows
- カナリアデプロイおよびブルー/グリーンデプロイのための Argo Rollouts
- 自動スケーリングと可観測性を推進するメトリクスのための Prometheus / kube-prometheus-stack
- イベント駆動型自動スケーリングのための KEDA
- プライマリ Ingress コントローラーおよびトラフィック管理のための Istio
- GPU ドライバのライフサイクル、DCGM ベースのヘルスチェック、Node Feature Discovery を介した GPU ノードラベルのための NVIDIA GPU Operator(OCI 固有の RDMA トポロジラベルは、OCI 独自のノードプロビジョニングによって別途公開されます — 下記のネットワークセクションを参照)
- ログ集約のための Victoria Logs + Vector(オプション)
これらの既存インスタンスを自前で持ち込むことも可能です — TrueFoundry は、既存の ArgoCD、Prometheus、または Istio インストールと共存するために必要な設定をドキュメント化しています。

ベアメタルネットワーク: OKE 上の RDMA
OCI のクラスタネットワークは、大規模な分散トレーニングを可能にする差別化されたネットワークレイヤーです。Oracle は、NVIDIA ConnectX SmartNIC 上で RoCE v2 を使用したこのファブリックにおいて、単一ラッククラスタで最短 2 マイクロ秒、マルチラックスーパークラスタ全体で通常 2.5〜9 マイクロ秒という一桁マイクロ秒のレイテンシを示す内部計測結果を公表しています。本番環境での実際の数値は、クラスタトポロジ、メッセージサイズ、および競合に依存します。Oracle の First Principles の解説記事で基本的な設計が取り上げられています。
RDMA を効果的に使用するには、以下の2点が真である必要があります。
- ノードが同じ OCI クラスタネットワーク内にあること。 OCI は OKE ノード上でトポロジラベル(
oci.oraclecloud.com/rdma.local_block_id、network_block_id、hpc_island_id)を公開しており、Oracle の oci-hpc-oke クイックスタートでは、最高の NCCL パフォーマンスを得るために Kueue のトポロジ認識スケジューリングでこれらを使用する方法を示しています。密結合なトレーニングの場合は、同じ Local Block 内にポッドを同じ場所へ配置(Co-locate)することをお勧めします。 - トレーニングポッドが RDMA デバイスにアクセスできること。 OCI の H100 ノードでは、Mellanox/NVIDIA ドライバが
/dev/infiniband/の下に RDMA デバイスを公開します(トランスポートが Ethernet 上の RoCE v2 であっても、パスの命名規則は下層の IB verbs API を反映しています)。
Oracle のクイックスタートによる標準的なポッドパターンは以下のようになります。
これらの昇格された権限(privileged: true、IPC_LOCK、ホストネットワーク)は、HPC/RDMA ワークロードに特有のものです。本番環境では、アドミッションポリシー(例:特定ネームスペースでは Pod Security Admission を privileged に設定し、他の場所では restricted に設定、またはラベルでゲートする OPA/Kyverno ポリシー)を使用して、これらのポッドを専用の GPU ネームスペースに隔離し、無関係なワークロードが同じコンテキストを継承しないようにしてください。

ここでの TrueFoundry の役割は、これらのトレーニングポッドの実行を通常のデプロイメントワークフローの一部にすることです。お客様がワークロードを作成すると、プラットフォームはそれを Argo Workflows 経由でプッシュし、Prometheus は GPU Operator に同梱された DCGM Exporter から GPU メトリクスをスクレイピングし、ArgoCD はマニフェストのバージョニングを行います。NCCL カウンタのようなワークロードレベルのシグナルは、アプリケーションがそれらを公開している場合にのみスクレイピングされます。RDMA 固有の要素(hostPath マウント、IPC_LOCK、トポロジアフィニティ)は、上記の標準パターンに従ってジョブ仕様内で設定されます。プラットフォームはそれらのフィールドを置き換えるのではなく、指定されたものをデプロイします。
特にマルチノード分散トレーニングの場合、通常は Helm チャートを介してクラスタ上にオペレーターをインストールします。MPIJob ベースの実行(PyTorch DDP、DeepSpeed、NCCL)用の MPI Operator、PyTorchJob/TFJob 用の Kubeflow Training Operator、または Ray ベースのトレーニング用の KubeRay などです。TrueFoundry はこれらをデフォルトではバンドルしていません。インストールされると、プラットフォームは他の Kubernetes ワークロードと同様に、同じ GitOps と可観測性のストーリーで MPIJob/PyTorchJob/RayJob リソースをデプロイします。現時点で OCI 上の RDMA を使用した分散トレーニングは、TrueFoundry のファーストクラス機能ではありません。これは Oracle が公開している参照マニフェストに基づく実装パターンであり、プラットフォームは RDMA 固有のオーケストレーションではなく、その周りの運用スタックを処理します。
アイデンティティ連携: OKE Workload Identity
サポートされているクラスタタイプにおいて、OCI はポッドに長期の API キーを配布するのではなく、OKE Workload Identity を使用することを推奨するようになりました。このメカニズムは AWS IRSA や GKE Workload Identity と同様に動作します。Kubernetes ServiceAccount が OCI IAM ポリシーにマッピングされ、OCI SDK は呼び出し時にポッドの射影された ServiceAccount トークンを短期間有効な OCI アクセストークンと交換します。ポッド内に静的な認証情報は存在しません。
Oracle のドキュメントからの2つの重要な制約事項:
- Workload Identity は Enhanced OKE クラスタでのみ動作し、Basic クラスタでは動作しません。
- Workload Identity を介した認証は、OCI SDK(Java、Python、Go など)を介してのみサポートされ、OCI CLI やコンソールからはサポートされません。

Kubernetes 側では、ワークロードはネームスペーススコープの ServiceAccount にバインドされ、プラットフォームはデプロイメントフローの一環としてそれらの作成を自動化できます。OCI 側(request.principal.type='workload' ルールとクラスタ/ネームスペース/サービスアカウントセレクターを持つ IAM ポリシー)は、Oracle の標準的な Workload Identity セットアップに従って設定されます。両側の準備が整うと、OCI アクセスを必要とするデプロイメントは SDK を介して透過的に短期トークンを取得します。
ストレージとモデルの読み込み
OCI ベアメタルでは、モデルの重みを VRAM に読み込むための複数のストレージ選択肢が提供されます。それぞれにトレードオフがあり、TrueFoundry のボリューム抽象化(PVC、ボリュームマウント、初期化コンテナ)はこれらすべてで動作します。適切なパターンはワークロードに依存します。
- ローカル NVMe。 BM.GPU.H100.8 には 16 個の NVMe SSD(各 3.84 TB、計 ~61 TB のローカルストレージ)が搭載されています。各ノードがチェックポイントキャッシュから独自の重みのコピーをロードするワークロードの場合、ローカル NVMe が最も高速なオプションです。ホットパスにネットワークは関与しません。
- ハイパフォーマンスマウントターゲット(HPMT)を備えた OCI File Storage Service (FSS)。 FSS HPMT は、高いスループットで RWX(ReadWriteMany)ファイルストレージを提供し、複数のベアメタルノード全体に同時にマウント可能です。これは、Kubernetes RWX PersistentVolumes を中心に構築されている TrueFoundry ボリューム抽象化に自然に適合します。共有モデルの重み、データセット、トレーニング中のチェックポイントストレージに適しています。Oracle は、超高スループットのケース向けに完全に管理された Lustre ファイルサービスも提供しています。
- OCI Block Volume(マルチアタッチ)。 単一のブロックボリュームを、同じアベイラビリティ・ドメイン内の最大 32 個のインスタンスに読み取り専用共有としてアタッチできます。パフォーマンスはボリューム単位(接続されているすべてのインスタンスで共有)であり、ベアメタルではアタッチにマルチパス付きの iSCSI を使用します。ファイルシステムレイヤーを経由せずに、ジョブ内のすべてのノードがローカルディスクのように感じる単一の固定モデルアーティファクトをマウントさせたい場合に便利です。
- OCI Object Storage。 ポッドの起動時に、Object Storage からローカル NVMe またはメモリに重みを引き込みます。最もシンプルなパターンであり、TrueFoundry の初期化コンテナフックでよく機能します。各ポッドは独立した帯域幅を取得するため、多くの場合、単一ボリュームの IOPS バジェットを多数のリーダーで共有するよりも優れています。
適切なパターンはワークロードに依存します。ほとんどのトレーニング実行において、ローカル NVMe(一時的なホットデータ用)と FSS(共有チェックポイントおよび重み用)の組み合わせが本番環境のセットアップとなります。Block Volume のマルチアタッチは、単一の不変アーティファクトを多数のリーダーにローカルディスクのように見せる必要がある特定のケース向けのオプションです。
運用上の考慮事項
生(Raw)の OCI プリミティブ上でベアメタル GPU ワークロードを実行することは可能であり、Oracle は Terraform ベースの HPC スタックと oci-hpc-oke クイックスタートを提供していますが、それだけでは相当な量の Kubernetes 運用レイヤーを自ら所有することになります。以下の表は、TrueFoundry がその上に追加する内容を説明しています。
パターンは一貫しています。OCI がベアメタルのコンピューティングとネットワークのプリミティブを提供し、TrueFoundry がその上に Kubernetes 運用レイヤーを提供します。
結論
OCI 上の TrueFoundry は、Oracle のベアメタルスタック上で動作する Kubernetes ネイティブなプラットフォームです。Compute Plane はお客様の OKE クラスタであり、ワークロードは標準的な Kubernetes パターンを通じて OCI の RoCE v2 クラスタネットワークと Workload Identity を使用し、プラットフォームはオープンソースおよび CNCF 関連の運用レイヤー(GitOps、可観測性、自動スケーリング、GPU オペレーター)をマネージドデプロイメントとしてパッケージ化します。その結果、OCI 固有の設定を隠蔽するのではなく透明に保ったまま、ベアメタル GPU ワークロードを運用するためのプラットフォームエンジニアリングのオーバーヘッドを削減できます。
実践的な評価パスとしては、小規模な OKE クラスタ(通常は1つまたは2つの BM.GPU シェイプと、プラットフォームアドオン用の CPU プール)へのリファレンスデプロイメントを行い、フルサイズのスーパークラスタにスケールアップする前にアーキテクチャを検証することをお勧めします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






