Kubernetes上のVolume

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Volumeは、Pod内のコンテナに永続ストレージを提供し、複数のPod間で中央ディスクとのデータ読み書きを可能にします。機械学習においては、トレーニング、サービング、推論タスクに必要なデータ、モデル、その他のアーティファクトを保存およびアクセスする際に非常に役立ちます。
このブログでは、Volumeの活用方法と、各クラウドで利用可能なオプションについて説明します。
Kubernetes Volumeはいつ使用すべきか?
Volumeが非常に役立つ代表的なユースケースをご紹介します:
- トレーニングデータの共有: 複数のデータサイエンティストが同じデータでトレーニングを行っている場合や、同じデータセット上で複数の実験を並列実行している場合があります。ナイーブなアプローチでは各データサイエンティスト用にデータを複製することになりますが、これでは余計なコストが発生します。より効率的な方法は、トレーニングデータをVolumeに保存し、そのVolumeを異なるデータサイエンティストのノートブックにマウントすることです。
- モデルストレージ: モデルをリアルタイムAPIとしてホストする場合、トラフィックを処理するためにAPIサーバーの複数のレプリカが存在します。この場合、各レプリカはモデルレジストリ(S3など)からローカルディスクにモデルをダウンロードしなければなりません。各レプリカがこれを繰り返し行うと、起動に時間がかかり、S3へのアクセス費用も加算されます。Volumeを使用すれば、トレーニング済みモデルを外部に保存し、推論サーバーにマウントできます。モデルをダウンロードする必要はなく、APIサーバーはマウントされたパスのディスク上でモデルを参照するだけで済みます。
- アーティファクトの共有: あるパイプラインステージの出力を次のステージで受け取る必要があるユースケースがあります。例えば、モデルのファインチューニング後、実験目的のためだけにそれをAPIとしてホストしたい場合があります。モデルをS3に書き込み、そこから再度ダウンロードすることも可能ですが、モデルのアップロード/ダウンロード処理だけで多くの時間がかかってしまいます。代わりに、迅速な実験を行うため、ファインチューニングジョブがモデルをVolumeに直接書き込み、推論サービスがそのモデルを含むVolumeをマウントすることができます。
- チェックポインティング: 機械学習モデルのトレーニング中、障害発生時のトレーニング再開やモデルのファインチューニングのために、定期的にチェックポイントを保存するのが一般的です。Volumeを使用してこれらのチェックポイントファイルを保存することで、ジョブが障害から再起動した際にトレーニングの進行状況が失われないようにすることができます。これによりスポットインスタンスでのトレーニング実行も可能になり、大幅なコスト削減につながります。
さて、MLのユースケースについて説明します。多くの場合、MLエンジニアはS3バケット、GCSバケット、またはAzure Blob Storage内のデータを受け取ります。このデータを使ってモデルのトレーニングを行いたい場合、データをトレーニングワークロード(デプロイされたジョブやノートブック)にダウンロードするか、バケットの内容をワークロードに直接マウントする必要があります。
VolumeとS3 / GCS / Azure ContainerなどのBlobストレージの使い分けは?
S3のようなBlobストレージとVolumeのどちらを選択すべきか判断することは、パフォーマンス、信頼性、コストの観点から重要です。
パフォーマンス
ほとんどの場合、S3からデータを読み込む方が、Volumeから直接データを読み込むよりも遅くなります。したがって、読み込み速度が重要な場合はVolumeが適しています。代表的な例として、サービスの複数レプリカにおける推論時のモデルダウンロードおよびロードが挙げられます。モデルを何度もダウンロードする時間を省略でき、Volumeからメモリへのモデルロードも大幅に高速化されるため、Volumeの方が優れています。
信頼性
S3/GCS/ACSのようなBlobストレージは、一般的にVolumeよりも信頼性が高くなります。そのため、生データは常にBlobストレージのいずれかにバックアップし、Volumeは中間データのみに使用するのが理想的です。また、モデルのコピーも永久的にS3へ保存しておく必要があります。
コスト
EFSなどのVolumeへのアクセスは、S3を使用するよりも少し安価です。そのため、同じデータを非常に頻繁に読み込む場合は、Volumeに保存するのが効果的です。読み書きの頻度が非常に低い場合は、S3で十分です。
アクセス制約
Volume内のデータは、理想的には同じリージョンおよびクラスタ内のワークロードからのみアクセスされるべきです。S3はグローバルかつ異なるクラウド環境間でのアクセスを想定しているため、別のリージョンやクラウドプロバイダーのデータにアクセスしたい場合、Volumeは適切な選択肢ではありません。
Volumeのプロビジョニングモード
あらゆるタイプのVolumeをサポートするため、TrueFoundryは異なるユースケースに対応する2つのVolumeプロビジョニングモードを提供しています:
動的(Dynamic)
これらは、TrueFoundry上にVolumeをデプロイする際に動的に作成・プロビジョニングされるVolumeです。例えば、AWSのEBSやEFS、AzureのAzureFilesなどは、TrueFoundry上で動的にプロビジョニングできます。
静的(Static)
これらはストレージVolumeがすでに存在しており、そのストレージVolume内のデータをサービス/ジョブにマウントしたい場合のVolumeです。例として、プラットフォーム上にデプロイされたワークロードへのS3バケットやGCSバケットのマウントが挙げられます。
それでは、これら2つがどのように機能し、各クラウドでどのようなオプションが用意されているかを理解しましょう:
動的にプロビジョニングされるVolume
動的にプロビジョニングされるVolumeには、StorageClassの指定が必要です。Volumeは、ユーザーによって指定されたStorageClassとサイズに応じて動的にプロビジョニングされます。
まずはStorageClassとは何か、そして各クラウドで利用可能な異なるStorageClassについて理解しましょう:
StorageClass
StorageClassは、Volume用にプロビジョニングするストレージのタイプを指定する方法を提供します。これらのStorageClassは、パフォーマンス、耐久性、コストなどの特性が異なります。Volumeの作成時に、StorageClassドロップダウンメニューから適切なStorageClassを選択できます。

利用可能な具体的なStorageClassは、使用しているクラウドプロバイダーおよびインフラチームによってあらかじめ設定されている内容によって異なります。通常、クラウドプロバイダーに応じて以下のようなStorageClassオプションが表示されます:
AWSのStorageClass
GCPのStorageClass
AzureのStorageClass
静的にプロビジョニングされるVolume
静的にプロビジョニングされるVolumeを使用すると、以下をVolumeとしてマウントできます:
- GCSバケット
- S3バケット
- 既存のEFS
- Kubernetes上の任意の一般Volume
静的にプロビジョニングされるVolumeを使用するには、ストレージ(S3/GCSなど)を参照する「PersistentVolume」を作成する必要があります。これには、クラスタへの必要なCSIドライバーのインストールや、権限用の関連ServiceAccountの設定が必要になります。次のセクションでは、静的にプロビジョニングされたVolumeを作成する方法について解説します。
GCSバケットをVolumeとしてマウントする
TrueFoundry上でGCSバケットをVolumeとしてマウントするには、以下の手順に従う必要があります。詳細はこちらのドキュメントを参照してください:
GCSバケットの作成
GCSバケットを作成し、以下を確認してください:
- 単一リージョンであること(マルチリージョンでも機能しますが、速度が低下しコストが高くなります)
- リージョンがKubernetesクラスタと同じであること
ServiceAccountの作成と関連権限の付与
以下のスクリプトを実行する必要があります。これにより以下が行われます:
- クラスタ上でGCS Fuse Driverを有効化
- バケットにアクセスするためのIAMポリシーを作成
- K8s ServiceAccountを作成し、このServiceAccountにポリシーを追加
- 対象のK8sネームスペースへのServiceAccountのロールバインディングを有効化
Shell
TrueFoundry UIからWorkspace内にServiceAccountを作成
次に、同じWorkspace内のTrueFoundry上に名前がTARGET_NAMESPACEのServiceAccountを作成する必要があります。また、ServiceAccountの名前はGCP_SA_NAMEである必要があります。
- Workspaces -> 該当するWorkspaceを選択し、右側の3つの点(ドットアイコン)をクリックして「Edit」をクリックします:

- フォームの左下から「Advanced Options」を開き、
Serviceaccountセクションを入力します:

注
ServiceAccount名とWorkspaceは、前の手順と完全に同じである必要があります。
PersistentVolumeオブジェクトの作成
以下の手順でPersistentVolumeオブジェクトを作成します。(kubectl apply を実行)
YAML
S3バケットをVolumeとしてマウントする
TrueFoundry上でS3バケットをVolumeとしてマウントするには、以下の手順に従う必要があります:
IAMポリシーと関連ロールのセットアップ
EKSクラスタ内にS3のマウントポイントをセットアップするには、AWSのこのドキュメントに従ってください。
これにより、以下の操作が案内されます:
- マウントポイントがS3バケットにアクセスするための権限を付与するIAMポリシーを作成
- IAMロールを作成
- Amazon S3 CSIドライバー用マウントポイントをインストールし、上記で作成したロールをアタッチ
Kubernetesクラスタ上でのPersistentVolumeの作成
以下の仕様でPVを作成します(kubectl apply を実行):
YAML
既存のEFSをVolumeとしてマウントする
TrueFoundry上で既存のEFSをVolumeとしてマウントするには、以下の手順に従う必要があります:
クラスタへのEFS CSIドライバーのインストール
- クラスタにEFS CSIドライバーをインストールするには、TrueFoundry UI ->
Clusters->Installed Applications-> Manage に進みます

Volumesセクションから「install AWS EFS CSI driver」をクリックし、「Install」をクリックします。

EFSのアクセスポイントの作成
- AWSコンソールでEFSを検索して開きます。EFSとK8sクラスタが同じVPC内にあることを確認してください。「アクセスポイントの作成」をクリックします

- 名前、ルートディレクトリパスなどの詳細を入力します(ノートブックにアタッチしたい場合は、UID:1000 GID:1000 で入力できる「ルートディレクトリ作成権限」セクションを忘れずに記入してください)

- 作成をクリックします。
クラスタ上でのPersistentVolumeの作成
以下の仕様でPVを作成します(kubectl apply を実行):
YAML
TrueFoundry上でのVolume作成
TrueFoundry上でVolumeを作成するには、こちらのセクションに従ってください
TrueFoundryでのVolumeの使用
上記のガイドを使用することで、簡単にVolumeをプロビジョニングしたり、既存のストレージコンテナをVolumeとして使用したりできます。これで、これらのVolumeをKubernetes上の任意のワークロードにマウントできます。これを使用すれば、TrueFoundry上の任意のワークロードにVolumeを簡単にマウント可能です。サービスや、同様にTrueFoundry上にデプロイされたあらゆるワークロードに簡単にマウントできます。また、当社のVolumeブラウザを使用すれば、わずか数クリックでVolumeのコンテンツを閲覧できるファイルブラウザを有効化することもできます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






