KubernetesでのFractional GPUの活用

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
なぜFractional GPUなのか?
Fractional GPU(分割GPU)を使用すると、複数のワークロードを単一のGPUに割り当てることができます。これは以下のシナリオで有用です:
- ワークロードが約2〜3 GBのVRAMしか消費しない場合:16GB以上のVRAMを持つ単一のGPU上に、このワークロードの複数のレプリカを割り当てることができます。
- 各ワークロードのトラフィックがスパース(散発的)であり、GPU使用率を最大化できない場合。
Fractional GPUの使用方法
- TimeSlicing(タイムスライシング): このアプローチでは、GPUをいくつかの固定された数の分割スライスに切り分け、ワークロード用にGPUの分割割合を選択します。たとえば、GPUを10個のスライスに分割し、ワークロード1に3スライス、ワークロード2に5スライス、ワークロード3に2スライスを要求することができます。これは、ワークロード1が0.3 GPU(コンピューティング + VRAMの30%)、ワークロード2が0.5 GPU、ワークロード3が0.2 GPUを使用することを意味します。ただし、タイムスライシングは同じマシン上でのワークロードのスケジューリングにのみ使用され、マシン上での実際の物理的な隔離を意味するわけではありません。たとえば、GPUマシンのVRAMが16GBの場合、ワークロード1のVRAM消費量を4.8GB未満、ワークロード2を8GB未満、ワークロード3を3.2GB未満に抑えるのは、実際にはユーザーの責任となります。1つのワークロードが突然大量のメモリを消費し始めると、他のプロセスのクラッシュを引き起こす可能性があります。コンピューティング領域も共有されますが、他のワークロードがアイドル状態である場合、1つのワークロードがGPU全体を使い切るまで使用率が上がる可能性があります。これは基本的に3つのワークロード間でのコンテキストスイッチングです。詳細についてはこちらをご覧ください。
- MIG (Multi-Instance GPU): これは、NvidiaがA100およびH100 GPUでのみ提供している機能であり、他のGPUでは機能しません。以下の表に示すように、GPUを決められた数の構成可能なパーツに分割できます。ワークロードはスライスの1つを選択でき、コンピューティングとメモリの物理的な隔離(アイソレーション)が提供されます。インスタンスは単なる単純なGPUの割合ではなく、以下の表に示すような離散的なユニットです。たとえば、40GBのA100 GPUを7つのパートに分割した場合、それぞれ約1/7のGPUと5GBのVRAMを使用する7つのワークロードを配置できます。この場合、1つのワークロードに単に2つのスライスを提供して2/7のGPUと10GBのVRAMを取得させる、ということはできない点にご注意ください。この場合、各ワークロードが取得できるのは1つのスライスのみです。

Fractional GPUの前提条件
Cloud Integrationの追加
Fractional GPUを有効にするには、GPUの個別のノードプールを作成する必要があり、AWS / GCPでの標準的な動的ノードプロビジョニング経由では機能しません。Truefoundryがそれらのノードプールを認識できるように、TruefoundryとのCloud Integrationがすでに完了していることを確認する必要があります。
まだ有効になっていない場合は、このガイドに従ってCloud Integrationを有効にしてください。
Cloud Integrationが追加されたら、MIGまたはTimeSlicingが有効になったGPU用の「ノードプールを作成」する必要があります。この設定はクラウドプロバイダーによって異なります。クラスタでFractional GPUを有効にするには、以下のガイドに従ってください。
最新バージョンのtfy-gpu-operatorのインストール
Deployments -> Helm -> tfy-gpu-operatorに移動します。- 編集(右側の3つのドット)をクリックします。
- ドロップダウンから最新バージョンのチャート(一番上)を選択し、Submitをクリックします。
MIGの有効化
Azure
1. Azure CLIの引数 --gpu-instance-profile を使用して、MIGを有効にしたノードプールを作成します。以下は実行するためのサンプルコマンドです:
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g
2. Truefoundryクラスタでノードプールを更新(Refresh)します。
3. GPU(カウント1)を選択し、正しいノードプールを選択してワークロードをデプロイします。
GCP
ノードプールを作成し、gpu_partition_size=1g.5gb [またはこのページの上部にあるMIGプロファイルで許容されている値のいずれか] を渡すことで、accelerator 内で mig_profile を渡します。
gcloud container node-pools create a100-40-mig-1g5gb \ INT ✘
--project=<enter your project name> \
--region=<enter your region> \
--cluster=<enter your cluster name here> \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
現在、AWS上でマネージドな方法でMIG GPUをサポートすることは容易ではありませんが、この機能を試してみたい場合は、こちらのドキュメントを参照してください。
Timeslicingの有効化
Azure
tfy-gpu-operatorチャートでnvidia-device-plugin設定が正しく設定されていることを確認します。Helm -> tfy-gpu-operatorに移動して編集をクリックし、valuesに以下の行が存在することを確認します。
azure-aks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
- Azure CLIを使用して、正しいタイムスライシング設定を指す
device-plugin.configを備えたノードプールを作成します。以下は実行するためのサンプルコマンドです。
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10
- truefoundryクラスタでノードプールを更新(Refresh)します。
- GPU(カウント1)を選択し、正しいノードプールを選択してワークロードをデプロイします。
GCP
gcloud container node-pools create a100-40-frac-10 \ ✔
--project=tfy-devtest \
--region=us-central1 \
--cluster=tfy-gtl-b-us-central-1 \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
1. tfy-gpu-operator チャートで nvidia-device-plugin 設定が正しく設定されていることを確認します。Helm -> tfy-gpu-operator に移動して編集をクリックし、values に以下の行が存在することを確認します。
aws-eks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
2. 以下のラベルを使用してAWS EKS上にノードグループを作成します:
labels:
"nvidia.com/device-plugin.config": "time-sliced-10"
ServiceでのFractional GPUの使用
ServiceでFractional GPUを使用するには:
1. 目的のノードプールが追加されていることを確認します。
2. 以下に示すように、Integrations -> Clusters -> Sync に移動して、クラウドアカウントからクラスタノードプールを同期します:

3. TruefoundryのUIまたはPython SDKのいずれかを使用してデプロイできます。
注: ノードプールのオートスケーリングは GCP クラスタでのみ機能します。Azure/AWSではノードプールの手動スケールアップ/スケールダウンが必要になります。
UIを使用したデプロイ
1. Fractional GPUを活用するワークロードをデプロイするには、truefoundryでサービス/ジョブのデプロイを開始し、「Resources」セクションで nodepool selector を選択します。
2. Resourcesセクションの右上にあるNodepool Selectorを選択すると、選択可能なFractional GPUがUI上に表示されます(以下に示す通り)。


Python SDKを使用したデプロイ
resources設定を以下のように変更することで、Python SDKを使用してFractional GPUを利用できます:
1. MIG GPUの使用
from servicefoundry import (
...
Service,
NvidiaMIGGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaMIGGPU(profile="1g.5gb")
],
),
)
2. Timeslicing GPUの使用
from servicefoundry import (
Service,
NvidiaTimeslicingGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaTimeslicingGPU(gpu_memory=4000),
],
),
)
TrueFoundryでは、極めて合理化された方法でFractional GPUをサポートしています。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

























