Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

KubernetesでのFractional GPUの活用

By ニキル・ポプリ

Updated: 11月 20, 2026

Published: 7月 2, 2026

なぜFractional GPUなのか?

Fractional GPU(分割GPU)を使用すると、複数のワークロードを単一のGPUに割り当てることができます。これは以下のシナリオで有用です:

  1. ワークロードが約2〜3 GBのVRAMしか消費しない場合:16GB以上のVRAMを持つ単一のGPU上に、このワークロードの複数のレプリカを割り当てることができます。
  2. 各ワークロードのトラフィックがスパース(散発的)であり、GPU使用率を最大化できない場合。

Fractional GPUの使用方法

  1. TimeSlicing(タイムスライシング): このアプローチでは、GPUをいくつかの固定された数の分割スライスに切り分け、ワークロード用にGPUの分割割合を選択します。たとえば、GPUを10個のスライスに分割し、ワークロード1に3スライス、ワークロード2に5スライス、ワークロード3に2スライスを要求することができます。これは、ワークロード1が0.3 GPU(コンピューティング + VRAMの30%)、ワークロード2が0.5 GPU、ワークロード3が0.2 GPUを使用することを意味します。ただし、タイムスライシングは同じマシン上でのワークロードのスケジューリングにのみ使用され、マシン上での実際の物理的な隔離を意味するわけではありません。たとえば、GPUマシンのVRAMが16GBの場合、ワークロード1のVRAM消費量を4.8GB未満、ワークロード2を8GB未満、ワークロード3を3.2GB未満に抑えるのは、実際にはユーザーの責任となります。1つのワークロードが突然大量のメモリを消費し始めると、他のプロセスのクラッシュを引き起こす可能性があります。コンピューティング領域も共有されますが、他のワークロードがアイドル状態である場合、1つのワークロードがGPU全体を使い切るまで使用率が上がる可能性があります。これは基本的に3つのワークロード間でのコンテキストスイッチングです。詳細についてはこちらをご覧ください。
  2. MIG (Multi-Instance GPU): これは、NvidiaがA100およびH100 GPUでのみ提供している機能であり、他のGPUでは機能しません。以下の表に示すように、GPUを決められた数の構成可能なパーツに分割できます。ワークロードはスライスの1つを選択でき、コンピューティングとメモリの物理的な隔離(アイソレーション)が提供されます。インスタンスは単なる単純なGPUの割合ではなく、以下の表に示すような離散的なユニットです。たとえば、40GBのA100 GPUを7つのパートに分割した場合、それぞれ約1/7のGPUと5GBのVRAMを使用する7つのワークロードを配置できます。この場合、1つのワークロードに単に2つのスライスを提供して2/7のGPUと10GBのVRAMを取得させる、ということはできない点にご注意ください。この場合、各ワークロードが取得できるのは1つのスライスのみです。

Fractional GPUの前提条件

Cloud Integrationの追加

Fractional GPUを有効にするには、GPUの個別のノードプールを作成する必要があり、AWS / GCPでの標準的な動的ノードプロビジョニング経由では機能しません。Truefoundryがそれらのノードプールを認識できるように、TruefoundryとのCloud Integrationがすでに完了していることを確認する必要があります。

まだ有効になっていない場合は、このガイドに従ってCloud Integrationを有効にしてください。

Cloud Integrationが追加されたら、MIGまたはTimeSlicingが有効になったGPU用の「ノードプールを作成」する必要があります。この設定はクラウドプロバイダーによって異なります。クラスタでFractional GPUを有効にするには、以下のガイドに従ってください。

最新バージョンのtfy-gpu-operatorのインストール

  • Deployments -> Helm -> tfy-gpu-operator に移動します。
  • 編集(右側の3つのドット)をクリックします。
  • ドロップダウンから最新バージョンのチャート(一番上)を選択し、Submitをクリックします。

MIGの有効化

Azure

1. Azure CLIの引数 --gpu-instance-profile を使用して、MIGを有効にしたノードプールを作成します。以下は実行するためのサンプルコマンドです:

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g

2. Truefoundryクラスタでノードプールを更新(Refresh)します。

3. GPU(カウント1)を選択し、正しいノードプールを選択してワークロードをデプロイします。

GCP

ノードプールを作成し、gpu_partition_size=1g.5gb [またはこのページの上部にあるMIGプロファイルで許容されている値のいずれか] を渡すことで、accelerator 内で mig_profile を渡します。

gcloud container node-pools create a100-40-mig-1g5gb \                                                                             INT ✘  
 --project=<enter your project name> \
 --region=<enter your region> \
 --cluster=<enter your cluster name here> \
 --machine-type=a2-highgpu-1g \
 --accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
 --enable-autoscaling \
 --total-min-nodes 0 \
 --total-max-nodes 4 \
 --min-provision-nodes 0 \
 --num-nodes 0

AWS

現在、AWS上でマネージドな方法でMIG GPUをサポートすることは容易ではありませんが、この機能を試してみたい場合は、こちらのドキュメントを参照してください。

Timeslicingの有効化

Azure

  1. tfy-gpu-operator チャートで nvidia-device-plugin 設定が正しく設定されていることを確認します。
    Helm -> tfy-gpu-operator に移動して編集をクリックし、values に以下の行が存在することを確認します。

azure-aks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

  1. Azure CLIを使用して、正しいタイムスライシング設定を指す device-plugin.config を備えたノードプールを作成します。以下は実行するためのサンプルコマンドです。

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10

  1. truefoundryクラスタでノードプールを更新(Refresh)します。
  2. GPU(カウント1)を選択し、正しいノードプールを選択してワークロードをデプロイします。

GCP

gcloud container node-pools create a100-40-frac-10 \                                                                                   ✔  
       --project=tfy-devtest \
       --region=us-central1 \
       --cluster=tfy-gtl-b-us-central-1 \
       --machine-type=a2-highgpu-1g \
       --accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
       --enable-autoscaling \
       --total-min-nodes 0 \
       --total-max-nodes 4 \
       --min-provision-nodes 0 \
       --num-nodes 0

AWS

1. tfy-gpu-operator チャートで nvidia-device-plugin 設定が正しく設定されていることを確認します。
Helm -> tfy-gpu-operator に移動して編集をクリックし、values に以下の行が存在することを確認します。

aws-eks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

2. 以下のラベルを使用してAWS EKS上にノードグループを作成します:

labels:
 "nvidia.com/device-plugin.config": "time-sliced-10"

ServiceでのFractional GPUの使用

ServiceでFractional GPUを使用するには:

1. 目的のノードプールが追加されていることを確認します。

2. 以下に示すように、Integrations -> Clusters -> Sync に移動して、クラウドアカウントからクラスタノードプールを同期します:

3. TruefoundryのUIまたはPython SDKのいずれかを使用してデプロイできます。
注: ノードプールのオートスケーリングは GCP クラスタでのみ機能します。Azure/AWSではノードプールの手動スケールアップ/スケールダウンが必要になります。

UIを使用したデプロイ

1. Fractional GPUを活用するワークロードをデプロイするには、truefoundryでサービス/ジョブのデプロイを開始し、「Resources」セクションで nodepool selector を選択します。

2. Resourcesセクションの右上にあるNodepool Selectorを選択すると、選択可能なFractional GPUがUI上に表示されます(以下に示す通り)。

Using MIG GPU
MIG GPUの使用
Using Timeslicing GPU
Timeslicing GPUの使用

Python SDKを使用したデプロイ

resources設定を以下のように変更することで、Python SDKを使用してFractional GPUを利用できます:

1. MIG GPUの使用

from servicefoundry import (
   ...
  Service,
   NvidiaMIGGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaMIGGPU(profile="1g.5gb")
   ],
 ),
)

2. Timeslicing GPUの使用

from servicefoundry import (
  Service,
   NvidiaTimeslicingGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaTimeslicingGPU(gpu_memory=4000),
   ],
 ),
)

TrueFoundryでは、極めて合理化された方法でFractional GPUをサポートしています。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

8月 26, 2026
|
5 min read

Gemini 3 Pro: ベンチマークと Gateway 経由での利用方法

8月 26, 2026
|
5 min read

Ollamaとは?チームのためのプロダクション環境におけるローカルLLM運用

7月 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

5月 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

11月 20, 2026
|
5 min read

Bifrostからの移行:セルフホスト型AIゲートウェイからマネージド型への移行

No items found.
11月 20, 2026
|
5 min read

GPT-6.1 Terra: API、ベンチマーク、料金体系、使い方ガイド

No items found.
11月 20, 2026
|
5 min read

Machine Learningの進化:Savinの歩みを深く掘り下げる

True MLトーク
11月 20, 2026
|
5 min read

CrewAI vs LangGraph: 違いを知る

比較
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour