Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Fractionele GPU's benutten op Kubernetes

DoorNikhil Popli

Bijgewerkt: november 20, 2026

Gepubliceerd: november 9, 2026

Waarom fractionele GPU's?

Fractionele GPU's stellen ons in staat om meerdere workloads toe te wijzen aan een enkele GPU, wat nuttig kan zijn in de volgende scenario's:

  1. De workloads nemen ongeveer 2-3 GB VRAM in beslag - dus u kunt meerdere replica's van deze workload toewijzen aan een enkele GPU die ongeveer 16 GB VRAM of meer heeft.
  2. Elke workload heeft spraakzaam/schaars verkeer en kan het GPU-gebruik niet maximaal benutten.

Hoe fractionele GPU's te gebruiken?

  1. TimeSlicing: Bij deze aanpak kunt u een GPU opsplitsen in een vast aantal fractionele delen en vervolgens een fractie van de GPU kiezen voor deze workload. We kunnen bijvoorbeeld besluiten om een GPU te verdelen in 10 slices en vervolgens 3 slices aan te vragen voor workload1, 5 slices voor workload2 en 2 slices voor workload3. Dit betekent dat workload1 0.3 GPU gebruikt (compute + 30% van VRAM), workload2 0.5 GPU gebruikt en workload3 0.2 GPU gebruikt. Timeslicing wordt echter alleen gebruikt voor het plannen van de workloads op dezelfde machine - het betekent geen werkelijke isolatie op de machine. Als de GPU-machine bijvoorbeeld 16 GB VRAM heeft, is het aan de gebruiker om er daadwerkelijk voor te zorgen dat workload1 minder dan 4,8 GB VRAM inneemt, workload2 minder dan 8 GB VRAM inneemt en workload3 minder dan 3,2 GB VRAM inneemt. Als één workload plotseling meer geheugen gaat gebruiken, kan dit leiden tot het crashen van de andere processen. De compute wordt ook gedeeld, maar één workload kan tot het gebruik van de volledige GPU gaan als de andere workloads inactief zijn - het is in feite context-switching tussen de drie workloads. U kunt hier hier meer over lezen.
  2. MIG (Multi-Instance GPUs): Dit is een functie die door Nvidia alleen wordt geleverd op de A100 en H100 GPU's - het werkt niet op andere GPU's. We kunnen de GPU's verdelen in een vast aantal configureerbare delen, zoals vermeld in de onderstaande tabel. De workloads kunnen een van de slices kiezen en ze krijgen compute- en geheugenisolatie. De instanties zijn niet precies de volledige fracties van de GPU, maar meer discrete eenheden zoals vermeld in de onderstaande tabel. Laten we bijvoorbeeld zeggen dat we één A100 GPU van 40 GB verdelen in 7 delen - dan kunnen we 7 workloads plaatsen die elk ongeveer 1/7 GPU en 5 GB VRAM gebruiken. Houd er rekening mee dat we in dit geval niet simpelweg 2 slices aan één workload kunnen leveren en verwachten dat deze 2/7 GPU en 10 GB VRAM krijgt. Elke workload kan in dit geval slechts één slice krijgen.

Vereisten voor fractionele GPU

Cloud-integratie toevoegen

Om fractionele GPU's in te schakelen, moeten we een afzonderlijke nodepool van de GPU's maken en het zal niet werken via standaard dynamische node provisioning in AWS / GCP. Om ervoor te zorgen dat TrueFoundry die nodepools kan lezen, moeten we ervoor zorgen dat de cloud-integratie al is uitgevoerd met TrueFoundry.

Als het nog niet is ingeschakeld, volg dan deze gids om Cloud-integratie in te schakelen.

Zodra cloud-integratie is toegevoegd, moet u "nodepools maken" voor GPU's met MIG of TimeSlicing ingeschakeld. Deze configuratie is verschillend voor verschillende cloudproviders. Volg de onderstaande gids om fractionele GPU's op uw cluster in te schakelen.

Laatste versie van tfy-gpu-operator installeren

  • Ga naar Deployments -> Helm -> tfy-gpu-operator.
  • Klik op bewerken (drie puntjes aan de rechterkant)
  • Kies de nieuwste versie van de chart (bovenste) uit het vervolgkeuzemenu en klik op Submit.

MIG inschakelen

Azure

1. Maak een Nodepool met MIG ingeschakeld met behulp van het argument --gpu-instance-profile van Azure CLI. Hier is een voorbeeldcommando om hetzelfde te doen:

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g

2. Vernieuw de nodepools in de TrueFoundry-cluster.

3. Implementeer uw workload door GPU (met aantal 1) te selecteren en de juiste nodepool te selecteren.

GCP

Maak een nodepool en geef het mig_profile door in accelerator door gpu_partition_size=1g.5gb door te geven [OF een van de toegestane waarden voor het MIG-profiel die u bovenaan deze pagina kunt vinden]

gcloud container node-pools create a100-40-mig-1g5gb \                                                                             INT ✘  
 --project=<enter your project name> \
 --region=<enter your region> \
 --cluster=<enter your cluster name here> \
 --machine-type=a2-highgpu-1g \
 --accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
 --enable-autoscaling \
 --total-min-nodes 0 \
 --total-max-nodes 4 \
 --min-provision-nodes 0 \
 --num-nodes 0

AWS

Het is momenteel niet triviaal om MIG GPU's op AWS op een beheerde manier te ondersteunen, maar als u de functie wilt uitproberen -> Raadpleeg deze documentatie

Timeslicing inschakelen

Azure

  1. Zorg ervoor dat de nvidia-device-plugin config correct is ingesteld in de tfy-gpu-operatorchart.
    Ga naar Helm -> tfy-gpu-operator, klik op bewerken en zorg ervoor dat de volgende regels aanwezig zijn in de values

azure-aks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

  1. Maak een Nodepool met device-plugin.config die verwijst naar de juiste time-slicing config met Azure CLI. Hier is een voorbeeldcommando om hetzelfde te doen.

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10

  1. Vernieuw de nodepools op de TrueFoundry-cluster.
  2. Implementeer uw workload door GPU (met aantal 1) te selecteren en de juiste nodepool te selecteren.

GCP

gcloud container node-pools create a100-40-frac-10 \                                                                                   ✔  
       --project=tfy-devtest \
       --region=us-central1 \
       --cluster=tfy-gtl-b-us-central-1 \
       --machine-type=a2-highgpu-1g \
       --accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
       --enable-autoscaling \
       --total-min-nodes 0 \
       --total-max-nodes 4 \
       --min-provision-nodes 0 \
       --num-nodes 0

AWS

1. Zorg ervoor dat de nvidia-device-plugin config correct is ingesteld in de tfy-gpu-operatorchart.
Ga naar Helm -> tfy-gpu-operator, klik op bewerken en zorg ervoor dat de volgende regels aanwezig zijn in de values

aws-eks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

2. Maak een nodegroup op AWS EKS met het volgende label:

labels:
 "nvidia.com/device-plugin.config": "time-sliced-10"

Fractionele GPU's gebruiken in uw Service

Om fractionele GPU's in uw service te gebruiken:

1. Zorg ervoor dat u de gewenste nodepools hebt toegevoegd.

2. Synchroniseer de cluster nodepools vanuit uw cloudaccount door te navigeren naar Integrations -> Clusters -> Sync zoals hieronder weergegeven:

3. U kunt implementeren via de UI van TrueFoundry of met behulp van de Python SDK.
Opmerking: Autoscaling van Nodepools werkt alleen in GCP clusters. U zult nodepools handmatig moeten opschalen / afschalen in Azure/AWS.

Implementeren met de UI

1. Om een workload te implementeren die gebruikmaakt van een fractionele GPU, begint u met het implementeren van uw service/job op TrueFoundry en selecteert u in het gedeelte "Resources" de nodepool selector

2. Zodra u de Nodepool Selector rechtsboven in het gedeelte Resources selecteert, kunt u nu de fractionele GPU's op de UI zien die u kunt selecteren (zoals hieronder weergegeven)

Using MIG GPU
MIG GPU gebruiken
Using Timeslicing GPU
Timeslicing GPU gebruiken

Implementeren met Python SDK

U kunt fractionele GPU's gebruiken met de Python SDK door de volgende wijzigingen aan te brengen in de resources:

1. MIG GPU's gebruiken

from servicefoundry import (
   ...
  Service,
   NvidiaMIGGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaMIGGPU(profile="1g.5gb")
   ],
 ),
)

2. Timeslicing GPU gebruiken

from servicefoundry import (
  Service,
   NvidiaTimeslicingGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaTimeslicingGPU(gpu_memory=4000),
   ],
 ),
)

Wij bij TrueFoundry ondersteunen fractionele GPU's op een uiterst gestroomlijnde manier.

Probeer het nu.

Eén gateway voor al je modellen, MCP-servers en agents. Geen creditcard nodig.

Start gratis
Inhoudsopgave

Eén gateway voor elk LLM, elke agent en elke MCP-server

Boek een gesprek van 30 minuten met onze AI-expert

Demo aanvragen

De snelste manier om je AI te bouwen, beheren en schalen

Demo boeken
Samenvatten met
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Ontdek meer

april 16, 2024
|
5 min leestijd

Cognita: Modulaire open-source RAG-applicaties bouwen voor productie

augustus 26, 2026
|
5 min leestijd

Wat is Ollama? Lokale LLM's in productie draaien voor teams

augustus 27, 2025
|
5 min leestijd

De On-Prem AI-markt in kaart gebracht: van chips tot control planes

augustus 26, 2026
|
5 min leestijd

Gemini 3 Pro: Benchmarks en hoe het te gebruiken via Gateway

november 20, 2026
|
5 min leestijd

Bifrost AI Gateway Review: Performance Benchmarked op 1 vCPU

Geen items gevonden.
november 20, 2026
|
5 min leestijd

OpenRouter rate limits: je gratis tier hangt af van wat je al hebt betaald

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Agent-sandboxes uitgelegd: Waarom TrueForge de sandbox als een tool behandelt

Geen items gevonden.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
november 20, 2026
|
5 min leestijd

Bifrost vs Portkey: prijzen, gateway-functies en geschiktheid voor enterprise vergeleken

Geen items gevonden.
Geen items gevonden.

Recente blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Volg een korte producttour
Start producttour
Product Tour