Fractionele GPU's benutten op Kubernetes

Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Waarom fractionele GPU's?
Fractionele GPU's stellen ons in staat om meerdere workloads toe te wijzen aan een enkele GPU, wat nuttig kan zijn in de volgende scenario's:
- De workloads nemen ongeveer 2-3 GB VRAM in beslag - dus u kunt meerdere replica's van deze workload toewijzen aan een enkele GPU die ongeveer 16 GB VRAM of meer heeft.
- Elke workload heeft spraakzaam/schaars verkeer en kan het GPU-gebruik niet maximaal benutten.
Hoe fractionele GPU's te gebruiken?
- TimeSlicing: Bij deze aanpak kunt u een GPU opsplitsen in een vast aantal fractionele delen en vervolgens een fractie van de GPU kiezen voor deze workload. We kunnen bijvoorbeeld besluiten om een GPU te verdelen in 10 slices en vervolgens 3 slices aan te vragen voor workload1, 5 slices voor workload2 en 2 slices voor workload3. Dit betekent dat workload1 0.3 GPU gebruikt (compute + 30% van VRAM), workload2 0.5 GPU gebruikt en workload3 0.2 GPU gebruikt. Timeslicing wordt echter alleen gebruikt voor het plannen van de workloads op dezelfde machine - het betekent geen werkelijke isolatie op de machine. Als de GPU-machine bijvoorbeeld 16 GB VRAM heeft, is het aan de gebruiker om er daadwerkelijk voor te zorgen dat workload1 minder dan 4,8 GB VRAM inneemt, workload2 minder dan 8 GB VRAM inneemt en workload3 minder dan 3,2 GB VRAM inneemt. Als één workload plotseling meer geheugen gaat gebruiken, kan dit leiden tot het crashen van de andere processen. De compute wordt ook gedeeld, maar één workload kan tot het gebruik van de volledige GPU gaan als de andere workloads inactief zijn - het is in feite context-switching tussen de drie workloads. U kunt hier hier meer over lezen.
- MIG (Multi-Instance GPUs): Dit is een functie die door Nvidia alleen wordt geleverd op de A100 en H100 GPU's - het werkt niet op andere GPU's. We kunnen de GPU's verdelen in een vast aantal configureerbare delen, zoals vermeld in de onderstaande tabel. De workloads kunnen een van de slices kiezen en ze krijgen compute- en geheugenisolatie. De instanties zijn niet precies de volledige fracties van de GPU, maar meer discrete eenheden zoals vermeld in de onderstaande tabel. Laten we bijvoorbeeld zeggen dat we één A100 GPU van 40 GB verdelen in 7 delen - dan kunnen we 7 workloads plaatsen die elk ongeveer 1/7 GPU en 5 GB VRAM gebruiken. Houd er rekening mee dat we in dit geval niet simpelweg 2 slices aan één workload kunnen leveren en verwachten dat deze 2/7 GPU en 10 GB VRAM krijgt. Elke workload kan in dit geval slechts één slice krijgen.

Vereisten voor fractionele GPU
Cloud-integratie toevoegen
Om fractionele GPU's in te schakelen, moeten we een afzonderlijke nodepool van de GPU's maken en het zal niet werken via standaard dynamische node provisioning in AWS / GCP. Om ervoor te zorgen dat TrueFoundry die nodepools kan lezen, moeten we ervoor zorgen dat de cloud-integratie al is uitgevoerd met TrueFoundry.
Als het nog niet is ingeschakeld, volg dan deze gids om Cloud-integratie in te schakelen.
Zodra cloud-integratie is toegevoegd, moet u "nodepools maken" voor GPU's met MIG of TimeSlicing ingeschakeld. Deze configuratie is verschillend voor verschillende cloudproviders. Volg de onderstaande gids om fractionele GPU's op uw cluster in te schakelen.
Laatste versie van tfy-gpu-operator installeren
- Ga naar
Deployments -> Helm -> tfy-gpu-operator. - Klik op bewerken (drie puntjes aan de rechterkant)
- Kies de nieuwste versie van de chart (bovenste) uit het vervolgkeuzemenu en klik op Submit.
MIG inschakelen
Azure
1. Maak een Nodepool met MIG ingeschakeld met behulp van het argument --gpu-instance-profile van Azure CLI. Hier is een voorbeeldcommando om hetzelfde te doen:
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g
2. Vernieuw de nodepools in de TrueFoundry-cluster.
3. Implementeer uw workload door GPU (met aantal 1) te selecteren en de juiste nodepool te selecteren.
GCP
Maak een nodepool en geef het mig_profile door in accelerator door gpu_partition_size=1g.5gb door te geven [OF een van de toegestane waarden voor het MIG-profiel die u bovenaan deze pagina kunt vinden]
gcloud container node-pools create a100-40-mig-1g5gb \ INT ✘
--project=<enter your project name> \
--region=<enter your region> \
--cluster=<enter your cluster name here> \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
Het is momenteel niet triviaal om MIG GPU's op AWS op een beheerde manier te ondersteunen, maar als u de functie wilt uitproberen -> Raadpleeg deze documentatie
Timeslicing inschakelen
Azure
- Zorg ervoor dat de
nvidia-device-pluginconfig correct is ingesteld in detfy-gpu-operatorchart.
Ga naarHelm -> tfy-gpu-operator, klik op bewerken en zorg ervoor dat de volgende regels aanwezig zijn in devalues
azure-aks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
- Maak een Nodepool met
device-plugin.configdie verwijst naar de juiste time-slicing config met Azure CLI. Hier is een voorbeeldcommando om hetzelfde te doen.
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10
- Vernieuw de nodepools op de TrueFoundry-cluster.
- Implementeer uw workload door GPU (met aantal 1) te selecteren en de juiste nodepool te selecteren.
GCP
gcloud container node-pools create a100-40-frac-10 \ ✔
--project=tfy-devtest \
--region=us-central1 \
--cluster=tfy-gtl-b-us-central-1 \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
1. Zorg ervoor dat de nvidia-device-plugin config correct is ingesteld in de tfy-gpu-operatorchart.
Ga naar Helm -> tfy-gpu-operator, klik op bewerken en zorg ervoor dat de volgende regels aanwezig zijn in de values
aws-eks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
2. Maak een nodegroup op AWS EKS met het volgende label:
labels:
"nvidia.com/device-plugin.config": "time-sliced-10"
Fractionele GPU's gebruiken in uw Service
Om fractionele GPU's in uw service te gebruiken:
1. Zorg ervoor dat u de gewenste nodepools hebt toegevoegd.
2. Synchroniseer de cluster nodepools vanuit uw cloudaccount door te navigeren naar Integrations -> Clusters -> Sync zoals hieronder weergegeven:

3. U kunt implementeren via de UI van TrueFoundry of met behulp van de Python SDK.
Opmerking: Autoscaling van Nodepools werkt alleen in GCP clusters. U zult nodepools handmatig moeten opschalen / afschalen in Azure/AWS.
Implementeren met de UI
1. Om een workload te implementeren die gebruikmaakt van een fractionele GPU, begint u met het implementeren van uw service/job op TrueFoundry en selecteert u in het gedeelte "Resources" de nodepool selector
2. Zodra u de Nodepool Selector rechtsboven in het gedeelte Resources selecteert, kunt u nu de fractionele GPU's op de UI zien die u kunt selecteren (zoals hieronder weergegeven)


Implementeren met Python SDK
U kunt fractionele GPU's gebruiken met de Python SDK door de volgende wijzigingen aan te brengen in de resources:
1. MIG GPU's gebruiken
from servicefoundry import (
...
Service,
NvidiaMIGGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaMIGGPU(profile="1g.5gb")
],
),
)
2. Timeslicing GPU gebruiken
from servicefoundry import (
Service,
NvidiaTimeslicingGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaTimeslicingGPU(gpu_memory=4000),
],
),
)
Wij bij TrueFoundry ondersteunen fractionele GPU's op een uiterst gestroomlijnde manier.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.



















.webp)

.webp)
.webp)


.webp)
.webp)


.webp)







