الاستفادة من Fractional GPUs على Kubernetes

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
لماذا نستخدم Fractional GPUs؟
تتيح لنا Fractional GPUs تخصيص أحمال عمل متعددة لـ GPU واحد، وهو ما يمكن أن يكون مفيدًا في الحالات التالية:
- تستهلك أحمال العمل حوالي 2-3 جيجابايت من VRAM - لذا يمكنك تخصيص نسخ مكررة (replicas) متعددة من حمل العمل هذا على GPU واحد يمتلك حوالي 16 جيجابايت من VRAM أو أكثر.
- كل حمل عمل لديه حركة مرور (traffic) منخفضة ومتقطعة ولا يستطيع استغلال أقصى قدرة لـ GPU.
كيفية استخدام Fractional GPUs؟
- TimeSlicing: في هذا الأسلوب، يمكنك تقسيم الـ GPU إلى عدد ثابث من الأجزاء المجزأة ثم اختيار جزء من الـ GPU لحمل العمل هذا. على سبيل المثال، يمكننا تقسيم الـ GPU إلى 10 أجزاء ثم طلب 3 أجزاء لحمل العمل الأول، و5 أجزاء لحمل العمل الثاني، وجزءين لحمل العمل الثالث. هذا يعني أن حمل العمل الأول سيستخدم 0.3 GPU (الحوسبة + 30% من VRAM)، وحمل العمل الثاني سيستخدم 0.5 GPU، وحمل العمل الثالث سيستخدم 0.2 GPU. ومع ذلك، يُستخدم timeslicing فقط لجدولة أحمال العمل على نفس الجهاز - ولا يعني ذلك أي عزلة فعلية على الجهاز. على سبيل المثال، إذا كان جهاز الـ GPU يحتوي على 16 جيجابايت VRAM، فإن العبء يقع على المستخدم لضمان أن حمل العمل الأول يستهلك أقل من 4.8 جيجابايت VRAM، وحمل العمل الثاني يستهلك أقل من 8 جيجابايت VRAM، وحمل العمل الثالث يستهلك أقل من 3.2 جيجابايت VRAM. إذا بدأ أحد أحمال العمل في استهلاك ذاكرة أكبر فجأة، فقد يؤدي ذلك إلى تعطل العمليات الأخرى. يتم مشاركة الحوسبة أيضًا، ولكن يمكن لحمل عمل واحد أن يصل إلى استخدام الـ GPU بالكامل إذا كانت أحمال العمل الأخرى خاملة - وهو في الأساس تبديل للسياق (context-switching) بين أحمال العمل الثلاثة. يمكنك القراءة عن هذا بشكل أكبر هنا.
- MIG (Multi-Instance GPUs): هذه ميزة توفرها Nvidia فقط على GPUs من طراز A100 و H100 - ولا تعمل على GPUs الأخرى. يمكننا تقسيم GPUs إلى عدد ثابت من الأجزاء القابلة للتكوين كما هو موضح في الجدول أدناه. يمكن لأحمال العمل اختيار أحد الأجزاء وستحصل على عزل تام للحوسبة والذاكرة. المثيلات (instances) ليست بالضبط كسرًا كاملاً للـ GPU، بل وحدات منفصلة أكثر كما هو موضح في الجدول أدناه. على سبيل المثال، لنفترض أننا قمنا بتقسيم GPU واحد من طراز A100 بسعة 40 جيجابايت إلى 7 أجزاء - يمكننا حينها وضع 7 أحمال عمل يستخدم كل منها حوالي 1/7 GPU و 5 جيجابايت VRAM. يرجى ملاحظة أنه لا يمكننا ببساطة توفير جزءين لحمل عمل واحد في هذه الحالة وتوقع حصوله على 2/7 GPU و 10 جيجابايت VRAM. يمكن لكل حمل عمل الحصول على جزء واحد فقط في هذه الحالة.

المتطلبات الأساسية لـ Fractional GPU
إضافة التكامل السحابي (Cloud Integration)
لتفعيل fractional GPUs، سنحتاج إلى إنشاء nodepool منفصلة للـ GPUs ولن تعمل عبر توفير العقد الديناميكي القياسي (dynamic node provisioning) في AWS / GCP. لكي تتمكن TrueFoundry من قراءة تلك الـ nodepools، يجب أن نضمن إكمال التكامل السحابي بالفعل مع TrueFoundry.
إذا لم يتم تفعيله بعد، يرجى اتباع هذا الدليل لتفعيل Cloud Integration.
بمجرد إضافة التكامل السحابي، تحتاج إلى "إنشاء nodepools" لـ GPUs المُمكّنة بـ MIG أو TimeSlicing. هذا التكوين يختلف باختلاف مزودي الخدمات السحابية. يرجى اتباع الدليل أدناه لتفعيل fractional GPUs على الـ cluster الخاص بك.
تثبيت أحدث إصدار من tfy-gpu-operator
- انتقل إلى
Deployments -> Helm -> tfy-gpu-operator. - انقر على تعديل (النقاط الثلاث على اليمين)
- اختر أحدث إصدار من chart (الأعلى في القائمة) من القائمة المنسدلة وانقر على Submit.
تمكين MIG
Azure
1. أنشئ Nodepool مع تمكين MIG باستخدام الوسيط --gpu-instance-profile الخاص بـ Azure CLI. فيما يلي أمر عينة للقيام بذلك:
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g
2. قم بتحديث nodepools في كلاستر Truefoundry.
3. قم بنشر بيئة العمل الخاصة بك عن طريق تحديد GPU (بالعدد 1) وتحديد nodepool الصحيح.
GCP
أنشئ nodepool وقم بتمرير mig_profile في accelerator عن طريق تمرير gpu_partition_size=1g.5gb[أو إحدى القيم المسموح بها لملف تعريف MIG والتي يمكنك العثور عليها في أعلى هذه الصفحة]
gcloud container node-pools create a100-40-mig-1g5gb \ INT ✘
--project=<enter your project name> \
--region=<enter your region> \
--cluster=<enter your cluster name here> \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
ليس من السهل حاليًا دعم MIG GPUs على AWS بطريقة مُدارة، ولكن إذا كنت ترغب في تجربة الميزة -> يُرجى الرجوع إلى هذه الوثائق
تمكين Timeslicing
Azure
- تأكد من إعداد تكوين
nvidia-device-pluginبشكل صحيح فيtfy-gpu-operatorchart.
انتقل إلىHelm -> tfy-gpu-operator، وانقر على تعديل وتأكد من وجود الأسطر التالية فيvalues
azure-aks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
- أنشئ Nodepool مع توجيه
device-plugin.configإلى تكوين time-slicing الصحيح باستخدام Azure CLI. فيما يلي أمر عينة للقيام بذلك.
az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20 \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10
- قم بتحديث nodepools على كلاستر truefoundry.
- قم بنشر عبء العمل الخاص بك عن طريق تحديد GPU (بالعدد 1) وتحديد nodepool الصحيح.
GCP
gcloud container node-pools create a100-40-frac-10 \ ✔
--project=tfy-devtest \
--region=us-central1 \
--cluster=tfy-gtl-b-us-central-1 \
--machine-type=a2-highgpu-1g \
--accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
--enable-autoscaling \
--total-min-nodes 0 \
--total-max-nodes 4 \
--min-provision-nodes 0 \
--num-nodes 0
AWS
1. تأكد من ضبط إعدادات nvidia-device-plugin بشكل صحيح في مخطط tfy-gpu-operator.
انتقل إلى Helm -> tfy-gpu-operator، انقر على تعديل وتأكد من وجود الأسطر التالية في values
aws-eks-gpu-operator:
devicePlugin:
config:
data:
all: ""
time-sliced-10: |-
version: v1
sharing:
timeSlicing:
renameByDefault: true
resources:
- name: nvidia.com/gpu
replicas: 10
name: time-slicing-config
create: true
default: all
2. أنشئ nodegroup على AWS EKS باستخدام التسمية (label) التالية:
labels:
"nvidia.com/device-plugin.config": "time-sliced-10"
استخدام GPUs الجزئية في Service الخاصة بك
لاستخدام GPUs الجزئية في service الخاصة بك:
1. تأكد من إضافة nodepools المطلوبة.
2. يُرجى مزامنة nodepools الخاصة بالـ cluster من حسابك السحابي بآنتقال إلى Integrations -> Clusters -> Sync كما هو موضح أدناه:

3. يمكنك النشر إما باستخدام واجهة المستخدم لـ Truefoundry أو باستخدام Python SDK.
ملاحظة: سيعمل Autoscaling لـ Nodepools فقط في clusters الخاصة بـ GCP. ستحتاج إلى رفع / خفض قياس nodepools يدوياً في Azure/AWS.
النشر باستخدام واجهة المستخدم (UI)
1. لنشر workload يستفيد من GPU الجزئي، ابدأ بنشر service/job الخاصة بك على truefoundry وفي قسم "Resources"، حدد nodepool selector
2. بمجرد تحديد Nodepool Selector في أعلى يمين قسم Resources، يمكنك الآن رؤية GPUs الجزئية على واجهة المستخدم والتي يمكنك تحديدها (كما هو موضح أدناه)


النشر باستخدام Python SDK
يمكنك استخدام GPUs الجزئية باستخدام python SDK مع التغييرات التالية في تغيير resources:
1. استخدام MIG GPUs
from servicefoundry import (
...
Service,
NvidiaMIGGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaMIGGPU(profile="1g.5gb")
],
),
)
2. استخدام Timeslicing GPU
from servicefoundry import (
Service,
NvidiaTimeslicingGPU,
NodepoolSelector,
)
service = Service(
...
resources=Resources(
...
node=NodepoolSelector(
nodepools=["<add your nodepool name>"],
),
devices=[
NvidiaTimeslicingGPU(gpu_memory=4000),
],
),
)
نحن في TrueFoundry ندعم GPUs الجزئية بأسلوب مبسط ومريح للغاية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















