Blank white background with no objects or features visible.

تحية إلى منطقة أوروبا والشرق الأوسط وأفريقيا! توسع TrueFoundry نطاق حضورها في هذه المنطقة الحيوية. اقرأ المزيد ←

الاستفادة من Fractional GPUs على Kubernetes

By نيكيل بوبلي

Updated: نوفمبر 20, 2026

Published: يوليو 2, 2026

لماذا نستخدم Fractional GPUs؟

تتيح لنا Fractional GPUs تخصيص أحمال عمل متعددة لـ GPU واحد، وهو ما يمكن أن يكون مفيدًا في الحالات التالية:

  1. تستهلك أحمال العمل حوالي 2-3 جيجابايت من VRAM - لذا يمكنك تخصيص نسخ مكررة (replicas) متعددة من حمل العمل هذا على GPU واحد يمتلك حوالي 16 جيجابايت من VRAM أو أكثر.
  2. كل حمل عمل لديه حركة مرور (traffic) منخفضة ومتقطعة ولا يستطيع استغلال أقصى قدرة لـ GPU.

كيفية استخدام Fractional GPUs؟

  1. TimeSlicing: في هذا الأسلوب، يمكنك تقسيم الـ GPU إلى عدد ثابث من الأجزاء المجزأة ثم اختيار جزء من الـ GPU لحمل العمل هذا. على سبيل المثال، يمكننا تقسيم الـ GPU إلى 10 أجزاء ثم طلب 3 أجزاء لحمل العمل الأول، و5 أجزاء لحمل العمل الثاني، وجزءين لحمل العمل الثالث. هذا يعني أن حمل العمل الأول سيستخدم 0.3 GPU (الحوسبة + 30% من VRAM)، وحمل العمل الثاني سيستخدم 0.5 GPU، وحمل العمل الثالث سيستخدم 0.2 GPU. ومع ذلك، يُستخدم timeslicing فقط لجدولة أحمال العمل على نفس الجهاز - ولا يعني ذلك أي عزلة فعلية على الجهاز. على سبيل المثال، إذا كان جهاز الـ GPU يحتوي على 16 جيجابايت VRAM، فإن العبء يقع على المستخدم لضمان أن حمل العمل الأول يستهلك أقل من 4.8 جيجابايت VRAM، وحمل العمل الثاني يستهلك أقل من 8 جيجابايت VRAM، وحمل العمل الثالث يستهلك أقل من 3.2 جيجابايت VRAM. إذا بدأ أحد أحمال العمل في استهلاك ذاكرة أكبر فجأة، فقد يؤدي ذلك إلى تعطل العمليات الأخرى. يتم مشاركة الحوسبة أيضًا، ولكن يمكن لحمل عمل واحد أن يصل إلى استخدام الـ GPU بالكامل إذا كانت أحمال العمل الأخرى خاملة - وهو في الأساس تبديل للسياق (context-switching) بين أحمال العمل الثلاثة. يمكنك القراءة عن هذا بشكل أكبر هنا.
  2. MIG (Multi-Instance GPUs): هذه ميزة توفرها Nvidia فقط على GPUs من طراز A100 و H100 - ولا تعمل على GPUs الأخرى. يمكننا تقسيم GPUs إلى عدد ثابت من الأجزاء القابلة للتكوين كما هو موضح في الجدول أدناه. يمكن لأحمال العمل اختيار أحد الأجزاء وستحصل على عزل تام للحوسبة والذاكرة. المثيلات (instances) ليست بالضبط كسرًا كاملاً للـ GPU، بل وحدات منفصلة أكثر كما هو موضح في الجدول أدناه. على سبيل المثال، لنفترض أننا قمنا بتقسيم GPU واحد من طراز A100 بسعة 40 جيجابايت إلى 7 أجزاء - يمكننا حينها وضع 7 أحمال عمل يستخدم كل منها حوالي 1/7 GPU و 5 جيجابايت VRAM. يرجى ملاحظة أنه لا يمكننا ببساطة توفير جزءين لحمل عمل واحد في هذه الحالة وتوقع حصوله على 2/7 GPU و 10 جيجابايت VRAM. يمكن لكل حمل عمل الحصول على جزء واحد فقط في هذه الحالة.

المتطلبات الأساسية لـ Fractional GPU

إضافة التكامل السحابي (Cloud Integration)

لتفعيل fractional GPUs، سنحتاج إلى إنشاء nodepool منفصلة للـ GPUs ولن تعمل عبر توفير العقد الديناميكي القياسي (dynamic node provisioning) في AWS / GCP. لكي تتمكن TrueFoundry من قراءة تلك الـ nodepools، يجب أن نضمن إكمال التكامل السحابي بالفعل مع TrueFoundry.

إذا لم يتم تفعيله بعد، يرجى اتباع هذا الدليل لتفعيل Cloud Integration.

بمجرد إضافة التكامل السحابي، تحتاج إلى "إنشاء nodepools" لـ GPUs المُمكّنة بـ MIG أو TimeSlicing. هذا التكوين يختلف باختلاف مزودي الخدمات السحابية. يرجى اتباع الدليل أدناه لتفعيل fractional GPUs على الـ cluster الخاص بك.

تثبيت أحدث إصدار من tfy-gpu-operator

  • انتقل إلى Deployments -> Helm -> tfy-gpu-operator.
  • انقر على تعديل (النقاط الثلاث على اليمين)
  • اختر أحدث إصدار من chart (الأعلى في القائمة) من القائمة المنسدلة وانقر على Submit.

تمكين MIG

Azure

1. أنشئ Nodepool مع تمكين MIG باستخدام الوسيط --gpu-instance-profile الخاص بـ Azure CLI. فيما يلي أمر عينة للقيام بذلك:

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 1 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--gpu-instance-profile MIG1g

2. قم بتحديث nodepools في كلاستر Truefoundry.

3. قم بنشر بيئة العمل الخاصة بك عن طريق تحديد GPU (بالعدد 1) وتحديد nodepool الصحيح.

GCP

أنشئ nodepool وقم بتمرير mig_profile في accelerator عن طريق تمرير gpu_partition_size=1g.5gb[أو إحدى القيم المسموح بها لملف تعريف MIG والتي يمكنك العثور عليها في أعلى هذه الصفحة]

gcloud container node-pools create a100-40-mig-1g5gb \                                                                             INT ✘  
 --project=<enter your project name> \
 --region=<enter your region> \
 --cluster=<enter your cluster name here> \
 --machine-type=a2-highgpu-1g \
 --accelerator type=nvidia-tesla-a100,count=1,gpu-partition-size=1g.5gb \
 --enable-autoscaling \
 --total-min-nodes 0 \
 --total-max-nodes 4 \
 --min-provision-nodes 0 \
 --num-nodes 0

AWS

ليس من السهل حاليًا دعم MIG GPUs على AWS بطريقة مُدارة، ولكن إذا كنت ترغب في تجربة الميزة -> يُرجى الرجوع إلى هذه الوثائق

تمكين Timeslicing

Azure

  1. تأكد من إعداد تكوين nvidia-device-plugin بشكل صحيح في tfy-gpu-operatorchart.
    انتقل إلى Helm -> tfy-gpu-operator، وانقر على تعديل وتأكد من وجود الأسطر التالية في values

azure-aks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

  1. أنشئ Nodepool مع توجيه device-plugin.config إلى تكوين time-slicing الصحيح باستخدام Azure CLI. فيما يلي أمر عينة للقيام بذلك.

az aks nodepool add \
--cluster-name <your cluster name> \
--resource-group <your resource group> \
--no-wait \
--enable-cluster-autoscaler \
--eviction-policy Delete \
--node-count 0 \
--max-count 20  \
--min-count 0 \
--node-osdisk-size 200 \
--scale-down-mode Delete \
--os-type Linux \
--node-taints "nvidia.com/gpu=Present:NoSchedule" \
--name a100mig7 \
--node-vm-size Standard_NC24ads_A100_v4 \
--priority Spot \
--os-sku Ubuntu \
--labels nvidia.com/device-plugin.config=time-sliced-10

  1. قم بتحديث nodepools على كلاستر truefoundry.
  2. قم بنشر عبء العمل الخاص بك عن طريق تحديد GPU (بالعدد 1) وتحديد nodepool الصحيح.

GCP

gcloud container node-pools create a100-40-frac-10 \                                                                                   ✔  
       --project=tfy-devtest \
       --region=us-central1 \
       --cluster=tfy-gtl-b-us-central-1 \
       --machine-type=a2-highgpu-1g \
       --accelerator type=nvidia-tesla-a100,count=1,gpu-sharing-strategy=time-sharing,max-shared-clients-per-gpu=10 \
       --enable-autoscaling \
       --total-min-nodes 0 \
       --total-max-nodes 4 \
       --min-provision-nodes 0 \
       --num-nodes 0

AWS

1. تأكد من ضبط إعدادات nvidia-device-plugin بشكل صحيح في مخطط tfy-gpu-operator.
انتقل إلى Helm -> tfy-gpu-operator، انقر على تعديل وتأكد من وجود الأسطر التالية في values

aws-eks-gpu-operator:
 devicePlugin:
   config:
     data:
       all: ""
       time-sliced-10: |-
         version: v1
         sharing:
           timeSlicing:
             renameByDefault: true
             resources:
             - name: nvidia.com/gpu
               replicas: 10
     name: time-slicing-config
     create: true
     default: all

2. أنشئ nodegroup على AWS EKS باستخدام التسمية (label) التالية:

labels:
 "nvidia.com/device-plugin.config": "time-sliced-10"

استخدام GPUs الجزئية في Service الخاصة بك

لاستخدام GPUs الجزئية في service الخاصة بك:

1. تأكد من إضافة nodepools المطلوبة.

2. يُرجى مزامنة nodepools الخاصة بالـ cluster من حسابك السحابي بآنتقال إلى Integrations -> Clusters -> Sync كما هو موضح أدناه:

3. يمكنك النشر إما باستخدام واجهة المستخدم لـ Truefoundry أو باستخدام Python SDK.
ملاحظة: سيعمل Autoscaling لـ Nodepools فقط في clusters الخاصة بـ GCP. ستحتاج إلى رفع / خفض قياس nodepools يدوياً في Azure/AWS.

النشر باستخدام واجهة المستخدم (UI)

1. لنشر workload يستفيد من GPU الجزئي، ابدأ بنشر service/job الخاصة بك على truefoundry وفي قسم "Resources"، حدد nodepool selector

2. بمجرد تحديد Nodepool Selector في أعلى يمين قسم Resources، يمكنك الآن رؤية GPUs الجزئية على واجهة المستخدم والتي يمكنك تحديدها (كما هو موضح أدناه)

Using MIG GPU
استخدام MIG GPU
Using Timeslicing GPU
استخدام Timeslicing GPU

النشر باستخدام Python SDK

يمكنك استخدام GPUs الجزئية باستخدام python SDK مع التغييرات التالية في تغيير resources:

1. استخدام MIG GPUs

from servicefoundry import (
   ...
  Service,
   NvidiaMIGGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaMIGGPU(profile="1g.5gb")
   ],
 ),
)

2. استخدام Timeslicing GPU

from servicefoundry import (
  Service,
   NvidiaTimeslicingGPU,
   NodepoolSelector,
)

service = Service(
 ...
 
 resources=Resources(
   ...
   node=NodepoolSelector(
     nodepools=["<add your nodepool name>"],
   ),
   devices=[
     NvidiaTimeslicingGPU(gpu_memory=4000),
   ],
 ),
)

نحن في TrueFoundry ندعم GPUs الجزئية بأسلوب مبسط ومريح للغاية.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

أغسطس 26, 2026
|
5 min read

Gemini 3 Pro: الاختبارات المرجعية وكيفية استخدامه عبر الـ Gateway

أغسطس 26, 2026
|
5 min read

ما هو Ollama؟ تشغيل النموذج اللغوي الكبير المحلي في الإنتاج لفرق العمل

يوليو 20, 2023
|
5 min read

LLMOps CoE: الأفق القادم في عالم MLOps

مايو 25, 2023
|
5 min read

نماذج LLMs المفتوحة المصدر: تبنّها أو واجه اندثار أعمالك

نوفمبر 20, 2026
|
5 min read

الترحيل من Bifrost: نقل بوابة ذكاء اصطناعي مستضافة ذاتياً إلى بوابة مُدارة

No items found.
نوفمبر 20, 2026
|
5 min read

تحديثات بروتوكول MCP: DCR، وOAuth CIMD، وStreamable HTTP، وتطبيقات MCP

No items found.
نوفمبر 20, 2026
|
5 min read

Bifrost Enterprise مقابل OSS: ما الذي تحصل عليه فعلياً

No items found.
نوفمبر 20, 2026
|
5 min read

أفضل نموذج لغوي للبرمجة في عام 2026 (وكيفية توجيه الطلبات إليه)

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour