تنسيق وحدات معالجة الرسومات (GPU) متعددة السحاب باستخدام TrueFoundry: بنية مرجعية لمزودي الخدمات السحابية الضخمة والسحب المتخصصة

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
تعد سعة GPU واحدة من أصعب القيود التي تواجه فرق الذكاء الاصطناعي في الوقت الحالي. إذ قد يصطدم تدبير مثيلات Amazon EC2 P5 أو الأجهزة الافتراضية من سلسلة Azure ND H100 v5 بحدود الحصص (quotas)، أو قيود السعة الإقليمية، أو الالتزامات التجارية التي يصعب استيعابها. جعل هذا من السحب المتخصصة في GPU — مثل CoreWeave، وLambda، وFluidstack، وغيرها الكثير — أهدافًا مجدية لبيئات الإنتاج، وليست مجرد سعة إضافية للطوارئ. يقدم كل من هؤلاء المزودين مسار Kubernetes مُدارًا لحمولات عمل GPU: مثل CoreWeave Kubernetes Service (CKS)، وLambda Managed Kubernetes (MK8s) على 1-Click Cluster، وFluidstack managed Kubernetes.
إن التشغيل عبر هذه السحب جنباً إلى جنب مع وجود مزودي الخدمات السحابية الضخمة (hyperscalers) يخلق تعقيدًا تشغيليًا حقيقيًا: لوحات تحكم منفصلة، وأنظمة هوية منفصلة، وإمكانية تتبع وملاحظة (observability) منفصلة، وتدفقات نشر منفصلة. يتمثل دور TrueFoundry هنا في ربط كل من مجموعات (clusters) Kubernetes هذه بـ Control Plane واحدة، وعرضها كأهداف نشر في واجهة مستخدم واحدة، وتوفير طبقة تشغيلية موحدة لـ K8s في الأعلى — دون استبدال الأتمتة الأصلية الخاصة بالمجموعات والتي يشحنها كل مزود بالفعل.
تستعرض هذه المقالة الشكل الفعلي لـ ذلك: البنية الهيكلية، وما يتطلبه إلحاق المجموعات، وأين تنتهي أتمتة المنصة وتأتي أتمتة المزود، والأنماط العملية التي نوصي بها.
البنية الهيكلية: Control Plane واحدة، والعديد من Compute Planes
تستخدم TrueFoundry بنية ذات طبقات منفصلة. تحتفظ Control Plane (سواء كانت مُدارة بواسطة TrueFoundry أو استضافة ذاتية) بالبيانات الوصفية (metadata)، والتحكم في الوصول القائم على الأدوار (RBAC)، وبيانات النشر (deployment manifests)، وواجهة المستخدم. أما Compute Plane فهي مجموعة Kubernetes الخاصة بك. يمكن لعدة Compute Planes الاتصال بـ Control Plane واحدة — مما يعني أن مجموعة EKS، ومجموعة AKS، ومجموعة CKS، ومجموعة MK8s، ومجموعة Fluidstack managed K8s يمكنها جميعًا رفع التقارير إلى لوحة التحكم نفسها.
يعمل tfy-agent في كل مجموعة ويفتح اتصال WebSocket آمنًا وخارجيًا (outbound) إلى Control Plane. يرسل العميل (agent) حالة المجموعة عبر البث، بينما يتيح وكيل العميل (agent proxy) لـ Control Plane تطبيق تغييرات Kubernetes من خلال ذلك الاتصال الخارجي دون الحاجة إلى نقطة نهاية واردة (inbound endpoint) في المجموعة. تبقى حمولات العمل، وحركة مرور طبقة البيانات (data-plane traffic)، وبيانات اعتماد المزود داخل حساب السحابة الخاص بكل مجموعة، ولا تنتقل حركة المرور بين Compute Planes عبر Control Plane — بل تظل سحبًا مستقلة ذات حدود هوية مستقلة.

ما يتطلبه "إلحاق مجموعة" فعليًا
إن تثبيت العميل (agent) نفسه هو أمر helm واحد — ولكنه يأتي في نهاية إعداد يتطلب متطلبات أساسية حقيقية. لكي تُلحق أي مجموعة (سواء كانت hyperscaler أو متخصصة) بشكل سليم، تحتاج المجموعة إلى:
- Kubernetes 1.28+ مع سعة استيعابية لما يقرب من 250 عقدة (nodes) / 4,096 قرملة (pods)، اعتمادًا على ملف حمولة العمل المستهدف
- حركة مرور خارجية صادرة (Outbound egress) إلى سجلات الحاويات (container registries) التي تسحب منها TrueFoundry:
public.ecr.aws،quay.io،ghcr.io،tfy.jfrog.io،docker.io/natsio،nvcr.io،registry.k8s.io - نطاق بديل (Wildcard domain) (مثل
*.lambda-pool.example.com) وشهادة TLS — النمط الموثق هو cert-manager + Let's Encrypt - موازن أحمال (load balancer) يعمل أو مسار ingress. عادةً ما يوفر K8s المُدار في السحب الضخمة هذا من خلال التكامل مع موازن الأحمال السحابي؛ أما في المجموعات المتخصصة أو الموزعة على أجهزة فعلية (bare-metal)، فتأكد من مسار تخصيص IP وingress المدعوم من المزود
- دعم التخزين الدائم (Persistent storage) لوحدات التخزين والعناصر (artifacts)، عادةً من خلال تكاملات التخزين الكتلي (block) أو أنظمة الملفات أو تخزين الكائنات (object-storage) المدعومة بـ CSI من المزود
- سجل حاويات ومخزن عناصر يمكن الوصول إليهما لسحب الصور، ومخرجات البناء، وعناصر مسار العمل (workflow artifacts)
- سمات العقد (Node labels) في المجموعات العامة / المتخصصة:
truefoundry.com/nodepool=<pool-name>على كل عقدة، وtruefoundry.com/gpu_type=<GPU_TYPE>على عقد GPU (تكتشف TrueFoundry مجمعات العقد تلقائيًا على EKS/GKE/AKS فقط)
في K8s المُدار لدى السحب الضخمة، تغطي وحدات OpenTofu/Terraform من TrueFoundry معظم هذه المتطلبات. وفي السحب المتخصصة، تستخدم عروض K8s المُدارة من المزود مباشرةً — قم بالتدبير من خلال لوحة التحكم الخاصة بهم، وجَهّز المتطلبات الأساسية، ثم ائلحق المجموعة. يتم إنشاء أمر تثبيت العميل المحدد بواسطة واجهة مستخدم المنصة عند النقر على Attach Existing Cluster؛ وعادة ما يأخذ هذا الشكل:
تفاصيل السحب المتخصصة: مشكلة تداخل الملحقات (Addon-Overlap)
هذا هو الجزء الذي تتغاضى عنه العديد من مقالات البنية الهيكلية. توفر السحب المتخصصة المذكورة سابقًا بالفعل مكونات Kubernetes تتداخل مع أجزاء من حزمة الملحقات الافتراضية لـ TrueFoundry. إذا قمت بتثبيت المكون نفسه من الكلا الجانبين، فقد تنشأ تعارضات تتراوح من لوحات تحكم مكررة إلى عمليات نشر غير مدعومة لـ GPU operator.
توضح CoreWeave هذا الأمر بشكل صريح: تدير CoreWeave مشغل NVIDIA GPU Operator على مجموعات CKS وتحذر من تثبيته مرتين. يُعد النشر المُدار بواسطة المنصة هو النشر الوحيد المدعوم. قم بتعطيل ملحق GPU Operator الخاص بـ TrueFoundry عند إلحاق مجموعة CKS.
بشكل ملموس:
- تتضمن CoreWeave CKS مشغل NVIDIA GPU Operator مُدارًا من CoreWeave على المجموعات الحديثة، شبكات Cilium، تكاملات التخزين، البنية التحتية القائمة على DPU، وإمكانية التتبع والملاحظة الخاصة بـ CoreWeave. عند الإلحاق، قم بتعطيل ملحق GPU Operator الخاص بـ TrueFoundry وراجع أي تداخل في إمكانية التتبع والملاحظة.
- يوفر Lambda MK8s دعمًا لـ GPU وInfiniBand/RDMA، والتخزين الدائم المشترك من خلال
lambda-sharedStorageClass، ولوحات تحكم NVIDIA DCGM Grafana، والمعالجة التلقائية للعقد. قم بتعطيل ملحق GPU Operator الخاص بـ TrueFoundry إذا كانت Lambda تدير تمكين GPU بالفعل. تكون لوحة تحكم DCGM الخاصة بالمزود منفصلة عن إمكانية التتبع والملاحظة في TrueFoundry ويمكن تشغيلها جنباً إلى جنب. - يعلن Fluidstack managed Kubernetes عن دعم GPU Operator وNetwork Operator، وRay، وVolcano، وKueue للجدولة الدفعية (batch scheduling)، والتخزين المُدار عبر Atlas، وإمكانية تتبع صحة المجموعة. قم بتعطيل ملحق GPU Operator الخاص بـ TrueFoundry عندما يكون المزود يديره بالفعل. وتُعتبر حزمة الجدولة الدفعية للمزود مكملة لأتمتة مسارات العمل وليست بديلاً عنها.
تحتوي نموذج Attach Existing Cluster على قسم Cluster Addons حيث يمكنك إيقاف تشغيل أي ملحق يقدمه المزود بالفعل. وهذا قرار يتخذ مرة واحدة لكل مجموعة.
ما تضيفه TrueFoundry عبر المجموعات
بمجرد إلحاق المجموعة، تضيف المنصة تجربة تشغيلية موحدة فوق أي بيئة K8s يقدمها المزود:
- واجهة مستخدم واحدة لكل مجموعة. كل عملية نشر، وكل مهمة (job)، وكل خدمة، وكل مساحة عمل (workspace) — مرئية عبر جميع المجموعات الملحقة في لوحة التحكم نفسها.
- صيغة موحدة لبيانات النشر (deployment manifest). قم بإنشاء خدمة أو مهمة مرة واحدة؛ واستهداف مجموعة مختلفة عن طريق تغيير حقل
cluster_name— بشرط أن تتوافق المتطلبات الأساسية في المجموعة الهدف (نوع GPU متطابق، وصول للسجل، الأسرار، فئة التخزين). - تسليم مُدار بالإصدارات عبر GitOps باستخدام ArgoCD المُنشر في كل مجموعة، مع حفظ تكوين النشر في Git عند تمكين GitOps.
- إمكانية التتبع والملاحظة لكل مجموعة، مع عرض مقاييس Prometheus في واجهة Control Plane وإمكانية استخدام Grafana اختيارياً للوحات تحكم أعمق على مستوى المجموعة. (ملاحظة: هذه رؤية تشغيلية موحدة، وليست بديلاً عن واجهة خلفية للمقاييس المجمعة طويلة الأمد).
- Argo Workflows في كل مجموعة للمهام الدفعية وتدريبات النماذج، مع عرض سجل التشغيل وإمكانية التتبع على مستوى الخطوات بشكل موحد.
- التوسع التلقائي (Autoscaling) للخدمات داخل كل مجموعة، بما في ذلك التوسع القائم على معدل الطلبات، القواعد القائمة على الوقت، الأنماط القائمة على قائمة الانتظار، والتوسع إلى الصفر لحمولات العمل المناسبة.
- تحديد نوع السعة داخل المجموعة: يمكن لحمولات العمل استهداف السعة الفورية (spot)، أو حسب الطلب (on-demand)، أو السعة الفورية مع خيار التراجع لحسب الطلب عندما يدعم حساب السحابة وتدبير العقد ذلك.
- التحكم في الوصول القائم على الأدوار (RBAC) وتسجيل الدخول الموحد (SSO) المستند إلى مساحة العمل على مستوى المنصة، مع نماذج أذونات موحدة بغض النظر عن المجموعة التي تعمل عليها حمولة العمل.
ما لا تفعله TrueFoundry (حتى الآن)
لتوضيح النطاق تمامًا — هذه إمكانيات فعلية يطلبها العملاء، ولكنها ليست ميزات متوفرة في المنصة اليوم:
- الجدولة عبر المجموعات (Cross-cluster scheduling). عند نشر مهمة، فإنك تستهدف مجموعة محددة. لا تختار المنصة تلقائيًا المجموعة الأرخص، ولا توجه بناءً على السعة في الوقت الفعلي، ولا تعيد توازن حمولات العمل الجارية عبر المجموعات.
- التجاوز التلقائي للفشل عبر المجموعات (Cross-cluster failover). إذا واجهت Lambda 1CC مشكلات في الأجهزة أو نفدت السعة في منطقة CoreWeave، فلا تعيد المنصة محاولة تشغيل المهمة تلقائيًا على حجز EKS. يمكن أن تساعد سياسات التحديد والتراجع داخل المجموعة عندما تدعم المجموعة ذلك؛ لكن التجاوز التلقائي للفشل عبر المجموعات يمثل مسألة مختلفة ولم يُشحن بعد.
- تجميع سعة GPU المشتركة. يتم تتبع سعة H100 الخاصة بك على CoreWeave وLambda وAWS كـ ثلاث مجموعات منفصلة — وليس كحصّة مجمعة واحدة. تعرض واجهة المستخدم المجموعات الثلاث؛ ويتعامل معها المجدول كمجموعات مستقلة.
- التوجيه التلقائي المراعاة للتكلفة. اختيار مكان تشغيل المهمة بناءً على تسعير المزود في الوقت الفعلي ليس ميزة أساسية في المنصة اليوم.
إذا كانت حالة الاستخدام لديك تتطلب بالفعل تنسيقًا عبر المجموعات — على سبيل المثال، مهمة تدريب يجب أن تتوسع نحو أرخص سحابة متاحة — فقم ببناء هذا القرار على مستوى طبقة التنسيق (منطق CI/CD الخاص بك، أو مجدول مخصص صغير، أو أداة مسار عمل مثل Argo Workflows أو Temporal) أعلى واجهة برمجة تطبيقات النشر لكل مجموعة من TrueFoundry. تمنحك المنصة عناصر النشر الأساسية الموحدة عبر المجموعات؛ بينما يظل قرار التوجيه بيدك.
مسار عمل فعلي: إلحاق Lambda 1-Click Cluster
تسلسل ملموس لضبط التوقعات بشكل صحيح:
- قم بتدبير 1-Click Cluster على Lambda مع تمكين Managed Kubernetes. اختر الحجم (من 16 إلى أكثر من 2,000 GPU) ومدة الحجز.
- احصل على وصول مسؤول المجموعة (cluster admin) عبر تدفق مصادقة Lambda وتأكد من أن
kubectl get nodesيعرض عقد GPU الخاصة بك كـReady. - جهّز المتطلبات الأساسية في المجموعة: قم بتكوين wildcard DNS ومسار ingress، وثبّت أو تأكد من أتمتة شهادات TLS، وتأكد من وجود
lambda-sharedStorageClass إذا كنت بحاجة إلى تخزين مشترك، وتأكد من حركة المرور الخارجية الصادرة إلى سجلات الحاويات المطلوبة لـ TrueFoundry. - في TrueFoundry، انقر على "Attach Existing Cluster" واملأ تفاصيل المجموعة. قم بتعطيل ملحق GPU Operator عندما تقدم Lambda تمكين GPU بالفعل.
- شغّل أمر helm المنشأ في مجموعتك. انتظر حتى يعمل العميل والملحقات المحددة — عادةً في غضون 5 إلى 10 دقائق بعد توفر المتطلبات الأساسية.
- قم بتكوين القيود والتسامحات (tolerations) في مساحة عمل TrueFoundry المستهدفة لهذه المجموعة. تحتوي عقد MK8s على قيود GPU taints يجب التسامح معها؛ ويطبق تكوين التسامح على مستوى مساحة العمل هذه التسامحات على كل مهمة تُرسل إلى تلك المجموعة.
- تأكد من ظهور المجموعة كـ متصلة، ثم انشر مهمة اختبار صغيرة (خدمة vLLM بـ GPU واحد أو تشغيل تدريب على عقدة واحدة) قبل نقل حمولات عمل الإنتاج.
عادةً ما يستغرق إجمالي الوقت في المجموعة المجهزة من 30 إلى 60 دقيقة، ويعتمد ذلك بشكل أساسي على انتشار DNS، وإصدار الشهادات، وتثبيت helm.
مقارنة عملية
الخلاصة
تعد استراتيجية GPU متعددة السحاب واقعًا عمليًا، وتزداد أهميتها مع تصاعد قيود سعة الحوسبة على خطط الذكاء الاصطناعي. المسار العملي هو التعامل مع كل مجموعة — سواء كانت EKS أو AKS أو GKE أو CKS أو MK8s أو Fluidstack managed Kubernetes — كإلحاق Kubernetes قياسي، حيث توفر المنصة طبقة تشغيلية موحدة في الأعلى.
ما تحصل عليه: واجهة مستخدم واحدة عبر كل مجموعة قمت بإلحاقها، وأنماط نشر وGitOps موحدة بغض النظر عن السحابة، وقابلية نقل حمولات العمل على مستوى بيانات النشر (عند تطابق المتطلبات الأساسية)، وفصل كامل للبيانات عبر حسابات السحابة الخاصة بالعملاء. ما لا تحصل عليه اليوم: الجدولة التلقائية عبر المجموعات، أو تجميع السعة، أو التوجيه المراعاة للتكلفة — تظل هذه القرارات بيدك، وتُبنى أعلى واجهة برمجة تطبيقات النشر لكل مجموعة من المنصة.
إذا كنت تقيّم هذه الحزمة، فإن نقطة البداية الطبيعية هي إلحاق مجموعتين — إحداهما من مزودي السحب الضخمة والأخرى من السحب المتخصصة — وتشغيل مهمة تمثيلية على كل منهما للتحقق من السلاسة التشغيلية قبل التوسع.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






