كيف تتكامل TrueFoundry مع AWS: بنية طبقة التحكم (Control Plane)

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
بالنسبة لمهندسي السحابة ومهندسي DevOps، غالبًا ما لا تتمثل التحدي الرئيسي في توسيع نطاق الذكاء الاصطناعي التوليدي في توفر موارد الحوسبة، بل في تنسيق (orchestration) هذه الموارد. توفر AWS لبنات أساسية قوية -- Amazon EKS، وSpot Instances، وIAM roles، وAmazon Bedrock. ومع ذلك، فإن دمج هذه العناصر في منصة تطوير داخلية (internal developer platform) متماسكة غالبًا ما يتطلب تكوينات معقدة وصيانة مستمرة.
تُعمل TrueFoundry كطبقة التنسيق تلك، حيث تعمل كطبقة تراكب للبنية التحتية (infrastructure overlay) مباشرة داخل حساب AWS الخاص بك. أدناه، سنحلل بالضبط كيفية تكامل المنصة مع AWS—مغطيين حدود الأمان، والاتحاد الهوائي (identity federation)، والشبكات، وتحسين الحوسبة.
نموذج النشر: طبقة التحكم (Control Plane) مقابل طبقة الحوسبة (Compute Plane)
نحن نستخدم بنية الطبقة المنفصلة (split-plane architecture) لفصل الإدارة عن التنفيذ.
- طبقة التحكم (Control Plane): هذه هي طبقة الإدارة (API وواجهة المستخدم). وهي تتعامل مع البيانات التعريفية (metadata)، والمصادقة للمستخدمين (RBAC)، وجدولة المهام.
- طبقة الحوسبة (Compute Plane): هذا هو المكان الذي يتم فيه العمل الفعلي. وتتكون من وكلاء (agents) والمتحكمين (controllers) الذين يعملون على عناقيد (clusters) Amazon EKS الخاصة بك، حيث يتعاملون مع أوزان النماذج، وبيانات العملاء، ومعالجة GPU.
يعتمد الاتصال على تدفق WebSocket أو gRPC آمن وصادر فقط (outbound-only). يبدأ الوكيل الذي يعمل في العنقود الخاص بك الاتصال بطبقة التحكم لجلب بيانات التكوين (deployment manifests) الجديدة ودفع تحديثات الحالة (مثل صحة الـ pod). ولأن حركة المرور صادرة فقط، فأنك لست بحاجة إلى فتح أي منافذ واردة (inbound ports) في مجموعات أمان VPC الخاصة بك—ما يحافظ على خصوصية VPC الخاصة بك بالكامل.
مخطط البنية: أمان الطبقة المنفصلة

الشكل 1: تضمن بنية الطبقة المنفصلة بقاء إقامة البيانات داخل VPC الخاصة بالعميل.
توپولوجيا الشبكات وتدفق حركة المرور
عند نشر TrueFoundry في بيئة AWS، تدمج تكوينات الشبكة ملحق AWS VPC CNI لـ Kubernetes. تعمل موارد الحوسبة داخل شبكات فرعية خاصة (private subnets)، مما يضمن عدم تعريض نقاط نهاية الاستدلال (inference endpoints) للإنترنت العام بشكل افتراضي.
أنماط الدخول والخروج (Ingress and Egress)
- حركة المرور الواردة (طلبات الاستدلال): تدخل حركة مرور التطبيق إلى VPC من خلال AWS Application Load Balancer (ALB)، والذي يتم إدارته بواسطة AWS Load Balancer Controller. ينهي ALB اتصالات TLS ويوجه الطلبات إلى Istio Ingress Gateway الذي يعمل داخل عنقود EKS.
- حركة المرور الصادرة (السجل وواجهات برمجة التطبيقات): تتطلب عقد العمل (worker nodes) في EKS الوصول إلى الشبكة الخارجية لسحب صور الحاويات من Amazon ECR والتواصل مع API الخاص بطبقة التحكم. يتم توجيه حركة المرور هذه عبر NAT Gateway المرتبط بالشبكات الفرعية الخاصة.
تكامل شبكة الخدمات (Service Mesh)
تستعين TrueFoundry بـ Istio لإدارة حركة المرور بين الميكروسيرفيسز (East-West traffic). على سبيل المثال، في مسار RAG حيث يتواصل مركز خدمات التضمين (embedding service) مع قاعدة بيانات المتجهات (vector database)، يدير Istio التوجيه ويفرض ميزة TLS المتبادلة (mTLS). يضمن هذا تشفير حركة المرور الداخلية للعنقود أثناء النقل دون الحاجة إلى تغييرات على مستوى التطبيق.

الشكل 2: تدفق حركة مرور الشبكة الذي يوضح الدخول للاستدلال والخروج للاعتمادات.
اتحاد الهويات والأمان
الهدف الأمني الرئيسي في بيئات AWS للمؤسسات هو إزالة الاعتمادات الثابتة (static credentials). تعالج TrueFoundry ذلك من خلال تطبيق IAM Roles for Service Accounts (IRSA).
تدفق المصادقة
عندما ينشر المستخدم عبء عمل، مثل مهمة ضبط دقيق (fine-tuning) أو خدمة استدلال، تنفذ المنصة سير العمل التالي:
- إنشاء حساب الخدمة (Service Account): تنشئ TrueFoundry حساب خدمة Kubernetes في مساحة أسماء عبء العمل (workload namespace).
- ربط الدور (Role Association): يتم تزويد حساب الخدمة بـ ARN الخاص بدور AWS IAM تم توفيره مسبقًا.
- تبادل الرموز (Token Exchange): يقوم EKS OIDC provider بالتحقق من صحة رمز JSON Web Token (JWT) الصادر من العنقود إلى الـ pod.
- إصدار الاعتمادات: يتبادل الـ pod رمز OIDC هذا مع AWS STS (Security Token Service) لتلقي اعتمادات AWS مؤقتة ومتناوبة.
تضمن هذه الآلية استخدام كود التطبيق لـ AWS SDK القياسية (مثل boto3) دون وجود أسرار مخفية في الكود (hardcoded secrets). إذا تم اختراق الـ pod، فإن التأثير المحتمل يقتصر على الصلاحيات المحددة الممنوحة لدور IAM هذا، وتنتهي صلاحية الاعتمادات تلقائيًا.

الشكل 3: تدفق مصادقة IRSA المستخدم بواسطة أحمال عمل TrueFoundry.
محرك الحوسبة: EKS، وKarpenter، وتحسين Spot
يمثل تشغيل نماذج اللغات الكبيرة (LLMs) على مثيلات حسب الطلب (On-Demand instances) تحديات كبيرة من حيث التكلفة. تنسق TrueFoundry أداة Karpenter، وهي نظام توفير عقد Kubernetes مفتوح المصدر، لتحسين استخدام الحوسبة.
تنسيق مثيلات Spot (Spot Instance Orchestration)
توفر TrueFoundry منطقًا متخصصًا لإدارة EC2 Spot Instances:
- توفير السعة: عندما يطلب التوزيع موارد (مثل 24 جيجابايت VRAM)، توجه المنصة Karpenter لتوفير نوع المثيل الأكثر فعالية من حيث التكلفة والذي يلبي القيود. قد يؤدي ذلك إلى توفير g5.2xlarge أو g5.4xlarge أو p3.2xlarge بناءً على التوفر الحالي في منطقة AWS.
- التعامل مع الانقطاع: يراقب النظام إشعار EC2 Spot Instance Termination Notice، الذي يقدم تحذيرًا لمدة دقيقتين قبل استعادة المثيل.
- الاستبدال الاستباقي: عند اكتشاف إشارة الإنهاء عبر AWS Node Termination Handler، تطبق المنصة حظرًا (cordon) على العقدة المتأثرة، وتفرغ الاتصالات، وتحفز Karpenter لتوفير بديل فورًا.
يمكّن هذا التنسيق الموثوق من استخدام مثيلات Spot لأحمال عمل الاستدلال الإنتاجية، مما يحقق عادةً توفيرًا يصل إلى 70% مقارنة بأسعار On-Demand لأحمال العمل التي تتحمل استخدام Spot.
بوابة الذكاء الاصطناعي (AI Gateway): توحيد Bedrock وSageMaker
بالنسبة للمؤسسات التي تستخدم نماذج مملوكة، تعمل TrueFoundry كواجهة API موحدة لـ Amazon Bedrock وAmazon SageMaker.
أنماط تكامل Bedrock
بدلاً من تضمين استدعاءات AWS SDK مباشرة في كود التطبيق، يوجه المطورون الطلبات عبر بوابة TrueFoundry (Gateway). تقوم البوابة بالآتي:
- المصادقة: التحقق من مفتاح API الداخلي مقابل سجل طبقة التحكم.
- القياس عن بُعد (Telemetry): تسجيل عدد رموز الإدخال والإخراج لإسناد التكاليف بدقة ومسارات التدقيق.
- الوكالة (Proxying): توقيع الطلبات باستخدام دور IAM الخاص بالبوابة وتوجيهها إلى نقطة نهاية Bedrock InvokeModel.
تتيح هذه المركزية للمسؤولين إدارة سياسات الوصول على مستوى البوابة دون تعديل سياسات IAM باستمرار أو تدوير اعتمادات AWS.
أنماط تكامل SageMaker
تدعم TrueFoundry نشر النماذج على نقاط نهاية SageMaker. ومع ذلك، توفر المنصة أيضًا إمكانية نشر النماذج مباشرة على EC2/EKS. يتيح هذا البديل للمؤسسات تجاوز التكاليف الإضافية المرتبطة عادةً بنقاط نهاية الاستدلال المدارة بالكامل مع الحفاظ على تجربة نشر متسقة للمطور.
التوافق مع البنية التحتية ككود (IaC)
تم تصميم TrueFoundry للتكامل مع سير عمل البنية التحتية ككود (Infrastructure as Code) الحالية. توفر المنصة وحدات Terraform (Terraform Modules) معتمدة لتوفير البنية التحتية الأساسية المطلوبة:
- VPC والشبكات: تكوين الشبكات الفرعية الخاصة، وبوابات NAT، ومجموعات الأمان وفقًا لأفضل ممارسات AWS.
- عنقود EKS: توفير طبقة التحكم لـ Kubernetes، ومجموعات العقد المدارة، والإضافات الأساسية مثل VPC CNI ومحرك EBS CSI.
- قواعد البيانات: توفير مثيلات Amazon RDS لتخزين البيانات التعريفية إذا كانت طبقة التحكم مستضافة ذاتيًا.
يضمن هذا أن تتكون البيئة من موارد AWS قياسية معرفة في ملف حالة Terraform الخاص بالعميل، وتظل قابلة للتدقيق بالكامل.
مقارنة: AWS الأصلية (Native) مقابل AWS + TrueFoundry
يوضح الجدول التالي الاختلافات التشغيلية بين بناء منصة باستخدام لبنات AWS الأساسية مباشرة مقابل استخدام طبقة التراكب TrueFoundry.
الخلاصة: التوافق البنيوي
يتوافق تكامل TrueFoundry مع AWS مع النمط البنيوي القائم على استخدام المزود السحابي العملاق لموثوقية البنية التحتية مع تطبيق طبقة تحكم متخصصة للإدارة الخاصة بالتطبيقات.
بالنسبة للمؤسسات التي تستثمر في AWS، يوفر هذا النموذج آلية لتحديث عمليات الذكاء الاصطناعي مع الحفاظ على نطاقات إقامة البيانات والأمان الحالية. يحتفظ العميل بالتحكم في VPC وحدود الأمان، مع استخدام TrueFoundry لتبسيط تعقيد دورة حياة تطبيقات الذكاء الاصطناعي.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






