معمارية TrueFoundry - تعلم الآلة على Kubernetes!

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
تجعل TrueFoundry من السهل جداً نشر التطبيقات على عناقيد Kubernetes في حساب مزود السحابة الخاص بك. وتتيح ذلك من خلال تجريد مكونات البنية التحتية لعلماء البيانات والمطورين مع تطبيق أفضل الممارسات من منظور الأمان والبنية التحتية وتحسين التكلفة.
الدوافع الرئيسية وراء المعمارية الحالية لـ TrueFoundry هي:
- يجب ألا تغادر البيانات حسابك السحابي/المحلي (on-prem): يتضمن تعلم الآلة عادةً التفاعل مع كميات كبيرة من البيانات. إذا تدفقت البيانات خارج حسابك السحابي (VPC)، فهناك خطر اختراق أمان البيانات وستتحمل أيضاً تكاليف نقل البيانات (egress/ingress). لهذا السبب صُممت TrueFoundry من الأساس لإبقاء البيانات والحوسبة داخل بيئتك الخاصة.
- يرث تعلم الآلة مبادئ SRE داخل مؤسستك: تُنفذ الشركات عادةً مصفوفات النشر والمراقبة والتنبيه الكاملة لنشر خدماتها الدقيقة (microservices). أردنا لتعلم الآلة أن يرث نفس الممارسات وألا يسلك مسار إعداد بنية تحتية موازية. وهذا يسهل على فرق البنية التحتية وSRE تطبيق أفضل ممارسات الأمان وتحسين التكلفة عبر المؤسسة بأكملها.
- مُصممة للسحابة (Cloud Native): بُنيت TrueFoundry على Kubernetes وهي بالتالي مُصممة للسحابة بطبيعتها. ومع ذلك، ورغم أن Kubernetes مُصمم للسحابة، إلا أن هناك العديد من الفروق الدقيقة بين توزيعات Kubernetes من AWS (EKS) وGCP (GKE) وAzure (AKS). ومن الأمثلة على هذه الفروق:
يفرض GKE Autopilot امتلاك نفس القيم لطلبات الموارد وحدودها، بينما لا يفرض ذلك AKS وEKS وGKE Standard.
يوفر EKS وGKE خيار التزويد التلقائي للعقد (auto-node provisioning)، بينما لا يوفر AKS طريقة لذلك.
يعد وقت تزويد العقد طويلاً جداً في AKS، مما يؤدي إلى سلوك توسع تلقائي (autoscaling) بطيء للغاية.
يتيح لنا كوننا صُممنا للسحابة إمكانية الوصول إلى الأجهزة المختلفة المقدمة من مختلف مزودي السحابة وخاصة في حالة وحدات GPU.
4. التكامل بدلاً من إعادة الاختراع: تتكامل TrueFoundry مع معظم الأنظمة الأكثر استخداماً بدلاً من إعادة اختراع العجلة. تقود هذه الفلسفة الكثير من قراراتنا المعمارية. قد يجعل هذا الرحلة أصعب علينا في بعض الأحيان لأنه ليس من السهل دائماً بناء التكاملاًت حيث لا تتوفر APIs قوية - ولكننا نقوم بالعمل الشاق لبناء تلك الـ APIs والواجهات حتى لا يحتاج مستخدمونا إلى تعلم أداة أخرى.
مصفوفة تعلم الآلة للتكرار السريع والأثر الملموس
يتطلب تعلم الآلة إعداد مصفوفة معقدة لعلماء البيانات من أجل التجريب والتسليم بسرعة.

من الناحية المثالية، يجب أن يقضي المطورون وقتاً أطول في الطبقة الخضراء العلوية بينما ينبغي تجريد الطبقات السفلى تماماً عنهم. توفر TrueFoundry مصفوفة مفتوحة وقابلة للتخصيص تعمل مع ما تستخدمه حالياً وتساعد علماء البيانات على التكرار والتطوير على التطبيقات دون التركيز على طبقات البنية التحتية الأساسية.
في المخطط أدناه، توفر TrueFoundry تدريب النماذج، وتقديمها (Serving)، وسجل النماذج (Model registry) لتسهيل بناء النماذج وتتبعها ونشرها على علماء البيانات.

مجموعة التكاملاًت الرئيسية التي توفرها TrueFoundry حالياً هي:
- CI/CD: Github Actions وBitbucket Pipelines وJenkins. ونحن نضيف تكاملاًت إضافية بناءً على طلب العملاء.
- Service Mesh: نعمل حالياً مع Istio. ونخطط لدعم موجهات Ingress ومزودي Service Mesh آخرين مثل Linkerd وNginx.
- المراقبة: يمكن مراقبة التطبيقات المنشورة عبر TrueFoundry باستخدام أي من أنظمة المراقبة الحالية لديك مثل Prometheus وCloudwatch وDataDog وNewRelic ومصفوفة ELK، وغيرها.
- إدارة التكاليف: نوفر إسناداً دقيقاً للتكاليف على مستوى كل خدمة/مساحة اسم (namespace) باستخدام OpenCost. كما توفر TrueFoundry رؤى للمطورين مباشرة لتقليل تكلفة خدماتهم.
- التحكم في الوصول: تتكامل TrueFoundry مع معظم مزودي الهوية (IDPs) مثل Okta وAuth0 وAzureAD وKeycloak باستخدام بروتوكولات OIDC أو SAML للمصادقة. وتأتي التفويضات لمساحات العمل المختلفة مدمجة في المنتج لتحديد الأذونات على مستوى تفصيلي.
- إدارة الأسرار: تتكامل TrueFoundry مع Hashicorp Vault وGCP Secrets Manager وAWS Parameter Store لإدارة الأسرار. ونخطط أيضاً لإضافة التكامل مع Azure Vault وAWS Secrets Manager.
- محرك سير العمل: تتكامل TrueFoundry مع ArgoWorkflows لتوفير محرك سير عمل يدعم أتمتة الذكاء الاصطناعي لعلماء البيانات.
معمارية TrueFoundry
توفر TrueFoundry معمارية قائمة على فصل المستويات (split plane architecture) والتي تتكون من المكونات الرئيسية التالية:
- مستوى التحكم (Control Plane): هذا هو عقل نظام TrueFoundry الذي يقوم بتنسيق عمليات النشر عبر مستويات الحوسبة المختلفة. نوفر مستوى تحكم مستضاف في خطتنا المعتادة. بالنسبة لعملاء المؤسسات (enterprise)، يمكن أيضاً نشر مستوى التحكم على السحابة الخاصة بالعملاء.
- مستوى الحوسبة (Compute Plane): هذا هو عنقود Kubernetes الذي يعمل عليه كود المستخدم. يوجد عميل (agent) على مستوى الحوسبة (tfy-agent) يتواصل مع مستوى التحكم وينفذ الأوامر الواردة منه. كود المستخدم الذي يصل إلى البيانات يعمل على مستوى الحوسبة - وبالتالي يجب أن يكون عنقود مستوى الحوسبة قريباً من البيانات.
3. واجهات العميل: يمكن للمطورين وعلماء البيانات التواصل مع واجهة المستخدم باستخدام python SDK، أو واجهة الويب الخاصة بنا، أو باستخدام أدوات CLI الخاصة بـ TrueFoundry مثل (servicefoundry وmlfoundry). تكشف TrueFoundry أيضاً عن APIs للعملاء لبناء سير عمل الأتمتة والموثقة هنا: https://docs.truefoundry.com/reference
4. خادم المصادقة: يوجد خادم مركزي للمصادقة الترخيص يتتبع جميع المؤسسات وأعضائها. يُستضاف هذا الخادم بواسطة TrueFoundry ويمكنه أيضاً التكامل مع مزودي IDPs الخارجيين لتوفير تجربة تسجيل دخول موحد (SSO) لجميع مستخدمينا.

مزايا هذه المعمارية
شبكات آمنة
لا يحتوي مكون tfy-agent على ingress وهو مسؤول عن بدء الاتصال بمستوى التحكم. يقوم بإعداد اتصال مشفر مستمر بمستوى التحكم ويتم التواصل عبره. تتيح هذه الطريقة للنظام العمل حتى لو كانت عناقيد مستوى الحوسبة خاصة أو في شبكات VPCs مختلفة. القيد الوحيد هو أن عنوان URL لمستوى التحكم يجب أن يكون ممكناً الوصول إليه من قبل جميع عناقيد مستوى الحوسبة. يمكنك أيضاً التحكم في الأذونات الممنوحة لـ tfy-agent باستخدام Kubernetes RBAC للوصول إلى مساحات اسم محددة.
اعتمادية مرنة على مستوى تحكم Truefoundry
مستوى تحكم Truefoundry مسؤول فقط عن تنسيق عمليات النشر في مستوى الحوسبة. ولا يقع في المسار الحرج لتدفق الطلبات إلى الخدمات المنشورة. لذا حتى إذا قمت بإزالة مستوى تحكم Truefoundry، ستستمر جميع الخدمات المنشورة في العمل بسلاسة. يساعد هذا الفصل بين موثوقية الخدمة وTruefoundry في ضمان عدم وقوع Truefoundry في المسار الحرج لموثوقية الخدمة.

إدارة فعالة متعددة العناقيد
يوفر مستوى تحكم Truefoundry شاشة عرض موحدة لرؤية جميع عناقيد kubernetes عبر مزودي السحب المتعددة والمواقع المحلية (on-prem) في الشركة. كما يجعل ذلك من السهل جداً نقل أعباء العمل من عنقود إلى آخر باستخدام ميزة الاستنساخ والترقية (Clone and Promote).

تكلفة وصيانة أقل
عميل Truefoundry هو مكون خفيف الوزن جداً يستقر على كل عنقود منفرد، بينما يلزم وجود نسخة واحدة فقط من مستوى التحكم. يحتاج مستوى التحكم إلى موارد أكثر (3CPU و6GB RAM) بينما يحتاج العميل فقط إلى 0.2 CPU و400MB RAM. مع زيادة حجم حركة المرور والفرق، نحتاج عادةً إلى إضافة المزيد من العناقيد بناءً على المناطق أو الفرق. ولكن لا يلزم تكرار مستوى التحكم، مما يتيح تكلفة وصيانة أقل.
نظرة داخل مستوى تحكم Truefoundry
يتكون مستوى تحكم Truefoundry من خدمات دقيقة متعددة تقوم بتنسيق عمليات النشر وتخزين البيانات الوصفية للنماذج، إلخ. المكونات الرئيسية لمستوى تحكم Truefoundry هي:
- واجهة الويب (Web UI)

2. خدمات دقيقة لتنسيق عمليات النشر: يتكون مستوى التحكم من بضع خدمات دقيقة لتنسيق عمليات النشر عبر العناقيد وتخزين التحديثات المباشرة مؤقتاً (caching) من جميع العناقيد المتصلة في مستوى الحوسبة.
3. قاعدة بيانات Postgres: تُستخدم لتخزين جميع المعلومات حول الفرق، والخدمات المنشورة، وبياناتها الوصفية.

عنقود مستوى الحوسبة
نحتاج إلى تثبيت بضعة مكونات على عنقود مستوى الحوسبة للاستفادة الكاملة من Truefoundry. القائمة كالتالي:
- tfy-agent (مطلوب): هذا هو truefoundry-agent الذي يبدأ الاتصال بمستوى التحكم ويساعد في تنسيق التعليمات من مستوى التحكم.
- ArgoCD (مطلوب): يُستخدم ArgoCD لتطبيق جميع البيانات المنيفيست (manifests) على عنقود Kubernetes. وهذا أفضل من إجراء helm install لأن متحكم ArgoCD يضمن تزامن الحالة الداخلية مع الحالة المطلوبة في المنيفيست ولا يكون عرضة لأخطاء تثبيت helm.
- Istio (مطلوب حالياً، وسيكون اختيارياً في المستقبل): نعتمد حالياً على Istio كموجه ingress للعنقود. نحن لا نفرض تشغيل Istio sidecars ويمكن تمكينها اختيارياً إذا لزم الأمر لحالات الاستخدام مثل mutual TLS. ونخطط أيضاً لاستخدام APIs الخاصة بـ Gateway في Kubernetes والتي ستسمح لنا بالعمل مع موجهات ingress متعددة مثل Nginx وLinkerd وTraefik، وغيرها.
- Argo Workflows (مطلوب فقط لتشغيل الوظائف): نستخدم ArgoWorkflows لتشغيل جميع الوظائف داخل العنقود بسبب الخيارات الأكثر تقدماً التي يوفرها مقارنة بوظائف Kubernetes.
- Argo Rollouts (مطلوب): نستخدم ArgoRollouts لدعم نشر Canary وBlueGreen على Kubernetes. هذا شرط أساسي مطلوب حالياً، ولكنه سيكون اختيارياً في المستقبل.
- Prometheus (اختياري): هذا اعتماد اختياري يلزم لعرض المقاييس مثل المعالج والذاكرة وعدد الطلبات للخدمات.
- Keda (اختياري): هذا اعتماد اختياري يلزم إذا كنت تريد تمكين التوسع التلقائي (autoscaling) لأعباء العمل لديك.
- Loki (اختياري): يساعد هذا في تجميع السجلات وهو اعتماد اختياري. يمكنك دائماً استخدام أي مجمع سجلات آخر ترتاح له مثل ELK Stack وCloudwatch وDatadog، إلخ.
- برامج التشغيل Drivers (EFS, EBS, GPU): تلزم هذه إذا كنت بحاجة إلى دعم GPU أو وحدات التخزين (volume) في عنقودك.
- متحكم Notebook (اختياري): يلزم هذا إذا كنت تريد توفير Notebooks على عنقود Kubernetes.
القيود على صورة AMI لعنقود Kubernetes
يمكن لـ Truefoundry العمل مع أي صور AMI أساسية بما في ذلك Bottlerocket على AWS. نظرًا لأن العميل مجرد مخطط helm مثل أي مخطط آخر يعمل على Kubernetes، فليس لدينا أي قيود أو متطلبات من صور AMI الأساسية ويمكن تشغيله على أي صور AMI بما في ذلك الأجهزة المباشرة (bare metal).
الأذونات الخاصة بـ tfy-agent
يقوم tfy-agent بجميع الإجراءات على مستخدم Kubernetes نيابة عن المستخدمين المسجلين في منصة truefoundry. وبالتالي فهو يتطلب وصول المسؤول (admin) على مجموعة معينة من مساحات الاسم (namespaces) التي يُسمح للمستخدمين بنشر التطبيقات عليها. لدينا وظيفة لإدراج مساحات اسم معينة في القائمة السوداء أو القائمة البيضاء ويمكن للعميل تنفيذ الإجراءات على مساحات الاسم تلك فقط.
المصادقة في Truefoundry
تعتمد Truefoundry على خادم مصادقة يستقر على خوادمنا للترخيص والمصادقة.
التفويض في Truefoundry
توفر Truefoundry تحكماً دقيقاً في RBAC على مستوى المستأجر (tenant) والعنقود ومساحة العمل ومستودع تعلم الآلة (ML repo). لفهم آليات RBAC في Truefoundry، يمكنك قراءة وثائقنا هنا: https://www.truefoundry.com/docs/platform/manage-user-roles-and-permissions
تقع جميع قواعد التفويض في جدول Postgres في مستوى التحكم ويتم التحقق من كل استدعاء API لمعرفة ما إذا كان المستخدم مخولاً لإجراء هذا الاتصال.
مسار بناء الصور في مستوى التحكم
توفر Truefoundry مساراً أساسياً لبناء الصور محسناً لبناء الصور بسرعة كبيرة على Kubernetes. في حال كنت تريد تخصيص مسار بناء الصور لتضمين الفحوصات الثابتة أو أدوات فحص الثغرات الأخرى، فهناك نهجان:
- يمكنك الاستمرار في استخدام مسار CI الخاص بك لبناء الصور ثم تقديم المعرف URI للصورة المبنية كمدخلات لعمليات نشر Truefoundry.
- يمكنك تخصيص مسار بناء Truefoundry لتضمين المكونات التي تريدها. إنه ينطوي أساساً على ArgoWorkflow وبما أنك تمتلك مستوى التحكم في خطة المؤسسات (Enterprise)، فأنت حر في تخصيصه كيفما تشاء.
إدارة الأسرار في Truefoundry
تتكامل Truefoundry مع أكثر مخازن إدارة الأسرار شيوعاً. وهي لا تخزن قيم الأسرار لديها بل تخزن المسار إلى تلك الأسرار فقط.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






