رؤية TrueFoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
الرؤية العامة: منصة مطورين تيسر إنشاء وإدارة الخدمات وفقًا لجميع أفضل الممارسات، وتوفر صورة شاملة وكاملة للبنية التحتية بما في ذلك مراقبة الأنظمة والبيانات والتكلفة والأثر، مع التركيز الأولي على Machine Learning!
رؤية TrueFoundry (خلال 5–10 سنوات)
تهدف TrueFoundry في جوهرها إلى جعل تجربة المطور سلسة لشغيل وإدارة MicroServices — حيث يمكن للمطورين، باستخدام المستوى المناسب من التجريدات، التركيز فقط على كتابة منطق العمل بسرعات تكرار عالية جدًا.
تخيل مسار عمل حيث بعد كتابة الكود — يمكنني استدعاء مارد وإخباره بمتطلباتي مثل نوع الخدمة (Serverless، CronJob، Database، خدمة API)، ومتطلبات الموارد مثل CPU والذاكرة وما إلى ذلك، فيقوم المارد بإنشاء الخدمة وفقًا لأفضل الممارسات مثل Gitops والبنية التحتية ككود (IAC)، ثم يعرض لوحة تحكم تحتوي على جميع المتركس التي تم إنشاؤها.
نريد أن نكون قادرين على تحقيق الأمور التالية باستخدام servicefoundry:
توفير البنية التحتية المركزية باستخدام IAC
ستقوم ServiceFoundry بتوفير واستضافة مكونات البنية التحتية مفتوحة المصدر الأكثر استخدامًا على سحابة المستخدم. ومن الأمثلة على ذلك:
- إطلاق كلاستر Kubernetes مع تهيئة أفضل ممارسات الأمان.
- تثبيت مكونات البنية التحتية المركزية (أو استخدام الخدمات المدارة) مثل Kafka وSpark وRedis وPrometheus وGrafana وغيرها.
- يمكننا استخدام الخدمات المدارة عبر السحابة لبعضها مثل AWS Elastic Search.
- إطلاق قواعد البيانات وطبقات التخزين (استخدام النسخ المدارة في الوقت الحالي).
- أنظمة تنسيق أنابيب العمل مثل Airflow وArgo وغيرها.
- CI / CD (مثل Github Actions وGitlab وAWS Code pipelines).
- تجميع السجلات (ELK وEFK).
- المراقبة (المتركس القياسية والمخصصة).
- الإشعارات والإنذارات (Alerting).

إنشاء الخدمة
- بناء ونشر الخدمات بناءً على قوالب قابلة للتهيئة. ستكون ServiceFoundry مجموعة من المبادئ الموجهة لأتمتة ما يلي من خلال البنية التحتية ككود:
- إدارة التبعيات والحزم (Docker وZip).
- الاختبار (Testing).
- إدارة التهيئة (التكوينات الثابتة والمتغيرة ديناميكيًا).
- توفير البنية التحتية (فوق البنية التحتية المركزية التي تم توفيرها سابقًا).
- تهيئة التوسع التلقائي (Autoscaling).
- CI/CD.
- تجميع السجلات.
- إنشاء لوحات التحكم مع المتركس القياسية (يمكن للمستخدمين إضافة متركس مخصصة).
- التنبيهات (Alerting).
على غرار ما سبق، نريد أيضًا القيام بنفس الشيء بالنسبة لـ ML Models وقواعد البيانات.

ستهدف ServiceFoundry إلى تبسيط نشر ومراقبة الأنواع القياسية من الخدمات:
- خدمة LoadBalanced Api Service (مع التوسع التلقائي بناءً على معلمات مختلفة).
- خدمة Job Service (مهام Cron، والمهام التي يتم إطلقها بواسطة الأحداث).
- Serverless.
- الخدمات ذات الحالة (Stateful Services).
- موقع إلكتروني ثابت (Static Website).
كتالوج الخدمات والرسم البياني (Service Catalog and Graph)
يمكن عرض جميع الخدمات التي يتم إنشاؤها باستخدام ServiceFoundry في مكان واحد إلى جانب بياناتها الوصفية الكاملة. سيظهر هذا الكتالوج أيضًا جميع البيئات لكل تطبيق مثل dev وstaging وprod. يؤدي هذا إلى بوابة منصة مطورين حيث يمكن للمطورين وقادة الأعمال عرض الخدمات التي تعمل في المؤسسة. تشمل بعض البيانات الوصفية الرئيسية المرتبطة بكل خدمة ما يلي:
- رابط مستودع Github.
- التهيئة (Configuration).
- روابط المراقبة.
- الفريق والمالكون.
- القدرة على إضافة أعضاء بصلاحيات وصول مختلفة.
- التكلفة.


TrueFoundry MLOps (منصة تركز على ML أولاً)
سيكون التركيز الأولي لـ TrueFoundry هو توفير منصة MlOps سلسة تركز على خط أنابيب ما بعد بناء النموذج وتجعل من السهل جدًا على علماء البيانات نشر نماذجهم ومراقبتها وإعادة تدريبها.
يتكون خط أنابيب تعلم الآلة (machine learning pipeline) من البنية التحتية المركزية التالية:

شرح مختصر للخطوات المختلفة المشاركة:
- خط أنابيب البيانات ومخزن الميزات (Data Pipeline and Feature Store): هذه في الأساس مشكلة بيانات ضخمة حيث نحتاج إلى حساب الميزات المستخدمة في النموذج من بحيرة البيانات وتوفيرها ضمن القيود الزمنية المطلوبة لكل من التدريب والإنتاج دون أي تباين. عادةً ما تـُستخدم محركات تنسيق سير العمل مثل Airflow وArgo وKubeflow pipelines.
- تدريب النموذج (Model Training): تدريب النموذج هو في الأساس مهمة موزعة كثيفة الحوسبة يمكن أن تعمل عبر أجهزة متعددة. ويجب أن توفر أيضًا مرونة مدمجة عبر حفظ واستعادة نقاط الفحص (checkpoints).
- تقديم النموذج (ModelServing): هذه في الأساس Microservice تستقبل طلبات لإجراء توقعات النموذج ويمكن أن تكون لها متطلبات متنوعة مثل GPU ومتطلبات حوسبة وذاكرة عالية. يتم عادةً استضافة كل نموذج كـ microservice واحدة — ومن ثم عندما يتوسع الفريق إلى عشرات النماذج، تحل مشكلة إدارة عشرات الـ microservices والتي تشكل في حد ذاتها تحديًا كبيرًا.
- مراقبة النموذج (ModelMonitoring): يشمل ذلك مراقبة متركس النظام والمراقبة الخاصة بـ Machine Learning والمتعلقة بالأداء وتراجع كفاءة النموذج. يتطلب هذا أيضًا أنظمة لتخزين البيانات المسجلة، وإجراء التجميعات عليها، وفي النهاية حساب المتركس.
- إدارة النموذج (Model Management): تتبع هذه العملية جميع البيانات المتعلقة بالنماذج وإصداراتها المختلفة وتجاربها. وهي مفيدة للغاية لتصحيح الأخطاء لاحقًا والتراجع عن التغييرات (rollback).
بسبب وجود العديد من الأجزاء المتحركة والتقنيات المختلفة، عادة ما يشارك أشخاص متعددون في مشروع ML مثل مهندس البيانات (DataEngineer)، وعالم البيانات (Datascientist)، ومهندس ML، وفريق Devops، ومدير المنتج. يتطلب المشروع الناجح والتنسيق بين جميع هذه الشخصيات المختلفة، مما يؤدي إلى الكثير من التأخير ويُعيق سرعة عالم البيانات.
يبدو سير العمل النموذجي في الشركات لخط أنابيب تعلم الآلة كالتالي:

الهدف الرئيسي وراء منصة ML
نريد أتمتة الأجزاء في خط أنابيب ML التي يمكن أتمتتها وتمكين عالم البيانات من اختبار نماذجه في بيئة الإنتاج والتكرار بسرعة مع أقل قدر ممكن من الاعتماد على الفرق الأخرى. نستمد دافعنا من المنتجات التي أنشأتها فرق المنصات (Platform teams) في كبرى شركات التكنولوجيا والتي تسمح لجميع الفرق بالتحرك بسرعة أكبر والنشر والتكرار بمفردها.
نحن لا نتعامل مع أي من المشكلات المتعلقة بالبيانات الآن — وسيتم تقديم هذا القسم لاحقًا.
تتكون منصة ML الرئيسية من الخدمات التالية (بصرف النظر عن البنية التحتية المركزية):
- التدريب (مهمة مجدولة مع مشغلات مختلفة).
- خدمة النموذج (LoadBalanced API Service).
- التخزين (المخرجات/Artifacts، مجموعات البيانات، بيانات استدلال النموذج).
- خدمة مراقبة ML (خدمة لحساب المتركس من البيانات).
- خدمة هندسة الميزات (Feature Engineering Service).
إذا كان بإمكاننا نشر هذه الخدمات بسهولة، والحفاظ على التحكم بالإصدارات عبر المراحل المختلفة، وإنشاء مراقبة لكل منها، فستصبح مشكلة ML Ops مشكلة أسهل بكثير.
تم نشر هذه المدونة لأول مرة على Medium عبر الرابط https://abhishekch09.medium.com/d8e159743a4b
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






