فريق مكون من شخصين يقدم النموذج لـ 1.5 مليون شخص باستخدام TrueFoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
في الأشهر القليلة الماضية، أتيحت لنا الفرصة للعمل مع فريق صغير وموهوب للغاية. لقد طوروا نموذج تعلم عميق أحدث ما توصل إليه العلم، وأقاموا شراكات لشحنه وتوفيره لأكثر من 10 ملايين مستخدم.
كانت القطعة الأخيرة المفقودة في قصة نجاحهم هي التعامل مع الجانب الهندسي لتحقيق ذلك. كان النموذج يتطلب قدرات حسابية عالية، وبالحجم الذي أرادوا تقديم هذا النموذج من خلاله لمستخدميه النهائيين، كانوا بحاجة إلى بنية تحتية موثوقة وعالية الأداء يمكن لشخصين فقط إدارتها (مهندس DevOps واحد ومهندس ML واحد).
الحاجة إلى النشر غير المتزامني (Async Deployment)
تم بناء النموذج لمعالجة مدخلات صوتية بأحجام مختلفة. ونظرًا لأن النموذج كان يستغرق وقتًا طويلاً في المعالجة (بمتوسط 5 ثوانٍ تقريبًا)، فقد كان بحاجة إلى استدلال غير متزامن (async inference) لكل طلب لمعالجة هذه الطلبات والاستجابة لها.
طور الفريق البنية التحتية على AWS SageMaker
أنشأ الفريق بنيته التحتية الأولية لتقديم النموذج على SageMaker. ومع ذلك، عندما أجروا أول تجربة أوليّة باستخدام هذا التصميم، أدركوا أن تقديم النموذج بموثوقية وبالحجم المطلوب سيكون صعبًا باستخدام هذه البنية.
واجه المستخدمون تأخيرات تتراوح بين 8 و10 دقائق
حتى بعد استخدام الإعداد غير المتزامن (Async)، وبسبب الوقت الذي استغرقته الآلات للتوسع (8-10 دقائق لكل آلة)، تأثرت تجربة المستخدم النهائي عندما اضطر للتحمل هذا التأخير.

ومع ذلك، خلال إثبات المفهوم (PoC)، واجهوا تأخيرات كبيرة في أوقات الاستجابة. ولأنهم كانوا جديدين على العديد من عناصر التحكم المتعلقة بـ SageMaker، فقد أضاعوا وقتًا حرجًا في البحث عن سبب التأخير. وكانت بعض التحديات التي واجهوها هي:
- صعوبة التعلم: وجد علماء البيانات ومؤهلو ML صعوبة في فهم المفاهيم الجديدة المطلوبة لاستخدام SageMaker.
- رؤية محدودة: كان إجراء تحليل الأسباب الجذرية للمشكلات، خاصة في بيئة الإنتاج، أمرًا صعبًا بسبب لوحات التحكم والواجهات غير المباشرة.
- صعوبة التوسع: كان التوسع في SageMaker بطيئًا، مما تسبب في تأخير استجابات المستخدمين وتجربة عملاء سيئة.
- حصة مخصصة مستقلة (Separate Quota): تتطلب AWS تقديم طلب منفصل للحصول على سعة لآلات GPU المحجوزة لـ SageMaker. وجد الفريق هذه العملية بطيئة ومقيدة.
- مكلفة: كان استخدام GPUs مع SageMaker مكلفًا للفريق لأن SageMaker يرفع أسعار هذه الآلات بنسبة 25-40% مقارنة بـ EKS الخام.
بعد إثبات المفهوم (PoC)، فقد الفريق الثقة في SageMaker وقرروا أنهم بحاجة إلى حل يمكن لشخصين (مهندس ML واحد ومهندس DevOps واحد) من خلاله خدمة جمهورهم المستهدف البالغ أكثر من 10 ملايين مستخدم.
نشر النظام على TrueFoundry في أقل من يومين
عندما بدأنا التواصل مع الفريق، كانت تجربتهم الأوليّة على بعد ~7 أيام. أVisualنا الفريق بأننا نستطيع مساعدتهم في نقل البنية التحتية بالكامل وإعادة بنائها باستخدام وحدات TrueFoundry في أقل من يومين، حتى يحصلوا على وقت كافٍ للاختبار قبل الانتقال بالتجربة إلى بيئة الإنتاج.

توسع أسرع بكثير
أجرى الفريق اختبارات قياسية عن طريق إرسال دفعة مفاجئة من 88 طلبًا إلى النموذج لقياس الأداء مقارنة بـ SageMaker. قامت TrueFoundry بالتوسع تلقائيًا أسرع بنسبة 78% من SageMaker، مما منح المستخدم استجابات أسرع بكثير. كان الوقت الإجمالي المستغرق للاستجابة للاستعلام أسرع بنسبة 40% مع TrueFoundry.
توسع موثوق إلى أكثر من 150 عقدة (Nodes)
تمكن الفريق ببساطة من توسيع التطبيق إلى أكثر من 150 عقدة GPU لأنها:
- سهلة التهيئة: كان عليهم فقط تغيير وسيط (argument) على واجهة المستخدم ويمكنهم بسهولة تهيئة قواعد التوسع التلقائي بناءً على تراكم الطلبات الواردة. كان هذا ليتطلب بخلاف ذلك مراجعات وتنسيقات متعددة مع فريق الهندسة.

- زيادة حصة GPU: مع TrueFoundry، كان بإمكانهم استخدام كل من Spot وRaw ECS. ونظرًا للنقص في معالجات GPU لدى مزودي السحابة، وفرت TrueFoundry أيضًا للفريق خيار التوسع عبر مزودي GPU ومناطق مختلفين.

- استخدام Spot والتوسع التلقائي: لم يضطر الفريق إلى بذل أي جهد إضافي لتهيئة استخدام Spot Instances لخدماتهم. كما تم تقليص الحجم تلقائيًا عند انخفاض حركة المرور. باستخدام آلية الموثوقية في TrueFoundry لاستخدام Spot وإعدادات التوسع التلقائي، وفر الفريق أكثر من 100 ألف دولار خلال فترة التجربة الأوليّة.
- بيئة التطوير والعروض التوضيحية (Dev and Demo): قام الفريق أيضًا بنشر خدمة Dev وDemo للنموذج لجمع الملاحظات مع تقليص حجم الآلات عند عدم الاستخدام.
تمت خدمة 1.5 مليون مستخدم بالفعل والعدد يزداد يوميًا!
باستخدام TrueFoundry، يمكن للفريق المكون من شخصين إدارة عبء العمل بالكامل، والذي يتوسع غالبًا إلى أكثر من 150 عقدة GPU!! بمفردهما. أثناء العمل معنا، كان أبرز ما لفت انتباه الفريق هو دعم العملاء وسرعة الاستجابة لدينا. TrueFoundry مستثمرة في نجاح عملائها وتأمل أن يستمر جميع عملائنا في التوسع وإحداث تأثير بمستويات مماثلة لهذا المشروع!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






