نشر LLMs نطاق واسع

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
قد يكون نشر Large Language Models (LLMs) المفتوحة المصدر على نطاق واسع مع ضمان الموثوقية وزمن الانتقال المنخفض وفعالية التكلفة مهمة مليئة بالتحديات. انطلاقًا من خبرتنا الواسعة في بناء البنية التحتية لـ LLM ونشرها بنجاح لعملائنا، قمت بتجميع قائمة بالتحديات الرئيسية التي يواجهها الأفراد عادةً في هذه العملية.
المشكلات الرئيسية في نشر LLMs
العثور على الطريقة الأكثر مثالية لاستضافة مثيل واحد من النموذج
توجد خيارات متعددة لخوادم النماذج لاستضافة LLM ومعلمات تهيئة مختلفة لضبطها للحصول على أفضل أداء لحالة الاستخدام الخاصة بك. تُعد خوادم TGI وVLLM وOpenLLM من أكثر أطر العمل شيوعًا لاستضافة هذه الـ LLMs. يمكنك العثور على تحليل مفصل في هذه المدونة. لاختيار إطار العمل المناسب لاستضافتك، من المهم قياس أداء أطر العمل هذه لحالة الاستخدام الخاصة بك واختيار الإطار الذي يناسب حالة الاستخدام الخاصة بك بشكل أفضل. أيضًا، تحتوي أطر العمل هذه على معلمات قابلة للضبط خاصة بها والتي يمكن أن تساعدك في استخراج أفضل نتائج قياس الأداء.
العثور على أسطول من GPUs
إن GPUs مكلفة وصعبة العثور عليها. هناك العديد من مزودي السحابة لـ GPU والذين يتنوعون بين السحابات البارزة مثل AWS وGCP وAzure إلى مزودي السحابة صغار النطاق مثل Runpod وFluidstack وPaperspace وCoreweave. هناك تفاوت كبير في الأسعار والعروض الخاصة بكل من هؤلاء المزودين. كما تظل الموثوقية مصدر قلق مع بعض مزودي السحابة الجدد لـ GPU.
الحفاظ على الموثوقية
هذا عمليًا أصعب مما يبدو. من واقع خبرتنا في تشغيل LLMs في الإنتاج، يجب أن تكون مستعدًا لأخطاء فردية غريبة في خوادم النماذج والتي يمكن أن تترك عمليتك معلقة وتتسبب في انتهاء مهلة جميع الطلبات. من المهم جدًا إعداد مديري عمليات ومسبارات جاهزية/حيوية (readiness/liveness probes) مناسبة حتى تتمكن خوادم النماذج من التعافي من الإخفاقات أو يمكن لحركة المرور الانتقال بسلاسة من مثيل غير سليم إلى مثيل سليم.
ضمان معدل إنتاجية عالٍ عند زمن انتقال منخفض
أثناء قياس الأداء، من المهم جدًا تحديد الموازنة بين زمن الانتقال ومعدل الإنتاجية. مع زيادة عدد الطلبات المتزامنة إلى النموذج، سيزداد زمن الانتقال قليلاً حتى نقطة معينة، وبعد ذلك يتدهور زمن الانتقال بشكل حاد. قد يكون العثور على التوازن الصحيح بين زمن الانتقال ومعدل الإنتاجية والتكلفة مستهلكًا للوقت وعرضة للأخطاء. لدينا بضع مدونات توضح مثل هذه المقاييس لـ Llama7B وLlama13B.
ضمان وقت بدء تشغيل سريع للنموذج
نماذج LLM ضخمة الحجم - تتراوح من 10s إلى 100GB. قد يستغرق الأمر وقتًا طويلاً لتنزيل النموذج بمجرد تجهيز خادم النموذج، ثم تحميلة من القرص إلى الذاكرة. من الضروري تخزين النموذج مؤقتًا على القرص حتى لا نضطر لتنزيل النموذج مرة أخرى في حالة إعادة تشغيل العملية. كذلك لتوفير تكاليف الشبكة، من الأفضل تنزيل النموذج مرة واحدة ومشاركة القرص بين عدة نسخ مكررة بدلاً من أن تقوم كل نسخة مكررة بتنزيل النموذج بشكل متكرر عبر الإنترنت.
إعداد التوسع التلقائي (Autoscaling)
التوسع التلقائي أمر معقد في حالة استضافة LLM بسبب وقت البدء الطويل لنسخة مكررة أخرى. إذا كان الحمل ذو قمم حادة، فسنحتاج عادةً إلى توفير البنية التحتية وفقًا للنسخ المكررة في وقت الذروة - ومع ذلك، إذا كانت الذروة متوقعة في أوقات معينة من اليوم، فإن التوسع التلقائي القائم على الوقت يعمل بشكل جيد.
كيف تنقل LLMs إلى الإنتاج؟
- ابدأ بفياس أداء LLM مع خوادم نماذج وGPU ومعلمات مختلفة لمعرفة المكان الذي تحصل فيه على أفضل أداء. من الناحية المثالية، يجب أن تكون لديك بيانات من قياس الأداء مشابهة لما لدينا في هذه المدونة لـ Llama7B.
- يمكنك إعداد النماذج على عدة GPUs على Kubernetes أو على مثيلات bare metal. نوصي مثاليًا بـ Kubernetes لأنك تحصل على جميع فحوصات الصحة والتوجيه وتجاوز الفشل مجانًا.
- ضع النموذج في وحدة تخزين مشتركة مثل EFS حتى لا يتم تنزيل النماذج بشكل متكرر وقم بتوصيل وحدة التخزين بجميع pods.
- قم بإعداد المراقبة والتنبيه على المثيلات.
- من الناحية المثالية، احرص على وجود طبقة يمكنها حساب عدد الـ tokens لك في كل طلب لأنه من الأسهل فهم نمط حركة المرور القادمة.
- راقب نمط حركة المرور واضبط سياسة التوسع التلقائي وفقًا لذلك.
- احتفظ بمزيج من مثيلات spot والمثيلات حسب الطلب (on-demand) لتقليل التكاليف.
بنية استضافة LLMs على نطاق واسع
بدأنا بالنهج أعلاه، ولكن سرعان ما انتقلنا إلى البنية أدناه والتي تتيح لنا استضافة LLMs بتكاليف منخفضة جدًا وموثوقية عالية.

نقوم أساسًا بإنشاء مجمعات GPU متعددة على مزودي سحابة مختلفين في مناطق مختلفة وغالبًا ما نستخدم مثيلات spot إذا كانت إحدى سحابات AWS أو GCP أو Azure أو عقدًا حسب الطلب من مزودي السحابة الأصغر. نضع أيضًا قائمة انتظار في المنتصف والتي تتلقى جميع الطلبات وتستهلك مجمعات GPU المختلفة من قائمة الانتظار وتعيد الاستجابة إلى قائمة الانتظار حيث يتم إرجاع استجابة HTTP إلى المستخدم. تشمل بعض مزايا هذه البنية ما يلي:
- موثوقية عالية مع مثيلات spot: لأننا نقوم بتوزيع الحمل عبر مثيلات spot من مزودي سحابة ومناطق متعددة، فإن فرص توقف جميع مثيلات spot تصبح ضئيلة للغاية ويمكن لكل مجمع أن ينمو لاستيعاب الحمل عندما يتوقف أحد المجمعات.
- تضيف قائمة الانتظار موثوقية إضافية تحت الحمل العالي: ستبدأ خدمة HTTP في إرجاع أخطاء 503 إذا كانت هناك ارتفاعات مفاجئة. بفضل وجود قائمة الانتظار في المنتصف، يمكننا تحمل أعباء العمل ذات الارتفاعات المفاجئة - هناك زيادة طفيفة في زمن الانتقال للطلبات أثناء الذروة، لكنها لا تفشل. تتسبب إضافة قائمة الانتظار في المنتصف في زيادة زمن الانتقال الإجمالي بنحو 10-20 مللي ثانية، وهو أمر جيد لحالة استخدام استنتاج LLM حيث يكون زمن انتقال الاستنتاج الإجمالي في حدود الثواني.
- تقليل التكلفة: يساعد هذا في تقليل التكلفة بشكل كبير مقارنة باستضافة LLMs على مثيلات حسب الطلب - سنجري مقارنة مفصلة للتكاليف أدناه.
- تحليلات مفصلة: تساعدنا طبقة بوابة LLM في حساب التحليلات المفصلة حول الطلبات الواردة ويمكنها أيضًا حساب توزيع الـ tokens بين الطلبات. يمكننا أيضًا البدء في تسجيل الطلبات لتمكين الضبط الدقيق لاحقًا.
- عدم الاعتماد على مزود سحابة واحد: تتيح لنا هذه البنية استبدال مزود GPU الخاص بنا بمزود آخر بسهولة إذا وجدنا سعرًا أفضل في مكان ما دون أي وقت توقف. أيضًا في حالة تعطل أحد المزودين، فإن المجمعات الأخرى تبقي النظام يعمل بسلاسة!
تقليل التكلفة لاستضافة LLMs
دعنا نأخذ سيناريو استضافة LLM مع 10 طلبات في الثانية (RPS) عند الذروة و7 طلبات في الثانية في المتوسط. لنفترض أننا نكتشف باستخدام قياس الأداء أن جهاز GPU واحد من طراز A100 80GB يمكنه إجراء 0.5 RPS. لنأخذ في الاعتبار أيضًا أن حركة المرور تكون أكبر لمدة 12 ساعة في اليوم (حوالي 9-10 RPS) ومنخفضة للـ 12 ساعة المتبقية في اليوم (7-8 RPS).
بناءً على البيانات أعلاه، يمكننا العثور على عدد أجهزة GPU المطلوبة في نافذة الذروة البالغة 12 ساعة ونافذة غير الذروة البالغة 12 ساعة:
نافذة الذروة (12 ساعة): 20 GPU
نافذة غير الذروة (12 ساعة): 15 GPU
سنقارن تكلفة تشغيل LLM باستخدام Sagemaker، والاستضافة بسذاجة على أجهزة حسب الطلب في AWS وGCP وAzure واستخدام البنية الخاصة بنا مع التوسع التلقائي.
تكلفة الاستضافة على Sagemaker (منطقة us-east-1):
تكلفة جهاز 8 A100 80GB من طراز (ml.p4de.24xlarge) -> $47.11 لكل ساعة
سنحتاج إلى جهازين خلال ساعات غير الذروة و3 أجهزة خلال ساعات الذروة.
إجمالي التكلفة الشهرية: $85K
تكلفة الاستضافة على عقد AWS مباشرة:
تكلفة جهاز 8 A100 80GB من طراز (p4de.24xlarge) -> $40.966 لكل ساعة
سنحتاج إلى جهازين خلال ساعات غير الذروة و3 أجهزة خلال ساعات الذروة:
إجمالي التكلفة الشهرية: $73K
تكلفة الاستضافة على Truefoundry
باستخدام مثيلات spot ومزودي GPU الآخرين، تمكنا من خفض متوسط أسعار GPU إلى 2.5 دولار للساعة. بفرض 15 GPU خلال ساعات غير الذروة و20 GPU خلال ساعات الذروة، ستكون التكلفة الإجمالية:
$2.5 * (15*12 + 20*12) * 30 (يومًا في الشهر) = $31K
كما ترون، نحن قادرون على استضافة نفس الـ LLM بنسبة 30% تقريبًا من سعر Sagemaker مع موثوقية عالية. ومع ذلك، سيطلب الأمر جهودًا لبناء هذه البنية وصيانتها. يمكن لـ TrueFoundry مساعدتك في استضافتها لك أو استضافتها على حسابك السحابي الخاص دون أي متاعب مع توفير التكاليف في نفس الوقت.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






