قياس أداء Llama-2-13B

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
نقوم بقياس أداء LLama2-13B في هذه المقالة من منظور زمن الاستجابة، والتكلفة، وعدد الطلبات في الثانية. سيساعدنا هذا في تقييم ما إذا كان خيارًا جيدًا بناءً على متطلبات الأعمال. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذه المقالة - هناك طرق مختلفة للمقارنة بين LLMs والتي يمكن العثور عليها هنا.
النموذج: Llama2-13B
في هذه المدونة، قمنا بقياس أداء نموذج Llama-2-13B من NousResearch. هذه نسخة مدربة مسبقًا من Llama-2 تحتوي على 13 مليار معلمة (parameter).
قامت Meta بتطوير وإصدار عائلة Llama 2 من النماذج اللغوية الكبيرة (LLMs) علنًا، وهي مجموعة من النماذج النصية التوليدية المدربة مسبقًا والُمعدلة دقيقًا تتراوح حائلتها من 7 مليارات إلى 70 مليار معلمة.
المقاييس التي يتم قياسها
- الطلبات في الثانية (RPS): الطلبات في الثانية التي يتعامل معها النموذج. مع وجود RPS أعلى، عادةً ما يرتفع زمن الاستجابة.
- زمن الاستجابة (Latency): كم من الوقت يستغرق إكمال طلب الاستدلال (inference request)؟
- الجانب الاقتصادي: ما هي التكاليف المرتبطة بنشر LLM؟
حالات الاستخدام وأنماط النشر المقاسة
العوامل الرئيسية التي قمنا بقياس الأداء عبرها هي:
نوع GPU:
- A100 40GB GPU
- 2 x A10 24GB GPU
طول المطالبة (Prompt Length):
- 1500 رمزا مدخلا (Input tokens)، و100 رمز مخرج (output tokens) (مشابهة لحالات استخدام Retrieval Augmented Generation)
- 50 رمزا مدخلا، و500 رمز مخرج (حالات الاستخدام الكثيفة التوليد)
إعداد قياس الأداء
لإجراء قياس الأداء، استخدمنا locust، وهي أداة مفتوحة المصدر لاختبار التحميل. تعمل Locust عن طريق إنشاء مستخدمين/عمال لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا ضبط Number of Users و Spawn Rate. هنا يرمز Number of Users إلى الحد الأقصى لعدد المستخدمين الذين يمكن إنشاؤهم/تشغيلهم في وقت واحد، بينما يرمز Spawn Rate إلى عدد المستخدمين الذين سيتم إنشاؤهم في الثانية.
في كل اختبار قياس أداء لتكوين النشر، بدأنا من مستخدم 1 وواصلنا زيادة Number of Users تدريجيًا حتى رأينا زيادة مستقرة في RPS. خلال الاختبار، قمنا أيضًا برسم بياني لـ response times (in ms) و total requests per second.
في كل من تكويني النشر، استخدمنا خادم نموذج huggingface text-generation-inference الذي يحتوي على version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لتكوينات النماذج المختلفة:
ملخص نتائج قياس الأداء
زمن الاستجابة، وRPS، والتكلفة
نحسب أفضل زمن استجابة بناءً على إرسال طلب واحد فقط في كل مرة. لزيادة إنتاجية المعالجة (throughput)، نرسل الطلبات بالتوازي إلى LLM. الإنتاجية القصوى هي الحالة التي يكون فيها النموذج قادرًا على معالجة الطلبات المدخلة دون تدهور كبير في زمن الاستجابة.

الرموز في الثانية (Tokens Per Second)
تعالج LLMs رموز الإدخال والتوليد بشكل مختلف - لذلك قمنا بحساب معدل معالجة رموز الإدخال ورموز الإخراج بشكل منفصل.

النتائج التفصيلية
2 x A10 24GB GPU (1500 رمزا مدخلا + 100 رمز مخرج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم 1) هو 4.5 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة الإنتاجية حتى 0.8 RPS دون انخفاض كبير في زمن الاستجابة. بعد 0.8 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
2 x A10 24GB GPU (50 رمزا مدخلا + 500 رمز مخرج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم 1) هو 17 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة الإنتاجية حتى 0.6 RPS دون انخفاض كبير في زمن الاستجابة. بعد 0.6 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
A100 40GB GPU (1500 رمزا مدخلا + 100 رمز مخرج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم 1) هو 3.3 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة الإنتاجية حتى 1.4 RPS دون انخفاض كبير في زمن الاستجابة. بعد 1.4 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
A100 40GB GPU (50 رمزا مدخلا + 500 رمز مخرج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم 1) هو 13 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة الإنتاجية حتى 1.2 RPS دون انخفاض كبير في زمن الاستجابة. بعد 1.2 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان LLama2-13B يناسب حالة الاستخدام الخاصة بك والتكاليف التي يمكنك توقع تكبدها أثناء استضافة LLama2-13B.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






