إجراء اختبارات الأداء لـ Llama-2-70B

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
نقوم باختبار أداء LLama2-70B في هذا المقال من منظور Latency وCost وRequests per second. سيساعدنا هذا في تقييم ما إذا كان خيارًا جيدًا بناءً على متطلبات الأعمال. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذا المقال - توجد طرق مختلفة للمقارنة بين LLMs والتي يمكن العثور عليها هنا.
النموذج: Llama2-70B
في هذه التدوينة، قمنا باختبار أداء نموذج Llama-2-70B من NousResearch. هذه نسخة مدربة مسبقًا من Llama-2 مع 70 مليار Parameter.
طورت Meta عائلة Llama 2 من Large Language Models (LLMs) وأطلقتها للعامة، وهي مجموعة من نماذج النصوص التوليدية المدربة مسبقًا والمعدلة دقيقًا (fine-tuned)، والتي تتراوح أحجامها من 7 مليارات إلى 70 مليار Parameter.
مقاييس اختبار الأداء
- Requests per second (RPS): عدد الطلبات في الثانية التي يتعامل معها النموذج. مع ارتفاع RPS، عادة ما ترتفع Latency.
- Latency: كم من الوقت يستغرق إكمال طلب الاستدلال (Inference)؟
- العامل الاقتصادي: ما هي التكاليف المرتبطة بنشر LLM؟
حالات الاستخدام وأنماط النشر التي تم اختبارها
العوامل الرئيسية التي قمنا باختبار الأداء بناءً عليها هي:
نوع GPU:
- 4 x A100 40GB GPU
طول الـ Prompt:
- 1500 Input tokens، و100 output tokens (مشابهة لحالات استخدام Retrieval Augmented Generation)
- 50 Input tokens، و500 output tokens (حالات الاستخدام الكثيفة التوليد)
إعداد اختبار الأداء
لاختبار الأداء، استخدمنا Locust، وهي أداة مفتوحة المصدر لاختبار الحمل. تعمل Locust عن طريق إنشاء مستخدمين/عمال لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا ضبط Number of Users وSpawn Rate. هنا تعبر Number of Users عن الحد الأقصى لعدد المستخدمين الذين يمكن إنشاؤهم/تشغيلهم بالتزامن، بينما الـ Spawn Rateيشير إلى عدد المستخدمين الذين سيتم إنشاؤهم في الثانية الواحدة.
في كل اختبار مقارنة مرجعية لإعدادات النشر، بدأنا من مستخدم 1 وواصلنا زيادة Number of Users تدريجيًا حتى لاحظنا زيادة مطردة في الـ RPS. وأثناء الاختبار، قمنا أيضًا برسم بياني لـ response times (in ms) وtotal requests per second.
في كل من إعدادي النشر، استخدمنا خادم النماذج text-generation-inference من huggingface مع version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لإعدادات النماذج المختلفة:
ملخص نتائج المقارنة المرجعية
زمن الاستجابة، الـ RPS، والتكلفة
نقوم بحساب أفضل زمن استجابة بناءً على إرسال طلب واحد فقط في كل مرة. ولزيادة إنتاجية المعالجة، نرسل الطلبات بشكل متوازٍ إلى الـ LLM. وتتحقق أقصى إنتاجية عندما يكون النموذج قادرًا على معالجة الطلبات المدخلة دون تدهور كبير في زمن الاستجابة.

الرموز في الثانية (Tokens Per Second)
تعالج الـ LLMs رموز الإدخال والتوليد بشكل مختلف - ولهذا السبب قمنا بحساب معدل معالجة رموز الإدخال ورموز المخرجات بشكل منفصل.

النتائج التفصيلية
4 x A100 40GB GPU (1500 رمز إدخال + 100 رمز مخرجات)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 7.4 seconds. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة إنتاجية المعالجة حتى 1.1 RPS دون انخفاض كبير في زمن الاستجابة. وبتجاوز 1.1 RPS، يزداد زمن الاستجابة بشكل حاد، مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
4 x A100 40GB GPU (50 رمز إدخال + 500 رمز مخرجات)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 33 seconds. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة إنتاجية المعالجة حتى 0.8 RPS دون انخفاض كبير في زمن الاستجابة. وبتجاوز 0.8 RPS، يزداد زمن الاستجابة بشكل حاد، مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان LLama2-70B يناسب حالة الاستخدام الخاصة بك، وللتعرف على التكاليف المتوقعة عند استضافة LLama2-70B.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)










.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






