فهم اختبارات أداء نموذج LLAMA 2 لتقييم الأداء

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
نحن نقوم باختبار أداء LLama2-7B في المقال من منظور زمن الانتقال، والتكلفة، والطلبات في الثانية. سيساعدنا هذا في تقييم ما إذا كان يمكن أن يكون اختيارًا جيدًا بناءً على متطلبات العمل. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذا المقال - هناك طرق مختلفة لمقارنة LLMs والتي يمكن العثور عليها هنا.
النموذج: Llama2-7B
في هذه المدونة، قمنا باختبار أداء نموذج Llama-2-7B من NousResearch. هذه نسخة مدربة مسبقًا من Llama-2 مع 7 مليارات معيار (parameter).
طورت Meta وأصدرت علنًا عائلة Llama 2 من النماذج اللغوية الكبيرة (LLMs)، وهي مجموعة من نماذج النصوص التوليدية المدربة مسبقًا والمعدلة دقيقًا تتراوح في الحجم من 7 مليارات إلى 70 مليار معيار.
المقاييس التي تم اختبارها مع نموذج LLAMA 2: تقييم مؤشرات الأداء الرئيسية
- الطلبات في الثانية (RPS): الطلبات في الثانية التي يتعامل معها النموذج. مع ارتفاع RPS، يرتفع زمن الانتقال عادةً.
- زمن الانتقال (Latency): كم من الوقت يستغرق إكمال طلب الاستدلال (inference request)؟
- الجانب الاقتصادي: ما هي التكاليف المرتبطة بنشر LLM؟
حالات الاستخدام وأنماط النشر مع LLAMA 2: تقييم السيناريوهات
العوامل الرئيسية التي قمنا باختبار الأداء بناءً عليها هي:
نوع GPU:
- GPU من نوع A100 40GB
- GPU من نوع A10 24GB
طول المطالبة (Prompt Length):
- 1500 رمز إدخال (input tokens)، 100 رمز إخراج (output tokens) (مشابهة لحالات استخدام التوليد المعزز بالاسترجاع RAG)
- 50 رمز إدخال، 500 رمز إخراج (حالات الاستخدام الثقيلة في التوليد)
إعداد اختبار الأداء مع LLAMA 2: تهيئة بيئات الاختبار
لاختبار الأداء، استخدمنا locust، وهي أداة مفتوحة المصدر لاختبار الحمل (load-testing). تعمل Locust عن طريق إنشاء مستخدمين/عمال لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا ضبط Number of Users و Spawn Rate. هنا تشير Number of Users إلى أقصى عدد من المستخدمين الذين يمكن إنشاؤهم/تشغيلهم في وقت واحد، بينما تشير Spawn Rate إلى عدد المستخدمين الذين سيتم إنشاؤهم في الثانية.
في كل اختبار أداء لتكوين النشر، بدأنا من 1 مستخدم واصلنا زيادة Number of Users تدريجيًا حتى رأينا زيادة مستمرة في RPS. خلال الاختبار، قمنا أيضًا برسم response times (in ms) و total requests per second.
في كل من تكويني النشر الـ 2، استخدمنا خادم نموذج huggingface لـ text-generation-inference يمتلك version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لتكوينات النموذج المختلفة:
ملخص نتائج اختبار الأداء: تلخيص نتائج LLAMA 2
زمن الانتقال، وRPS، والتكلفة
نحسب أفضل زمن انتقال بناءً على إرسال طلب واحد فقط في كل مرة. لزيادة معدل إنتاجية البيانات، نرسل الطلبات بالتوازي إلى LLM. الإنتاجية القصوى هي الحالة التي يكون فيها النموذج قادرًا على معالجة الطلبات المدخلة دون تدهور كبير في زمن الانتقال.

الرموز في الثانية (Tokens Per Second)
تعالج نماذج LLM رموز الإدخال والتوليد بشكل مختلف - ولهذا السبب قمنا بحساب معدل معالجة رموز الإدخال ورموز الإخراج بشكل منفصل.

النتائج التفصيلية: تحليل عميق لـ LLAMA 2
GPU من نوع A10 24GB (1500 رمز إدخال + 100 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 4.1 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - يمكننا رؤية زيادة الإنتاجية حتى 0.9 RPS دون انخفاض كبير في زمن الانتقال. بعد 0.9 RPS، يزداد زمن الانتقال بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
GPU من نوع A10 24GB (50 رمز إدخال + 500 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 15 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - يمكننا رؤية زيادة الإنتاجية حتى 0.9 RPS دون انخفاض كبير في زمن الانتقال. بعد 0.9 RPS، يزداد زمن الانتقال بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
GPU من نوع A100 40GB (1500 رمز إدخال + 100 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 2 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - يمكننا رؤية زيادة الإنتاجية حتى 3.6 RPS دون انخفاض كبير في زمن الانتقال. بعد 3.6 RPS، يزداد زمن الانتقال بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
GPU من نوع A100 40GB (50 رمز إدخال + 500 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 8.5 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور إلى النموذج - يمكننا رؤية زيادة الإنتاجية حتى 3.5 RPS دون انخفاض كبير في زمن الانتقال. بعد 3.5 RPS، يزداد زمن الانتقال بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان LLama7B مناسبًا لحالة الاستخدام الخاصة بك والتكاليف التي يمكنك توقع تكبدها أثناء استضافة Llama7B.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






