اختبار قياس الأداء لموديل Mistral-7B

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
نقوم باختبار قياس أداء Mistral-7B في المقال المنشور من منظور زمن الاستجابة Latency، والتكلفة Cost، وعدد الطلبات في الثانية RPS. سيساعدنا هذا في تقييم ما إذا كان خيارًا جيدًا بناءً على متطلبات الأعمال. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذا المقال - فهناك طرق مختلفة للمقارنة بين نماذج LLMs والتي يمكن العثور عليها هنا.
النموذج: Mistral-7B
في هذه المدونة، قمنا باختبار قياس أداء نموذج Mistral-7B-Instruct-v0.1 من mistralai. يُعد نموذج Mistral-7B-Instruct-v0.1 LLM نسخة معدلة بدقة بالتعليمات (instruct fine-tuned) من نموذج التوليد النصي Mistral-7B-v0.1 (الذي يحتوي على 7 مليارات معامل) باستخدام مجموعة متنوعة من مجموعات بيانات المحادثة المتاحة للعامة.
مقاييس قياس الأداء
- الطلبات في الثانية (RPS): عدد الطلبات في الثانية التي يتعامل معها النموذج. مع ارتفاع RPS، عادةً ما يرتفع زمن الاستجابة Latency.
- زمن الاستجابة Latency: ما هي المدة الزمنية المستغرقة لإكمال طلب الاستدلال Inference؟
- الجانب الاقتصادي: ما هي التكاليف المرتبطة بنشر نموذج LLM؟
حالات الاستخدام وأنماط النشر التي تم قياس أداءها
العوامل الرئيسية التي قمنا بقياس الأداء بناءً عليها هي:
نوع GPU:
- A100 40GB GPU
- A10 24GB GPU
طول المطالبة Prompt Length:
- 1500 رمز إدخال (Input tokens)، و100 رمز إخراج (output tokens) (مشابهة لحالات استخدام Retrieval Augmented Generation)
- 50 رمز إدخال (Input tokens)، و500 رمز إخراج (output tokens) (حالات الاستخدام المعتمدة بكثافة على التوليد)
إعداد اختبار قياس الأداء
لاختبار قياس الأداء، استخدمنا locust، وهي أداة مفتوحة المصدر لاختبار الحمل Load testing. تعمل أداة Locust من خلال إنشاء مستخدمين/عمال ليرسلوا الطلبات بالتوازي. في بداية كل اختبار، يمكننا ضبط Number of Users وSpawn Rate. هنا يمثل Number of Users الحد الأقصى لعدد المستخدمين الذين يمكنهم البدء/التشغيل بالتوازي، بينما يمثل Spawn Rate عدد المستخدمين الذين سيتم إنشاؤهم في الثانية.
في كل اختبار قياس أداء لتكوين نشر معين، بدأنا من 1 مستخدم واستمرينا في زيادة Number of Users تدريجيًا حتى رأينا زيادة مستمرة في RPS. أثناء الاختبار، قمنا أيضًا برسم مخطط لـ response times (in ms) وtotal requests per second.
في كل من تكويني النشر الاثنين، استخدمنا خادم نموذج vLLM مع وجود version=0.2.0-d849de0.
ملخص نتائج قياس الأداء
زمن الاستجابة Latency، وRPS، والتكلفة
نحسب أفضل زمن استجابة بناءً على إرسال طلب واحد فقط في كل مرة. لزيادة إنتاجية Throughput البيانات، نرسل الطلبات بالتوازي إلى نموذج LLM. تكون إنتاجية Throughput البيانات القصوى في الحالة التي يكون فيها النموذج قادرًا على معالجة الطلبات المدخلة دون تدهور ملحوظ في زمن الاستجابة Latency.

الرموز في الثانية Tokens Per Second
تعالج نماذج LLMs رموز الإدخال والتوليد بشكل مختلف - ولهذا السبب قمنا بحساب معدل معالجة رموز الإدخال ورموز الإخراج بشكل منفصل.

النتائج التفصيلية
A10 24GB GPU (1500 رمز إدخال + 100 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل زمن استجابة (عند مستخدم واحد 1) هو 4.6 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور Traffic إلى النموذج - ويمكننا رؤية زيادة إنتاجية Throughput البيانات حتى 0.8 RPS دون انخفاض ملحوظ في زمن الاستجابة Latency. أبعد من 0.8 RPS، يزداد زمن الاستجابة Latency بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
A10 24GB GPU (50 رمز إدخال + 500 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل زمن استجابة (عند مستخدم واحد 1) هو 18 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور Traffic إلى النموذج - ويمكننا رؤية زيادة إنتاجية Throughput البيانات حتى 0.4 RPS دون انخفاض ملحوظ في زمن الاستجابة Latency. أبعد من 0.4 RPS، يزداد زمن الاستجابة Latency بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
A100 40GB GPU (1500 رمز إدخال + 100 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل زمن استجابة (عند مستخدم واحد 1) هو 2.3 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور Traffic إلى النموذج - ويمكننا رؤية زيادة إنتاجية Throughput البيانات حتى 2.8 RPS دون انخفاض ملحوظ في زمن الاستجابة Latency. أبعد من 2.8 RPS، يزداد زمن الاستجابة Latency بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
A100 40GB GPU (50 رمز إدخال + 500 رمز إخراج)


يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل زمن استجابة (عند مستخدم واحد 1) هو 9.7 seconds. يمكننا زيادة عدد المستخدمين لإرسال المزيد من حركة المرور Traffic إلى النموذج - ويمكننا رؤية زيادة إنتاجية Throughput البيانات حتى 1.5 RPS دون انخفاض ملحوظ في زمن الاستجابة Latency. أبعد من 1.5 RPS، يزداد زمن الاستجابة Latency بشكل حاد مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.
نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان Mistral-7B-Instruct يناسب حالة الاستخدام الخاصة بك والتكاليف التي يمكنك توقع تحملها أثناء استضافة Mistral-7B-Instruct.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






