قياس أداء نماذج LLM مفتوحة المصدر الشائعة: لاما2، فالكون، وميسترال

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
في هذه المدونة، سنعرض الـ ملخص لمختلف نماذج اللغة الكبيرة مفتوحة المصدر التي قمنا بقياس أدائها. قمنا بقياس أداء هذه النماذج من منظور زمن الاستجابة والتكلفة وعدد الطلبات في الثانية. سيساعدك هذا على تقييم ما إذا كان يمكن أن يكون خيارًا جيدًا بناءً على متطلبات العمل. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذه المقالة - هناك طرق مختلفة لمقارنة نماذج اللغة الكبيرة يمكن العثور عليها هنا.
حالات الاستخدام التي تم قياس أدائها
حالات الاستخدام الرئيسية التي قمنا بقياس الأداء بناءً عليها هي:
- 1500 رمز إدخال، 100 رمز إخراج (مشابه لحالات استخدام التوليد المعزز بالاسترجاع)
- 50 رمز إدخال، 500 رمز إخراج (حالات الاستخدام كثيفة التوليد)
إعداد قياس الأداء
لقياس الأداء، استخدمنا Locust، وهي أداة مفتوحة المصدر لاختبار التحميل. يعمل Locust عن طريق إنشاء مستخدمين/عاملين لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا تعيين الـ Number of Users و Spawn Rate. هنا الـ Number of Users تشير إلى العدد الأقصى للمستخدمين الذين يمكنهم الظهور/التشغيل في وقت واحد، بينما الـ Spawn Rate يشير إلى عدد المستخدمين الذين سيظهرون في الثانية الواحدة.
في كل اختبار قياس أداء لتكوين نشر معين، بدأنا من 1 مستخدم وواصلنا زيادة Number of Users تدريجياً حتى رأينا زيادة مطردة في عدد الطلبات في الثانية (RPS). خلال الاختبار، قمنا أيضًا برسم response times (in ms) و total requests per second.
في كل من تكويني النشر الاثنين، استخدمنا خادم نموذج huggingface text-generation-inference الذي يحمل version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لتكوينات النماذج المختلفة:
نماذج اللغة الكبيرة (LLMs) التي تم قياس أدائها
نماذج LLM الخمسة مفتوحة المصدر التي تم قياس أدائها هي كالتالي:
يوضح الجدول التالي ملخصًا لقياس أداء نماذج LLM:
تفاصيل مدونات قياس أداء نماذج LLM لكل نموذج
لكل نموذج من النماذج المذكورة أعلاه، يُرجى الرجوع إلى مدونات قياس أداء نماذج LLM التفصيلية كما هو موضح أدناه:
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






