قياس أداء نماذج LLM مفتوحة المصدر الشائعة: لاما2، فالكون، وميسترال

في هذه المدونة، سنعرض الـ ملخص لمختلف نماذج اللغة الكبيرة مفتوحة المصدر التي قمنا بقياس أدائها. قمنا بقياس أداء هذه النماذج من منظور زمن الاستجابة والتكلفة وعدد الطلبات في الثانية. سيساعدك هذا على تقييم ما إذا كان يمكن أن يكون خيارًا جيدًا بناءً على متطلبات العمل. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذه المقالة - هناك طرق مختلفة لمقارنة نماذج اللغة الكبيرة يمكن العثور عليها هنا.

حالات الاستخدام التي تم قياس أدائها

حالات الاستخدام الرئيسية التي قمنا بقياس الأداء بناءً عليها هي:

1. 1500 رمز إدخال، 100 رمز إخراج (مشابه لحالات استخدام التوليد المعزز بالاسترجاع)
2. 50 رمز إدخال، 500 رمز إخراج (حالات الاستخدام كثيفة التوليد)

إعداد قياس الأداء

لقياس الأداء، استخدمنا Locust، وهي أداة مفتوحة المصدر لاختبار التحميل. يعمل Locust عن طريق إنشاء مستخدمين/عاملين لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا تعيين الـ عدد المستخدمين و معدل الظهور. هنا الـ عدد المستخدمين تشير إلى العدد الأقصى للمستخدمين الذين يمكنهم الظهور/التشغيل في وقت واحد، بينما الـ معدل الظهور يشير إلى عدد المستخدمين الذين سيظهرون في الثانية الواحدة.

في كل اختبار قياس أداء لتكوين نشر معين، بدأنا من 1 مستخدم وواصلنا زيادة عدد المستخدمين تدريجياً حتى رأينا زيادة مطردة في عدد الطلبات في الثانية (RPS). خلال الاختبار، قمنا أيضًا برسم أوقات الاستجابة (بالمللي ثانية) و إجمالي الطلبات في الثانية.

في كل من تكويني النشر الاثنين، استخدمنا خادم نموذج huggingface text-generation-inference الذي يحمل الإصدار=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لتكوينات النماذج المختلفة:

نماذج اللغة الكبيرة (LLMs) التي تم قياس أدائها

نماذج LLM الخمسة مفتوحة المصدر التي تم قياس أدائها هي كالتالي:

1. Mistral-7B-Instruct
2. LLama2-7B
3. LLama2-13B
4. LLama2-70B
5. Falcon-40B-Instruct

يوضح الجدول التالي ملخصًا لقياس أداء نماذج LLM:

تفاصيل مدونات قياس أداء نماذج LLM لكل نموذج

لكل نموذج من النماذج المذكورة أعلاه، يُرجى الرجوع إلى مدونات قياس أداء نماذج LLM التفصيلية كما هو موضح أدناه:

Benchmarking Mistral-7B

This blog captures Mistral-7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-7B

This blog captures Llama 2 7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment. In this blog, we have benchmarked the Llama-2-7B model from NousResearch on huggingface.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-70B

This blog captures Llama-2-70B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Falcon-40B

This blog captures Falcon-40B-Instruct benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry