فهم معايير أداء نموذج LLAMA 2 لتقييم الأداء

نقوم في هذه المقالة بتقييم أداء LLama2-7B من منظور زمن الاستجابة والتكلفة وعدد الطلبات في الثانية. سيساعدنا هذا في تقييم ما إذا كان خيارًا جيدًا بناءً على متطلبات العمل. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذه المقالة - هناك طرق مختلفة لمقارنة نماذج اللغات الكبيرة (LLMs) يمكن العثور عليها هنا.

النموذج: Llama2-7B

في هذه المدونة، قمنا بتقييم أداء Llama-2-7B النموذج من NousResearch. هذه نسخة مدربة مسبقًا من Llama-2 بسبعة مليارات معلمة.

‍

NousResearch/Llama-2-7b-hf · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

قامت Meta بتطوير وإصدار علني لعائلة نماذج اللغات الكبيرة (LLMs) Llama 2، وهي مجموعة من نماذج النصوص التوليدية المدربة مسبقًا والمُعدّلة بدقة، تتراوح في حجمها من 7 مليارات إلى 70 مليار معلمة.

المقاييس التي تم تقييمها باستخدام نموذج LLAMA 2: تقييم مؤشرات الأداء الرئيسية

1. الطلبات في الثانية. (RPS): عدد الطلبات في الثانية التي يتعامل معها النموذج. مع زيادة عدد الطلبات في الثانية (RPS)، يرتفع زمن الاستجابة عادةً.
2. زمن الاستجابة: كم من الوقت يستغرق إكمال طلب استدلال؟
3. الاقتصاديات: ما هي التكاليف المرتبطة بنشر نموذج لغوي كبير (LLM)؟

حالات الاستخدام وأنماط النشر مع LLAMA 2: تقييم السيناريوهات

العوامل الرئيسية التي قمنا بقياس الأداء بناءً عليها هي:

نوع وحدة معالجة الرسوميات (GPU):

1. A100 40GB وحدة معالجة الرسوميات (GPU)
2. A10  24GB وحدة معالجة الرسوميات (GPU)

طول الموجه:

1. 1500 رمز إدخال، 100 رمز إخراج (مشابه لحالات استخدام التوليد المعزز بالاسترجاع)
2. 50 رمز إدخال، 500 رمز إخراج (حالات استخدام كثيفة التوليد)

إعداد قياس الأداء مع LLAMA 2: تهيئة بيئات الاختبار

لقياس الأداء، استخدمنا Locust، وهي أداة مفتوحة المصدر لاختبار التحميل. يعمل Locust عن طريق إنشاء مستخدمين/عاملين لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا تحديد عدد المستخدمين و معدل التوليد. هنا عدد المستخدمين تشير إلى العدد الأقصى للمستخدمين الذين يمكنهم الظهور/التشغيل بشكل متزامن، بينما يشير معدل الظهور إلى عدد المستخدمين الذين سيتم إنشاؤهم في الثانية.

في كل اختبار أداء لتكوين نشر معين، بدأنا من 1 مستخدم واستمررنا في زيادة عدد المستخدمين تدريجياً حتى لاحظنا زيادة مطردة في RPS. خلال الاختبار، قمنا أيضًا برسم بياني لـ أوقات الاستجابة (بالمللي ثانية) و إجمالي الطلبات في الثانية.

في كل من تكويني النشر، استخدمنا خادم نموذج huggingface text-generation-inference بالإصدار version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لتكوينات النماذج المختلفة:

‍

‍

Here's The Evaluation Framework for Proposal Template

Criteria	What should you evaluate ?	Priority	TrueFoundry
Unified API & Routing
Unified OpenAI-compatible endpoint	Is the gateway API compatible with OpenAI's /v1/chat/completions and /v1/responses formats, allowing consistent access across different models through a standardized interface?	Must have	✅ Supported: OpenAI-compatible endpoint across all providers.
Provider and model coverage	Does it support leading providers like OpenAI, Azure OpenAI, Amazon Bedrock, Anthropic, Gemini, Groq, plus self-hosted models?	Must have	✅ Supported: 1000+ LLMs across hosted and self-hosted providers.
Model onboarding speed	How quickly can new models (OpenAI-compatible and non-standard APIs) be added without code changes?	Must have	✅ Supported: config-driven onboarding within minutes.
Multimodal support	Does the gateway support text, vision, audio, image generation, and embeddings through a single interface?	Depends on use case	✅ Supported: chat, embeddings, images, audio, rerank, and realtime APIs.
Routing, load balancing, fallback	Can requests be routed by model, provider, latency, priority, weight, region, and failure state with automatic retries?	Must have	✅ Supported: load balancing, fallbacks, weighted and latency-based routing.
Model switching without code change	Is model switching supported via headers or config without changing client code?	Must have	✅ Supported: header-based and config-based model switching.

AI Gateway Evaluation Checklist

A practical guide used by platform & infra teams

ملخص نتائج المقارنة المعيارية: تلخيص نتائج LLAMA 2

زمن الاستجابة، الطلبات في الثانية، والتكلفة

نحسب أفضل زمن استجابة بناءً على إرسال طلب واحد فقط في كل مرة. لزيادة الإنتاجية، نرسل الطلبات بالتوازي إلى نموذج اللغة الكبير (LLM). تكون الإنتاجية القصوى عندما يتمكن النموذج من معالجة طلبات الإدخال دون تدهور كبير في زمن الاستجابة.

الرموز في الثانية

تعالج نماذج اللغة الكبيرة (LLMs) رموز الإدخال والتوليد بشكل مختلف - لذلك، قمنا بحساب معدل معالجة رموز الإدخال ورموز الإخراج بشكل مختلف.

النتائج التفصيلية: تحليل متعمق لـ LLAMA 2

وحدة معالجة الرسوميات A10 بحجم 24 جيجابايت (1500 رمز إدخال + 100 رمز إخراج)

يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن الـ أفضل زمن استجابة (عند مستخدم واحد) هو 4.1 ثانية. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - يمكننا أن نرى الإنتاجية تزداد حتى 0.9 طلبات في الثانية دون انخفاض كبير في زمن الاستجابة. بعد 0.9 طلبات في الثانية، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.

وحدة معالجة الرسوميات A10 بسعة 24 جيجابايت (50 رمز إدخال + 500 رمز إخراج)

نلاحظ في الرسوم البيانية أعلاه أن الـ أفضل وقت استجابة (عند مستخدم واحد) هو 15 ثانية. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - نرى أن الإنتاجية تزداد حتى 0.9 RPS دون انخفاض كبير في زمن الاستجابة. بعد 0.9 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.

وحدة معالجة الرسوميات A100 بسعة 40 جيجابايت (1500 رمز إدخال + 100 رمز إخراج)

نلاحظ في الرسوم البيانية أعلاه أن الـ أفضل وقت استجابة (عند مستخدم واحد) هو ثانيتين. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - نرى أن الإنتاجية تزداد حتى 3.6 RPS دون انخفاض كبير في زمن الاستجابة. بعد تجاوز 3.6 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات تتراكم في قائمة الانتظار.

وحدة معالجة رسوميات A100 بسعة 40 جيجابايت (50 رمز إدخال + 500 رمز إخراج)

يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل زمن استجابة (عند مستخدم واحد) يبلغ 8.5 ثانية. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - نلاحظ زيادة في الإنتاجية حتى 3.5 RPS دون انخفاض كبير في زمن الاستجابة. بعد تجاوز 3.5 RPS، يزداد زمن الاستجابة بشكل كبير مما يعني أن الطلبات تتراكم في قائمة الانتظار.

نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان LLama7B سيناسب حالة استخدامك والتكاليف التي قد تتكبدها أثناء استضافة Llama7B.