Blank white background with no objects or features visible.

تحية إلى منطقة أوروبا والشرق الأوسط وأفريقيا! توسع TrueFoundry نطاق حضورها في هذه المنطقة الحيوية. اقرأ المزيد ←

إجراء اختبارات الأداء لـ Llama-2-70B

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 20265

نقوم باختبار أداء LLama2-70B في هذا المقال من منظور Latency وCost وRequests per second. سيساعدنا هذا في تقييم ما إذا كان خيارًا جيدًا بناءً على متطلبات الأعمال. يرجى ملاحظة أننا لا نغطي الأداء النوعي في هذا المقال - توجد طرق مختلفة للمقارنة بين LLMs والتي يمكن العثور عليها هنا.

النموذج: Llama2-70B

في هذه التدوينة، قمنا باختبار أداء نموذج Llama-2-70B من NousResearch. هذه نسخة مدربة مسبقًا من Llama-2 مع 70 مليار Parameter.

‍

طورت Meta عائلة Llama 2 من Large Language Models (LLMs) وأطلقتها للعامة، وهي مجموعة من نماذج النصوص التوليدية المدربة مسبقًا والمعدلة دقيقًا (fine-tuned)، والتي تتراوح أحجامها من 7 مليارات إلى 70 مليار Parameter.

مقاييس اختبار الأداء

  1. Requests per second (RPS): عدد الطلبات في الثانية التي يتعامل معها النموذج. مع ارتفاع RPS، عادة ما ترتفع Latency.
  2. Latency: كم من الوقت يستغرق إكمال طلب الاستدلال (Inference)؟
  3. العامل الاقتصادي: ما هي التكاليف المرتبطة بنشر LLM؟

حالات الاستخدام وأنماط النشر التي تم اختبارها

العوامل الرئيسية التي قمنا باختبار الأداء بناءً عليها هي:

نوع GPU:

  1. 4 x A100 40GB GPU

طول الـ Prompt:

  1. 1500 Input tokens، و100 output tokens (مشابهة لحالات استخدام Retrieval Augmented Generation)
  2. 50 Input tokens، و500 output tokens (حالات الاستخدام الكثيفة التوليد)

إعداد اختبار الأداء

لاختبار الأداء، استخدمنا Locust، وهي أداة مفتوحة المصدر لاختبار الحمل. تعمل Locust عن طريق إنشاء مستخدمين/عمال لإرسال الطلبات بالتوازي. في بداية كل اختبار، يمكننا ضبط Number of Users وSpawn Rate. هنا تعبر Number of Users عن الحد الأقصى لعدد المستخدمين الذين يمكن إنشاؤهم/تشغيلهم بالتزامن، بينما الـ Spawn Rateيشير إلى عدد المستخدمين الذين سيتم إنشاؤهم في الثانية الواحدة.

في كل اختبار مقارنة مرجعية لإعدادات النشر، بدأنا من مستخدم 1 وواصلنا زيادة Number of Users تدريجيًا حتى لاحظنا زيادة مطردة في الـ RPS. وأثناء الاختبار، قمنا أيضًا برسم بياني لـ response times (in ms) وtotal requests per second.

في كل من إعدادي النشر، استخدمنا خادم النماذج text-generation-inference من huggingface مع version=0.9.4. فيما يلي المعلمات التي تم تمريرها إلى صورة text-generation-inference لإعدادات النماذج المختلفة:

‍

المعلمات LLAMA-2-70B على A100
Max Batch Prefill Tokens 14000

‍

ملخص نتائج المقارنة المرجعية

زمن الاستجابة، الـ RPS، والتكلفة

نقوم بحساب أفضل زمن استجابة بناءً على إرسال طلب واحد فقط في كل مرة. ولزيادة إنتاجية المعالجة، نرسل الطلبات بشكل متوازٍ إلى الـ LLM. وتتحقق أقصى إنتاجية عندما يكون النموذج قادرًا على معالجة الطلبات المدخلة دون تدهور كبير في زمن الاستجابة.

نتائج المقارنة المرجعية لـ LLama-2 70B

الرموز في الثانية (Tokens Per Second)

تعالج الـ LLMs رموز الإدخال والتوليد بشكل مختلف - ولهذا السبب قمنا بحساب معدل معالجة رموز الإدخال ورموز المخرجات بشكل منفصل.

النتائج التفصيلية

4 x A100 40GB GPU (1500 رمز إدخال + 100 رمز مخرجات)

يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 7.4 seconds. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة إنتاجية المعالجة حتى 1.1 RPS دون انخفاض كبير في زمن الاستجابة. وبتجاوز 1.1 RPS، يزداد زمن الاستجابة بشكل حاد، مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.

4 x A100 40GB GPU (50 رمز إدخال + 500 رمز مخرجات)

يمكننا أن نلاحظ في الرسوم البيانية أعلاه أن أفضل وقت استجابة (عند مستخدم واحد) هو 33 seconds. يمكننا زيادة عدد المستخدمين لتوجيه المزيد من حركة المرور إلى النموذج - ويمكننا رؤية زيادة إنتاجية المعالجة حتى 0.8 RPS دون انخفاض كبير في زمن الاستجابة. وبتجاوز 0.8 RPS، يزداد زمن الاستجابة بشكل حاد، مما يعني أن الطلبات يتم وضعها في قائمة الانتظار.

نأمل أن يكون هذا مفيدًا لك لتحديد ما إذا كان LLama2-70B يناسب حالة الاستخدام الخاصة بك، وللتعرف على التكاليف المتوقعة عند استضافة LLama2-70B.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro: معايير الأداء وكيفية استخدامه عبر البوابة (Gateway)

July 20, 2023
|
5 min read

LLMOps CoE: الحدود التالية في مشهد MLOps

May 25, 2023
|
5 min read

نماذج LLMs المفتوحة المصدر: تبنّها أو واجه اندثار أعمالك

August 27, 2025
|
5 min read

رسم خريطة سوق الذكاء الاصطناعي المحلي (On-Prem): من الشرائح إلى مستويات التحكم

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

مقارنة بين LangChain وLangGraph: أيهما الأفضل لك؟

مقارنة
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

كلود فيبل 5: واجهة برمجة التطبيقات، المعايير، التسعير وكيفية استخدامه

الهندسة والمنتج
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLM مقابل OpenRouter: أيهما الأنسب لك؟

مقارنة
November 16, 2026
|
5 min read

معمارية المحول في نماذج اللغة الكبيرة

مصطلحات LLM
November 3, 2026
|
5 min read

فهم اختبارات أداء نموذج LLAMA 2 لتقييم الأداء

نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي
November 3, 2026
|
5 min read

قياس أداء Llama-2-13B

نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي
November 3, 2026
|
5 min read

قياس أداء Falcon-40B

نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي
November 3, 2026
|
5 min read

اختبار قياس الأداء لموديل Mistral-7B

نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي
July 4, 2026
|
5 min read

Llama 2 LLM: نشر وضبط دقيق على سحابتك

الهندسة والمنتج
نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour