Blank white background with no objects or features visible.

تحية إلى منطقة أوروبا والشرق الأوسط وأفريقيا! توسع TrueFoundry نطاق حضورها في هذه المنطقة الحيوية. اقرأ المزيد ←

LLM Locust: أداة لقياس أداء LLM

By كونوار راج سينغ

Updated: November 3, 2026

Published: July 2, 2026

ما هو قياس أداء LLM (LLM Benchmarking)؟

قياس أداء LLM هو عملية تقييم مدى كفاءة عمل خادم الاستدلال لـ Large Language Model (LLM) تحت الحمل. يتجاوز هذا المفهوم اختبار الأداء التقليدي بالتركيز على خصائص الاستجابة في الوقت الفعلي التي تؤثر بشكل مباشر على تجربة المستخدم وقابلية توسع النظام.

إليك بعض المقاييس الرئيسية المعنية:

  • الوقت حتى أول رمز (TTFT - Time to First Token):
    التأخير بين إرسال الطلب واستلام أول رمز (token) من الاستجابة. يعكس هذا زمن الانتقال الأولي لمعالجة النموذج.
  • رموز المخرجات في الثانية (tokens/s):
    يقيس سرعة توليد النموذج لرموز الاستجابة، مما يشير إلى سرعة التوليد واستجابة النظام.
  • زمن الانتقال بين الرموز (Inter-Token Latency):
    الوقت المنقضي بين الرموز المتتالية في الاستجابة المتدفقة (streaming). تشير القيم الأقل إلى مخرجات أكثر سلاسة وطبيعية في التطبيقات التي تعمل في الوقت الفعلي.
  • الطلبات في الثانية (RPS):
    عدد طلبات الاستدلال التي يمكن لـ LLM التعامل معها في الثانية—وهو مقياس أساسي لمعدل الإنتاجية (throughput).

يعد تتبع هذه المقاييس وتحليلها أمرًا حاسمًا لـ:

  • المقارنة بين مزودي LLM
  • تحسين عمليات النشر عبر CPUs أو GPUs أو المسرعات المتخصصة
  • ضبط إعدادات الخادم للتطبيقات الحساسة لزمن الانتقال (latency)

وهنا يأتي دور LLM Locust.

لماذا تقصر أدوات اختبار الحمل التقليدية مثل Locust عن قياس أداء LLM (وكيف يحل LLM Locust هذه المشكلة)

مع استمرار LLMs في تشغيل المزيد من التطبيقات التفاعلية وفي الوقت الفعلي، أصبح قياس أدائها بدقة أكثر أهمية من أي وقت مضى. في حين أن أدوات مثل Locust ممتازة لاختبار الحمل التقليدي، إلا أنها تقصر عندما يتعلق الأمر بالدقة على مستوى الرموز والتتدفق (streaming) التي تتطلبها LLMs.

وهنا يأتي LLM Locust—وهي أداة تم بناؤها خصيصًا لسد هذه الفجوة.

لماذا يُعد Locust رائعًا لاختبار الحمل التقليدي

دعنا نعطي كل ذي حق حقه. لا يزال Locust أحد أكثر الأدوات المحبوبة لاختبار الحمل نظرًا لـ:

  • كتابة البرامج النصية بلغة Python الأصلية: مرن وبديهي لإنشاء سيناريوهات الاختبار
  • التزامن خفيف الوزن: تسمح Greenlets بمحاكاة آلاف المستخدمين
  • واجهة مستخدم ويب في الوقت الفعلي: بسيطة وقوية لمراقبة اختبارات الحمل مباشرة

بالنسبة لـ APIs أو الخدمات القياسية، فهو خيار رائع. ولكن بالنسبة لـ LLMs؟ ليس كافيًا تمامًا.

المشكلة: تُغير LLMs نمط اختبار الحمل التقليدي

1.  غياب الدعم للمقاييس الخاصة بـ LLM

لا يتتبع Locust بشكل أصلّي مؤشرات الأداء الخاصة بـ LLM، مثل:

  • الوقت حتى أول رمز (TTFT)
  • رموز المخرجات في الثانية
  • زمن الانتقال بين الرموز

ديناميكيات التدفق هذه أساسية لفهم مدى جودة أداء LLM، خاصة في حالات الاستخدام في الوقت الفعلي.

2.  عدم اتساق تدفق الرموز + اختناقات CPU

غالبًا ما تقوم LLM APIs بتدفق الرموز بشكل غير متسق—فبعضها يرجع صفر من الرموز في البداية، والبعض الآخر يرسل رمزًا واحدًا في كل مرة، وبعضها يقدم رموزًا متعددة في كتلة واحدة.
لقياس رموز المخرجات بدقة، يجب إعادة ترميز (re-tokenize) الاستجابات، حيث لا يمكن الوثوق باتباع استجابات API لتنسيق متسق.

ولكن هنا تكمن المشكلة: عملية الترميز (tokenization) هي مهمة تستهلك جهد CPU كبيراً، خاصة عند إجرائها لكل استجابة متدفقة. يستخدم Locust أسلوب greenlets للتزامن خفيف الوزن، لكنها ما زالت تعمل تحت قفل المفسر العام لـ Python والمعروف بـ Global Interpreter Lock (GIL). هذا يعني أن العمليات الكثيفة على CPU مثل الترميز يمكن أن تعطل حلقة الأحداث (event loop)، مما يقلل من الإنتاجية ويؤدي إلى تحريف نتائج قياس الأداء.

إن الجمع بين سلوك التدفق غير المتسق وقفل GIL في Python يجعل هذا اختناقًا رئيسيًا في الأداء في إعدادات Locust التقليدية.

3. غياب المخططات البيانية المخصصة

هل تريد رسم بياني لـ TTFT أو معدل إنتاجية التدفق؟ لا تدعم واجهة مستخدم Locust مقاييس LLM المخصصة تلقائيًا، مما يجعل البيانات الرئيسية غير مرئية أثناء تشغيل الاختبارات.

4.  الأدوات المنافسة محدودة

تُعد أدوات مثل genai-perf قيمة، ولكنها غالبًا ما تقدم:

  • لقطات قياس أداء لمرة واحدة
  • قابلية تهيئة محدودة
  • غياب التغذية الراجعة المرئية في الوقت الفعلي

إنها تفتقر إلى المرونة التكرارية والاستكشافية المطلوبة في قياس الأداء في العالم الحقيقي.

الحل: تعرّف على LLM Locust

يجمع LLM Locust بين بساطة Locust والدعم العميق لقياس الأداء الخاص بـ LLM. مستوحى من llm-bench من BentoML، فهو يقدم بنية هيكلية نمطية وواجهة أمامية مخصصة للحصول على رؤى في الوقت الفعلي.

كيف يعمل LLM Locust

1. إنشاء الطلبات غير المتزامنة
يرسل المستخدمون المحاكون طلبات غير متزامنة مستمرة إلى LLM API الخاص بك، مما يحاكي الحمل في العالم الحقيقي. يعمل هذا على عملية Python منفصلة، لذلك لا توجد اختناقات في عملية الترميز. 

2. تجميع الاستجابات المتدفقة
يتم تدفق استجابات LLM وتوجيهها إلى شيطان المقاييس (metrics daemon) للتحليل والتحليل الخفيف.

3. معالجة المقاييس
يقوم Daemon بترميز الاستجابات، وحساب TTFT، والرموز/الثانية، وزمن الانتقال بين الرموز، وتجميع النتائج في فئات.

4. التجميع الكلي (Aggregation)
كل ثانيتين، يتم إرسال البيانات إلى خلفية FastAPI التي تحاكي خلفية Locust، والتي تقوم بتخزين وتجميع المقاييس على مستوى عالمي.

5. التصور المباشر في الوقت الفعلي
تعرض نسخة مخصصة من الواجهة الأمامية لـ Locust ما يلي:

  • TTFT لكل طلب
  • معدل إنتاجية الرموز عبر الوقت
  • 📊 RPS، وزمن الانتقال، والإحصائيات الرئيسية الأخرى

إليك البنية الهيكلية التفصيلية: 


إليك عرضًا توضيحيًا لكيفية ظهوره: 

‍

‍

الخلاصة

يُعد Locust أداة اختبار حمل رائعة—ولكن ليس لـ LLMs بشكل تلقائي مباشر.
يجلب LLM Locust الدقة المطلوبة على مستوى الرموز والتدفق لقياس أداء نماذج اللغة القوية اليوم بشكل صحيح.

سواء كنت تقوم بنشر نموذج مفتوح المصدر على البنية التحتية الخاصة بك أو تقارن الأداء عبر LLM APIs متعددة، فإن LLM Locust يمنحك الوضوح والمرونة والتحكم للقيام بذلك بالشكل الصحيح.

رابط Github: https://github.com/truefoundry/llm-locust

الأسئلة الشائعة

ما هو LLM Locust؟

LLM Locust هو أداة مفتوحة المصدر لقياس الأداء تم بناؤها على إطار عمل Locust خصيصًا لتقييم Large Language Models. على عكس أدوات اختبار الحمل القياسية، فإنه يقيس المقاييس الخاصة بـ GenAI مثل Time to First Token (TTFT) والرموز في الثانية لضمان تعامل نماذجك مع حركة المرور المتزامنة العالية في بيئات الإنتاج.

كيف يساعد LLM Locust في اختبار أداء نماذج اللغة؟

يوفر رؤية عميقة لكيفية تصرف النماذج تحت الأحمال الثقيلة والمتزامنة من خلال تحليل الاستجابات المتدفقة ومعدلات توليد الرموز. تتيح هذه البيانات للمهندسين تحسين البنية التحتية، وتحديد الاختناقات المحتملة قبل النشر، وضمان سرعات استجابة متسقة للمستخدمين النهائيين عبر مختلف الأجهزة وإعدادات محركات التقديم (serving engines).

هل يمكن استخدام Locust لاختبار حمل LLM APIs؟

نعم، ولكن في حين أن Locust القياسي يعمل مع APIs الأساسية، فإن LLM Locust مصمم خصيصًا للمتطلبات الفريدة للذكاء الاصطناعي التوليدي. فهو يتتبع الاستجابات المتدفقة بدقة ويحسب معدل الإنتاجية عبر طلبات متزامنة متعددة، مما يوفر صورة أوضح لكيفية توسع LLM مقارنة بأدوات اختبار الحمل التقليدية.

كيف يمكنني دمج LLM Locust مع أدوات القابلية للملاحظة (observability) مثل Langfuse؟

يتيح لك دمج LLM Locust مع منصات مثل Langfuse تصور تتبعات الأداء أثناء اختبارات الإجهاد العالي مباشرة على لوحات التحكم الخاصة بك. يمكنك ربط أنماط حمل معينة بأخطاء النماذج أو ارتفاعات زمن الانتقال، مما يوفر رؤى عميقة حول موثوقية وجودة الوكلاء الذاتيي الحركة (autonomous agents) تحت الضغط الواقعي.

كيفية استخدام LLM Locust مع TrueFoundry؟

يتيح لك تشغيل LLM Locust مع TrueFoundry قياس أداء النماذج المنشورة داخل سحابتك الخاصة. يمكنك بسهولة اختبار محركات تقديم مختلفة مثل vLLM أو TGI للعثور على الإعداد الأمثل لأجهزتك المحددة، مما يضمن تحسين عملية النشر بالكامل من حيث التكلفة والسرعة.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

مقارنة بين LangChain وLangGraph: أيهما الأفضل لك؟

مقارنة
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

كلود فيبل 5: واجهة برمجة التطبيقات، المعايير، التسعير وكيفية استخدامه

الهندسة والمنتج
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLM مقابل OpenRouter: أيهما الأنسب لك؟

مقارنة
November 16, 2026
|
5 min read

معمارية المحول في نماذج اللغة الكبيرة

مصطلحات LLM
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour