توجيه ذاكرة التخزين المؤقت KV: لماذا تتسبب موازنات الأحمال القياسية في تعطيل التخزين المؤقت للبادئة (وكيفية إصلاح ذلك)

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
يتيح التخزين المؤقت للبادئة لـ vLLM وSGLang تخطي إعادة حساب الرموز (tokens) التي شاهدها النموذج بالفعل — ولكن فقط إذا هبط الطلب التالي على نفس نسخة GPU المكررة. يمكن لتوجيه التوزيع الدوري (round-robin) القياسي أن يقلل بشكل كبير من محلية التخزين المؤقت في عمليات النشر متعددة النسخ المكررة، مما يحد من فوائد التخزين المؤقت للبادئة ما لم يتم جعل التوجيه معتمدًا على التخزين المؤقت. يحل التوجيه الملتصق المعتمد على البادئة هذه المشكلة. يوضح هذا المنشور الآلية، وتكلفة تجاهلها، وكيفية تنفيذها بثلاثة مستويات ذات تعقيد متزايد.
يمثل الاستدلال حصة متزايدة من الطلب على الحوسبة في AI. تشير بعض التقديرات في القطاع إلى أن الاستدلال قد يمثل غالبية استهلاك الحوسبة في AI مع نضوج أعباء عمل AI التوليدي، وجزء كبير من ذلك هو عمل مكرر — إعادة حساب نموذجك لحالات الانتباه للرموز التي عالجها منذ ثوانٍ. الجاني ليس GPU أو النموذج. إنها موازنة الأحمال التي تجلس أمام عنقود الاستدلال لديك، والتي تقوم بتوجيه كل طلب دون أي دراية بما تم تخزينه مؤقتًا بالفعل وأين.
للحصول على نظرة عامة أوسع على محركات استدلال LLM ورافعات التحسين، راجع استدلال LLM: تحسين السرعة والتكلفة ونطاق AI.
لماذا يهم التخزين المؤقت للبادئة
يعمل كل طلب استدلال LLM في مرحلتين متميزتين. خلال مرحلة التعبئة المسبقة (prefill)، يعالج النموذج تسلسل المدخلات بالكامل ويبني ذاكرة تخزين مؤقت للمفتاح والقيمة (KV) — وهي مصفوفة من حالات الانتباه، مدخل واحد لكل رمز، مخزنة في VRAM الخاصة بـ GPU. خلال مرحلة فك التشفير (decode)، يولد النموذج رموز المخرجات واحدًا تلو الآخر، متوجهًا بالانتباه إلى تلك الحالة المخزنة مؤقتًا دون إعادة قراءة المدخلات.
التعبئة المسبقة مكلفة. تتوسع تكلفة الحوسبة الخاصة بها تربيعيًا مع طول المدخلات: مضاعفة الموجه (prompt) تضاعف حساب الانتباه أربع مرات. بالنسبة لموجه نظام مكون من 2000 رمز يتم معالجته مرة واحدة لكل طلب بمعدل 1000 طلب في الساعة، فإن ذلك يعني 2 مليون رمز من عمل التعبئة المسبقة في الساعة — كل ساعة، كل يوم.
يلغي التخزين المؤقت للبادئة الجزء المكرر من ذلك العمل. إذا كان الطلب B يتشارك في بادئة مع الطلب A المعالج سابقًا، يعيد المحرك استخدام كتل KV المخزنة مؤقتًا لتلك الرموز المشتركة ويحسب فقط اللاحقة الجديدة. تتراكم التوفيرات عبر ثلاثة أنماط شائعة لأعباء العمل:
- أنابيب RAG: غالبًا ما تتداخل أجزاء المستندات المسترجعة عبر الاستعلامات، خاصة عندما يصل العديد من المستخدمين إلى نفس قاعدة المعرفة أو المستندات المرجعية المتكررة.
- المحادثة متعددة الأدوار: تضاف كل رسالة متابعة إلى سجل المحادثة الذي قام النموذج بتشفيره بالفعل.
- التوجيه بأمثلة قليلة (Few-shot prompting): مجموعة ثابتة من الأمثلة تضاف إلى بداية كل طلب تكلف حوسبة تعبئة مسبقة مرة واحدة، وليس N من المرات.
ينفذ vLLM التخزين المؤقت للبادئة عبر المطابقة بين الكتل القائمة على التجزئة (hash) — حيث يتم تحديد كل كتلة KV بواسطة تجزئة للرموز التي أنتجتها. يستخدم SGLang تقنية RadixAttention، وهي شجرة راديكس توجد أطول بادئة متطابقة عبر جميع الطلبات النشطة وتعيد استخدام تلك الكتل مباشرة. في أعباء العمل كثيفة البادئات، تم الإبلاغ عن أن RadixAttention في SGLang تحقق تحسينات متعددة في الإنتاجية مقارنة بالتخديم غير الأعمى للتخزين المؤقت، حيث أبلغت LMSYS عن مكاسب تصل إلى حوالي 5 أضعاف في الاختبارات المرجعية الممثلة. يلغي vLLM مع تمكين التخزين المؤقت التلقائي للبادئة غالبية التعبئة المسبقة المكررة في أعباء العمل متعددة الأدوار.
يعمل هذا بشكل أفضل على مثيل واحد عندما تحتوي الطلبات على بادئات مشتركة مستقرة وسعة ذاكرة تخزين مؤقت KV كافية للحتفاظ بالكتل القابلة لإعادة الاستخدام. في اللحظة التي تتوسع فيها إلى أسطول متعدد النسخ المكررة، تبدأ المشكلة.
كيف يدمر التوجيه الدوري معدل إصابة ذاكرة التخزين المؤقت
فكر في نشر يحتوي على ثماني نسخ مكررة من vLLM خلف خدمة Kubernetes قياسية. تعالج النسخة المكررة 1 طلبًا بموجه نظام مكون من 2000 رمز، وتحسب ذاكرة التخزين المؤقت KV، وتخزنها في VRAM الخاصة بها. يصل الطلب التالي بنفس الموجه المتطابق. يرسله التوزيع الدوري (round-robin) إلى النسخة المكررة 2 — والتي لا تحتوي على ذاكرة تخزين مؤقت لتلك البادئة، لذا تعيد حساب التعبئة المسبقة الكاملة من الصفر. يذهب الطلب الثالث إلى النسخة المكررة 3. نفس الفقدان (miss).
في أعباء العمل التي توجد فيها ذاكرة تخزين مؤقت مفيدة للبادئة على نسخة مكررة واحدة فقط — على سبيل المثال، سجلات المحادثات المتنامية أو السياقات الخاصة بالمستأجرين — يقلل التوجيه الدوري من احتمالية الهبوط على النسخة المكررة المالكة لذاكرة التخزين المؤقت مع زيادة حجم الأسطول. يمكن أن يقلل هذا التأثير بشكل كبير من محلية التخزين المؤقت ويزيد من حساب التعبئة المسبقة المكرر.
في أعباء العمل كثيفة البادئات، يمكن للتوسع الساذج أن يقلل من محلية التخزين المؤقت ويزيد من التعبئة المسبقة المكررة ما لم يكن التوجيه معتمدًا على التخزين المؤقت.
أرقام الإنتاج صارخة. قام مشروع llm-d، وهو إطار عمل استدلال موزع أصلي لـ Kubernetes من Red Hat، باختبار التوجيه المعتمد على التخزين المؤقت للبادئة مقابل التوزيع الدوري على 8 pods / 16 من H100 GPUs وقاس وقتًا حتى الرمز الأول أسرع بـ 57 ضعفًا وإنتاجية أضعاف مرتين على نفس العتاد. أظهر اختبار مرجعي منفصل على Llama 3.1 70B عبر 4× AMD MI300X GPUs 3 أضعاف من رموز المخرجات/ثانية وانخفاضًا بمقدار الضعف في TTFT بعد تغيير استراتيجيات التوجيه. قاست بوابة الاستدلال لـ DigitalOcean، المبنية على نفس الأوليات، ما يصل إلى تحسين بنسبة 108% في الإنتاجية للتوجيه المعتمد على التخزين المؤقت مقارنة بالتوجيه العشوائي في تكوينات العتاد المتطابقة.
يعتمد الأثر الاقتصادي على حجم الطلبات، وحجم النموذج، ونوع GPU، وخصائص عبء العمل، ولكن معدلات إصابة ذاكرة التخزين المؤقت الأعلى تترجم عمومًا إلى تكاليف بنيوية أقل واستغلال أفضل للعتاد الحالي.
التحدي هو أن محلية التخزين المؤقت الخالصة وموازنة الأحمال الخالصة تسحبان في اتجاهين متعاكسين. يصبح السؤال حينئذٍ: كيف تحافظ على محلية التخزين المؤقت دون التضحية بموازنة الأحمال؟
ثلاثة مستويات للتوجيه المعتمد على البادئة
تم ترتيب هذه النهج من الأبسط إلى الأكثر دقة.
المستوى 1 — الألفة للجلسة (Session Affinity)
الإصلاح الأكثر سرعة: قم بتكوين موازن الأحمال لديك لإجراء التجزئة (hash) بناءً على معرف الجلسة أو المستخدم وتوجيه الطلبات من نفس الجلسة دائمًا إلى نفس النسخة المكررة. تتوفر هذه الميزة بشكل أصلي في معظم موازنات الأحمال كسياسة جلسة ملتصقة (sticky-session) أو تجزئة متسقة (consistent-hash) — دون الحاجة إلى منطق توجيه مخصص.
تعمل الألفة للجلسة بشكل جيد للمحادثة متعددة الأدوار حيث يولد نفس المستخدم طلبات متتالية مع سجل محادثة متنامٍ. لها حدان هيكليان. تؤدي إضافة نسخة مكررة إلى إعادة ترتيب حلقة التجزئة، مما يكسر الألفة الحالية ويؤدي إلى فقدان التخزين المؤقت حتى يعاد تسخين الأسطول.
استخدم هذا كتحسين أولي سريع لعمليات النشر أحادية المستأجر أو منخفضة التزامن، أو في أي مكان تريد فيه تحقيق كسب سريع قبل الاستثمار في حل أكثر دقة.
المستوى 2 — التوجيه بتجزئة البادئة (Prefix-Hash Routing)
بدلاً من إجراء التجزئة بناءً على من أرسل الطلب، قم بإجراء التجزئة بناءً على ما يحتوي عليه الطلب. تحديدًا، قم بتجزئة أول N من الرموز للموجه — البادئة المستقرة المتطابقة عبر المستخدمين — ووجه جميع الطلبات ذات نفس تجزئة البادئة إلى نفس النسخة المكررة.
الفرق الرئيسي عن الألفة للجلسة: هذا يتعامل مع موجهات النظام المشتركة بشكل صحيح. إذا تم حساب مفتاح التوجيه من البادئة المشتركة المستقرة، يمكن توجيه المستخدمين الذين لديهم نفس موجه النظام إلى نفس النسخة المكررة. تحسب النسخة المكررة ذاكرة التخزين المؤقت KV للبادئة مرة واحدة وتخدم كل طلب مطابق لاحق من ذاكرة التخزين المؤقت.
اختيار حد البادئة الصحيح يهم أكثر من آلية التجزئة نفسها. بالنسبة لأنبوب RAG، يجب أن يغطي الحد أطول جزء مستقر من الموجه، والذي قد يكون موجه النظام فقط أو قد يتضمن السياق المسترجع المكرر استخدامه عادةً. بالنسبة للتوجيه بأمثلة قليلة، فهو نهاية كتلة الأمثلة. بالنسبة للمحادثة متعددة الأدوار، فهو نهاية الدور السابق. تحديد الحد قصيرًا جدًا يترك محتوى متغيرًا داخل المنطقة المجهزة وينتج فقدانات زائفة؛ وتحديده طويلاً جدًا يتضمن محتوى يختلف عبر الطلبات ويجزئ التوجيه عبر عدد كبير جدًا من النسخ المكررة.
المستوى 3 — التوجيه المعتمد على أحداث KV
النهج الأكثر دقة: يشترك الموجه في أحداث تخصيص وإخلاء كتل KV المنبعثة من كل محرك استدلال ويحافظ على خريطة في الوقت الفعلي للكتل — المحددة بتجزئات محتواها — المقيمة على كل نسخة مكررة. عند كل طلب وارد، يقوم بتقييم كل نسخة مكررة مؤهلة وفقًا لمقدار البادئة الخاصة بالطلب المخزنة مؤقتًا هناك بالفعل، مرجحة مقابل الحمل الحالي لكل نسخة مكررة، ثم يوجه إلى الخيار الأعلى تقييمًا.
توازن دالة التقييم بين إشارتين. تقيس درجة تداخل التخزين المؤقت ما هي الكسر من كتل بادئة الطلب الوارد المقيمة بالفعل على نسخة مكررة معينة. تقيس درجة الحمل مدى تشبع تلك النسخة المكررة حاليًا. يوازن الموجه بين محلية التخزين المؤقت وحمل النسخة المكررة الحالي عند اتخاذ قرارات التوجيه.
هذا بشكل عام هو المعمارية المستخدمة بواسطة مكون Endpoint Picker الخاص بـ llm-d، والذي يستخدم حالة التخزين المؤقت ومعلومات الحمل لاختيار نسخة مكررة مستهدفة قبل إعادة توجيه الطلب. الحمل الإضافي للتوجيه نفسه لا يذكر مقارنة بتوفيرات التعبئة المسبقة التي يتيحها.
متى تتخطى التوجيه المعتمد على البادئة
يكتسب التوجيه المعتمد على البادئة تعقيده فقط عندما تحتوي أعباء العمل على تداخل حقيقي في البادئات. فهو يضيف قرار توجيه والبحث عن حالة الكتل في كل طلب دون أي عائد في ثلاثة سيناريوهات: عندما تكون جميع الموجهات فريدة (تلخيص المستندات، التوليد الإبداعي بمدخلات متنوعة)، عندما تكون الموجهات قصيرة (أقل من حوالي 200 رمز، حيث تكون تكلفة التعبئة المسبقة ضئيلة)، أو عندما تعالج أعباء العمل المجمعة مدخلات متميزة تمامًا دون تكرار هيكلي.
التشخيص العملي: قم بقياس معدل إصابة ذاكرة التخزين المؤقت لديك مباشرة من مقاييس أحداث التخزين المؤقت لـ vLLM أو إحصائيات RadixAttention لـ SGLang. إذا ظل معدل الإصابة منخفضًا حتى بعد التوجيه المعتمد على التخزين المؤقت، افحص هيكل الموجه أولاً.
كيف تنفذ TrueFoundry التوجيه الملتصق لذاكرة التخزين المؤقت KV
تنفذ بوابة AI Gateway ومطبقة نشر النماذج من TrueFoundry التوجيه الملتصق لتحسين ذاكرة التخزين المؤقت KV بشكل أصلي. عند نشر نموذج عبر TrueFoundry، يمكن توجيه الطلبات ذات البادئات المتطابقة إلى نفس النسخة المكررة من vLLM أو SGLang، مما يسمح لتلك الطلبات بإعادة استخدام حالة ذاكرة التخزين المؤقت KV الحالية بدلاً من إعادة حساب نفس رموز التعبئة المسبقة بشكل مكرر.
تم تصميم طبقة التوجيه للموازنة بين هدفين متنافسين: الحفاظ على محلية التخزين المؤقت والحفاظ على توزيع أحمال سليم عبر النسخ المكررة. عندما تحتوي نسخة مكررة بالفعل على ذاكرة التخزين المؤقت للبادئة ذات الصلة، يمكن للتوجيه تفضيل تلك النسخة المكررة لزيادة إعادة الاستخدام إلى أقصى حد. عندما تصبح النسخة المكررة مشبعة، يمكن للبوابة التراجع إلى نسخ مكررة بديلة لتجنب تحويل محلية التخزين المؤقت إلى عنق زجاجة.
نظرًا لأن التوجيه مدمج مع نشر النموذج، لا تحتاج الفرق إلى بناء بنية تحتية منفصلة للجلسات الملتصقة، أو تجزئة البادئة، أو سياسات موازنة الأحمال المخصصة. نفس سير عمل النشر المستخدم لتوسيع النماذج أفقيًا يحافظ أيضًا على سلوك التوجيه المعتمد على التخزين المؤقت مع إضافة النسخ المكررة أو إزالتها.
بالنسبة للفرق التي تشغل موجهات نظام طويلة، أو تطبيقات محادثة متعددة الأدوار، أو أعباء عمل RAG، أو أنابيب التوجيه بأمثلة قليلة، فإن هذا يحسن احتمالية بقاء البادئات المكررة دافئة على النسخ المكررة الأكثر ترجيحًا لتخديم الطلبات اللاحقة. النتيجة هي استغلال أعلى لذاكرة التخزين المؤقت، وحوسبة تعبئة مسبقة مكررة أقل، وكفاءة أفضل لـ GPU دون تطلب منطق توجيه على مستوى التطبيق.
أفضل الممارسات
- قم بإصلاح هيكل الموجه قبل لمس التوجيه. ضع جميع المحتويات الثابتة — موجه النظام، أمثلة few-shot، الأجزاء المسترجعة — في بداية كل موجه. المحتوى المتغير (رسالة المستخدم، معرف الطلب، الطابع الزمني) يجب أن يتبع البادئة المستقرة. حقل ديناميكي واحد موضوع في غير مكانه قبل موجه النظام ينهي قابلية التخزين المؤقت بالكامل، بغض النظر عن استراتيجية التوجيه.
- حدد حد البادئة بناءً على أعداد الرموز الفعلية، وليس التخمينات. قم بتحليل الرموز (tokenize) لموجه النظام النموذجي وكتلة الأمثلة، وعد الرموز، واستخدم ذلك الحد لتجزئة البادئة. ينقطع الطول الثابت التعسفي غالبًا في منتصف الجملة داخل المحتوى المتغير أو يفوت المنطقة المستقرة بالكامل.
- ابدأ بالمستوى 2، وقم بالقياس، ثم قرر ما إذا كان المستوى 3 يستحق ذلك. الانتقال من التوزيع الدوري إلى التوجيه بتجزئة البادئة يلتقط غالبية المكاسب المتاحة دون بنية تحتية للتوجيه المخصص. يستحق المستوى 3 التقييم عندما تشغل نسخًا مكررة متعددة بتزامن مستمر وتكون فقدانات التخزين المؤقت للبادئة عنق زجاجة مقاسًا.
- راقب معدل إصابة ذاكرة التخزين المؤقت كتنبيه إنتاجي، وليس مجرد مقياس في لوحة القيادة. مطور يضيف بهدوء حقلاً ديناميكيًا إلى موجه النظام سيؤدي إلى انخفاض معدل الإصابة فورًا. يظهر تراجع زمن الانتقال قبل أن يفحص أي شخص السجلات. قم بضبط تنبيه عند انخفاض معدل الإصابة عن خط الأساس المحدد لديك.
- قم بضبط وزن المحلية حسب نوع عبء العمل، وليس عالميًا. تستفيد أنابيب المحادثة متعددة الأدوار وRAG من تفضيل قوي لمحلية التخزين المؤقت. يستفيد استدلال الدفعات عبر مدخلات متنوعة من موازنة الأحمال الخالصة. إذا كانت بوابتك تخدم حركة مرور مختلطة، فقم بتشغيل تكوينات توجيه منفصلة لكل فئة عبء عمل بدلاً من التنازل في كلتيهما.
- راقب استغلال VRAM جنبًا إلى جنب مع معدل الإصابة. يتداول التخزين المؤقت للبادئة ذاكرة GPU مقابل توفيرات التعبئة المسبقة. عند التزامن العالي، تتنافس الكتل المخزنة مؤقتًا مع الطلبات النشطة على VRAM، مما يؤدي إلى إخلاء LRU وانخفاض معدلات الإصابة. إذا تدهور معدل الإصابة تحت الحمل رغم التوجيه الصحيح، فمن الراجح أن يكون ضغط الذاكرة هو السبب — اضبط حد استغلال الذاكرة في محرك الاستدلال قبل افتراض وجود مشكلة في التوجيه.
الخاتمة
بالنسبة لغالبية الفرق، يعد الانتقال من التوزيع الدوري إلى التوجيه بتجزئة البادئة هو التحسين الأعلى تأثيرًا. يصبح التوجيه الأكثر تعقيدًا والمعتمد على التخزين المؤقت ذو قيمة متزايدة مع نمو حجم الأسطول، والتزامن، وإعادة استخدام ذاكرة التخزين المؤقت.
تعرف على كيفية التعامل في بوابة AI Gateway من TrueFoundry مع التوجيه المعتمد على البادئة جنبًا إلى جنب مع نشر النماذج في لوحة تحكم واحدة ← truefoundry.com/ai-gateway
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






