التخزين المؤقت الدلالي للنماذج اللغوية الكبيرة (LLMs): تقليل التكلفة وزمن الاستجابة لمستويات تتجاوز التخزين المؤقت للبادئة

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
يعيد التخزين المؤقت للبادئة (Prefix caching) استخدام المطالبات (prompts) المتطابقة. بينما يعيد التخزين المؤقت الدلالي (Semantic caching) استخدام المطالبات المتشابهة — حيث يقوم بتضمين (embed) الطلب الوارد، وإذا جرى الرد على سؤال شبه مطابق مؤخرًا، فإنه يقدم الإجابة المخزنة بدلاً من استدعاء النموذج. وتعد هذه الإستراتيجية واحدة من أعلى الوسائل تأثيرًا لتقليل التكلفة وزمن الاستجابة التي يمكن للبوابة (gateway) تفعيلها، وهي نقطة يختلف فيها مفهوم "يعمل في العرض التوضيحي" تمامًا عن "آمن في بيئة الإنتاج". يوضح هذا المقال آلية عمل هذه التقنية، والمقبض الفردي الذي يتحكم بها، والحالات التي تقدم فيها إجابات خاطئة دون التنبؤ بذلك، والمكان الأمثل لاستضافة ذاكرة التخزين المؤقت (cache).
مر Kabir، وهو مهندس خلفية (backend engineer)، بأسبوع جيد أعقبه أسبوع سيئ. الأسبوع الجيد: قام بوضع ذاكرة تخزين مؤقت دلالية أمام مساعد الدعم في شركة Northwind — حيث يتم تضمين كل سؤال وارد، وإذا تم الرد على سؤال شبه مطابق مؤخرًا، يتم إرجاع الإجابة المخزنة بدلاً من استدعاء النموذج. ونتيجة لذلك، انخفض حجم استدعاءات النموذج بنسبة 35%. كما انخفض زمن الاستجابة في حالات الإصابة المؤقتة من حوالي 900 مللي ثانية إلى أقل من 40 مللي ثانية. أما الأسبوع السيئ: فقد سأل أحد العملاء "أين شحنتي؟" وحصل على إجابة مفصلة وواثقة — ولكنها كانت متعلقة بطلب عميل آخر. حيث سأل عميلان سؤالين متطابقين دلاليًا بفارق دقائق معدودة؛ فقامت ذاكرة التخزين المؤقت بتضمين كلا السؤالين إلى المتجه نفسه تقريبًا، وسجلت إصابة، ثم قدمت إجابة العميل الأول للعميل الثاني.
كانت ذاكرة التخزين المؤقت تعمل تمامًا كما تم تصميمها. لكنها لم تكن مدركة أن سؤال "أين شحنتي؟" يحمل معنى مختلفًا باختلاف الشخص الذي يسأل. يستبدل التخزين المؤقت الدلالي استدعاء النموذج بمطابقة تشابه، وتقع سلامة هذه العملية برمتها في مكانين: العتبة التي تطابق بناءً عليها، وما تسمح بإدخاله إلى ذاكرة التخزين المؤقت في المقام الأول. يستعرض هذا المقال كلا الجانبين.
ما تقدمه TrueFoundry's AI Gateway في هذا السياق
كل ما يتناوله هذا المقال — التخزين المؤقت الدلالي والتخزين القائم على المطابقة التامة، وعتبة التشابه كمقبض يمكن ضبطه لكل مسار، وتحديد النطاق لكل مستأجر لضمان عدم تكرار خطأ Kabir المذكور في المقدمة، وقياسات معدل الإصابة / التكلفة الموفرة التي توضح لك ما إذا كان التخزين المؤقت يجدي نفعًا بالفعل — هو شيء تعبر عنه TrueFoundry's AI Gateway caching كتهيئة للبوابة (gateway configuration). حيث يفعّلها رأس (header) واحد في الطلب؛ تقوم البوابة بتشفير الطلب (أو تضمين الرسالة الأخيرة للتخزين الدلالي)، ومقارنته بالمخزن المدعوم بـ Redis، ثم إرجاع الاستجابة المخزنة عند تحقق الإصابة. في حالة عدم تحقيق إصابة (miss)، ينتقل الطلب إلى المزود، ويتم تخزين الاستجابة والتضمين الجديدين للمرة القادمة.
تم دمج ضمان الصحة — التأكد من أن طلبين متشابهين دلاليًا من مستخدمين مختلفين لا يعيدان أبدًا إجابات بعضهما البعض — عبر تقسيم مساحة الأسماء على مستويين. المستوى 1 تلقائي: يتم تحديد نطاق كل مدخل تخزين مؤقت للمستخدم المتصل أو الحساب الافتراضي، بحيث لا يمكن لطلب المستخدم A أن يصيب مدخل المستخدم B على الإطلاق. المستوى 2 اختياري: يوفر الحقل namespace في تهيئة التخزين المؤقت تقسيمًا إضافيًا (لكل مستأجر، أو بيئة، أو إصدار لمطالبة النظام)، وهو ما تحتاجه وسيطة مساحة الأسماء (namespace) المذكورة في المقال عمليًا. ومعًا، يضمن هذان المستويان سلامة مشاركة ذاكرة التخزين المؤقت الدلالي على مستوى البوابة عبر الخدمات دون الحاجة لتطبيق العزل في كل خدمة على حدة.


يظل كود التطبيق كما هو — التخزين المؤقت اختياري لكل طلب عبر رأس (header) واحد. يستخدم المثال أدناه semantic، وهو مجموعة شاملة من المطابقة التامة (حيث سينفذ أيضًا الإصابات ذات النصوص المتطابقة)، مع عتبة بدء محافظِة تبلغ 0.9 ومساحة أسماء مخصصة حتى يتمكن التطبيق متعدد المستأجرين من إبقاء ذاكرة التخزين المؤقت لكل مستأجر معزولة حتى ما بعد نطاق التحديد التلقائي لكل مستخدم:
استدعاء البوابة مع تفعيل التخزين المؤقت الدلالي (Python، متوافق مع OpenAI)
1. ثلاث طبقات للتخزين المؤقت لـ LLM (وأيها يتناوله هذا المقال)
يغطي مفهوم "التخزين المؤقت" ثلاث آليات متميزة تتفاوت تمامًا في اتساع نطاقها ومستوى مخاطرها، ومن المهم أن نكون دقيقين بشأن الآلية التي تقوم بنشرها.
التخزين المؤقت للبادئة لدى المزود (Provider prefix caching) يعيد استخدام بادئة مطالبة مطابقة وتامة — مثل مطالبة النظام وتعريفات الأدوات التي تتكرر دون تغيير عبر الاستدعاءات. يطابق المزود بناءً على بادئة دقيقة ويخصم جزءًا كبيرًا من تكلفة الجزء المكرر. تتم هذه العملية تلقائيًا وآمنة، وقد تم تغطيتها في مقالة هندسة السياق؛ ولا تقدم إجابة خاطئة أبداً لأنها تطابق النصوص المتطابقة فقط.
التخزين المؤقت للاستجابة بناءً على المطابقة التامة (Exact-match response caching) يقوم بتشفير (hash) الطلب الموحد بأكمله ويعيد الاستجابة المخزنة عند تطابق التشفير. هذه الآلية آمنة أيضًا — مدخلات متطابقة، ومخرجات متطابقة — لكن معدل الإصابة فيها منخفض، لأن المستخدمين نادراً ما يصيغون الأسئلة بطريقة متطابقة حرفيًا.
التخزين المؤقت الدلالي (Semantic caching) هو موضوعنا هنا: يقوم بتضمين الطلب وتقديم استجابة مخزنة مؤقتًا عندما يوجد طلب سابق مشابه. وهنا يقفز معدل الإصابة، لأن أسئلة مثل "أين طردي؟" و"هل تم شحن طلبي بعد؟" يمكن أن تتشارك استجابة مخزنة واحدة — وهنا أيضًا تظهر المخاطر، لأن مفهوم "مشابه" هو قرار تقديري تتخذه عتبة التشابه وليس مطابقة دقيقة.
2. كيف يعمل التخزين المؤقت الدلالي: التضمين، والمطابقة، والتقديم
تتكون الآلية من ثلاث خطوات. تضمين الطلب الوارد في متجه. البحث في مخزن المتجهات عن أقرب طلب سابق ضمن النطاق الصحيح. إذا تجاوز تشابه الأقرب مجاورة العتبة المحددة، يتم إرجاع استجابه المخزنة؛ وإلا فيتم استدعاء النموذج وتخزين زوج الطلب/الاستجابة الجديد للمرة القادمة.
البحث في ذاكرة التخزين المؤقت الدلالي — التضمين، والبحث ضمن النطاق، والتقديم عند تحقق إصابة موثوقة
عند تحقق إصابة (hit)، تكون قد استبدلت استدعاء النموذج — الذي يستغرق عادةً عدة مئات من المللي ثانية وتكلفة بناءً على عدد الرموز (tokens) — باستدعاء تضمين وبحث في المتجهات، في حدود بضع عشرات من المللي ثانية وجزء بسيط من التكلفة. أما عند عدم تحقق إصابة (miss)، فتكون قد أضفت زمن استجابة التضمين والبحث إلى استدعاء النموذج العادي، وتلك هي الضريبة البسيطة التي تدفعها مقابل فرصة تحقيق الإصابة. وتعتمد جدوى هذه العملية اقتصادياً على معدل الإصابة (القسم 7)، بينما تعتمد سلامتها تماماً على العتبة (القسم التالي).

3. عتبة التشابه هي جوهر العملية بالكامل
تحدد العتبة مدى التقارب الذي يجب أن يكون عليه الطلب الجديد من الطلب المخزن ليعتبر إصابة، وهي تمثل مقايضة مباشرة بين الدقة والاستدعاء. فإذا قمت بضبطها بمستوى منخفض جدًا — أي قبول المطابقات المائعة — سيزداد معدل الإصابة ولكنك ستخدم إجابات لأسئلة لم تطرح بدقة (إصابات خاطئة). وإذا قمت بضبطها بمستوى مرتفع جدًا — أي اشتراط صياغة شبه متطابقة — ستكون ذاكرة التخزين المؤقت آمنة ولكنها ستعمل نادراً، لتتحول تدريجياً نحو التخزين المؤقت للمطابقة التامة ولكن بخطوات إضافية.
لا قيمة صحيحة مطلقة يمكن تطبيقها عالميًا، لأن الأمر يعتمد على نموذج التضمين، والنطاق، وتكلفة الإجابة الخاطئة بالنسبة لك. والطريقة المثلى لضبطها تجريبية: اجمع أزواجًا مصنفة من الطلبات التي ينبغي والتي لا ينبغي أن تتشارك الإجابة نفسها، واختبر العتبات المختلفة، ثم اختر النقطة التي ينخفض عندها معدل الإصابات الخاطئة إلى مستوى مقبول لهذا المسار. المسارات ذات المخاطر العالية (أي شيء يمس المال أو الصحة أو الهوية) تتطلب عتبة محافظة أو عدم استخدام التخزين المؤقت الدلالي على الإطلاق؛ بينما المسارات المعلوماتية منخفضة المخاطر (الأسئلة الشائعة في الوثائق، والشروحات العامة) يمكن أن تعمل وفق عتبات أكثر مرونة. وتحديد العتبات لكل مسار، وليس رقمًا عالميًا واحدًا، هو النمط المتبع في بيئات الإنتاج — والبوابة مثل TrueFoundry's AI Gateway، التي تعترض بالفعل كل مسار، هي المكان الطبيعي لضبطها لكل مسار على حدة ومراقبة معدل الإصابة الخاطئة لكل مسار بدلاً من توزيع هذه السياسة عبر خدمات متعددة.
4. متى يقدم التخزين المؤقت الدلالي إجابة خاطئة؟
الخطر الجوهري بسيط في صياغته ولكن من السهل الاستهانة به: التقارب في التضمين لا يعني التساوي في المعنى. إذ تلتقط التضمينات التشابه الموضوعي، وليس التكافؤ المنطقي. فأسئلة مثل "ما هي عاصمة فرنسا؟" و"ما هي عاصمة ألمانيا؟" متقاربة للغاية في مساحة التضمين — النمط نفسه، والنطاق نفسه، وتختلفان في كلمة واحدة فقط — ومع ذلك تتطلبان إجابات مختلفة. والعتبة المجهزة لزيادة معدل الاستدعاء ستتعامل معهما كأن القصد منهما واحد.
تتعدد أساليب التخفيف من هذه المشكلة، ولا يوجد أسلوب منها مكتمل بمفرده. فالعتبة المحافظة تقبل قدرًا أقل من المطابقات المائعة. بينما يضيف حراس الكيانات والكلمات المفتاحية (Entity and keyword guards) فحصًا إضافيًا للتأكد من مطابقة الكيانات البارزة (مثل الدولة، رقم الطلب، المنتج) قبل تقديم الإصابة، مما يعالج حالة فرنسا/ألمانيا التي يغفل عنها تشابه جيب التمام (cosine similarity) المجرد. وتعمل ذواكر التخزين المؤقت لكل مساحة اسم على منع تضارب السياقات المختلفة. أما وسيلة التخفيف الأكثر فاعلية فتبدأ من البداية: لا تقم بتخزين فئات الطلبات التي تشكل فيها الأخطاء التقريبية خطورة بالغة، وهو ما يتناوله القسم التالي. يتعين التعامل مع التخزين المؤقت الدلالي كأداة لها نمط فشل معروف يتم التصميم حوله، وليس كتسريع شفاف يمكنك تطبيقه في كل مكان.
5. ما لا يجب تخزينه مؤقتًا أبدًا
توجد استجابات غير آمنة لتقديمها بناءً على مطابقة التشابه بغض النظر عن مدى جودة العتبة، لأن الشيء الذي يجعل طلبين مختلفين ليس موجودًا في النص الذي يراه التضمين.
6. تصميم مفتاح التخزين المؤقت، وتحديد النطاق، والإبطال
لا يعتمد مدخل التخزين المؤقت الدلالي على النص بمفرده؛ بل يتم مفتاحته بواسطة تضمين داخل مساحة اسم (namespace)، ومساحة الاسم هي المكان الذي تنفذ فيه الصحة. يجب أن ترمز مساحة الاسم لكل ما يجعل طلبين متشابهين نصيًا مختلفين تمامًا في الواقع: المستأجر أو المستخدم (لأي شيء خاص بالمستخدم)، والنموذج، وإصدار مطالبة النظام، ومجموعة الأدوات النشطة. فسؤالان متماثلان تحت إصدارين مختلفين من مطالبة النظام هما سؤالان مختلفان، لأن التعليمات التي تشكل الإجابة قد تغيرت.
تحديد مساحة الاسم لمدخل ذاكرة التخزين المؤقت (توضيحي)
يتطلب إبطال البيانات مشغلين (triggers). الوقت، عبر TTL يتم اختياره بناءً على سرعة تغير الحقيقة الأساسية — فيكون قصيرًا لأي شيء متغير، وأطول للإجابات المرجعية الثابتة. والإصدار، عبر مساحة الاسم: فرفع إصدار مطالبة النظام أو تغيير مجموعة الأدوات ينقل ذاكرة التخزين المؤقت إلى الأمام تلقائيًا، بحيث لا يتم تقديم الإجابات القديمة من التهيئة السابقة مطلقًا. وتعد الفشل في إبطال البيانات عند تغيير المطالبة خطأً شائعًا وخفيًا — حيث تتحسن المطالبة، لكن الإجابات المخزنة تظل تعكس المطالبة القديمة حتى انتهاء مهلة TTL.
في التخزين المؤقت لدى TrueFoundry، يمثل رأس x-tfy-cache-config (أو سياسة مدارة مركزيًا تضبط الحقول نفسها) كل هذه الإعدادات. المخطط (schema) صغير وعناصر التحكم تطابق ما تم شرحه للتو في هذا القسم:
التخزين المؤقت لكل مسار لمساعد متعدد المستأجرين — ثلاثة أنماط بال مخطط نفسه
تتوافق إرشادات العتبة في الوثائق الرسمية مع ما ورد في المقال: 0.95–1.0 لرافعات الاستخدام الصارمة جدًا حيث تكون الإصابة الخاطئة مكلفة، و0.85–0.95 للمساعدين التفاعليين المتوازنين، وأقل من 0.85 للمسارات الاستكشافية أو منخفضة المخاطر. ويوصى بالبدء من 0.9 والتعديل بناءً على معدل الإصابات الخاطئة الملاحظ، ورأس الاستجابة x-tfy-cache-similarity-score هو ما يجعل ذلك قابلًا للقياس — فكل إصابة تخبرك بالنتيجة التي تجاوزتها، مما يجعل التقييم عبر الأزواج المصنفة مجرد بضع استعلامات بدلاً من إنشاء نظام تقييم مخصص.
هناك تفصيلان يتعلقان بالتنفيذ يجدر معرفتهما. نموذج التضمين في بيئة SaaS هو text-embedding-3-small من OpenAI افتراضيًا ولا يمكن تغييره في هذا النمط؛ أما في عمليات النشر المستضافة ذاتيًا (self-hosted) فيمكن اختياره عبر Controls ← Settings ← Semantic Cache، ويطبق النموذج المختار على جميع عمليات التخزين المؤقت الدلالي على مستوى البوابة.

المخزن في البيئات المستضافة ذاتيًا هو Redis — إما Redis المدمج من مخطط tfy-llm-gateway Helm، أو Redis الخاص بك (أو المترابط مع Redis مثل Valkey) عبر متغيرات البيئة. وكلا الخيارين مهمان لأن ذاكرة التخزين المؤقت لا تؤدي دورها إلا عندما تكون عملية التضمين والبحث أسرع وأقل تكلفة حقًا من استدعاء النموذج الذي تتجنبه.
الجانب الآخر من وسيطة مساحة الاسم المذكورة في المقال هو الجزء الذي تجعله البوابة تلقائيًا: عزل المستوى 1. حيث يحدد نطاق كل مدخل ضمنيًا للمستخدم أو الحساب الافتراضي الذي أنشأه، بحيث حتى لو نسيت ضبط namespace، لا يعيد طلب المستخدم A إجابة المستخدم B المخزنة إطلاقًا. وتعتبر مساحة الاسم المخصصة namespace تقطيعًا إضافيًا للحالات الموصوفة في المقال — مثل التطبيقات متعددة المستأجرين التي تتشارك حسابًا افتراضيًا واحدًا، وإصدارات مطالبات النظام، والبيئات — وليست السد الوحيد الفاصل بين إجابات المتصلين. هذا التدرج هو ما يجعل "مشاركة ذاكرة تخزين مؤقت واحدة عبر الخدمات" خيارًا افتراضيًا آمنًا وموثوقًا.
7. الجوانب الاقتصادية: معدل الإصابة، والتكلفة، وزمن الاستجابة
تتوقف قيمة التخزين المؤقت الدلالي على رقم واحد: معدل الإصابة (hit rate). كنموذج توضيحي، افترض أن مسارًا يعمل بتكلفة نموذج معينة لكل استدعاء، وحققت ذاكرة التخزين المؤقت معدل إصابة بنسبة 30% عند عتبة آمنة. حوالي 30% من الطلبات تتجاوز الآن استدعاء النموذج، فتخفض التكلفة في ذلك المسار بنسبة تقارب 30% (مطروحًا منها تكلفة التضمين والبحث، وهي ضئيلة مقارنة بالتوليد). ويتصاحب ذلك مع تحسن زمن الاستجابة في هذه الـ 30% من الطلبات تحديدًا، لينخفض من عملية توليد تستغرق عدة مئات من المللي ثانية إلى بحث يستغرق بضع عشرات من المللي ثانية، مما يخفض كل من المتوسط وزمن الاستجابة الأقصى (tail latency).
توجد ملاحظتان موضوعيتان حول هذه الحسابات. معدل الإصابة يعتمد على طبيعة عبء العمل — فالمساعد المخصص للأسئلة الشائعة قد يحقق معدل أعلى بكثير من 30%، بينما أعباء العمل الإبداعية المتنوعة قد لا تحقق شيئًا تقريبًا — لذا فإن الرقم الموثوق الوحيد هو الذي تقيسه بنفسك على حركة المرور الخاصة بك. كما أن التوفير يمثل الصافي بعد خصم ضريبة التضمين لكل عملية فشل في الإصابة (miss)؛ وإذا كان معدل الإصابة منخفضًا جدًا، فقد تنفق على التضمينات أكثر مما توفره. قس النسبة القابلة للتخزين المؤقت قبل الالتزام، بدلاً من افتراض معدل نظري. وتشغيل ذاكرة التخزين المؤقت خلف TrueFoundry's AI Gateway هو ما يجعل ذلك قابلًا للقياس في المقام الأول — حيث يظهر معدل الإصابة والإنفاق الذي تم تجنبه إلى جانب تكلفة كل استدعاء في لوحة إسناد التكاليف، لتصبح التوفيرات رقمًا ملاحظًا وليست مجرد توقعات.
8. أين تستضيف ذاكرة التخزين المؤقت: البوابة أم التطبيق؟
يمكن استضافة ذاكرة التخزين المؤقت الدلالي داخل التطبيق، لكن البوابة (gateway) تمثل الخيار الافتراضي الأقوى للأسباب نفسها التي تنطبق على التوجيه (routing) والاعتمادية: فهي تعترض بالفعل كل طلب، مما يسمح بمشاركة ذاكرة التخزين المؤقت عبر الخدمات بدلاً من إعادة تنفيذها في كل خدمة، كما أنها تمتلك قياسات التكلفة وزمن الاستجابة لكل استدعاء والمطلوبة لمعرفة ما إذا كان التخزين المؤقت يجدي نفعًا بالفعل.
تشغيل ذاكرة التخزين المؤقت في TrueFoundry's AI Gateway يعني وجود مكان واحد لتطبيق تحديد النطاق لكل مستأجر (لمنع حدوث المشكلة المذكورة في المقدمة)، ومكان واحد لمراقبة معدل الإصابة، والتكلفة الموفرة، وزمن الاستجابة الموفر، بالإضافة إلى رؤية إسناد التكاليف نفسها المذكورة في مقالة إسناد التكاليف والتي تعرض التقسيم بين الطلبات المخزنة وغير المخزنة لكل فريق ومسار. وتوزيع المهام هنا هو النمط الذي يتكرر عبر هذه السلسلة: توفر البوابة ذاكرة تخزين مؤقت مشتركة ومحددة النطاق وقابلة للملاحظة؛ بينما يمتلك التطبيق القرار السياساتي حول المسارات الآمنة للتخزين المؤقت والعتبة المناسبة لها — لأن التطبيق وحده هو من يعلم أن سؤال "أين طلبي؟" هو سؤال مخصص وأن "ما هي فترة الإرجاع؟" ليسك كذلك.
9. الأسئلة الشائعة
كيف يختلف هذا عن التخزين المؤقت للمطالبات في مقالة هندسة السياق؟
تناولت تلك المقالة التخزين المؤقت للبادئة لدى المزود — إعادات استخدام بادئة مطالبة النظام المتطابقة بتكلفة مخفضة، والتي لا تقدم إجابة خاطئة إطلاقًا لأنها تطابق النصوص المتطابقة تمامًا. أما التخزين المؤقت الدلالي فيعيد استخدام الطلبات المتشابهة عبر تضمينها، ومن هنا يأتي كل من معدل الإصابة الأعلى ومخاطر الإصابات الخاطئة. وهما يكملان بعضهما: استخدم التخزين المؤقت للبادئة الثابتة في كل استدعاء، واستخدم التخزين المؤقت الدلالي للاستجابات الكاملة فقط في المسارات الآمنة.
كيف أختار عتبة التشابه؟
تجريبيًا، لكل مسار على حدة. قم بإنشاء مجموعة مصنفة من أزواج الطلبات التي ينبغي والتي لا ينبغي أن تتشارك الإجابة، واختبر العتبات المختلفة، واختر النقطة التي ينخفض عندها معدل الإصابات الخاطئة إلى مستوى مقبول بناءً على تكلفة الإجابة الخاطئة في ذلك المسار. المسارات ذات المخاطر العالية تتطلب عتبة محافظة أو عدم استخدام التخزين الدلالي؛ والمسارات المعلوماتية منخفضة المخاطر يمكن أن تعمل وفق عتبات أسهل. استخدام عتبة عامة واحدة أمر خاطئ غالبًا لمسار ما.
هل يمكنني تخزين أي شيء مخصص بأمان؟
فقط عند وجود نطاق صريح لكل مستخدم (أو لكل مستأجر) في مساحة اسم التخزين المؤقت، بحيث لا يعيد البحث إجابة مستخدم آخر إطلاقًا — وحتى في هذه الحالة، انتبه للحساسية الزمنية. الإعداد الافتراضي الآمن للاستجابات المخصصة، أو الحساسة للوقت، أو المرتبطة بالحالة، أو عالية المخاطر هو عدم تخزينها دلاليًا. الخلل المذكور في المقدمة هو نتيجة تخزين إجابة مخصصة مؤقتًا دون تحديد نطاق المستخدم.
ماذا يحدث لذاكرة التخزين المؤقت عندما أغير مطالبة النظام؟
يجب عليك إبطال البيانات، وإلا فستقدم إجابات تمت صياغتها بناءً على المطالبة القديمة حتى انتهاء مهلة TTL الخاصة بها. الطريقة النظيفة هي وضع إصدار مطالبة النظام داخل مساحة اسم ذاكرة التخزين المؤقت، بحيث يؤدي تغيير المطالبة إلى نقل ذاكرة التخزين المؤقت للأمام تلقائيًا وتجاهل المدخلات القديمة تمامًا.
هل الأفضل البوابة أم التطبيق؟
البوابة للآليات والعمليات — ذاكرة تخزين مؤقت مشتركة، تحديد النطاق لكل مستأجر، وقابلية ملاحظة معدل الإصابة والتكلفة وزمن الاستجابة للتحقق من نجاح العمل. والتطبيق للسياسات والقرارات — المسارات القابلة للتخزين والعتبة المناسبة — لأن ذلك القرار يتطلب معرفة بالنطاق لا تمتلكها البوابة.
لم تكن فكرة ذاكرة التخزين المؤقت لدى Kabir سيئة؛ بل كانت تنقصها محددات النطاق. يحقق التخزين المؤقت الدلالي مكاسب حقيقية في التكلفة وزمن الاستجابة في المسارات التي تتشارك فيها الأسئلة المتشابهة الإجابة نفسها بالفعل — والانضباط الذي يجعله آمنًا يكمن في معرفة تلك الأسئلة، مسارًا بمسار.
حول TrueFoundry
تعتبر TrueFoundry's AI Gateway لوحة تحكم بمستوى المؤسسات تقرأ وتدير بين تطبيقاتك وأكثر من 1,600 نموذج — عبر OpenAI، وAnthropic، وGoogle، وAWS Bedrock، وAzure OpenAI، ونماذجك المستضافة ذاتيًا — خلف API واحد متوافق مع OpenAI. وهي تحول إستراتيجيات التخزين المؤقت المذكورة في هذا المقال إلى خيارات تهيئة بدلاً من كتابة كود لكل خدمة: التخزين المؤقت الدلالي والقائم على المطابقة التامة عبر رأس x-tfy-cache-config واحد، وعتبات التشابه ومهل TTL لكل مسار، وعزل تلقائي لكل مستخدم / حساب افتراضي، وتقسيم اختياري لمساحة الأسماء للتطبيقات متعددة المستأجرين وإصدارات المطالبات، وتخزين مدعوم بـ Redis يعمل بالطريقة نفسها على SaaS والبيئات المستضافة ذاتيًا (مع إمكانية تهيئة نموذج التضمين في البيئات الخاصة).
ولأن البوابة تعترض بالفعل كل طلب وتصدر تتبعًا (trace) كاملاً لكل استدعاء، تصبح ذاكرة التخزين المؤقت قابلة للقياس في العرض نفسه كبقية العمليات: x-tfy-cache-status، معرف التتبع المخزن، ودرجة التشابه الفعلية تظهر في كل استجابة وتجمع في لوحات تحكم التكلفة الموفرة وزمن الاستجابة الموفر. كما تضيف البوابة نفسها عناصر التحكم بالوصول (RBAC)، والحسابات الافتراضية، والميزانيات وحدود المعدل، وآليات البدائل وإعادة المحاولة، وحواجز الحماية (guardrails)، ولوحات قابلية الملاحظة. ويتم نشرها كـ SaaS، أو داخل VPC الخاص بك، أو في بيئتك الخاصة (on-prem)، أو معزولة تمامًا (air-gapped) مع الامتثال لمعايير SOC 2 وHIPAA وITAR، وهي مصنفة في دليل Gartner للأسواق لبوابات الذكاء الاصطناعي. راجع وثائق التخزين المؤقت أو نظرة عامة على AI Gateway للتوسع.
المراجع
- TrueFoundry AI Gateway — التخزين المؤقت وقابلية الملاحظة
- OpenAI — التخزين المؤقت للمطالبات (طبقة البادئة الدقيقة)
- Anthropic — التخزين المؤقت للمطالبات (cache_control)
إن Northwind وKabir هما مثاليان توضيحياين. إن آليات التخزين المؤقت المعتمد على التضمين (embedding-based caching)، وسلوك الدقة/الاستدعاء (precision/recall) لعتبة التشابه (similarity threshold)، ونمط الفشل "المتطابق في التضمين ليس مساوياً في المعنى" هي خصائص عامة لهذه التقنية. الأرقام المحددة — انخفاض المكالمات بنسبة 35%، وزمن الانتقال من 900 ms إلى 40 ms عند الإصابات (hits)، ومثال معدل الإصابة بنسبة 30%، وتكلفة التضمين البالغة 10–30 ms — هي افتراضات تمثيلية من حيث الحجم لتوضيح المفاضلات، وليست قياسات دقيقة؛ قم بقياس الجزء القابل للتخزين المؤقت لديك ومعدل الإصابات الخاطئة قبل تمكين التخزين المؤقت الدلالي (semantic caching) في الإنتاج.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






