October 9, 2026
|
5 min read
تتبع البوابة وسجلات الطلبات: تتبع أخطاء كل استدعاء لنماذج اللغة الكبيرة (LLM) بدقة
By أشيش دوبي
Published: October 9, 2026
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
لماذا تحتاج إلى التتبع على البوابة
عندما يكون استدعاء LLM بطيئاً أو مكلفاً أو غير دقيق، فأنت بحاجة إلى معرفة ما حدث بالفعل. هل قام حاجز الحماية بتنقيح المطالبة؟ كم استغرق النموذج من الوقت مقارنة بالشبكة؟ ماذا أرسلت البوابة إلى المزود؟ سجلات الطلبات والتتبع على بوابة الذكاء الاصطناعي تجيب على هذه الأسئلة لكل استدعاء.
نظراً لأن كل طلب يمر بالفعل عبر البوابة، فإنك تحصل على هذه الرؤية دون الحاجة إلى برمجة كل تطبيق يدوياً.
التحكم في ما يتم تسجيله
تصفوثائق تسجيل الطلبات تتيح لك التحكم في الطلبات التي يتم تسجيلها. أبسط وسيلة تحكم هي لكل طلب على حدة، باستخدام ترويسة X-TFY-LOGGING-CONFIG مع قيمة JSON نصية. اضبط enabled على true لتسجيل الطلب أو false لتخطيه.
ملاحظة هامة: قيمة تلك الترويسة هي JSON نصي، وليست كائن JSON خام، لأن معظم حزم تطوير البرمجيات (SDKs) تقوم بتسلسل الترويسات كنصوص. يتم استبدال أوضاع التسجيل العالمية القديمة بـ تكوين التسجيلالقائم على القواعد، والذي يتيح لك التحكم في التسجيل لكل موضوع أو نموذج أو بيانات وصفية، وتنقيح القيم الحساسة.
عرض سجلات الطلبات
لرؤية الطلبات المسجلة في واجهة المستخدم، انتقل إلى AI Gateway، ثم Monitor، ثم Requests. يمنحك هذا قائمة بجميع الاستدعاءات المسجلة، والتي يمكنك فتحها لفحص طلب واحد بالتفصيل.
شرح التتبعات والنطاقات
تصفوثائق التتبع تصف التتبع بأنه دورة الحياة الكاملة للطلب أثناء تدفقه عبر الخدمات التي تتفاعل مع LLM. عادةً ما يتوافق التتبع مع استدعاء API واحد لتطبيق ما.
النطاق (Span) هو وحدة عمل فردية داخل ذلك التتبع، مثل استدعاء دالة، أو طلب HTTP، أو استنتاج نموذج. التتبع عبارة عن شجرة من النطاقات ذات علاقات أب وأبناء، حيث يكون النطاق الابن ناتجاً عادةً عن أبيه. توفر TrueFoundry خلفية لجامع OpenTelemetry تقوم بتخزين هذه التتبعات وواجهة مستخدم للاستعلام عنها وتحليلها، ويمكنها استقبال التتبعات من أي حزمة تطوير برمجيات (SDK) متوافقة مع OpenTelemetry.
قراءة تتبع واحد
تصفوثائق فحص التتبع لنستعرض مثالاً واقعياً: عملية إكمال محادثة مع حاجز حماية لتنقيح معلومات التعريف الشخصية (PII)، تم التقاطها في خمسة نطاقات تشكل تسلسلاً هرمياً.
- نطاق إكمال المحادثة (الجذر) يمثل دورة حياة الطلب بالكامل من منظور العميل. في هذا المثال، يستغرق الأمر حوالي 7 ثوانٍ ويحمل مقاييس الرموز (tokens)، والتكلفة، والمدخلات، والمخرجات.
- نطاق حاجز الحماية هو ابن للنطاق الجذر ويمثل عملية تنقيح معلومات التعريف الشخصية، ويستغرق أقل من نصف ثانية.
- نطاق استدعاء شبكة حاجز الحماية هو استدعاء HTTP الفعلي لخدمة حاجز الحماية، متضمناً طريقة HTTP ورمز الحالة.
- نطاق النموذج هو شقيق لنطاق حاجز الحماية ويمثل استنتاج النموذج، ويستغرق معظم وقت الطلب.
- نطاق استدعاء شبكة النموذج هو استدعاء HTTP الفعلي للمزود، على سبيل المثال طلب POST إلى نقطة نهاية إكمال المحادثات الخاصة بالمزود.
في المثال نفسه، تظهر المدخلات وهي منقحة بوضوح من اسم إلى عنصر نائب، مما يوضح عمل حاجز حماية معلومات التعريف الشخصية من البداية إلى النهاية داخل التتبع.
تتبع إكمال محادثة يوضح نطاقات حاجز الحماية، والنموذج، والشبكة الصادرة.
من التتبع الفردي إلى مقاييس الأسطول بالكامل
التتبعات الفردية مخصصة لتصحيح الأخطاء. أما بالنسبة للاتجاهات، فإن لوحة تحكم التحليلات تقوم بتجميع البيانات نفسها. تغطي علامات التبويب نظرة عامة، ومقاييس النموذج، ومقاييس MCP، ومقاييس حاجز الحماية، ومقاييس التوجيه، ومقاييس التخزين المؤقت.
يمكن تجميع مقاييس النماذج حسب النماذج، أو النماذج الافتراضية، أو المستخدمين، أو الحسابات الافتراضية، أو الفرق، أو البيانات الوصفية. كما توفر طرق عرض زمن الاستجابة تحليلاً دقيقاً لزمن استجابة الطلب، والوقت المستغرق للرمز الأول، والزمن الفاصل بين الرموز، والوقت المستغرق لكل رمز مخرجات. وبالاقتران مع تتبع الطلبات الفردية، يمنحك هذا رؤية شاملة وتفصيلية في آن واحد.
مقاييس النماذج في لوحة تحليلات البيانات، قابلة للتجميع حسب الفريق، والمستخدم، والنموذج، والمزيد.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
Built for Speed: ~10ms Latency, Even Under Load
Try now.
Start free
How Can You Prevent GenAI Costs From Spiraling at Scale?
Gartner Hype Cycle for Platform Engineering 2026
One Layer of Control for All AI
Discover More
No items found.
.png)
.png)
No items found.
.png)
.png)
.png)
.png)
Frequently asked questions
How do I turn logging on or off for a request?
Send the X-TFY-LOGGING-CONFIG header with a stringified JSON value and set enabled to true or false. Remember that the value is stringified JSON, not a raw object, because most SDKs serialize headers as strings.
Where do I view logs and traces?
Logged requests appear under AI Gateway, then Monitor, then Requests. Opening a request shows its trace, which is the tree of spans covering guardrails, the model, and the outbound provider calls.
What is the difference between a trace and a span?
A trace is the full lifecycle of a single request. A span is one unit of work inside that trace, such as a guardrail check or a model inference. Spans form a parent and child tree within the trace
Can I use my own OpenTelemetry SDK?
Yes. TrueFoundry runs an OpenTelemetry collector backend and can receive traces from any OpenTelemetry compatible SDK. For LLM use cases the docs recommend an LLM focused SDK that captures model specific traces and metrics.
