تتبع Gateway وسجلات الطلبات: استكشاف أخطاء كل استدعاء LLM وإصلاحها
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
لماذا تحتاج إلى التتبع (Tracing) على Gateway
عندما يكون استدعاء LLM بطيئًا، أو مكلفًا، أو غير صحيح، فأنت بحاجة إلى معرفة ما حدث بالفعل. هل قام Guardrail بحجب Prompt؟ كم استغرق النموذج من الوقت مقارنة بالشبكة؟ ما الذي أرسلته Gateway إلى المزود؟ تجيب تسجيل الطلبات والتتبع على AI Gateway عن هذه الأسئلة لكل استدعاء.
ولأن كل طلب يتدفق بالفعل عبر Gateway، فإنك تحصل على هذه الرؤية الشاملة دون الحاجة إلى تجهيز كل تطبيق يدويًا.
التحكم فيما يتم تسجيله
تتيح لك وثائق تسجيل الطلبات التحكم في الطلبات التي يتم تسجيلها. أبسط طريقة للتحكم هي على مستوى كل طلب، باستخدام Header المسُمى X-TFY-LOGGING-CONFIG مع قيمة JSON مكتوبة كنص (stringified). قم بضبط enabled على true لتسجيل الطلب أو false لتخطيه.
هناك نقطة مهمة تستحق الملاحظة: قيمة هذا Header هي JSON مكتوب كنص وليس كائن JSON خام، لأن معظم SDKs تقوم بتسلسل الـ Headers كـ strings. يتم حاليًا استبدال أوضاع التسجيل العامة القديمة بـ تكوين التسجيل القائم على القواعد، مما يتيح لك التحكم في التسجيل حسب Subject أو Model أو Metadata وحجب القيم الحساسة.
عرض سجلات الطلبات
لعرض الطلبات المسجلة في واجهة المستخدم، انتقل إلى AI Gateway، ثم Monitor، ثم Requests. يمنحك هذا قائمة بجميع الاستدعاءات المسجلة، والتي يمكنك فتحها لفحص طلب واحد بالتفصيل.

مفهوم Traces و Spans
تصف وثائق التتبع الـ Trace بأنه دورة الحياة الكاملة للطلب أثناء تدفقه عبر الخدمات التي تتفاعل مع LLM. عادةً ما يتوافق Trace مع استدعاء API واحد لتطبيق ما.
أما Span فهو وحدة عمل فردية داخل هذا Trace، مثل استدعاء دالة، أو طلب HTTP، أو استنتاج نموذج (Model Inference). الـ Trace هو عبارة عن شجرة من الـ Spans تربطها علاقات الأب والابن (parent and child)، حيث يكون Child span مسببًا عادةً بواسطة Parent span الخاص به. توفر TrueFoundry بنية تحتية لجامع OpenTelemetry تقوم بتخزين هذه الـ Traces وواجهة مستخدم للاستعلام عنها وتحليلها، ويمكنها استقبال الـ Traces من أي SDK متوافق مع OpenTelemetry.

قراءة Trace واحد
تستعرض وثائق فحص Trace مثالاً واقعياً: Chat completion مع PII redaction guardrail، يتم التقاطه كخمسة Spans تشكل تسلسلاً هرمياً.
- ChatCompletion span (الRoot) يمثل دورة حياة الطلب الكاملة من منظور العميل. في المثال، يستغرق حوالي 7 ثوانٍ ويحمل مقاييس الـ Tokens، والتكلفة، و المدخلات، والمخرجات.
- Guardrail span هو Child للـ Root ويمثل معالجة حجب PII، ويستغرق أقل من نصف ثانية.
- Guardrail network call span هو استدعاء HTTP الفعلي لخدمة Guardrail، متضمنًا طريقة HTTP ورقم حالة الاستجابة (status code).
- Model span هو Sibling لـ Guardrail span ويمثل استنتاج النموذج، ويستغرق معظم وقت الطلب.
- Model network call span هو استدعاء HTTP الفعلي للمزود، على سبيل المثال طلب POST لنقطة نهاية Chat completions للمزود.
في نفس هذا المثال، يظهر الإدخال محجوبًا بوضوح من اسم إلى نص بديل (placeholder)، مما يوضح عمل PII guardrail من البداية إلى النهاية داخل الـ Trace.

من Trace واحد إلى مقاييس شاملة للبنية التحتية
الـ Traces الفردية مخصصة لاستكشاف الأخطاء وإصلاحها. ولتتبع الاتجاهات العامة، تقوم لوحة تحليلات البيانات بتجميع نفس البيانات. تغطي علامات التبويب Overview، و Model Metrics، و MCP Metrics، و Guardrail Metrics، و Routing Metrics، و Cache Metrics.
يمكن تجميع مقاييس النموذج حسب Models، أو Virtual Models، أو Users، أو Virtual Accounts، أو Teams، أو Metadata، وتقوم طرق عرض Latency بتقسيم زمن استجابة الطلب (Request Latency)، والوقت حتى أول Token (Time to first token)، وزمن الاستجابة بين الـ Tokens (Inter token latency)، والوقت لكل Token مخرج. جنبًا إلى جنب مع الـ Traces لكل طلب، يمنحك هذا الرؤية الدقيقة واللوحة الشاملة في آن واحد.

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
How do I turn logging on or off for a request?
Send the X-TFY-LOGGING-CONFIG header with a stringified JSON value and set enabled to true or false. Remember that the value is stringified JSON, not a raw object, because most SDKs serialize headers as strings.
Where do I view logs and traces?
Logged requests appear under AI Gateway, then Monitor, then Requests. Opening a request shows its trace, which is the tree of spans covering guardrails, the model, and the outbound provider calls.
What is the difference between a trace and a span?
A trace is the full lifecycle of a single request. A span is one unit of work inside that trace, such as a guardrail check or a model inference. Spans form a parent and child tree within the trace
Can I use my own OpenTelemetry SDK?
Yes. TrueFoundry runs an OpenTelemetry collector backend and can receive traces from any OpenTelemetry compatible SDK. For LLM use cases the docs recommend an LLM focused SDK that captures model specific traces and metrics.











.webp)
.webp)
.webp)


.webp)


.webp)
.webp)
.png)

.png)
.png)
.png)






