Blank white background with no objects or features visible.

¡Hola, EMEA! TrueFoundry está ampliando su presencia en Europa, Oriente Medio y África. Leer más →

Gateway Tracing y Logs de Solicitudes: Depura Cada Llamada LLM

Por Ashish Dubey

Actualizado: noviembre 3, 2026

Published: octubre 9, 2026

Por qué necesitas tracing en el gateway

Cuando una llamada LLM es lenta, costosa o incorrecta, necesitas ver qué ha sucedido realmente. ¿Un guardrail redactó el prompt? ¿Cuánto tiempo tardó el modelo en comparación con la red? ¿Qué envió el gateway al proveedor? El registro de solicitudes y el tracing en AI Gateway responden a estas preguntas para cada llamada.

Como todas las solicitudes ya fluyen a través del gateway, obtienes esta visibilidad sin necesidad de instrumentar cada aplicación manualmente.

Controlar qué se registra

La documentación de registro de solicitudes te permite controlar qué solicitudes se registran. El control más sencillo es por solicitud, utilizando la cabecera X-TFY-LOGGING-CONFIG con un valor JSON convertido en cadena. Establece enabled a true para registrar la solicitud o a false para omitirla.

Un detalle importante a tener en cuenta: el valor de esa cabecera es un JSON convertido en cadena, no un objeto JSON sin procesar, porque la mayoría de los SDK serializan las cabeceras como cadenas. Los modos de registro globales anteriores se están reemplazando por una configuración de registro basada en reglas, que te permite controlar el registro por sujeto, modelo o metadatos y redactar valores confidenciales.

Visualizar logs de solicitudes

Para ver las solicitudes registradas en la interfaz de usuario, ve a AI Gateway, luego a Monitor y después a Requests. Esto te da la lista de todas las llamadas registradas, las cuales puedes abrir para inspeccionar una solicitud individual en detalle.

Logs de solicitudes en la sección Monitor de AI Gateway.

Traces y spans explicados

La documentación de tracing describe una trace como el ciclo de vida completo de una solicitud a medida que fluye por los servicios que interactúan con el LLM. Normalmente, una trace se corresponde con una única llamada a la API de una aplicación.

Un span es una unidad individual de trabajo dentro de esa trace, como una llamada a una función, una solicitud HTTP o una inferencia de modelo. Una trace es un árbol de spans con relaciones de padre e hijo, donde un span hijo suele ser causado por su padre. TrueFoundry proporciona un backend de colector OpenTelemetry que almacena estas traces y una interfaz de usuario para consultarlas y analizarlas, y puede recibir traces de cualquier SDK compatible con OpenTelemetry.

Una trace es un árbol de spans con relaciones de padre e hijo.
¿Puedes explicar por qué tu última solicitud lenta fue lenta?
Abriremos una trace en vivo sobre tu tráfico y recorreremos el árbol de spans contigo.

Leer una sola trace

La documentación de inspección de traces muestra un ejemplo real: una personalización de chat completion con un guardrail de redacción de PII, capturado en cinco spans que forman una jerarquía.

  • Span ChatCompletion (raíz) representa el ciclo de vida completo de la solicitud desde la perspectiva del cliente. En el ejemplo dura unos 7 segundos e incluye métricas de tokens, coste, entrada y salida.
  • Span Guardrail es un hijo de la raíz y representa el procesamiento de redacción de PII, con una duración inferior a medio segundo.
  • Span de llamada a la red del Guardrail es la llamada HTTP real al servicio de guardrail, con el método HTTP y el código de estado.
  • Span del Modelo es un hermano del span del guardrail y representa la inferencia del modelo, ocupando la mayor parte del tiempo de la solicitud.
  • Span de llamada a la red del Modelo es la llamada HTTP real al proveedor, por ejemplo un POST al endpoint de chat completions del proveedor.

En ese mismo ejemplo, la entrada se redacta visiblemente de un nombre a un marcador de posición, lo que muestra el funcionamiento del guardrail de PII de extremo a extremo dentro de la trace.

Una trace de chat completion que muestra el guardrail, el modelo y los spans de la red de salida.

De una sola trace a métricas globales

Las traces individuales sirven para la depuración. Para ver tendencias, el panel de analítica mecha y agrega los mismos datos. Las pestañas cubren Overview, Model Metrics, MCP Metrics, Guardrail Metrics, Routing Metrics y Cache Metrics.

Las métricas de modelos se pueden agrupar por modelos, modelos virtuales, usuarios, cuentas virtuales, equipos o metadatos, y las vistas de latencia desglosan la latencia de la solicitud, el tiempo hasta el primer token, la latencia entre tokens y el tiempo por token de salida. Junto con las traces por solicitud, esto te proporciona tanto el microscopio como el panel de control.

Métricas de modelos en el panel de analítica, agrupables por equipo, usuario, modelo y más.
Ofrece tracing a cada equipo sin el trabajo de instrumentación
Consulta logs de solicitudes, traces a nivel de span y analíticas en tu propio tráfico del gateway.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Inscríbase
Tabla de contenido

Controle, implemente y rastree la IA en su propia infraestructura

Reserva 30 minutos con nuestro Experto en IA

Reserve una demostración

La forma más rápida de crear, gobernar y escalar su IA

Demo del libro
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Descubra más

No se ha encontrado ningún artículo.
Analyzing how Cloudflare detects MCP traffic
noviembre 18, 2026
|
5 minutos de lectura

How Cloudflare Detects MCP Traffic and Helps Secure It

No se ha encontrado ningún artículo.
noviembre 18, 2026
|
5 minutos de lectura

What Is AI Search? How It Works, Architecture, and Enterprise Use Cases

No se ha encontrado ningún artículo.
Explaining LLM fine-tuning for enterprise AI teams
noviembre 18, 2026
|
5 minutos de lectura

A Practical Guide to LLM Fine-Tuning: Methods, Data, Costs, and Deployment

No se ha encontrado ningún artículo.
 Explaining LLM vs AI differences for enterprise teams
noviembre 18, 2026
|
5 minutos de lectura

LLM vs AI: A Practical Guide to Differences, Use Cases, and Tools

No se ha encontrado ningún artículo.
No se ha encontrado ningún artículo.

Blogs recientes

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Preguntas frecuentes

How do I turn logging on or off for a request?

Send the X-TFY-LOGGING-CONFIG header with a stringified JSON value and set enabled to true or false. Remember that the value is stringified JSON, not a raw object, because most SDKs serialize headers as strings.

Where do I view logs and traces?

Logged requests appear under AI Gateway, then Monitor, then Requests. Opening a request shows its trace, which is the tree of spans covering guardrails, the model, and the outbound provider calls.

‍

What is the difference between a trace and a span?

A trace is the full lifecycle of a single request. A span is one unit of work inside that trace, such as a guardrail check or a model inference. Spans form a parent and child tree within the trace

Can I use my own OpenTelemetry SDK?

Yes. TrueFoundry runs an OpenTelemetry collector backend and can receive traces from any OpenTelemetry compatible SDK. For LLM use cases the docs recommend an LLM focused SDK that captures model specific traces and metrics.

Realice un recorrido rápido por el producto
Comience el recorrido por el producto
Visita guiada por el producto