Blank white background with no objects or features visible.

¡Hola, EMEA! TrueFoundry está ampliando su presencia en Europa, Oriente Medio y África. Leer más →

Integración de Middleware con TrueFoundry AI Gateway

Por Rishiraj Dutta Gupta

Actualizado: noviembre 3, 2026

Published: mayo 22, 2026

Integración de Middleware con TrueFoundry AI Gateway

A medida que las organizaciones escalan sus aplicaciones de AI, saber qué están haciendo sus modelos en producción es tan importante como ponerlos en marcha en primer lugar. Los ingenieros necesitan visibilidad sobre cada solicitud de inferencia: latencia, uso de tokens, comportamiento del modelo, motivo de finalización... pero conectar herramientas de observabilidad a cada modelo y proveedor supone un trabajo de instrumentación complejo y repetitivo para cada integración.

La gran pregunta: ¿cómo se obtiene una visibilidad full-stack en todos los modelos que utilizan sus equipos sin necesidad de desarrollo de ingeniería personalizado para cada uno de ellos?

En Middleware, el objetivo es hacer que la observabilidad sea tan sencilla como potente. Por eso nos complace anunciar la integración de Middleware con el TrueFoundry AI Gateway. Esta integración ofrece a su organización una visibilidad completa de cada solicitud de inferencia de AI, correlacionada con métricas de infraestructura, trazas de aplicaciones y logs, todo desde una única plataforma centralizada, lo que ayuda a garantizar que sus operaciones de AI sean transparentes y estén bajo control.

El poder de TrueFoundry AI Gateway

TrueFoundry AI Gateway es una forma potente para que los desarrolladores y los equipos de plataforma gestionen, monitoricen y escalen sus aplicaciones de AI. Reúne un acceso unificado a cientos de modelos de lenguaje de gran tamaño (LLM), enrutamiento inteligente y aplicación centralizada de políticas, todo en un solo lugar. Un solo pod de gateway gestiona más de 250 solicitudes por segundo al tiempo que añade aproximadamente 3 ms de latencia, lo que lo hace listo para entornos de producción desde el primer día.

A medida que se acelera la adopción de la AI, el verdadero desafío no es acceder a los modelos, sino gestionar la complejidad resultante. Múltiples proveedores, API en constante evolución y estrictos requisitos de cumplimiento pueden frenar rápidamente a los equipos. TrueFoundry AI Gateway aporta orden a esta complejidad, actuando como el plano de control para la AI empresarial. Unifica el acceso, aplica políticas y ofrece una observabilidad compatible con OpenTelemetry en cada modelo y entorno, sin requerir ningún cambio en las aplicaciones que llaman al gateway.

Middleware: observabilidad full-stack basada en OpenTelemetry

Middleware es una plataforma de observabilidad full-stack basada en OpenTelemetry como su estándar central de instrumentación. Acepta trazas, logs, métricas de infraestructura y datos de monitorización de usuarios reales a través de OTEL Collector, almacenándolos en una única capa de datos correlacionada que ofrece a los equipos de ingeniería una visión completa de sus sistemas en un solo lugar.

Lo que diferencia a Middleware es lo que hace después de que llega una traza. En lugar de almacenar spans de forma aislada, Middleware los correlaciona con las señales de infraestructura del host o clúster donde se ejecuta el servicio. Un ingeniero que investigue un pico de latencia en un span de gateway puede navegar directamente desde la vista de traza a las métricas de CPU y memoria de ese pod, sin cambiar de panel de control. Middleware también construye un mapa de topología de servicio en vivo a partir de los datos de los spans entrantes, haciendo que cada servicio instrumentado sea visible como un nodo en el mapa de servicio, con la latencia y la tasa de errores calculadas automáticamente a partir de sus spans.

Mejor juntos: una integración fluida para una visibilidad completa

La integración de Middleware y TrueFoundry AI Gateway simplifica y refuerza su observabilidad de AI. Esta combinación facilita la integración de la visibilidad lista para producción directamente en su flujo de trabajo de AI, garantizando que sus sistemas sean observables desde el momento del despliegue.

Con esta solución integrada, cada solicitud de inferencia que pasa por TrueFoundry AI Gateway genera automáticamente un conjunto estructurado de spans de OpenTelemetry. Dichos spans incorporan el contenido del prompt, el contenido de la respuesta (completion), el recuento de tokens, el nombre del modelo, la latencia y el motivo de finalización como atributos consultables, y luego fluyen de forma asíncrona hacia Middleware a través de OTLP/HTTP. Middleware los ingiere junto con el resto de la telemetría de su infraestructura, haciendo que el tráfico del gateway sea visible de inmediato como un servicio de primer nivel en el mapa de topología y en las vistas de APM, junto con los servicios de la aplicación que lo llaman.

Para un control total sobre los datos confidenciales, la opción Exclude Request Data del gateway de TrueFoundry elimina el contenido del prompt y de la respuesta de los atributos del span antes de la exportación. El recuento de tokens, la latencia y los metadatos del modelo se conservan independientemente, de modo que mantiene una visibilidad operativa completa sin exponer las entradas de los usuarios a sistemas externos. Para las organizaciones con estrictos requisitos de salida de red (egress), el exportador del gateway también se puede orientar a un OpenTelemetry Collector autogestionado que reenvíe a Middleware, sin requerir más cambios que la URL del endpoint.

‍

Cómo funciona la integración de Middleware y TrueFoundry

Integración de Middleware y TrueFoundry AI Gateway

Middleware y TrueFoundry AI Gateway trabajan juntos para ofrecer observabilidad sin añadir complejidad a su ruta de inferencia.

Cómo funciona el flujo de trazas

‍

  1. Su aplicación envía una solicitud de inferencia a TrueFoundry AI Gateway. El gateway gestiona la autenticación, la resolución del modelo y el enrutamiento totalmente en memoria; no se realizan llamadas externas en la ruta crítica.

  2. El gateway reenvía la solicitud al proveedor de LLM configurado (la única llamada externa en la ruta de la solicitud) y devuelve la respuesta a su aplicación de inmediato.

  3. Una vez entregada la respuesta, el gateway publica de forma asíncrona el evento de traza completo en un bus NATS interno. La exportación se realiza totalmente fuera de la ruta de la solicitud, por lo que la latencia de inferencia nunca se ve afectada por la disponibilidad o lentitud del endpoint de OTEL.

  4. Un proceso exportador de OTEL dedicado lee desde el bus NATS, serializa los spans como una carga útil OTLP/HTTP codificada en protobuf y los envía a su endpoint de cliente de Middleware en https://<su-dominio>.middleware.io:443/v1/traces con su clave API de Middleware en el encabezado Authorization.

  5. Middleware recibe la carga útil en su capa de ingestión OTLP y almacena los spans en su backend de telemetría correlacionada, donde se pueden consultar de inmediato junto con los logs, las métricas de infraestructura y los datos de APM del resto de su stack.

La configuración es igual de sencilla. Navegue a AI Engineering → Settings → OTEL Config en el panel de control de TrueFoundry, introduzca el endpoint de cliente y la clave API de Middleware, establezca el protocolo en HTTP con codificación protobuf, y estará listo para empezar.

Comience con la observabilidad de AI full-stack

La observabilidad de la AI no tiene por qué significar un trabajo de instrumentación complejo. Con Middleware integrado en TrueFoundry AI Gateway, todo su tráfico de inferencia pasa a ser visible (correlacionado con señales de infraestructura, filtrable por nombre de modelo o recuento de tokens y mapeado en una topología de servicio en vivo) desde el momento en que se guarda la configuración. Es una observabilidad completa y lista para producción que resulta fácil de configurar, más parecida a activar un interruptor que a un proyecto de ingeniería personalizado.

Para obtener más información, visite la documentación de Middleware y la referencia de integración de TrueFoundry para ver lo sencillo que es obtener visibilidad full-stack en sus aplicaciones de AI.

¿Listo para comenzar? Conecte su gateway de TrueFoundry a Middleware hoy mismo y convierta cada solicitud de inferencia en un evento de observabilidad estructurado y consultable.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Inscríbase
Tabla de contenido

Controle, implemente y rastree la IA en su propia infraestructura

Reserva 30 minutos con nuestro Experto en IA

Reserve una demostración

La forma más rápida de crear, gobernar y escalar su IA

Demo del libro
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Descubra más

agosto 31, 2026
|
5 minutos de lectura

Optimización de costes en LLM: La guía definitiva (2026)

agosto 26, 2026
|
5 minutos de lectura

Ingeniería de contexto: diseña lo que ve tu agente de IA

octubre 5, 2023
|
5 minutos de lectura

<Webinar>GenAI Showcase para empresas

mayo 23, 2024
|
5 minutos de lectura

¿Qué son las incrustaciones vectoriales? — Una guía completa para 2024

noviembre 20, 2026
|
5 minutos de lectura

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
noviembre 20, 2026
|
5 minutos de lectura

AI Gateway Security for Agents: Straiker on TrueFoundry

No se ha encontrado ningún artículo.
noviembre 19, 2026
|
5 minutos de lectura

Reseña de Bifrost: características, promesas de rendimiento y límites

No se ha encontrado ningún artículo.
noviembre 18, 2026
|
5 minutos de lectura

Explicación de los límites de Claude Code (edición 2026)

No se ha encontrado ningún artículo.
No se ha encontrado ningún artículo.

Blogs recientes

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Realice un recorrido rápido por el producto
Comience el recorrido por el producto
Visita guiada por el producto