Blank white background with no objects or features visible.

¡Hola, EMEA! TrueFoundry está ampliando su presencia en Europa, Oriente Medio y África. Leer más →

Seguridad ligera sin el coste adicional del LLM: Guardrails AI y TrueFoundry AI Gateway

Por Praharshit Gorripaty

Actualizado: noviembre 5, 2026

Published: mayo 25, 2026

Los chats de atención al cliente filtran números de la seguridad social en los prompts. Los desarrolladores internos pegan claves de acceso de AWS en un asistente de código. Una respuesta tóxica se le escapa a un usuario final. Cada uno de estos casos es un fallo real de las operaciones con LLM, y cada uno de ellos se puede detectar mediante un pequeño clasificador local en unos pocos milisegundos, sin necesidad de realizar una llamada de ida y vuelta al LLM. La cuestión más difícil es cómo conectar esas comprobaciones a través de cientos de aplicaciones y decenas de proveedores de modelos, de forma alineada con cada solicitud, sin tener que inventar una pila de validación diferente para cada aplicación. La integración entre Guardrails AI y TrueFoundry AI Gateway ofrece la respuesta en un solo lugar.

El poder de TrueFoundry AI Gateway

Toda aplicación impulsada por LLM dentro de una organización acaba topándose con la misma pregunta: ¿dónde deben residir las comprobaciones de seguridad? Si se acoplan internamente en cada aplicación, se fragmentan con cada despliegue y varían entre equipos. Si se colocan por delante de cada proveedor de modelos, se multiplican entre los distintos proveedores y pasan por alto las aplicaciones que los esquivan. TrueFoundry AI Gateway resuelve la cuestión al convertirse en la capa de ejecución única por la que pasa todo el tráfico de LLM: ofrece una API compatible con OpenAI en el extremo frontal, se distribuye hacia todos los proveedores de modelos en el extremo posterior y gestiona todas las funciones transversales (autenticación, límites de frecuencia, observabilidad, políticas) en el medio. Un solo pod gestiona más de 250 RPS en 1 vCPU con unos 3 ms de latencia añadida, sin estado y limitado por la CPU, con la configuración sincronizada a través de NATS para que la ruta de la solicitud no realice ninguna llamada externa.

La centralización de la ruta de la solicitud es lo que hace que los guardrails encajen de forma natural. El gateway expone cuatro ganchos — llm_input, llm_output, mcp_pre_tool, mcp_post_tool — y se le puede adjuntar cualquier número de guardrails a cada uno. El gateway los distribuye en paralelo en la misma solicitud, de modo que un detector de PII, un escáner de secretos y un clasificador de toxicidad evalúan el mismo prompt al mismo tiempo sin acumular latencia en serie. Los rails de entrada se ejecutan de forma concurrente con la llamada al modelo, y si alguno de ellos se bloquea, la llamada al modelo en curso se cancela antes de que se facturen los tokens, lo que supone un ahorro de costes real cuando los validadores detectan violaciones de políticas genuinas en el tráfico de los clientes. Un complemento HTTP personalizado permite que cualquier proveedor o servicio interno participe siempre que cumpla con el contrato de veredicto del gateway, que es exactamente la interfaz a la que se conecta Guardrails AI.

Guardrails AI: validadores componibles del Hub

Guardrails AI es un marco de trabajo de código abierto en Python para validar entradas y salidas de LLM. Su abstracción principal es el Guard, un contenedor que envuelve uno o varios validadores extraídos del Guardrails Hub, un registro de implementaciones de comprobación preconstruidas. El catálogo del Hub abarca detección de PII, detección de secretos, clasificación de toxicidad, filtros de lenguaje soez, restricción de temas, fundamentación de alucinaciones y mucho más. La mayoría de los validadores son heurísticas locales o pequeños clasificadores; un subconjunto realiza llamadas a un LLM externo en el momento de la validación.

El paquete v1 para esta integración utiliza cuatro validadores locales: DetectPII (un contenedor de Microsoft Presidio para correos electrónicos, números de teléfono, SSN de EE. UU., tarjetas de crédito, IBAN, pasaportes / licencias de conducir / ITIN de EE. UU.), SecretsPresent (detect-secrets de Yelp para claves de AWS, tokens de OpenAI, tokens de GitHub, JWT, claves privadas), ToxicLanguage (el clasificador Detoxify de Unitary procedente de Hugging Face) y ProfanityFree (un filtro basado en listas de palabras para las respuestas del asistente). Ninguno de ellos requiere una llamada a un LLM. La latencia de validación mediana en un pod activo es inferior a 100 ms por validador.

Mejor juntos: protección por capas sin la latencia del LLM

La integración trata a Guardrails AI como una biblioteca, la envuelve en un servicio FastAPI y registra el servicio como un guardrail HTTP personalizado en TrueFoundry. Para evitar un comportamiento peculiar conocido de la versión v0.9.3 en el que las llamadas Guard.use() encadenadas se sobrescriben entre sí, el contenedor expone un punto de enlace POST por validador y por dirección — /detect-pii-input, /secrets-present-output, /toxic-language-input, y así sucesivamente — y ejecuta cada Guard de forma aislada. Los operadores eligen qué validadores adjuntar a qué modelo dentro del panel de control.

‍

Arquitectura del sistema: el gateway realiza una llamada HTTP en paralelo por cada validador adjunto; el contenedor ejecuta cada Guard de forma aislada frente a su validador del Hub empaquetado.

‍

Los validadores del Hub se instalan en el momento de la compilación de Docker a través de un argumento de compilación que contiene el token del Hub. El token se consume en la capa de compilación y no está presente en el entorno de ejecución. Las versiones de los validadores se fijan según lo proporcionado por el Hub en el momento de la compilación; actualizar el paquete requiere editar el Dockerfile y realizar un nuevo despliegue.

La estructura de respuesta del contenedor es la siguiente:

Respuesta del contenedorInterpretación del gatewayHTTP 200 + {"verdict": true}Permitir: el validador no se ha activadoHTTP 200 + {"verdict": false, "message": "<validator>: ..."}Bloquear: el gateway propaga el mensajeHTTP 5xxFallo real: se enruta a través de la política Fail on error del panel de control

El estado HTTP indica "completado vs. con error"; el veredicto reside en el JSON. Los bloqueos de los rails y las interrupciones temporales se pueden distinguir, por lo que Fail on error: false es la opción predeterminada segura.

Cómo funciona la validación local

‍

Flujo de la solicitud: los rails de entrada se evalúan en paralelo con la llamada al modelo; la llamada al modelo se cancela si cualquier rail realiza un bloqueo; los rails de salida evalúan la respuesta antes de que llegue al cliente.

‍

  1. Un cliente envía una finalización de chat compatible con OpenAI al gateway con uno o más rails de Guardrails AI adjuntos al modelo (o seleccionados por solicitud a través del encabezado X-TFY-GUARDRAILS).
  2. El gateway envía en paralelo cada llamada de rail de entrada adjunta al contenedor y la llamada al modelo al proveedor.
  3. Cada punto de enlace del contenedor extrae el mensaje del usuario y ejecuta su único validador. El primer validador que detecta una infracción devuelve {"verdict": false, "message": "<validator>: <reason>"}; cualquier validador que supere la comprobación devuelve {"verdict": true}.
  4. Si algún rail de entrada se bloquea, el gateway cancela la llamada al modelo en curso y devuelve el rechazo al cliente. Si todos los rails de entrada superan la comprobación, el gateway reenvía la respuesta del asistente a los rails de salida adjuntos.
  5. Cada rail de salida ejecuta su validador sobre el texto del asistente y devuelve un veredicto de la misma manera. El gateway respeta el veredicto y envía la respuesta o la bloquea.
  6. Cada decisión queda registrada como un span en la traza de la solicitud junto a la llamada al LLM, de modo que un revisor del SOC pueda ver más tarde qué validador marcó qué mensaje.

Dado que ningún validador realiza llamadas externas a un LLM, la latencia añadida por rail se ve determinada principalmente por la ejecución de Python y la inferencia del clasificador, siendo habitualmente muy inferior a 100 ms en un pod activo, sin dependencias externas que puedan fallar.

Comience con el filtrado de PII y toxicidad en producción

El contenedor se distribuye como un único servicio FastAPI desplegable mediante el SDK estándar de Python de TrueFoundry. Configure la URL del contenedor y la clave bearer como un Custom Guardrail por validador en el panel de control, adjunte los rails a un modelo o selecciónelos por solicitud, y los validadores se ejecutarán de forma alineada en cada llamada. La implementación de referencia se encuentra en integrations/guardrails-ai/ dentro del repositorio integrations-custom-guardrails; consulte la documentación de guardrails personalizados de TrueFoundry para conocer el flujo del panel de control y el catálogo de Guardrails Hub para obtener validadores adicionales.

El principio arquitectónico es la separación limpia de la complejidad del validador respecto a la ejecución del gateway. El gateway se mantiene sin estado, limitado por la CPU y libre de dependencias externas en la ruta de la solicitud. Los analizadores de Presidio, los complementos de detect-secrets y la inferencia de Hugging Face residen detrás de un único límite HTTP. Sustituir el motor del validador por uno diferente en el futuro solo requerirá un cambio en el contenedor: la configuración del panel de control, el contrato y las aplicaciones demandantes se mantendrán exactamente como están.

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Inscríbase
Tabla de contenido

Controle, implemente y rastree la IA en su propia infraestructura

Reserva 30 minutos con nuestro Experto en IA

Reserve una demostración

La forma más rápida de crear, gobernar y escalar su IA

Demo del libro
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Descubra más

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Identidad de agente de IA con Microsoft Entra Agent ID: emisión y gobernanza de identidades de agentes

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

agentgateway frente a Vercel AI Gateway: ¿gateway para agentes autohospedado o enrutador de modelos gestionado?

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Identidad del agente y delegación On-Behalf-Of (OBO): ¿Quién está llamando realmente a tus herramientas?

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Habilidades de agentes para Linear MCP: benchmark de precisión del 62 % al 90 %

No se ha encontrado ningún artículo.
No se ha encontrado ningún artículo.

Blogs recientes

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Realice un recorrido rápido por el producto
Comience el recorrido por el producto
Visita guiada por el producto