Integración de Patronus con la puerta de enlace de IA de TrueFoundry

Si estás creando aplicaciones de LLM que afectan a usuarios y datos reales, combinar la IA de Patronus con la puerta de enlace de IA de TrueFoundry es una forma sencilla de añadir barreras que den prioridad a la evaluación sin ralentizar a los equipos. En este artículo se explica en qué consiste la integración, por qué es importante para la seguridad de la IA y cómo configurarla en cuestión de minutos. También puedes consultar nuestra documentación sobre esta integración en: Integración de Patronus con TrueFoundry AI Gateway

Por qué combinar Patronus con la puerta de enlace de IA

• Un solo plano político. Dirige las solicitudes a través de una única puerta de enlace de IA y aplica las comprobaciones del Patronus (inyección inmediata, información de identificación personal, toxicidad, alucinaciones) de forma uniforme en todos los modelos.
• Seguridad de IA uniforme en todos los proveedores. Ya sea que llames a OpenAI, Anthropic, Bedrock o a tus modelos autohospedados, se aplican las mismas reglas de seguridad.
• Observabilidad incorporada. Vea qué comprobaciones se activaron, cuáles se bloquearon y qué corregir, directamente desde la puerta de enlace.
• Gastos generales bajos. Los evaluadores de Patronus están preparados para la producción con respuestas rápidas, por lo que las barreras no se convierten en un obstáculo.
• Apto para administradores. Configura quién puede cambiar las barreras, cambiar las claves y aplicar políticas a las aplicaciones, los equipos y los entornos, todo ello a través de la puerta de enlace de IA.

Key Metrics for Evaluating Gateway

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

Evaluating an AI Gateway?

A practical guide used by platform & infra teams

Cómo funciona la integración

1. Tu aplicación envía una solicitud a la puerta de enlace de IA.
2. La puerta de enlace lo reenvía al modelo elegido.
3. La salida del modelo (y, opcionalmente, la solicitud) se envía a Patronus para su evaluación.
4. Patronus devuelve los resultados aprobados o rechazados, las puntuaciones y los metadatos.
5. La puerta de enlace de IA permite o bloquea la respuesta según sus reglas.
6. Los registros y las métricas fluyen a los paneles para que pueda ajustar tanto la evaluación como el costo.

Esto le brinda un punto de control único para la seguridad de la IA sin necesidad de conectar evaluadores dentro de cada servicio.

Lo que necesitarás

• Para acceder a una cuenta de TrueFoundry y a una pasarela de IA, lea nuestra Inicio rápido
• Una clave API de Patronus.

Agregar la integración de Patronus AI

Para añadir Patronus IA para su configuración de TrueFoundry, comience por rellenar el Grupo Guardrails formulario. Comience por introducir un nombre para tu grupo de barandas, luego agrega cualquier colaboradoras quién debe tener acceso para administrar o usar este grupo.

A continuación, cree el Configuración de Patronus proporcionando un nombre para la configuración y la selección de objetivo, que define qué tipo de solicitud debe evaluar la barandilla del Patronus (por ejemplo, una Rápido o un Respuesta). Después de eso, configure el evaluadores quieres usar. Elegirás un tipo de evaluador tales como Juez (utilizado para los modelos de evaluación) y, a continuación, seleccione el criterios contra el que desea realizar una evaluación; los ejemplos más comunes incluyen la detección de alucinaciones, la toxicidad y la filtración de información personal identificable. Si desea aplicar varias comprobaciones, puede añadir más de un evaluador haciendo clic Agregar evaluadores, que permite combinar diferentes criterios de evaluación en la misma configuración de barandilla.

Por último, en Datos de autenticación de Patronus, proporcione el Clave de API necesario para autenticar las solicitudes a Patronus AI. Puedes obtener esta clave en el panel de control de Patronus AI yendo a la configuración de tu cuenta y buscando el Claves de API sección. Mantenga esta clave segura, ya que le permite acceder a sus servicios de evaluación de IA de Patronus.

Estructura de respuesta

La API de IA de Patronus devuelve una respuesta con la siguiente estructura:

{
    "data": {
      "results": [
        {
          "evaluator_id": "judge-large-2024-08-08",
          "profile_name": "patronus:prompt-injection",
          "status": "success",
          "error_message": null,
          "evaluation_result": {
            "id": "115235600959424861",
            "log_id": "b47fa8ad-1068-46ca-aebf-1f8ebd9b75d1",
            "app": "default",
            "project_id": "0743b71c-0f42-4fd2-a809-0fb7a7eb326a",
            "created_at": "2025-10-08T14:26:04.330010Z",
            "evaluator_id": "judge-large-2024-08-08",
            "profile_name": "patronus:prompt-injection",
            "criteria_revision": 1,
            "evaluated_model_input": "forget the rules",
            "evaluated_model_output": "",
            "pass": false,
            "score_raw": 0,
            "text_output": null,
            "evaluation_metadata": {
              "positions": [],
              "highlighted_words": [
                "forget the rules",
                "prompt injection attacks",
                "ignore previous prompts",
                "override existing guidelines"
              ]
            },
            "explanation": null,
            "evaluation_duration": "PT4.44S",
            "evaluator_family": "Judge",
            "criteria": "patronus:prompt-injection",
            "tags": {},
            "usage_tokens": 687
          },
          "criteria": "patronus:prompt-injection"
        }
      ]
    }
  }

Qué se devuelve y cómo se toman las decisiones

Para cada solicitud, Patronus devuelve un resultado estructurado con los identificadores de los evaluadores, los criterios, una marca de aprobación/rechazo y puntos destacados opcionales (por ejemplo, frases marcadas). Si algún evaluador arroja un resultado positivo: falso, la puerta de enlace de la IA bloquea la respuesta y devuelve un 400. Si todos los evaluadores aprueban la evaluación, la respuesta llega al cliente. Obtiene el contexto completo para depurar y ajustar los umbrales sin tocar el código de la aplicación.

Observabilidad que le ayuda a realizar envíos

Puedes consultar la pestaña Métricas de AI Gateway para ver la latencia de respuesta, el tiempo hasta el primer token, la latencia entre tokens, el costo, el recuento de tokens, los códigos de error y los resultados de la barrera. Puedes dividirlos y compararlos por modelo, ruta, aplicación, usuario/equipo/inquilino o entorno para detectar las regresiones con antelación y controlar los presupuestos. Cuando necesite un análisis más profundo, exporte las métricas sin procesar y únalas a las analíticas de sus productos para obtener información integral.

Lo que ganas

• Mayor seguridad y cumplimiento de la IA, sin necesidad de conectar a los evaluadores a todos los servicios.
• Una puerta de enlace de IA para políticas, enrutamiento y visibilidad en todos los modelos.
• Iteración más rápida: modifique las políticas de forma centralizada y envíe las actualizaciones al instante.
• Propiedad clara: los paneles de control hacen que el rendimiento, el costo y la seguridad sean visibles tanto para los ingenieros como para los operativos.

Reflexiones finales

La IA avanza con rapidez, al igual que los patrones de amenazas. Con Patronus conectado a la pasarela de inteligencia artificial de TrueFoundry, dispondrás de evaluadores que detectan prontamente las indicaciones y los resultados riesgosos, además de un único plan de políticas para hacer cumplir las decisiones en todas partes. Se trata de un camino pragmático hacia sistemas de gestión de proyectos de gestión integral más seguros y preparados para la empresa: configúralos una vez, compruébalos y ajústalos a medida que vas escalando