Integración de Palo Alto Prisma con AI Gateway de TrueFoundry

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Construir con IA hoy en día es emocionante, pero también conlleva riesgos. Se puede engañar a los modelos para que hagan cosas inseguras, filtren datos confidenciales o produzcan resultados que perjudiquen a los usuarios. Ahí es donde Palo Alto Prisma AIRS interviene para proteger tu IA en tiempo de ejecución, y donde el TrueFoundry Gateway hace que esta protección sea fácil de configurar, aplicar y gestionar.
Cuando ambos funcionan juntos, se obtiene una seguridad de nivel empresarial para cada solicitud de IA sin un gran esfuerzo de ingeniería. Se siente menos como reforzar la seguridad y más como apretar un interruptor.
Qué aporta Palo Alto Prisma AIRS
Palo Alto Prisma AIRS (AI Runtime Security) está diseñado para la detección y prevención de amenazas en tiempo real en aplicaciones de IA. Puede situarse entre la aplicación y los modelos de IA para detectar mensajes o resultados peligrosos antes de que provoquen daños.

Estas son algunas cosas poderosas que Prisma AIRS puede hacer por ti:
- Detecta la inyección inmediata al instante: evita que los atacantes engañen a tu IA para que revele instrucciones ocultas o eluda los controles de seguridad.
- Detenga las filtraciones de datos antes de que ocurran: la prevención de pérdida de datos integrada marca y bloquea la exposición accidental de información confidencial.
- Bloquee los resultados no seguros: desde fragmentos de código malintencionado hasta enlaces inapropiados, Prisma AIRS evita que se envíe contenido inapropiado a los usuarios.
- Ajuste la detección con perfiles: ajuste la sensibilidad y las categorías para diferentes aplicaciones, modelos o entornos.
- Comando central en Strata Cloud Manager: vea todos los registros de escaneo, veredictos y alertas desde un solo lugar.
Por ejemplo, si Prisma AIRS detecta algo peligroso, puede emitir un veredicto como action: block con una categoría como malicious_code, y la solicitud se detendrá.
Agregar la integración de Palo Alto Prisma AIRS
Para agregar Palo Alto Prisma AIRS a tu configuración de TrueFoundry, sigue estos pasos:
Complete el formulario de Guardrails Group
- Nombre: Introduzca un nombre para su grupo de barandas.
- Colaboradores: Añade a los colaboradores que tendrán acceso a este grupo.
- Configuración AIRS de Palo Alto Prisma:
- Nombre: Introduzca un nombre para la configuración AIRS de Palo Alto Prisma.
- Nombre del perfil: El nombre único de tu perfil AIRS de Palo Alto Prisma. Puedes crear un nuevo perfil en el portal AIRS de Palo Alto Prisma y obtener el nombre desde allí.
- Datos de autenticación AIRS de Palo Alto Prisma:
- Clave de API: La clave de API para el AIRS de Palo Alto Prisma.
Esta clave es necesaria para autenticar las solicitudes a Palo Alto Prisma AIRS. Puedes obtenerla en el portal AIRS de Palo Alto Prisma navegando hasta tu recurso AIRS de Palo Alto Prisma y, a continuación, seleccionando «Claves y punto final» en el menú de recursos. Asegúrate de mantener esta clave segura, ya que te permite acceder a tu recurso AIRS de Palo Alto Prisma.
- Clave de API: La clave de API para el AIRS de Palo Alto Prisma.

Estructura de respuesta
La API AIRS de Palo Alto Prisma devuelve una respuesta con la siguiente estructura:
Ejemplo de respuesta: inyección detectada
Este es un ejemplo de respuesta de Palo Alto Prisma AIRS, donde se detecta una inyección. Esto se bloqueará y aparecerá un error 400.
{
"report_id": "R82f1e879-0000-49af-9345-da907431c08f",
"scan_id": "82f1e879-0000-49af-9345-da907431c08f",
"tr_id": 1234,
"profile_id": "12345678-0000-1234-1234-123456789012",
"profile_name": "ai-dummy-profile",
"category": "malicious",
"action": "block",
"prompt_detected": {
"url_cats": true,
"dlp": true,
"injection": true,
"toxic_content": true,
"malicious_code": true,
"agent": true,
"topic_violation": true
},
"response_detected": {
"url_cats": true,
"dlp": true,
"db_security": true,
"toxic_content": true,
"malicious_code": true,
"agent": true,
"ungrounded": true,
"topic_violation": true
},
"prompt_detection_details": {
"topic_guardrails_details": {
"allowed_topics": [
"string"
],
"blocked_topics": [
"string"
]
}
},
"response_detection_details": {
"topic_guardrails_details": {
"allowed_topics": [
"string"
],
"blocked_topics": [
"string"
]
}
},
"created_at": "2024-07-29T15:51:28.071Z",
"completed_at": "2024-07-29T15:51:28.071Z"
}Lógica de validación
TrueFoundry utiliza la respuesta AIRS de Palo Alto Prisma para determinar la seguridad y el cumplimiento del contenido:
- Si el
respuesta.acciónesbloquear, la solicitud se bloqueará y se devolverá un error 400. - Si el
respuesta.acciónespermitir, se permitirá que la solicitud continúe.
Por qué TrueFoundry Gateway facilita la integración

Con el Prisma AIRS conectado al Gateway, obtienes:
- Una integración para todos los modelos y proveedores: sin malabares con el SDK ni cambios de código dispersos.
- Políticas específicas: aplique barreras solo a usuarios, modelos o entornos específicos.
- Aplicación sin inconsistencias: The Gateway escucha los veredictos de Prisma AIRS y actúa siempre de la misma manera.
- Seguridad integrada para los secretos: almacena las claves de la API de Prisma de forma segura como TrueFoundry Secrets sin exponerlas en código.
Funciones a las que puede acceder de inmediato con TrueFoundry + Prisma AIRS
Cuando esta integración esté activa, podrás:
- Utilice el escaneo de claves y perfiles de API de Prisma directamente desde las configuraciones de Gateway Guardarail.
- Escanea las entradas antes de que lleguen a tu modelo de IA y bloquea las que no sean seguras al instante.
- Analice los resultados del modelo en busca de contenido dañino y deténgalos antes de que el usuario los vea.
- Establezca diferentes reglas de seguridad para diferentes equipos o modelos, todas administradas en un solo panel.
- Combine los registros de amenazas de Prisma en Strata Cloud Manager con el seguimiento de cada solicitud de IA por parte de TrueFoundry.
Cómo funciona el flujo
Este es el recorrido simplificado de una solicitud:
- Tu aplicación envía una solicitud de IA a través de TrueFoundry Gateway.
- El Gateway envía la solicitud a Prisma AIRS para un escaneo de entrada.
- Si Prisma dice permitir, el modelo se ejecuta. Si dice bloquear, la solicitud se detiene y se devuelve con un mensaje seguro.
- Una vez que el modelo responde, el Gateway puede ejecutar un escaneo de salida antes de devolverlo a la aplicación.
.webp)
Cada análisis está vinculado a los registros para que pueda auditar o investigar más adelante.
Para obtener más información, puede consultar nuestros documentos en Palo Alto Prisma AIRS

Las ventajas adicionales que ofrece TrueFoundry Gateway
He aquí por qué a los equipos les encanta usar TrueFoundry Gateway con Prisma AIRS:
- Barandas a las que puede apuntar a cualquier parte: proteja solo lo que desee (por ejemplo, modelos de producción o herramientas de alto riesgo).
- Control de acceso: decida qué equipos o individuos pueden usar ciertos modelos o integraciones.
- Implementación progresiva: comience con algo pequeño, pruebe y luego amplíe la cobertura sin tiempo de inactividad.
- Varias barandillas a la vez: ejecute Prisma AIRS junto con las capas de seguridad de Azure o Bedrock para lograr una seguridad por niveles.
- Configuración y registro de auditoría centralizados: cumpla con las normas sin tener que buscar registros manualmente.
La comida para llevar
La seguridad de la IA no tiene por qué ralentizarte. Prisma AIRS ofrece una protección de primera clase, y el TrueFoundry Gateway hace que sea increíblemente fácil aplicar esa protección en todas las solicitudes de la IA, sin tener que volver a escribirlas, sin códigos personalizados ni dolores de cabeza. En conjunto, le permiten moverse con rapidez sin dejar de estar seguro.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA















.png)


.webp)




.webp)







