Integración de Pangea con AI Gateway de TrueFoundry

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Los equipos de LLM modernos actúan con rapidez, pero también necesitan una seguridad de IA real y práctica. Nos hemos integrado con muchos proveedores de barandas y ofrecemos otra integración para nuestros clientes empresariales: Pangea integración con la puerta de enlace de IA de TrueFoundry, de modo que los equipos puedan detectar la inyección inmediata, redactar datos confidenciales y hacer cumplir las políticas de contenido sin tener que volver a configurar su pila.
¿Qué es Pangea (y por qué combinarlo con un AI Gateway)?
Pangea proporciona un conjunto de servicios de seguridad programables diseñados para las cargas de trabajo de la IA, entre los que destacan AI Guard para detectar contenido peligroso y hacer cumplir las políticas, y Redact para eliminar automáticamente los datos confidenciales. Introduce la idea de las recetas: configuraciones de protección reutilizables que puedes definir en la consola de Pangea y a las que puedes acceder desde tu aplicación o plataforma. Incorporar Pangea a tu portal de IA significa que puedes aplicar estas medidas de seguridad a todas las solicitudes y respuestas de todos los proveedores, modelos, herramientas y agentes sin tocar las rutas de código de las aplicaciones.
Por qué la seguridad es importante para una puerta de enlace de IA
- Defensas centralizadas. Implemente barreras en toda la organización en la puerta de entrada de la IA.
- Los datos se quedan en casa. El tráfico fluye a través de su entorno controlado; usted decide qué se registra y dónde.
- Defensa en profundidad. Detecte las inyecciones, descongestione las URL, bloquee los intentos de exfiltración y redacte la información de identificación personal antes de que llegue a los modelos o los usuarios.
- Simplicidad operativa. Un único lugar al que transferir las credenciales, una única superficie de políticas para gestionar una seguridad de la IA menos desviaciones y más coherente.
Cómo funciona la integración
A un alto nivel:
- Crea una receta de AI Guard en Pangea (por ejemplo, bloquea la inyección de mensajes, desinfecta las URL o redacta los patrones).
- En TrueFoundry, agrega un protector de Pangea a tu política de ruta u organización; dirígelo a tu dominio de Pangea, dominio de proyecto e ID de receta; haz referencia a una clave de API almacenada.
- La puerta de enlace de IA llama a Pangea Inline para solicitarle información o completarla y, a continuación, aplica la decisión (permitir, bloquear, redactar, transformar) antes de reenviarla al modelo o al cliente.

Tipos de protección compatibles
Puedes adjuntar cheques de Pangea a cualquiera de estas fases:
- Prompt (modelo anterior)
- Finalización (posmodelo)
- Rapidez y finalización (en ambas direcciones)
Están configurados como «guardias» en la puerta de enlace, con Pangea como proveedor.
Agregar la integración de Pangea
Para añadir un Integración de Pangea, comience por introducir un nombre para su grupo de barandas y, a continuación, añada cualquier colaboradoras quién debe tener acceso para administrar o usar este grupo. Después de eso, configure el Configuración de Pangea dándole un nombre y especificando el dominio para el proveedor de nube y la región en la que está configurado su proyecto de Pangea. Por ejemplo, si su punto final es <service_name>https://.aws.us-west-2.pangea.cloud/v1/text/guard, entonces el dominio que debes introducir es aws.us-west-2.pangea.cloud. Opcionalmente, también puede proporcionar un receta clave, que apunta a una configuración predefinida en la consola de usuario de Pangea que define qué reglas se deben aplicar al texto, como eliminar las URL maliciosas. Si quieres aplicar ajustes personalizados que anulen la configuración predeterminada de tu cuenta de Pangea, puedes habilitarla Anulaciones. A continuación, elige el Tipo de guardia del menú desplegable, según el tipo de protección que quieras aplicar.
Por último, en Datos de autenticación de Pangea, proporcione el Clave de API se utiliza para autenticar las solicitudes a los servicios de Pangea. Esta clave es necesaria para que la integración funcione, y puedes obtenerla en la consola de Pangea accediendo al panel de control de tu proyecto y abriendo el Fichas o Claves de API sección. Asegúrese de que esta clave se mantenga segura, ya que proporciona acceso a sus servicios de seguridad de Pangea.

Qué aspecto tiene la aplicación
- Bloquear: la solicitud/respuesta se detiene con un motivo claro y una ruta de código para la observabilidad.
- Redactar: los intervalos sensibles se eliminan antes de reenviarlos al LLM o al cliente (mediante Redact).
- Transformación: las construcciones no seguras pueden desmarcarse (por ejemplo, las URL) y, a continuación, transmitirse de forma segura a través de la puerta de enlace de IA.
Todas las decisiones están visibles en los registros de sus pasarelas; Pangea también mantiene un registro de auditoría dentro de su proyecto para las investigaciones y revisiones.
Una vez que Pangea esté conectado a la puerta de enlace, la mayor ventaja operativa es la coherencia. Los equipos no tienen que acordarse de «activar» la seguridad en todos los microservicios o flujos de trabajo de los agentes, ya que se aplican las mismas comprobaciones a cualquier lugar donde fluya el tráfico, ya se trate de una simple conversación, una llamada de un agente a una herramienta o una canalización con recuperación aumentada. Esto reduce la desviación de las políticas con el tiempo y hace que sea mucho más fácil implementar nuevas protecciones (o reforzar las existentes) sin necesidad de coordinar los cambios de código entre varios equipos.
También mejora las operaciones del segundo día cuando algo va mal. Cuando un usuario denuncia una salida insegura o un comportamiento sospechoso, los equipos de la plataforma pueden rastrear exactamente qué guardia disparó, qué medidas se tomaron y qué ruta y modelo estuvieron involucrados, todo ello a partir de los registros y señales de auditoría de la puerta de enlace. Esto acelera las investigaciones y ayuda a los equipos de seguridad e inteligencia artificial a crear un flujo de trabajo compartido y repetible para revisar los incidentes, ajustar las recetas y validar los cambios antes de que lleguen a la fase de producción.
Con el tiempo, los equipos suelen evolucionar desde el «bloqueo y la redacción básicos» a políticas más matizadas que equilibran la seguridad y la experiencia del usuario. Por ejemplo, puedes optar por bloquear los intentos de introducir mensajes claros, redactar tipos de PII específicos y transformar el contenido peligroso, como las URL o los fragmentos de código, sin dejar de permitir que el resto de la solicitud continúe. Con las recetas de Pangea y su aplicación a nivel de pasarela, esos cambios se convierten en actualizaciones de la configuración en lugar de en reescrituras, lo que permite a los equipos repetir los controles de seguridad al mismo ritmo que lo hacen con las instrucciones, los modelos y las funciones de los productos.
Preguntado con frecuencia
¿Esto añade latencia?
La llamada se produce en la puerta de enlace de la IA; con el almacenamiento en caché y las recetas concisas, la sobrecarga suele ser pequeña en relación con la latencia del modelo.
¿La elección del modelo es limitada?
No. Las políticas se aplican a todos los proveedores y modelos, ya que se aplican en el límite de la puerta de enlace de la IA.
¿Se puede combinar con otros guardarraíles?
Sí, combina Pangea con protectores de puerta de enlace adicionales para una seguridad de IA por niveles.
Empezar
- Siga los documentos paso a paso de TrueFoundry para la configuración de Pangea. Enlace aquí
- Revisa los conceptos de AI Guard de Pangea (recetas, acciones) para diseñar la política correcta.
Si está escalando las cargas de trabajo de LLM, esta combinación le brinda un punto de control limpio y centralizado: seguridad de inteligencia artificial que acompaña a cada llamada y una puerta de enlace de inteligencia artificial que mantiene sus aplicaciones rápidas, consistentes y compatibles.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA















.png)


.webp)




.webp)







