Nos complace anunciar una integración estratégica entre TrueFoundry y TrojAI, que reúne dos capas críticas del conjunto de IA moderno:

• Puerta de enlace de IA TrueFoundry, un plano de control empresarial para el acceso a la LLM, la observabilidad, el enrutamiento del tráfico y la optimización de la latencia
• Cortafuegos Trojai Defend AI, que ofrece seguridad en tiempo real, aplicación de políticas y protección contra las amenazas de la IA en tiempo de ejecución

En conjunto, esta asociación ofrece una base segura, observable y escalable para implementar la IA generativa en producción.

Brechas de visibilidad y control de la IA

Las empresas están creando e implementando GenAI rápidamente en la producción, pero la infraestructura subyacente no se ha puesto al día. Los equipos se enfrentan a la fragmentación del acceso a varios proveedores de LLM, a la falta de visibilidad sobre el uso, la latencia y los fallos de la LLM, y a un tráfico de IA complejo y lleno de matices que puede provocar amenazas como la inyección inmediata, la filtración de datos confidenciales y la toxicidad. Esto hace que sea cada vez más difícil para las empresas que buscan crear e implementar la IA de manera coherente, segura y escalable. Y esta es exactamente la brecha que TrueFoundry y TrojAI están resolviendo juntos.

Un nuevo estándar: AI Gateway + AI Defense

Esta integración introduce una separación clara de responsabilidades que ayuda a las empresas a abordar la gestión del tráfico y la infraestructura de LLM, así como la seguridad de la IA.

TrueFoundry: la puerta de entrada a la IA

True Foundry proporciona un plano de control unificado para todo el tráfico de IA, lo que permite a los equipos centralizar el acceso en más de 250 modelos a través de una sola API, aplicar la autenticación, los límites de velocidad y las cuotas, y observar todo. Esto incluye la latencia, los tokens, los costos y las fallas. En última instancia, esto permite a las empresas optimizar el rendimiento y la visibilidad de sus agentes y aplicaciones de IA empresariales a través de un único panel.

TrojAI: El firewall de la IA

TrojAI es una plataforma de seguridad de IA que ayuda a las empresas a evaluar su riesgo de IA a través de formación automática de equipos rojos y protéjase contra amenazas activas en tiempo de ejecución. Trojai Defend funciona en línea como un proxy de cumplimiento en tiempo de ejecución, lo que garantiza que cada solicitud y respuesta sea segura y cumpla con las normas, con la capacidad de bloquear, redactar o transferir el tráfico. Con un motor de políticas integral, TrojAI proporciona una serie de conjuntos de reglas basados en la inteligencia artificial, como:

• Protección contra adversarios que cubre la inyección inmediata, el jailbreak y la filtración inmediata del sistema
• Prevención de fugas de datos (PII, secretos, IP)
• Moderación de contenido tóxico e inseguro, incluidas las reglas personalizadas

TrojAI funciona en tiempo real y a gran escala, ayudando a las empresas globales a proteger sus activos de IA a medida que evoluciona el panorama de amenazas.

Mejor juntos: escalable y seguro

De forma individual, cada plataforma resuelve un problema crítico. TrueFoundry ayuda a las empresas a controlar y supervisar su tráfico de inteligencia artificial, con capacidades clave que abarcan el control de acceso, la observabilidad y el enrutamiento inteligente del tráfico. A medida que TrueFoundry observa el tráfico, se integra de forma nativa con TrojAI para monitorear y proteger contra amenazas sospechosas y maliciosas. Juntos, crean un plano de gestión de la IA unificado que abarca desde el control hasta la aplicación de la ley. Mientras que TrueFoundry regula el flujo del tráfico, TrojAI controla el tráfico permitido.

«Al integrarnos con AI Gateway de TrueFoundry, estamos incorporando la aplicación en tiempo real directamente al tráfico de producción, de modo que los equipos puedan actuar con rapidez sin exponerse a la inyección rápida, la filtración de datos y el contenido de IA no deseado», afirma Lee Weiner, director ejecutivo de TroJai. «Juntos, estamos definiendo cómo debe ser una pila de IA segura y lista para la producción».

«Las empresas necesitan una infraestructura de inteligencia artificial en la que la gobernanza y la seguridad no sean conversaciones separadas», dijo Anuraag Gutgutia, directora ejecutiva de TrueFoundry. «Al integrar Trojai Defend directamente en el TrueFoundry AI Gateway, ofrecemos a los equipos una única pila de producción en la que cada solicitud está gobernada y protegida. Esa es la base para desplegar agentes de IA con confianza y a gran escala».

Primeros pasos con TrueFoundry × Trojai

TrojAI está disponible de forma nativa en TrueFoundry, lo que hace que la integración sea rápida y sencilla.

En la consola de Trojai, los usuarios primero crean una política y seleccionan los conjuntos de reglas relevantes para inspeccionar el tráfico de sus aplicaciones (por ejemplo, inyección inmediata, filtración de datos). Una vez creada la política, los usuarios pueden habilitar la integración de TrojAI en TrueFoundry proporcionando el ID de cliente y la URL del servicio correspondientes.

Una vez configurados en TrueFoundry, las aplicaciones y los agentes de IA envían solicitudes a AI Gateway. TrueFoundry se puede configurar para autenticar y aplicar controles de acceso; enrutar el tráfico en función de la latencia, el costo o la política; y capturar registros, métricas y rastreos.

TrojAI se puede implementar como una capa de proxy para controlar el tráfico en tiempo real o como un servicio de protección para la supervisión del tráfico basada en API. A medida que las solicitudes se reenvían a Trojai, TrojAI inspecciona las solicitudes para detectar intenciones maliciosas y aplica las políticas de seguridad y cumplimiento pertinentes.

Las solicitudes aprobadas llegan al proveedor del modelo. Las respuestas se devuelven a través de TrojaI y se vuelven a filtrar para determinar si son tóxicas, generan conflictos o se filtran datos confidenciales. Los eventos se devuelven a TrojAI para su visibilidad y monitoreo.

TrueFoundry registra el ciclo de vida completo de la interacción a través de sus capacidades integradas para permitir la observabilidad y el enrutamiento. Esto incluye el registro de solicitudes y respuestas, el seguimiento de la latencia, la supervisión de los tokens y los costos, y la conmutación por error y el equilibrio de carga.

El futuro de la infraestructura de IA

El futuro de los sistemas de IA se basará en conjuntos integrales de infraestructuras de IA que reúnan pasarelas para el control y la escalabilidad y la protección del tiempo de ejecución para la seguridad y el cumplimiento. Con TrueFoundry × TrojAI, ese futuro ya está aquí.

Esta integración permite un despliegue de producción más rápido al permitir a los equipos enviar aplicaciones GenAI sin tener que reconstruir la infraestructura o la seguridad desde cero. También proporciona una visibilidad completa, lo que brinda a los equipos una vista unificada de cada solicitud, junto con los costos asociados y las métricas de latencia, todo en un solo lugar. Con la seguridad integrada desde el diseño, las organizaciones pueden protegerse contra las amenazas emergentes, como la inyección rápida y la exfiltración de datos. Al mismo tiempo, preserva la libertad de varios modelos, lo que facilita la transferencia entre proveedores sin sacrificar la gobernanza ni la seguridad.

Comenzar

• Más información sobre TrueFoundry AI Gateway: https://www.truefoundry.com/ai-gateway
• Más información sobre la integración de Trojai: https://www.truefoundry.com/docs/ai-gateway/trojai 
• Póngase en contacto con TrojAI para habilitar la protección Defend AI Firewall en su paquete: https://troj.ai/contact-us