Nous sommes ravis d'annoncer une intégration stratégique entre TrueFoundry et TrojAI, réunissant deux couches essentielles de la pile d'IA moderne :

• Passerelle TrueFoundry AI, un plan de contrôle d'entreprise pour l'accès au LLM, l'observabilité, le routage du trafic et l'optimisation de la latence
• Pare-feu TrojAI Defend AI, qui offre une sécurité en temps réel, l'application des politiques et une protection contre les menaces liées à l'IA pendant l'exécution

Ensemble, ce partenariat fournit une base sécurisée, observable et évolutive pour le déploiement de l'IA générative en production.

Visibilité et lacunes en matière de contrôle de l'IA

Les entreprises développent et déploient rapidement GenAI en production, mais l'infrastructure sous-jacente n'a pas rattrapé son retard. Les équipes sont confrontées à un accès fragmenté à plusieurs fournisseurs de LLM, à un manque de visibilité sur l'utilisation, la latence et les défaillances des LLM, ainsi qu'à un trafic d'IA complexe et nuancé qui peut déclencher des menaces telles que des injections rapides, des fuites de données sensibles et une toxicité. Il est donc de plus en plus difficile pour les entreprises qui cherchent à créer et à déployer l'IA de manière cohérente, sécurisée et évolutive. Et c'est exactement l'écart que TrueFoundry et TrojAI sont en train de résoudre ensemble.

Une nouvelle norme : AI Gateway + AI Defense

Cette intégration introduit une séparation nette des responsabilités qui aide les entreprises à aborder la gestion de l'infrastructure et du trafic LLM ainsi que la sécurité de l'IA.

TrueFoundry : la passerelle IA

True Foundry fournit un plan de contrôle unifié pour l'ensemble du trafic d'IA, permettant aux équipes de centraliser l'accès à plus de 250 modèles via une API unique, d'appliquer l'authentification, les limites de débit et les quotas, et de tout observer. Cela inclut la latence, les jetons, les coûts et les défaillances. En fin de compte, cela permet aux entreprises d'optimiser les performances et la visibilité de leurs agents et applications d'IA d'entreprise via une interface unique.

TrojAI : le pare-feu IA

TrojAI est une plateforme de sécurité basée sur l'IA qui aide les entreprises à évaluer leurs risques liés à l'IA grâce à red teaming automatisé et protégez-vous contre menaces actives en cours d'exécution. Trojai Defend fonctionne en ligne en tant que proxy d'exécution, garantissant la sécurité et la conformité de chaque demande et réponse, avec des fonctionnalités permettant de bloquer, de rédiger ou de transmettre le trafic. Grâce à un moteur de politiques complet, TrojAI fournit un certain nombre d'ensembles de règles pilotés par l'IA, tels que :

• Protection contradictoire couvrant l'injection rapide, le jailbreak et les fuites rapides du système
• Prévention des fuites de données (PII, secrets, IP)
• Modération de la toxicité et du contenu dangereux, y compris des règles personnalisées

TrojAI fonctionne en temps réel et à grande échelle, aidant les entreprises internationales à protéger leurs actifs d'IA au fur et à mesure de l'évolution du paysage des menaces.

Mieux ensemble : évolutivité et sécurité

Chaque plateforme résout individuellement un problème critique. TrueFoundry aide les entreprises à contrôler et à surveiller leur trafic d'IA, grâce à des fonctionnalités clés couvrant le contrôle d'accès, l'observabilité et le routage intelligent du trafic. À mesure que TrueFoundry observe le trafic, il s'intègre nativement à TrojAI pour surveiller et protéger contre les menaces suspectes et malveillantes. Ensemble, ils créent un plan de gestion unifié de l'IA allant du contrôle à l'application de la loi. Alors que TrueFoundry régit la façon dont le trafic circule, TrojAI régit le trafic autorisé.

« En intégrant la passerelle IA de TrueFoundry, nous intégrons l'application en temps réel directement dans le trafic de production, afin que les équipes puissent agir rapidement sans s'exposer à des injections rapides, à des fuites de données et à du contenu IA indésirable », a déclaré Lee Weiner, PDG de Trojai. « Ensemble, nous définissons à quoi devrait ressembler une pile d'IA sécurisée et prête pour la production. »

« Les entreprises ont besoin d'une infrastructure d'IA où la gouvernance et la sécurité ne sont pas des conversations distinctes », a déclaré Anuraag Gutgutia, PDG de TrueFoundry. « En intégrant TrojAI Defend directement dans la passerelle TrueFoundry AI Gateway, nous donnons aux équipes une pile de production unique où chaque demande est à la fois régie et protégée. C'est la base pour déployer des agents d'IA en toute confiance à grande échelle. »

Premiers pas avec TrueFoundry × Trojai

TrojAI est disponible de manière native dans TrueFoundry, ce qui rend l'intégration rapide et simple.

Dans la console TrojAI, les utilisateurs créent d'abord une politique et sélectionnent les ensembles de règles pertinents pour inspecter le trafic de leurs applications (par exemple, injection rapide, fuite de données). Une fois la politique définie, les utilisateurs peuvent activer l'intégration de TrojAI dans TrueFoundry en fournissant l'ID client et l'URL du service applicables.

Une fois configurés dans TrueFoundry, les applications et les agents d'IA envoient des requêtes à AI Gateway. TrueFoundry peut être configuré pour authentifier et appliquer des contrôles d'accès, acheminer le trafic en fonction de la latence, du coût ou de la politique, et capturer des journaux, des métriques et des traces.

TrojAI peut être déployé soit en tant que couche proxy pour l'application du trafic en temps réel, soit en tant que service de sauvegarde pour la surveillance du trafic basée sur des API. Lorsque les demandes sont transmises à TrojAI, TrojAI inspecte les invites pour détecter toute intention malveillante et applique les politiques de sécurité et de conformité pertinentes.

Les demandes transmises parviennent au fournisseur du modèle. Les réponses sont renvoyées via TrojaI et refiltrées pour détecter toute toxicité, tout résultat contradictoire ou toute fuite de données sensibles. Les événements sont renvoyés à TrojAI à des fins de visibilité et de surveillance.

TrueFoundry enregistre le cycle de vie complet des interactions grâce à ses fonctionnalités intégrées pour permettre l'observabilité et le routage. Cela inclut l'enregistrement des demandes/réponses, le suivi de la latence, la surveillance des jetons et des coûts, ainsi que le basculement et l'équilibrage de charge.

L'avenir de l'infrastructure d'IA

L'avenir des systèmes d'IA reposera sur des piles d'infrastructures d'IA complètes qui réunissent des passerelles pour le contrôle et l'évolutivité et une protection de l'exécution pour la sécurité et l'application. Avec TrueFoundry × Trojai, ce futur est déjà là.

Cette intégration permet un déploiement de production plus rapide en permettant aux équipes de livrer des applications GenAI sans avoir à reconstruire l'infrastructure ou la sécurité à partir de zéro. Il fournit également une visibilité complète, offrant aux équipes une vue unifiée de chaque demande, ainsi que des coûts associés et des mesures de latence, le tout en un seul endroit. Grâce à la sécurité intégrée dès la conception, les entreprises peuvent se protéger contre les menaces émergentes telles que l'injection rapide et l'exfiltration de données. Dans le même temps, il préserve la liberté multimodèle, ce qui facilite le routage entre les fournisseurs sans sacrifier la gouvernance ou la sécurité.

Commencez

• En savoir plus sur TrueFoundry AI Gateway : https://www.truefoundry.com/ai-gateway
• En savoir plus sur l'intégration de TrojAI : https://www.truefoundry.com/docs/ai-gateway/trojai 
• Contactez TrojAI pour activer la protection Defend AI Firewall dans votre stack : https://troj.ai/contact-us