Accédez instantanément à un environnement TrueFoundry en direct. Déployez des modèles, acheminez le trafic LLM et explorez la plateforme complète : votre sandbox est prête en quelques secondes, aucune carte de crédit n'est requise.
Merci, votre soumission a été reçue !
Oups ! Une erreur s'est produite lors de l'envoi du formulaire.
9,9
Les garde-fous de l'IA en entreprise : garantir une innovation sûre
Les garde-fous d'une passerelle IA agissent comme un filet de sécurité entre les puissants modèles de langage et vos applications critiques, garantissant ainsi que chaque demande et réponse répondent aux normes de sécurité, de qualité et de conformité de votre organisation. Sur la plateforme TrueFoundry, ces garde-fous vous permettent de définir des règles précises, telles que le masquage des informations personnelles identifiables, le filtrage des sujets interdits ou le blocage des mots indésirables, afin que vous puissiez être sûr que les données sensibles ne passent jamais et que le contenu correspond toujours à la voix de votre marque et aux exigences légales. En évaluant chaque entrée et sortie par rapport à des politiques configurables, Les garde-corps de TrueFoundry évitez les hallucinations, appliquez les normes de contenu et maintenez un comportement cohérent dans tous vos flux de travail pilotés par LLM.
Pourquoi les garde-corps sont importants pour Enterprise AI Gateway
Les entreprises s'appuient de plus en plus sur de grands modèles linguistiques pour automatiser le support client, générer des textes marketing et rationaliser les flux de travail internes. Sans barrières, ces modèles peuvent produire des résultats imprévisibles qui exposent les organisations à des risques juridiques, opérationnels et de réputation.
Tout d'abord, le respect de la confidentialité des données n'est pas négociable. Les garde-corps vous permettent de détecter et d'anonymiser automatiquement les informations personnelles identifiables avant qu'elles ne quittent le système. Cela empêche la divulgation accidentelle d'e-mails, de numéros de sécurité sociale ou d'autres informations sensibles, vous aidant ainsi à vous conformer aux réglementations telles que le RGPD et l'HIPAA.
Deuxièmement, les garde-fous protègent l'intégrité de la marque et la confiance des utilisateurs. Un chatbot d'entreprise qui répond soudainement par des blasphèmes ou des déclarations biaisées peut aliéner les clients et ternir votre marque. En validant les résultats par rapport à une liste de sujets refusés et à des filtres de mots personnalisés, vous conservez une voix cohérente et évitez tout langage abusif. Ce niveau de gouvernance du contenu est essentiel lorsque plusieurs équipes accèdent à la même passerelle d'IA.
Troisièmement, la stabilité opérationnelle dépend du comportement prévisible du modèle. Les garde-fous vous permettent de contrôler avec précision quels modèles traitent des demandes spécifiques, en appliquant différentes règles en fonction des métadonnées, des rôles des utilisateurs ou du contexte du service. Vous pouvez échouer rapidement lorsqu'une réponse enfreint les règles, au lieu de découvrir des problèmes dans les journaux de production ou d'en entendre parler par des utilisateurs mécontents.
Quatrièmement, les garde-fous favorisent l'auditabilité et la responsabilisation. Chaque fois qu'une règle est déclenchée, vous capturez des journaux structurés indiquant quelles vérifications d'entrée ou de sortie ont été déclenchées, quelle transformation a été appliquée et quel utilisateur ou service a lancé l'appel. Ces journaux constituent une piste d'audit claire pour les examens de sécurité, les audits de conformité et les analyses post-mortem.
Enfin, les garde-corps réduisent le risque d'hallucinations coûteuses. En validant les résultats par rapport à des filtres thématiques sémantiques, vous empêchez le modèle de fabriquer des clauses légales, des conseils médicaux ou d'autres contenus à enjeux élevés. Dans les secteurs réglementés, ce filet de sécurité peut faire la différence entre un déploiement réussi de l'IA et une violation dommageable.
Les garde-corps transforment des LLM puissants mais imprévisibles en outils d'entreprise fiables et conformes. Ils vous permettent de tirer parti de l'IA de pointe en toute confiance, en sachant que chaque demande et réponse est conforme à vos normes de sécurité, de qualité et de gouvernance.
Définition des règles de garde-corps : entrées et sorties
Les règles de sécurité de TrueFoundry AI Gateway vous permettent d'appliquer des politiques aux deux extrémités d'une interaction avec un modèle de langage. Chaque règle possède un identifiant, un ensemble de conditions correspondantes et deux sections, des barrières d'entrée et de sortie. TrueFoundry évalue les règles dans l'ordre et applique uniquement la première correspondance à chaque demande, garantissant ainsi une application prévisible même lorsque plusieurs politiques peuvent s'appliquer.
Les barrières de saisie s'appliquent à tout ce qui entre dans le modèle. Les scénarios courants incluent le masquage ou la validation des informations personnelles identifiables (PII) avant qu'elles n'atteignent le LLM. Par exemple, un garde-corps de saisie de type PII avec action transform anonymise automatiquement les e-mails, les numéros de téléphone ou les numéros de sécurité sociale. Vous pouvez également utiliser un garde-corps de saisie de type word_filter pour supprimer les phrases indésirables ou appliquer la terminologie d'entreprise dans les instructions aux utilisateurs. La détection précoce des problèmes réduit les risques de violations des politiques et d'audits coûteux.
Les barrières de sortie régissent les réponses du modèle. Vous pouvez valider les résultats par rapport à une liste de sujets refusés, tels que les conseils médicaux, les propos haineux ou les blasphèmes, et échouer rapidement si le contenu enfreint les règles. Vous pouvez également transformer les résultats pour supprimer les informations sensibles ou remplacer les mots interdits par des espaces réservés. Des paramètres de seuil distincts vous permettent de contrôler l'agressivité avec laquelle le système signale ou modifie le texte, ce qui vous permet de trouver un équilibre entre l'expérience utilisateur et la conformité.
Chaque règle peut inclure un bloc Quand pour spécifier les modèles, les balises de métadonnées ou les sujets (utilisateurs, équipes ou comptes virtuels) auxquels elle s'applique. Par exemple, vous pouvez appliquer une rédaction plus stricte des informations d'identification personnelle aux chatbots orientés vers les clients tout en utilisant des filtres plus souples pour les requêtes analytiques internes. Le ciblage par identifiant de modèle ou par sujet garantit le bon niveau de gouvernance sans trop restreindre les autres charges de travail.
TrueFoundry connecte ces politiques à son service de garde-corps via guardrails_service_url, qui expose les API REST pour l'évaluation et l'application des règles. Chaque demande est acheminée via le moteur Guardrails, chaque tir étant enregistré et les transformations ou validations étant appliquées en temps réel. Cette séparation claire des règles d'entrée et de sortie facilite la conception de politiques robustes et maintenables qui garantissent la puissance et la sécurité de vos déploiements LLM.
TrueFoundry Guardrails: The Best AI Safety Framework
Feeling overwhelmed by complex, scattered AI safety solutions? Look no further, TrueFoundry’s guardrails layer integrates directly into your AI Gateway for end-to-end compliance and quality.
TrueFoundry ensures safe AI interactions with these guardrail features:
First-match rule evaluation: Guardrails are defined as an ordered array; for each request, only the first matching rule applies.
Native PII detection and masking: Automatically identify and transform sensitive entities (email, SSN, name, address) in inputs and outputs.
Configurable topic filtering: Block or validate denied topics (medical advice, profanity, hate speech, violence) with adjustable sensitivity.
Custom word filtering: Transform or remove unwanted words and phrases via replace or block actions in real time.
Garde-corps pour la détection et la transformation des informations personnelles
Les barrières PII de TrueFoundry identifient et traitent automatiquement les informations personnelles identifiables dans les invites entrantes et les réponses sortantes, protégeant ainsi les données sensibles contre toute exposition. En configurant input_guardrails et output_guardrails avec le type pii, vous pouvez choisir de valider ou de transformer les entités détectées en fonction de vos besoins de conformité.
Types de PII pris en charge
Le moteur Guardrail reconnaît un ensemble complet de catégories d'informations personnelles, y compris, mais sans s'y limiter, les adresses e-mail, les numéros de téléphone, les numéros de sécurité sociale, les informations de carte de crédit, les adresses physiques et les identifiants émis par le gouvernement (passeports, permis de conduire, numéros d'identification fiscale). TrueFoundry prend également en charge des variantes régionales telles que les numéros du NHS britannique, l'identifiant Aadhaar indien et les TFN australiens, garantissant ainsi une couverture étendue des déploiements mondiaux.
Options de configuration
Dans chaque règle de protection PII, le bloc d'options spécifie les types d'entités à cibler.
Action de réglage : transform remplace les entités détectées par des espaces réservés anonymisés avant qu'elles n'atteignent le modèle. Sinon, action : validate rejettera les demandes contenant des informations personnelles non autorisées, renvoyant une erreur au lieu de transmettre l'invite.
Les avantages de la transformation
Garantie de confidentialité : Les données personnelles des utilisateurs ne sont jamais stockées ni traitées en texte clair, ce qui réduit le risque de violation de données.
Conformité réglementaire : La rédaction automatique permet de respecter le RGPD, l'HIPAA et d'autres réglementations en matière de confidentialité sans intervention manuelle.
Auditabilité : Chaque rédaction est enregistrée, ce qui permet de savoir clairement quelles demandes ont été modifiées et pourquoi.
En tirant parti des barrières PII, les entreprises peuvent déployer en toute confiance des LLM dans les applications destinées aux clients, les analyses internes et les flux de travail collaboratifs, en sachant que les informations sensibles sont systématiquement détectées et traitées conformément aux politiques.
Rubrique : Filtrage et mesures de protection pour la conformité du contenu
Les barrières de filtrage des sujets appliquent des règles sémantiques qui empêchent une IA de discuter de sujets interdits. En analysant à la fois les invites entrantes et les réponses sortantes par rapport à une liste configurable de sujets interdits, les entreprises peuvent s'assurer que chaque interaction reste dans les limites de contenu définies, protégeant ainsi la réputation de la marque et garantissant la conformité réglementaire.
C'est vous qui décidez des sujets à bloquer. Les cas d'utilisation courants incluent :
Conseil médical
Conseiller juridique
Blasphème
Discours de haine
Violence
Orientations politiques ou financières sensibles
Options de configuration
Sous le garde-fou de chaque rubrique, vous spécifiez deux paramètres principaux dans le bloc d'options :
sujets_refusés : un tableau de chaînes de rubriques que vous souhaitez interdire.
Seuil : un flottant compris entre 0,0 et 1,0 qui définit la sensibilité du classificateur. Une valeur élevée signifie que seul le contenu hautement pertinent est signalé ; une valeur inférieure permet de détecter les mentions limites.
Protection rapide : les demandes ou les réponses qui dépassent le seuil sont immédiatement bloquées, empêchant ainsi tout contenu interdit d'atteindre les utilisateurs.
Gouvernance centralisée : appliquez des politiques thématiques cohérentes à tous les déploiements LLM sans modifier le code de l'application.
Sensibilité personnalisable : ajustez les seuils pour équilibrer les faux positifs par rapport aux faux négatifs en fonction des profils de risque.
Auditabilité : chaque événement de blocage est enregistré, ce qui crée une piste claire pour les audits, les examens de conformité et l'ajustement des politiques.
En intégrant des filtres thématiques à la couche passerelle, TrueFoundry facilite l'application de normes de contenu strictes tout en préservant une expérience utilisateur fluide.
Governing Enterprise AI at Scale: The MCP Gateway Blueprint
$2 Million
The
Wake-Up Call
Your integration architecture determines whether AI becomes a competitive advantage or unmanageable risk.
A Fortune 500 Spent $2M Fixing Ungoverned AI
Don't let this be you, get the complete Al governance blueprint.
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.
Garde-corps de filtrage de texte pour les listes de blocage personnalisées
Les barrières de filtrage de mots de TrueFoundry vous permettent de contrôler avec précision chaque mot ou chaque phrase qui passe par votre passerelle AI. En définissant une liste de blocage personnalisée, vous pouvez détecter et gérer les termes propriétaires, les blasphèmes ou tout autre langage sensible avant qu'ils n'atteignent le modèle et après sa génération. Cela garantit que votre Applications pilotées par LLM ne divulguez jamais de terminologie non autorisée ou n'utilisez jamais un langage hors de la marque.
Sous chaque garde-corps word_filter, vous spécifiez les options word_list, case_sensitive, whole_words_only et replacement pour personnaliser le comportement de filtrage. La word_list est un tableau de termes ou de phrases que vous souhaitez détecter. La définition de case_sensitive : false fait que la correspondance ignore les majuscules, tandis que whole_words_only : true garantit que seuls les mots autonomes sont signalés, évitant ainsi les correspondances involontaires à l'intérieur de mots plus longs. Le champ de remplacement définit le texte de l'espace réservé, par exemple « [REMOVED] », utilisé lorsque l'option action : transform est sélectionnée. Vous pouvez également choisir action : validate pour rejeter toute demande contenant des mots bloqués, renvoyant une erreur au lieu de transférer le contenu vers le modèle.
Voici un exemple de configuration qui applique un filtrage de mots aux entrées et aux sorties, en ciblant les déploiements GPT-4 dotés d'une liste de termes bloquée propriétaire :
nom : word-filter-guardrails type : word-filter-guardrails-config URL du service de sécurité : https://word-filter-service.company.com règles : - identifiant : termes propriétaires du bloc quand : modèles : - openai/gpt-4 garde-corps d'entrée : - tapez : word_filter action : transformer options : liste_de mots : - « Projet secret » - « Fonctionnalité bêta » sensible aux majuscules et minuscules : faux whole_words_only : vrai remplacement : « [SUPPRIMÉ] » garde-corps de sortie : - tapez : word_filter action : transformer options : liste_de mots : - « Projet secret » - « Fonctionnalité bêta » sensible aux majuscules et minuscules : faux whole_words_only : vrai remplacement : « [SUPPRIMÉ] »
Chaque fois qu'un filtre de texte est activé, TrueFoundry enregistre l'événement avec des informations sur la règle déclenchée, le texte d'origine et transformé, ainsi que le contexte de l'utilisateur ou du service. Ces journaux d'audit aident les équipes de sécurité et de conformité à examiner les incidents, à ajuster les listes de blocage et à démontrer le respect des politiques internes ou des réglementations du secteur. La centralisation du filtrage des mots sur la passerelle signifie que les développeurs n'ont jamais à joncher le code de l'application avec des vérifications ad hoc ; vos politiques sont regroupées au même endroit, sont faciles à mettre à jour et s'appliquent de manière cohérente à tous Charges de travail LLM.
Meilleures pratiques pour fabriquer des garde-corps efficaces
Les garde-corps fonctionnent mieux lorsqu'ils correspondent étroitement au profil de risque et aux cas d'utilisation de votre organisation. Commencez par définir clairement ce que vous devez protéger, qu'il s'agisse de données sensibles, de conformité réglementaire ou de voix de marque, et associez chaque exigence à des types de garde-fous spécifiques tels que les informations personnelles, les filtres thématiques ou de mots. Impliquez rapidement les parties prenantes des équipes chargées des questions juridiques, de conformité et des produits pour vous assurer que les politiques reflètent les contraintes du monde réel et ne bloquent pas par inadvertance les flux de travail critiques.
Ensuite, gardez vos règles aussi précises que possible. Les listes étendues de « tout refuser » peuvent entraîner un excès de faux positifs qui frustrent les utilisateurs. Regroupez plutôt les politiques associées dans des règles distinctes définies par contexte, en utilisant le bloc Quand pour cibler des modèles, des équipes ou des métadonnées spécifiques. Par exemple, appliquez une rédaction stricte des informations d'identification personnelle uniquement aux robots en contact avec les clients, tout en laissant une plus grande liberté narrative aux assistants d'analyse internes. Cette approche modulaire facilite l'entretien et l'évolution de vos garde-corps au fil du temps.
Le réglage des seuils est une autre pratique clé. Commencez par des niveaux de sensibilité prudents dans des environnements non critiques pour observer la fréquence à laquelle les règles se déclenchent et ajustez les seuils à la baisse ou à la hausse en fonction de l'utilisation réelle. Utilisez les journaux de chaque événement de protection pour identifier les modèles de faux positifs ou de violations manquées, puis modifiez vos paramètres. Les suites de tests automatisées qui injectent des violations de règles connues dans les invites et les réponses attendues peuvent aider à valider la couverture des règles avant de transférer les mises à jour en production.
Documentation et observabilité sont essentiels. Conservez un référentiel central de vos configurations de garde-corps avec des descriptions claires de l'objectif et de la portée de chaque règle. Assurez-vous que votre journalisation capture la règle déclenchée, le contenu correspondant et toutes les transformations appliquées. Intégrez ces journaux à vos outils de surveillance pour vous avertir lorsque les taux de déclenchement de règles augmentent de manière inattendue, signalant ainsi une utilisation abusive potentielle ou un changement de comportement des utilisateurs.
Enfin, établissez une boucle de feedback avec les utilisateurs et les développeurs. Fournissez des mécanismes permettant aux utilisateurs finaux ou aux équipes chargées des applications de signaler les politiques de blocage excessives ou manquantes. Passez régulièrement en revue les commentaires, les mesures d'utilisation et les résultats des audits de sécurité pour affiner vos garde-fous. En combinant des objectifs clairs, des règles ciblées, des réglages itératifs et une forte observabilité, vous créerez un cadre de protection qui protège votre entreprise sans entraver l'innovation.
Conclusion
Les garde-corps transforment les LLM puissants mais imprévisibles en services fiables de niveau entreprise en appliquant des politiques claires et contextuelles à chaque interaction. En définissant des règles d'entrée et de sortie concises, telles que le masquage des informations personnelles sensibles, le blocage des sujets interdits ou le filtrage des termes propriétaires, vous préservez la confidentialité des données, respectez la voix de la marque et répondez aux exigences réglementaires sans toucher au code de l'application. Les règles modulaires définies via le bloc when vous permettent d'adapter l'application par modèle, équipe ou flux de travail, tandis que le réglage des seuils et une journalisation robuste garantissent un équilibre entre protection et facilité d'utilisation. Grâce aux garde-fous de TrueFoundry, vous bénéficiez d'un contrôle centralisé, d'une auditabilité continue et de la confiance nécessaire pour déployer l'IA à grande échelle, en sachant que chaque demande et réponse est conforme à vos normes de gouvernance.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge