La protection en temps réel Onyx est disponible sur le AI Gateway de TrueFoundry : des guardrails de règles pour chaque appel de LLM

Si votre équipe achemine le trafic LLM via une passerelle IA, chaque prompt et chaque réponse représente un point où une erreur peut survenir. Le AI Gateway de TrueFoundry vous offre un accès unifié à plus de 1 000 LLM derrière une API unique compatible OpenAI. Onyx est désormais disponible en tant que guardrail personnalisé sur cette passerelle, permettant aux clients de TrueFoundry d'ajouter une protection en temps réel sans modifier le code de leurs applications.

La protection en temps réel doit se situer au point d'application de la politique, et non au sein de chaque application. Onyx exécute les mêmes contrôles sur chaque prompt et chaque réponse qui franchit cette frontière. Vos applications bénéficient ainsi de la protection contre les injections de prompts, de la détection de jailbreak, des vérifications d'exfiltration de données et des politiques de contenu d'Onyx, évaluées avant même que le modèle ou l'utilisateur ne voie le résultat.

La mise en place relève uniquement de la configuration. Il n'y a aucun wrapper à déployer ni aucun code d'application à modifier.

Prérequis

• Un AI Gateway TrueFoundry avec au moins un fournisseur de modèles configuré, qui respecte verdict: false sur HTTP 200.
• Une règle Onyx AI Guard et son Guard Token, avec au moins une règle Block analysant la direction Input et/ou Output que vous souhaitez appliquer.
• Un flux HTTPS sortant depuis votre passerelle TrueFoundry vers votre hôte tenant Onyx.
• La permission d'ajouter et d'associer des groupes de guardrails dans le tableau de bord TrueFoundry.

Intégration étape par étape

Onyx expose un point de terminaison evaluate natif TrueFoundry qui respecte directement le contrat des guardrails personnalisés de la passerelle. TrueFoundry appelle Onyx, Onyx renvoie un verdict. Aucun wrapper ou adaptateur ne s'intercale entre les deux.

Étape 1 : Obtenir votre Guard Token et construire l'URL

Le Guard Token présent dans l'URL de votre politique AI Guard identifie la politique à évaluer et sert d'authentification pour l'appel. Il ne s'agit pas d'une clé API ni d'un token MCP Gateway Token. Dans Onyx, allez dans Policies, puis Runtime Policies, puis dans l'onglet AI Guard, ouvrez l'URL AI Guard de la politique et copiez le Guard Token ainsi que le nom d'hôte de votre tenant.

Construisez l'URL du guardrail :

https://<routing-id>.ai-guard.onyx.security/guard/evaluate/v1/<guard-token>/truefoundry

Utilisez l'hôte de votre propre tenant. L'URL brute https://ai-guard.onyx.security ne redirige pas vers un tenant et renvoie une erreur 404.

Étape 2 : Enregistrer les configurations des guardrails personnalisés

Dans le tableau de bord TrueFoundry, allez dans AI Gateway, puis Guardrails, puis New Guardrails Group. Choisissez Custom et nommez-le onyx-security. Ajoutez deux configurations, une par direction, pointant toutes deux vers la même URL Onyx.

Pour la configuration d'entrée (input), attribuez le nom onyx-input, définissez l'opération sur Validate et la cible sur Request. Collez l'URL du guardrail construite à l'Étape 1, laissez Auth Data sur None, définissez Config sur {} et choisissez Enforce But Ignore On Error comme stratégie d'application.

Pour la configuration de sortie (output), attribuez le nom onyx-output, définissez l'opération sur Validate et la cible sur Response. Utilisez la même URL de guardrail, laissez Auth Data sur None, définissez Config sur {} et choisissez Enforce But Ignore On Error comme stratégie d'application.

Les seules différences entre les deux configurations sont le nom et la cible. Laissez Auth Data vide. Le Guard Token présent dans le chemin de l'URL assure l'authentification, aucun token Bearer n'est donc requis.

Étape 3 : Associer le guardrail au trafic

Associez le groupe à un modèle dans les paramètres de guardrail du modèle, appliquez-le à l'ensemble de la passerelle via Policies puis Guardrails, ou sélectionnez-le par requête à l'aide d'un en-tête afin de pouvoir tester sans modifier de modèle :

{

  "llm_input_guardrails": ["onyx-security/onyx-input"],

  "llm_output_guardrails": ["onyx-security/onyx-output"]

}

Envoyez un prompt inoffensif et il sera transmis au modèle. Envoyez-en un qui déclenche une règle Onyx et la passerelle le bloquera, renvoyant le message de la politique au lieu d'une réponse du modèle, sous la forme d'une erreur HTTP 400 avec error.type: guardrail_checks_failed. Pour la protection des réponses, définissez "stream": false ; les guardrails de sortie ne s'exécutent pas sur les réponses en streaming.

Ce que vous y gagnez

Validation des entrées et des sorties. Le guardrail d'entrée filtre les prompts avant l'exécution du modèle. Le guardrail de sortie filtre les réponses avant qu'elles n'atteignent l'utilisateur, sur les requêtes hors streaming. Onyx évalue chacune d'elles par rapport aux règles de direction Input et Output de votre politique.

Blocage piloté par la politique. Les blocages contiennent le message que vous avez configuré dans Onyx, de sorte que l'appelant voit votre propre formulation et non une erreur générique. Vous modifiez l'application des règles en éditant la politique dans la console Onyx, sans aucun changement du côté de TrueFoundry.

Une politique unique pour toutes les applications. Comme le contrôle s'effectue au niveau de la passerelle, chaque équipe et chaque application passant par celle-ci hérite des mêmes guardrails. Il n'y a pas d'intégration spécifique à maintenir par application et aucune faille de couverture lorsqu'un nouveau service est déployé.

Observabilité centralisée. Les décisions des guardrails sont tracées au même titre que le reste de la requête. La passerelle étant conforme à OpenTelemetry, vous pouvez visualiser quelles requêtes ont été bloquées et pour quelle raison au sein de la même stack que vous utilisez déjà pour la latence et les coûts.

FAQ

Que sont les guardrails LLM sur un AI gateway ?

Les guardrails sont des vérifications que la passerelle exécute sur les prompts et les réponses avant qu'ils n'atteignent le modèle ou l'utilisateur. Sur le AI Gateway de TrueFoundry, ils s'exécutent sous forme de politiques configurables, vous permettant de bloquer de manière centralisée les injections de prompts, les jailbreaks ou les fuites de données plutôt que de devoir le faire dans chaque application.

Dois-je déployer quoi que ce soit pour ajouter le guardrail Onyx ?

Non. TrueFoundry appelle directement le point de terminaison evaluate d'Onyx. Il vous suffit d'enregistrer deux configurations de guardrails pointant vers votre URL Onyx. Il n'y a aucun wrapper ou adaptateur à héberger.

Le guardrail Onyx s'exécute-t-il à la fois sur les prompts et sur les réponses ?

Oui. L'intégration enregistre deux guardrails, l'un sur la requête et l'autre sur la réponse. Le blocage d'une expression en sortie dépend de la présence d'une règle de direction Output dans votre politique Onyx ; les règles Input et Output se configurent séparément dans Onyx, et la protection des sorties nécessite des requêtes hors streaming.

Dois-je modifier le code de mon application pour ajouter des guardrails ?

Non. Le guardrail s'exécute au niveau de la passerelle. Vous l'associez à un modèle ou transmettez un en-tête sur la requête, et le code de votre application continue de fonctionner sans changement.

Pourquoi ma requête renvoie-t-elle une erreur de validation ?

Le point de terminaison /truefoundry nécessite context.user.subjectSlug dans la requête. La passerelle le fournit lors du trafic normal ; si vous me appelez directement le point de terminaison pour des tests, incluez subjectSlug, sinon Onyx renverra un verdict de blocage avec "could not validate the request."

Puis-je exécuter le AI Gateway de TrueFoundry dans mon propre VPC ?

Oui. TrueFoundry prend en charge les déploiements en VPC, on-premise, en environnement air-gapped et multi-cloud, sans qu'aucune donnée ne quitte votre domaine.

S'intègre-t-il à ma stack d'observabilité existante ?

Oui. La passerelle est conforme à OpenTelemetry et s'intègre à Grafana, Datadog ou Prometheus, traçant chaque requête du prompt jusqu'au modèle, décisions de guardrails incluses.

Onyx et TrueFoundry ont collaboré sur cette intégration. Prenez contact avec votre représentant TrueFoundry ou Onyx pour commencer.