Guardrails configureren op de AI Gateway

Waarom guardrails op de gateway thuishoren

Een kaal model-endpoint zal zonder problemen persoonsgegevens retourneren, een prompt-injection-payload accepteren of een onveilig antwoord geven. Guardrails lossen dit op door verkeer te inspecteren en, waar nodig, te herschrijven voordat het het model bereikt en voordat het antwoord de gebruiker bereikt.

Door guardrails op de AI Gateway te plaatsen, krijgt elke applicatie automatisch dezelfde bescherming, zonder dat elk team de beveiliging opnieuw hoeft te implementeren. TrueFoundry levert ingebouwde guardrails voor PII-redactie en prompt-injection-detectie, beide volledig beheerd zonder dat u API-sleutels van derden hoeft te koppelen.

Het tweestappenmodel: registreren, daarna beleid instellen

Zoals de guardrails-documentatie het omschrijft, is het toepassen van guardrails op de AI Gateway een proces van twee stappen.

• Guardrails registreren. Ga naar AI Gateway, vervolgens naar Guardrails, maak een guardrails-groep aan en voeg de gewenste guardrail-integraties toe, of dit nu ingebouwde TrueFoundry-functies, externe providers of aangepaste guardrails zijn.
  

• Beleid configureren. Ga naar AI Gateway, vervolgens naar Policies en dan naar Guardrails, en maak regels aan die bepalen wanneer welke guardrails worden toegepast en op welke hooks ze worden uitgevoerd.

Een guardrail-regel bouwen

Klik in Policies en vervolgens Guardrails op Add Rule. Elke regel heeft een unieke Rule ID en een aantal secties die bepalen op wie de regel van toepassing is en waar deze wordt uitgevoerd.

• When request goes to (doelen). Match op één of meer modellen, of op MCP-servers en zelfs specifieke tools. Meerdere doelvoorwaarden worden gecombineerd met OR, dus de regel is van toepassing als het verzoek naar een vermeld model of MCP-server gaat. Geen doel betekent dat de regel op elk model van toepassing is.
  

• From subjects. Filter op gebruikers, teams of virtuele accounts met IN- of NOT IN-voorwaarden. Geen subject-filter betekent dat de regel geldt voor alle aanroepers.
  

• With metadata. Match op sleutel-waardeparen die worden verzonden in de X-TFY-METADATA-header, bijvoorbeeld environment production.
  

• Apply on hooks. Kies de hook en selecteer de guardrails die erop moeten worden uitgevoerd. U kunt meerdere guardrails aan dezelfde hook koppelen, en ze worden allemaal uitgevoerd voor overeenkomende verzoeken.

De vier hooks

• LLM Input wordt uitgevoerd voordat de prompt naar het model wordt verzonden.
  

• LLM Output wordt uitgevoerd nadat het model reageert, voordat het antwoord wordt geretourneerd.
  

• MCP Tool Pre-Invoke wordt uitgevoerd voordat een MCP-tool wordt uitgevoerd.
  

• MCP Tool Post-Invoke wordt uitgevoerd nadat een MCP-tool resultaat geeft, voordat het resultaat het model bereikt.

Alle regels worden voor elk verzoek geëvalueerd, en de guardrails van alle overeenkomende regels worden gecombineerd en samen toegepast. Als één regel PII-detectie toepast op LLM Input en een andere regel prompt-injection-detectie toepast op LLM Input, worden ze beide uitgevoerd.

Wilt u dezelfde beveiliging op elke LLM- en tool-call?

We configureren PII-redactie en prompt-injection-beveiliging live op uw gateway.

Boek een demo

PII- en PHI-redactie configureren

De PII- en PHI-detectie-guardrail is een ingebouwde TrueFoundry-guardrail die persoonlijk identificeerbare informatie en beschermde gezondheidsinformatie identificeert en anonimiseert. Deze wordt onder de motorkap aangedreven door Azure AI Language PII Detection en is volledig beheerd, dus er zijn geen API-sleutels van derden nodig.

Deze ondersteunt alleen de mutate-modus, wat betekent dat gedetecteerde entiteiten altijd worden geanonimiseerd (geredigeerd). In het configuratieformulier stelt u een naam in, kiest u PII-categorieën of behoudt u de standaardinstelling van alle categorieën, en kiest u een handhavingsstrategie. Gedetecteerde waarden worden vervangen door astersken, zodat een telefoonnummer en e-mailadres in een bericht worden gemaskerd voordat het model ze te zien krijgt.

Een gebruikelijke configuratie past PII-redactie toe op LLM Input om gebruikersberichten op te schonen, op LLM Output om antwoorden op te schonen, en op de MCP-hooks om PII te verwijderen uit toolparameters en toolresultaten zoals databaserijen.

Prompt-injection-beveiliging configureren

De prompt-injection-guardrail is een ingebouwde guardrail die wordt aangedreven door Azure Prompt Shield. Het detecteert directe prompt injection, jailbreak-aanvallen zoals het 'do anything now'-patroon, en indirecte injection die verborgen zit in document- of contextinhoud. Het analyseert de gebruikers-prompt en de documentinhoud afzonderlijk.

Het ondersteunt alleen de validate-modus, wat betekent dat het aanvallen detecteert en blokkeert, maar de inhoud niet wijzigt. De configuratie vraagt alleen om een naam en een handhavingsstrategie. De documentatie raadt aan om te beginnen met de audit-strategie om detecties in request traces te monitoren, en pas over te schakelen op enforce zodra u de configuratie vertrouwt.

Hoe de gateway guardrails uitvoert op een verzoek

Bij een LLM-verzoek worden input mutation-guardrails eerst uitgevoerd en deze blokkeren totdat ze klaar zijn, bijvoorbeeld bij het anonimiseren van PII in de prompt. Input validation, zoals prompt injection, wordt vervolgens op de achtergrond uitgevoerd terwijl het modelverzoek onderweg is. Als de input validation mislukt terwijl het model nog draait, annuleert de gateway het modelverzoek direct, zodat u er niet voor betaalt.

Nadat het model reageert, kan output mutation geheimen strippen, en controleert output validation het eindresultaat voordat het de client bereikt. Voor MCP-tools worden alle pre-tool guardrails uitgevoerd voordat de tool wordt aangeroepen; als er één mislukt, wordt de tool nooit uitgevoerd. Guardrails worden op elke tool-call afzonderlijk uitgevoerd.

Maak guardrails de standaard voor elk team

Zie hoe gecentraliseerd PII- en injection-beleid wordt toegepast op alle apps, met volledige tracing, op uw eigen infrastructuur.

Spreek met een expert