So konfigurieren Sie Guardrails im AI Gateway

Warum Guardrails auf das Gateway gehören

Ein ungeschützter Modell-Endpunkt gibt bereitwillig personenbezogene Daten preis, akzeptiert Prompt-Injection-Payloads oder liefert unsichere Antworten. Guardrails beheben dies, indem sie den Datenverkehr prüfen und bei Bedarf umschreiben, bevor er das Modell erreicht oder die Antwort beim Benutzer ankommt.

Durch den Einsatz von Guardrails auf dem AI Gateway erhält jede Anwendung automatisch denselben Schutz, ohne dass jedes Team Sicherheitsmaßnahmen neu implementieren muss. TrueFoundry bietet integrierte Guardrails für die PII-Schwärzung und die Erkennung von Prompt-Injection, die vollständig verwaltet werden und keine Drittanbieter-Schlüssel erfordern.

Das Zwei-Schritte-Modell: Registrierung und Richtlinien

Wie in der Guardrails-Dokumentation beschrieben, ist die Anwendung von Guardrails auf dem AI Gateway ein zweistufiger Prozess.

• Guardrails registrieren. Gehen Sie zum AI Gateway, dann zu Guardrails, erstellen Sie eine Guardrail-Gruppe und fügen Sie die gewünschten Guardrail-Integrationen hinzu – egal ob es sich um integrierte TrueFoundry-Lösungen, externe Anbieter oder benutzerdefinierte Guardrailshandelt.
  

• Richtlinien konfigurieren. Gehen Sie zum AI Gateway, dann zu Policies und anschließend zu Guardrails. Erstellen Sie dort Regeln, die festlegen, welche Guardrails wann angewendet werden und an welchen Hooks sie ausgeführt werden sollen.

Erstellen einer Guardrail-Regel

Klicken Sie unter Policies und Guardrails auf „Add Rule“. Jede Regel hat eine eindeutige Regel-ID sowie verschiedene Abschnitte, die festlegen, für wen sie gilt und wo sie ausgeführt wird.

• Wenn die Anfrage an (Ziele) geht. Wählen Sie ein oder mehrere Modelle, MCP-Server oder sogar spezifische Tools aus. Mehrere Zielbedingungen werden mit ODER verknüpft, sodass die Regel greift, wenn die Anfrage an eines der aufgeführten Modelle oder MCP-Server gerichtet ist. Ohne Zielvorgabe gilt die Regel für alle Modelle.
  

• Nach Subjekten. Filtern Sie nach Benutzern, Teams oder virtuellen Konten mit IN- oder NOT IN-Bedingungen. Ohne Subjektfilter gilt die Regel für alle Aufrufer.
  

• Mit Metadaten. Abgleich von Schlüssel-Wert-Paaren, die im X-TFY-METADATA-Header gesendet werden, zum Beispiel environment production.
  

• Auf Hooks anwenden. Wählen Sie den Hook und die darauf anzuwendenden Guardrails aus. Sie können mehrere Guardrails an denselben Hook anhängen; alle werden bei übereinstimmenden Anfragen ausgeführt.

Die vier Hooks

• LLM-Eingabe wird ausgeführt, bevor der Prompt an das Modell gesendet wird.
  

• LLM-Ausgabe wird ausgeführt, nachdem das Modell geantwortet hat, bevor die Antwort zurückgegeben wird.
  

• MCP-Tool-Voraufruf wird ausgeführt, bevor ein MCP-Tool ausgeführt wird.
  

• MCP-Tool-Nachaufruf wird ausgeführt, nachdem ein MCP-Tool eine Rückgabe liefert, bevor das Ergebnis das Modell erreicht.

Alle Regeln werden für jede Anfrage ausgewertet, und die Guardrails aller übereinstimmenden Regeln werden kombiniert und gemeinsam angewendet. Wenn eine Regel die PII-Erkennung auf die LLM-Eingabe anwendet und eine andere die Erkennung von Prompt-Injection auf die LLM-Eingabe anwendet, werden beide ausgeführt.

Want the same safety on every LLM and tool call?

We will configure PII redaction and prompt-injection defense on your gateway, live.

Book a demo

Konfiguration der PII- und PHI-Schwärzung

DiePII- und PHI-Erkennungs-Guardrail ist ein integrierter TrueFoundry-Guardrail, der personenbezogene Daten (PII) sowie geschützte Gesundheitsinformationen (PHI) identifiziert und schwärzt. Er basiert im Hintergrund auf der Azure AI Language PII-Erkennung und ist vollständig verwaltet, sodass keine API-Schlüssel von Drittanbietern erforderlich sind.

Es wird ausschließlich der Mutate-Modus unterstützt, was bedeutet, dass erkannte Entitäten immer geschwärzt werden. Im Konfigurationsformular vergeben Sie einen Namen, wählen PII-Kategorien aus (oder behalten die Standardeinstellung „Alle Kategorien“ bei) und legen eine Durchsetzungsstrategie fest. Erkannte Werte werden durch Sternchen ersetzt, sodass beispielsweise Telefonnummern und E-Mail-Adressen in einer Nachricht maskiert werden, bevor das Modell sie überhaupt sieht.

Ein gängiges Setup wendet die PII-Schwärzung auf LLM-Eingaben an, um Benutzernachrichten zu bereinigen, auf LLM-Ausgaben, um Antworten zu filtern, sowie auf MCP-Hooks, um PII aus Tool-Parametern und Tool-Ergebnissen, wie etwa Datenbankzeilen, zu entfernen.

Konfiguration der Abwehr gegen Prompt-Injection

DiePrompt-Injection-Guardrail ist ein integrierter Guardrail, der auf Azure Prompt Shield basiert. Er erkennt direkte Prompt-Injection, Jailbreak-Angriffe wie das „Do Anything Now“-Muster sowie indirekte Injections, die in Dokumenten oder Kontextinhalten verborgen sind. Dabei werden der Benutzer-Prompt und der Dokumentinhalt separat analysiert.

Es wird ausschließlich der Validierungsmodus unterstützt, was bedeutet, dass Angriffe erkannt und blockiert, aber keine Inhalte verändert werden. Die Konfiguration erfordert lediglich einen Namen und eine Durchsetzungsstrategie. Die Dokumentation empfiehlt, mit der Audit-Strategie zu beginnen, um Erkennungen in Anforderungs-Traces zu überwachen, und erst auf „Enforce“ umzustellen, sobald Sie dem System vertrauen.

Wie das Gateway Guardrails bei einer Anfrage ausführt

Bei einer LLM-Anfrage werden zuerst die Input-Mutation-Guardrails ausgeführt; sie blockieren den Prozess, bis sie abgeschlossen sind, beispielsweise um PII aus dem Prompt zu schwärzen. Die Eingabevalidierung, wie etwa die Prüfung auf Prompt-Injection, läuft anschließend im Hintergrund, während die Modellanfrage bereits verarbeitet wird. Sollte die Eingabevalidierung fehlschlagen, während das Modell noch arbeitet, bricht das Gateway die Modellanfrage sofort ab, damit keine Kosten entstehen.

Nachdem das Modell geantwortet hat, kann die Output-Mutation Geheimnisse entfernen, und die Output-Validierung prüft das Endergebnis, bevor es den Client erreicht. Bei MCP-Tools werden alle „Pre-Tool“-Guardrails vor dem Aufruf des Tools ausgeführt; schlägt einer davon fehl, wird das Tool nicht ausgeführt. Guardrails werden für jeden Tool-Aufruf separat ausgeführt.

Make guardrails standard across every team

See centralized PII and injection policies applied to all apps, with full tracing, on your infrastructure.

Talk to an Expert