Onyx-Laufzeitschutz jetzt im TrueFoundry AI Gateway: Richtlinien-Guardrails für jeden LLM-Aufruf

Wenn Ihr Team LLM-Traffic über ein AI-Gateway leitet, stellt jeder Prompt und jede Antwort einen potenziellen Schwachpunkt dar. Das TrueFoundry AI Gateway bietet Ihnen einen einheitlichen Zugriff auf mehr als 1.000 LLMs über eine einzige OpenAI-kompatible API. Onyx ist jetzt als benutzerdefiniertes Guardrail für dieses Gateway verfügbar, sodass TrueFoundry-Kunden Laufzeitschutz hinzufügen können, ohne den Anwendungscode ändern zu müssen.

Laufzeitschutz gehört an den Durchsetzungspunkt, nicht in jede einzelne Anwendung. Onyx führt bei jedem Prompt und jeder Antwort, die diese Grenze überschreitet, dieselben Prüfungen durch. Ihre Anwendungen profitieren von Onyx-Schutzmaßnahmen gegen Prompt-Injection, Jailbreak-Erkennung, Datenabfluss-Prüfungen und Inhaltsrichtlinien, die ausgewertet werden, bevor das Modell oder der Benutzer die Ausgabe überhaupt sieht.

Die Einrichtung erfolgt ausschließlich über Konfiguration. Es muss kein Wrapper bereitgestellt und kein Anwendungscode geändert werden.

Voraussetzungen

• Ein TrueFoundry AI Gateway mit mindestens einem konfigurierten Modellanbieter, das verdict: false bei HTTP 200 unterstützt.
• Eine Onyx AI Guard-Richtlinie samt Guard Token mit mindestens einer Block-Regel, die die Eingabe- und/oder Ausgaberichtung scannt, die Sie durchsetzen möchten.
• Ausgehender HTTPS-Datenverkehr von Ihrem TrueFoundry-Gateway zu Ihrem Onyx-Tenant-Host.
• Berechtigung zum Hinzufügen und Verknüpfen von Guardrail-Gruppen im TrueFoundry-Dashboard.

Schritt-für-Schritt-Integration

Onyx stellt einen TrueFoundry-nativen Evaluate-Endpunkt bereit, der direkt mit dem Custom-Guardrail-Vertrag des Gateways kommuniziert. TrueFoundry ruft Onyx auf, Onyx liefert ein Urteil zurück. Es ist kein dazwischengeschalteter Wrapper oder Adapter erforderlich.

Schritt 1: Guard Token abrufen und URL erstellen

Das Guard Token in Ihrer AI Guard-Richtlinien-URL identifiziert die auszuwertende Richtlinie und dient gleichzeitig als Authentifizierung für den Aufruf. Es handelt sich dabei nicht um einen API-Key oder ein MCP Gateway Token. Gehen Sie in Onyx zu Policies, dann zu Runtime Policies und anschließend zum Tab AI Guard. Öffnen Sie die AI Guard-URL der Richtlinie und kopieren Sie das Guard Token sowie Ihren Tenant-Hostnamen.

Erstellen Sie die Guardrail-URL:

https://<routing-id>.ai-guard.onyx.security/guard/evaluate/v1/<guard-token>/truefoundry

Verwenden Sie Ihren eigenen Tenant-Host. Die Basis-URL https://ai-guard.onyx.security leitet nicht an einen Tenant weiter und gibt einen 404-Fehler zurück.

Schritt 2: Benutzerdefinierte Guardrail-Konfigurationen registrieren

Gehen Sie im TrueFoundry-Dashboard zu AI Gateway, dann zu Guardrails und wählen Sie New Guardrails Group. Wählen Sie Custom und nennen Sie die Gruppe onyx-security. Fügen Sie zwei Konfigurationen hinzu, eine pro Richtung, die beide auf dieselbe Onyx-URL verweisen.

Setzen Sie für die Eingabekonfiguration den Namen auf onyx-input, die Operation auf Validate und das Ziel auf Request. Fügen Sie die in Schritt 1 erstellte Guardrail-URL ein, lassen Sie Auth Data auf None, setzen Sie Config auf {} und wählen Sie Enforce But Ignore On Error als Durchsetzungsstrategie.

Setzen Sie für die Ausgabekonfiguration den Namen auf onyx-output, die Operation auf Validate und das Ziel auf Response. Verwenden Sie dieselbe Guardrail-URL, lassen Sie Auth Data auf None, setzen Sie Config auf {} und wählen Sie Enforce But Ignore On Error als Durchsetzungsstrategie.

Die einzigen Unterschiede zwischen den beiden Konfigurationen sind der Name und das Ziel. Lassen Sie Auth Data leer. Das Guard Token im URL-Pfad dient als Authentifizierung, daher ist kein Bearer-Token erforderlich.

Schritt 3: Guardrail auf den Datenverkehr anwenden

Verknüpfen Sie die Gruppe mit einem Modell in den Guardrail-Einstellungen des Modells, wenden Sie sie über „Policies“ und „Guardrails“ auf das gesamte Gateway an oder wählen Sie sie pro Anfrage über einen Header aus, um Tests ohne Modelländerungen durchzuführen:

{

  "llm_input_guardrails": ["onyx-security/onyx-input"],

  "llm_output_guardrails": ["onyx-security/onyx-output"]

}

Senden Sie eine harmlose Anfrage, und sie wird an das Modell weitergeleitet. Senden Sie eine Anfrage, die eine Onyx-Regel auslöst, blockiert das Gateway diese und gibt anstelle einer Modellantwort die Nachricht der Richtlinie als HTTP 400 mit error.type: guardrail_checks_failed zurück. Für die Antwortüberprüfung setzen Sie "stream": false; Output-Rails funktionieren nicht bei gestreamten Antworten.

Ihre Vorteile

Eingabe- und Ausgabeprüfung. Das Input-Rail prüft Prompts, bevor das Modell ausgeführt wird. Das Output-Rail prüft Antworten, bevor sie den Benutzer erreichen (bei nicht-gestreamten Anfragen). Onyx bewertet jede Anfrage anhand der Input- und Output-Richtlinien Ihres Regelwerks.

Richtlinienbasierte Blockierung. Blockierungen enthalten die in Onyx konfigurierte Nachricht, sodass der Aufrufer Ihren Text sieht und nicht eine allgemeine Fehlermeldung. Sie ändern die Durchsetzung, indem Sie die Richtlinie in der Onyx-Konsole bearbeiten – ohne Änderungen auf der TrueFoundry-Seite.

Eine Richtlinie für alle Anwendungen. Da die Prüfung am Gateway erfolgt, erben alle Teams und Anwendungen, die darüber laufen, dieselben Guardrails. Es gibt keine anwendungsspezifische Integration, die gewartet werden muss, und keine Sicherheitslücken bei der Einführung neuer Dienste.

Observability an zentraler Stelle. Guardrail-Entscheidungen werden zusammen mit dem Rest der Anfrage nachverfolgt. Das Gateway ist OpenTelemetry-kompatibel, sodass Sie in demselben Stack, den Sie bereits für Latenz- und Kostenanalysen nutzen, sehen können, welche Anfragen warum blockiert wurden.

FAQ

Was sind LLM-Guardrails auf einem AI-Gateway?

Guardrails sind Prüfungen, die das Gateway an Prompts und Antworten durchführt, bevor diese das Modell oder den Benutzer erreichen. Auf dem TrueFoundry AI Gateway laufen sie als konfigurierbare Richtlinien, sodass Sie Prompt-Injection, Jailbreaks oder Datenabfluss zentral blockieren können, anstatt dies in jeder Anwendung einzeln tun zu müssen.

Muss ich etwas bereitstellen, um den Onyx-Guardrail hinzuzufügen?

Nein. TrueFoundry ruft den Onyx-Evaluate-Endpunkt direkt auf. Sie registrieren zwei Guardrail-Konfigurationen, die auf Ihre Onyx-URL verweisen. Es gibt keinen Wrapper oder Adapter, der gehostet werden muss.

Läuft die Onyx-Guardrail sowohl für Prompts als auch für Antworten?

Ja. Die Integration registriert zwei Rails, eine für die Anfrage und eine für die Antwort. Ob eine Phrase bei der Ausgabe blockiert wird, hängt davon ab, ob Ihre Onyx-Richtlinie eine Regel für die Ausgaberichtung enthält; Eingabe und Ausgabe werden in Onyx separat konfiguriert, und die Ausgabesicherung erfordert Nicht-Streaming-Anfragen.

Muss ich meinen Anwendungscode ändern, um Guardrails hinzuzufügen?

Nein. Die Guardrail läuft am Gateway. Sie verknüpfen sie mit einem Modell oder übergeben einen Header in der Anfrage, und Ihr Anwendungscode funktioniert weiterhin wie gewohnt.

Warum gibt meine Anfrage einen Validierungsfehler zurück?

Der /truefoundry-Endpunkt erfordert context.user.subjectSlug in der Anfrage. Das Gateway stellt dies bei normalem Datenverkehr bereit; wenn Sie den Endpunkt zu Testzwecken direkt aufrufen, fügen Sie subjectSlug hinzu, da Onyx sonst ein Blockierungsurteil mit der Meldung „could not validate the request“ zurückgibt.

Kann ich das TrueFoundry AI Gateway in meiner eigenen VPC betreiben?

Ja. TrueFoundry unterstützt VPC-Bereitstellungen, On-Premise-, Air-Gapped- und Multi-Cloud-Setups, bei denen keine Daten Ihre Umgebung verlassen.

Lässt es sich in meinen bestehenden Observability-Stack integrieren?

Ja. Das Gateway ist OpenTelemetry-kompatibel und lässt sich an Grafana, Datadog oder Prometheus anbinden, wobei jede Anfrage vom Prompt bis zum Modell nachverfolgt wird, einschließlich der Guardrail-Entscheidungen.

Onyx und TrueFoundry haben bei dieser Integration zusammengearbeitet. Wenden Sie sich an Ihren Ansprechpartner bei TrueFoundry oder Onyx, um loszulegen.