Pangea-Integration mit dem AI Gateway von TrueFoundry

Moderne LLM-Teams bewegen sich schnell, benötigen aber auch echte, praktische KI-Sicherheit. Wir haben mit vielen Anbietern von Guardrails zusammengearbeitet und bieten eine weitere Integration für unsere Unternehmenskunden an: Pangaea Integration in das TrueFoundry KI-Gateway, sodass Teams Prompt-Injection erkennen, sensible Daten redigieren und Inhaltsrichtlinien durchsetzen können, ohne ihren Stack neu verkabeln zu müssen.

Was ist Pangaea (und warum sollte es mit einem KI-Gateway kombiniert werden)?

Pangaea bietet eine Reihe programmierbarer Sicherheitsdienste, die auf KI-Workloads zugeschnitten sind — allen voran AI Guard zur Erkennung riskanter Inhalte und zur Durchsetzung von Richtlinien und Redact zum automatischen Entfernen sensibler Daten. Es führt die Idee von Rezepten ein: wiederverwendbare Guard-Konfigurationen, die Sie in der Pangea-Konsole definieren und von Ihrer App oder Plattform aus aufrufen. Wenn Sie Pangea in Ihr KI-Gateway integrieren, können Sie diese Schutzmaßnahmen auf jede Anfrage und Antwort anwenden, und zwar unabhängig von Anbietern, Modellen, Tools und Agenten, ohne die Codepfade der Anwendungen zu berühren.

Warum Sicherheit für ein KI-Gateway wichtig ist

• Zentralisierte Verteidigung. Setzen Sie organisationsweite Leitplanken am KI-Gateway durch.
• Daten bleiben zu Hause. Der Verkehr fließt durch Ihre kontrollierte Umgebung; Sie entscheiden, was wo protokolliert wird.
• Tiefgreifende Verteidigung. Erkennen Sie Injektionen, entschärfen Sie URLs, blockieren Sie Exfiltrationsversuche und redigieren Sie personenbezogene Daten, bevor sie Modelle oder Benutzer erreichen.
• Einfache Bedienung. Eine zentrale Stelle für die Übertragung von Anmeldeinformationen, eine einzige Richtlinienoberfläche, um weniger Abweichungen zu gewährleisten und eine konsistentere KI-Sicherheit zu gewährleisten.

Key Metrics for Evaluating Gateway

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

Evaluating an AI Gateway?

A practical guide used by platform & infra teams

So funktioniert die Integration

Auf hohem Niveau:

1. Erstellen Sie ein AI Guard-Rezept in Pangea (z. B. Blockieren Sie die Prompt-Injection, desinfizieren Sie URLs, redigieren Sie Muster).
2. Fügen Sie in TrueFoundry Ihrer Route oder Organisationsrichtlinie einen Pangea-Guard hinzu — verweisen Sie ihn auf Ihre Pangea-Domain, Projektdomäne und Rezept-ID; verweisen Sie auf einen gespeicherten API-Schlüssel.
3. Das AI-Gateway ruft Pangea inline auf, um Aufforderungen und/oder Vervollständigungen einzuholen, und setzt dann die Entscheidung durch (zulassen, blockieren, redigieren, transformieren), bevor es an das Modell oder den Client weiterleitet.

Unterstützte Schutztypen

Sie können Pangea-Schecks an jede dieser Phasen anhängen:

• Prompt (Vormodell)
• Fertigstellung (nach dem Modell)
• Prompt und Fertigstellung (beide Richtungen)

Sie sind im Gateway als „Wächter“ konfiguriert, wobei Pangaea der Anbieter ist.

Pangea-Integration hinzufügen

Um eine hinzuzufügen Integration von Pangaea, beginnen Sie mit der Eingabe eines Name für deine Leitplankengruppe und füge dann beliebige hinzu Mitarbeiter wer sollte Zugriff haben, um diese Gruppe zu verwalten oder zu verwenden. Danach konfigurieren Sie Pangaa-Konfiguration indem du ihm eine Name und unter Angabe der Domäne für den Cloud-Anbieter und die Region, in der Ihr Pangea-Projekt eingerichtet ist. Zum Beispiel, wenn Ihr Endpunkt <service_name>https://.aws.us-west-2.pangea.cloud/v1/text/guard, dann ist die Domain, die Sie eingeben sollten aws.us-west-2.pangea.cloud. Sie können optional auch eine angeben Rezept key, der auf eine vordefinierte Konfiguration in der Pangea User Console verweist, die definiert, welche Regeln auf den Text angewendet werden sollen, z. B. das Entsperren bösartiger URLs. Wenn Sie benutzerdefinierte Einstellungen anwenden möchten, die Ihre standardmäßige Pangea-Kontokonfiguration außer Kraft setzen, können Sie Folgendes aktivieren Überschreibungen. Wählen Sie als Nächstes Art der Wache aus der Drop-down-Liste, basierend auf der Art des Schutzes, den Sie anwenden möchten.

Schließlich, unter Pangea-Authentifizierungsdaten, stellen Sie die API-Schlüssel wird verwendet, um Anfragen an Pangea-Dienste zu authentifizieren. Dieser Schlüssel ist erforderlich, damit die Integration funktioniert. Sie können ihn in der Pangea-Konsole abrufen, indem Sie zu Ihrem Projekt-Dashboard gehen und das Tokens oder API-Schlüssel Abschnitt. Stellen Sie sicher, dass dieser Schlüssel sicher aufbewahrt wird, da er den Zugriff auf Ihre Pangea-Sicherheitsdienste ermöglicht.

‍

So sieht die Durchsetzung aus

• Block: Die Anfrage/Antwort wird aus Gründen der Beobachtbarkeit mit einem klaren Grund und einem Codepfad gestoppt.
• Redigieren: Vertrauliche Bereiche werden entfernt, bevor sie an das LLM oder den Kunden weitergeleitet werden (mithilfe von Redact).
• Transform: Unsichere Konstrukte können entschärft werden (z. B. URLs) und dann sicher über das AI-Gateway weitergegeben werden.

Alle Entscheidungen sind in Ihren Gateway-Protokollen sichtbar. Pangea führt auch einen Audit-Trail innerhalb Ihres Projekts für Untersuchungen und Überprüfungen.

Sobald Pangaea mit dem Gateway verbunden ist, ist der größte betriebliche Gewinn die Konsistenz. Teams müssen nicht daran denken, die Sicherheit in jedem Microservice- oder Agenten-Workflow „einzuschalten“, da überall dort, wo der Datenverkehr fließt, dieselben Prüfungen durchgeführt werden, unabhängig davon, ob es sich um einen einfachen Chatabschluss, einen Agententoolaufruf oder eine Pipeline mit erweitertem Abruf handelt. Dadurch wird die Änderung der Richtlinien im Laufe der Zeit reduziert und es ist viel einfacher, neue Schutzmaßnahmen einzuführen (oder bestehende zu verschärfen), ohne dass Codeänderungen teamübergreifend koordiniert werden müssen.

Es verbessert auch den Betrieb am zweiten Tag, wenn etwas schief geht. Wenn ein Benutzer unsichere Ergebnisse oder verdächtiges Verhalten meldet, können die Plattformteams anhand der Protokolle und Auditsignale des Gateways genau nachvollziehen, welcher Wachmann abgefeuert wurde, welche Maßnahmen ergriffen wurden und welche Route und welches Modell betroffen waren. Das beschleunigt die Ermittlungen und hilft den Sicherheits- und KI-Teams, einen gemeinsamen, wiederholbaren Arbeitsablauf aufzubauen, um Vorfälle zu überprüfen, Rezepte zu optimieren und Änderungen zu validieren, bevor sie in die Produktion gelangen.

Im Laufe der Zeit entwickeln sich Teams in der Regel von „grundlegenden Blockierungen und Redigierungen“ zu differenzierteren Richtlinien, die Sicherheit und Benutzererfahrung in Einklang bringen. Sie können sich beispielsweise dafür entscheiden, klare Aufforderungsversuche zu blockieren, bestimmte PII-Typen zu schwärzen und riskante Inhalte wie URLs oder Codefragmente zu transformieren, während der Rest der Anfrage trotzdem bearbeitet werden kann. Mit den Pangea-Rezepten und der Durchsetzung auf Gateway-Ebene werden diese Änderungen zu Konfigurationsaktualisierungen und nicht zu Neufassungen, sodass Teams die Sicherheitskontrollen im gleichen Tempo wiederholen können wie bei Eingabeaufforderungen, Modellen und Produktfunktionen.

Häufig gefragt

Erhöht das die Latenz?
‍Der Aufruf erfolgt am AI-Gateway; mit Caching und präzisen Rezepten ist der Overhead im Verhältnis zur Modelllatenz in der Regel gering.

Ist die Modellwahl eingeschränkt?
‍Nein. Richtlinien gelten für alle Anbieter und Modelle, da sie an der Grenze des KI-Gateways durchgesetzt werden.

Können wir mit anderen Leitplanken kombinieren?
‍Ja, kombinieren Sie Pangea mit zusätzlichen Gateway-Guards für mehrstufige KI-Sicherheit.

Fangen Sie an

• Folgen Sie den TrueFoundry-Dokumenten für die Pangea-Konfiguration Schritt für Schritt. Link hier
• Sehen Sie sich die AI Guard-Konzepte (Rezepte, Maßnahmen) von Pangea an, um die richtige Richtlinie zu entwerfen.

Wenn Sie LLM-Workloads skalieren, bietet Ihnen dieses Pairing einen übersichtlichen, zentralen Kontrollpunkt: KI-Sicherheit, die mit jedem Anruf übertragen wird, und ein KI-Gateway, das dafür sorgt, dass Ihre Apps schnell, konsistent und konform sind.