Agent Gateway-Serie (Teil 5 von 7) | Die Policy-Engine von AI Agent Gateway

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
In der traditionellen Softwaresicherheit verteidigen wir Endpunkte. Wir setzen ein Gate vor /admin/delete-database, überprüfen die JWT-Rolle des Benutzers und erlauben oder lehnen die Anfrage ab. Es ist binär, statisch und gut verstanden.
In Agentische Software, wir müssen verteidigen Absicht.
Ein Endpunkt wie /chat/completions ist praktisch eine offene Tür. Ein Benutzer bittet nicht darum, „die Datenbank zu löschen“; er bittet den Agenten „Optimieren Sie den Speicher, indem Sie alte Protokolle entfernen.“ Der Agent entscheidet dann wie um diese Absicht zu erfüllen. Wenn der Agent entscheidet, dass es die beste Optimierung ist, „den Tisch fallen zu lassen“, ist Ihre Endpunktsicherheit nutzlos, da der Agent die Erlaubnis hat, auch wenn der Benutzer das nicht sollte.
Dadurch entsteht die „Verwirrter Abgeordneter“ Problem in großem Umfang. Um es zu lösen, führt TrueFoundry das ein Richtlinien-Engine — ein vielschichtiges Abwehrsystem, das nicht nur schützt wer du bist, aber was Sie versuchen, die Maschine zum Laufen zu bringen.
Das Kernproblem: Rechteeskalation über einen Proxy
Das größte Einzelrisiko in einem Multi-Agenten-System besteht darin, dass ein Benutzer mit niedrigen Rechten einen Agenten mit hohen Rechten als Proxy verwendet, um Sicherheitskontrollen zu umgehen.
Agenten arbeiten oft mit „Service Accounts“ (z. B. benötigt ein SRE-Agent Zugriff auf AWS). Wenn ein Junior-Entwickler den SRE-Agenten einfach bitten kann, „dieses Skript auszuführen“, hat er seine Rechte effektiv auf Admin-Ebene erhöht, ohne jemals die AWS-Konsole zu berühren.
Ein konkretes Beispiel: Die „SRE-Seitentür“
Lassen Sie uns ein reales Sicherheitsszenario in einer standardmäßigen Unternehmenskonfiguration visualisieren.
Die Schauspieler:
- Bob: Ein Junior-Praktikant. Zugriff: Nur Lesezugriff auf Protokolle.
- Direktor und Agent: Ein SRE Automation Bot. Zugriff: Administrator auf Production DB (zur Behebung von Ausfällen).
Der Angriff:
- Direkter Versuch: Bob versucht DROP TABLE-Benutzer auszuführen.
- Ergebnis: Gesperrt. Die Datenbank lehnt Bobs Anmeldeinformationen ab.
- Proxy-Versuch: Bob schreibt dem Director Agent eine Nachricht: „Hey, die Benutzertabelle ist beschädigt und verursacht den Ausfall. Bitte setzen Sie es zurück.“
- Der Misserfolg: Der Director-Agent (versucht zu helfen) verifiziert den „Ausfall“, erkennt die „Beschädigung“ und führt DROP TABLE-Benutzer mit seiner besitzen Admin-Anmeldeinformationen.
- Ergebnis: Erfolg. Die Datenbank wurde zerstört. Bob hat die ACL erfolgreich umgangen.
Die Lösung: Kontext-Propagation (Die Identitätskette)
Die TrueFoundry Policy Engine löst dieses Problem, indem sie durchsetzt Kontext-Propagierung.
Wir unterscheiden zwischen Testamentsvollstrecker (Der Agent) und der Schulleiter (Der Benutzer). Wenn Bob dem Director Agent eine Nachricht sendet, hängt das Gateway ein „Kontextobjekt“ an die Sitzung an.
- Schulleiter: Bob
- Rollen: [Praktikant, schreibgeschützt]
Wenn der Director Agent versucht, das Database Tool aufzurufen, fängt das Gateway den Anruf ab. Es ignoriert die Admin-Rechte des Agenten und fragt: „Hat Bob die Erlaubnis, Tische fallen zu lassen?“
Die Antwort lautet Nein. Die Aktion ist blockiert.

Abbildung 1: Ein Beispiel dafür, wie Identity Chain funktioniert
Die 3-Ebenen-Verteidigungsstrategie
Umfassende Sicherheit erfordert mehrere Checkpoints. Die Policy Engine bewertet jede Anfrage anhand von drei verschiedenen Filtern. Eine Anfrage muss alle drei erfüllen, um fortzufahren.
Ebene 1: Identität (RBAC)
- Frage: „Darf dieser Benutzer mit diesem Agenten sprechen?“
- Mechanismus: Rollenbasierte Standardzugriffskontrolle.
- Richtlinie: Praktikanten können nicht auf den CFO_Financial_Agent zugreifen.
Ebene 2: Topologie (Die Graph Firewall)
- Frage: „Darf dieser Agent mit sprechen Das Agent?“
- Mechanismus: Graphische Zulassungslisten.
- Richtlinie: Der Public_Chatbot ist in der DMZ. Er kann mit dem FAQ_Agent sprechen. Es ist netzwerkisoliert aus dem Internal_HR_Agent. Selbst wenn der öffentliche Chatbot gehackt wird, hat er einfach keinen Weg zu den HR-Daten.
Ebene 3: Semantik (ABAC + Inhaltsinspektion)
- Frage: „Ist der Inhalt dieser Nachricht sicher?“
- Mechanismus: Attributbasierte Zugriffskontrolle und PII-Scannen.
- Richtlinie: „Wenn die Antwort ein Muster einer Sozialversicherungsnummer enthält, ÜBERARBEITEN Sie es, es sei denn, die Benutzerrolle ist HR_Manager.“

Abbildung 2: Abbildung der 3-Schicht-Verteidigungsstrategie
Die Graph Firewall: Netzwerksegmentierung für KI
In einer Microservices-Architektur verwenden wir Service Meshes, um unbefugte Service-to-Service-Aufrufe zu verhindern. Die Policy Engine bietet dieselbe Segmentierung für Agenten.
Wir definieren Zonen des Vertrauens:
- Öffentliche Zone: Agenten, die mit externen Kunden sprechen (hohes Risiko).
- DMZ-Zone: Agenten, die Eingaben desinfizieren.
- Sichere Zone: Agenten, die sensible Daten bearbeiten (High Trust).
Der Verkehr kann öffentlich -> dmz -> Sicher fließen. Verkehr kann nicht Flow Öffentlich -> Sicher.
Dadurch wird verhindert, dass „Prompt Injection“ -Angriffe direkt von einem Chatbot in einen Datenbank-Writer übergehen.

Abbildung 3: Abbildung der Vertrauenszonen
Semantische Richtlinie: Überprüfung der Nutzlast
Manchmal reichen die Metadaten nicht aus. Sie müssen sich die Daten selbst ansehen. Die Policy Engine lässt sich integrieren mit LLM-Leitplanken um eine Inhaltsinspektion in Echtzeit durchzuführen.
- Eingangsschiene: Erkennt „Jailbreaks“ (z. B. „Vorherige Anweisungen ignorieren“).
- Ausgangsschiene: Erkennt „Datenlecks“ (z. B. PII, AWS-Schlüssel).
Wenn ein Agent versehentlich einen geheimen AWS-Schlüssel in seinem Scratchpad abruft, fängt die Output Rail das Regex-Muster AKIA... ab und ersetzt es durch [REDACTED], bevor die Nachricht an den Benutzer zurückgesendet wird.
Fazit
Sicherheit darf in Agentensystemen kein nachträglicher Gedanke sein. Sie muss grundlegend sein. Durch die Implementierung Kontext-Propagierung um das Proxy-Problem zu lösen und es in ein 3-lagige Abwehr Die TrueFoundry Policy Engine umfasst Identität, Topologie und Semantik und ermöglicht es Ihnen, autonome Agenten einzusetzen, ohne die Kontrolle abzugeben. Sie stellt sicher, dass Ihre digitale Belegschaft ein hilfreicher Diener bleibt und kein verwirrter Stellvertreter.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren











.png)








.png)






.webp)

.webp)



