KI-Agenten-Leitplanken: Überprüfung jedes Werkzeugaufrufs und Modellschritts

Was sind KI-Agenten-Guardrails?

KI-Agenten-Guardrails sind Kontrollmechanismen zur Inhaltsprüfung, die den tatsächlichen Payload jeder Agenteninteraktion untersuchen – den Benutzer-Prompt, die Antwort des Modells sowie die Argumente und Ergebnisse jedes Tool-Aufrufs – und basierend auf Richtlinien Maßnahmen ergreifen (zulassen, blockieren oder umschreiben).

Es hilft, zwei Fragen zu unterscheiden, die jeder kontrollierte Agentenaufruf beantworten muss:

• Ob der Aufruf zulässig ist – geregelt durch Identitäts- und Zugriffssteuerung (welcher Agent ist das, was darf er tun).
• Was der Aufruf enthält – geregelt durch Guardrails (enthält dieses Tool-Ergebnis eine Injection, ein Geheimnis in dieser Ausgabe oder ein DROP TABLE in diesen Argumenten).

Die Zugriffskontrolle ist der Türsteher; Guardrails sind der Metalldetektor. Sie brauchen beides. Ein Agent kann vollständig autorisiert sein, Ihren Postgres-MCP-Server aufzurufen, und dennoch dazu verleitet werden, eine destruktive Abfrage zu senden – der Zugriff hat zugestimmt, und nur ein Guardrail für die Tool-Argumente erkennt, was die Abfrage tatsächlich bewirkt.

Warum Agenten das Risiko erhöhen

Guardrails sind für LLM-Anwendungen nicht neu, aber Agenten verändern das Problem in drei konkreten Punkten:

• Nicht vertrauenswürdige Inhalte fließen kontinuierlich ein. Jedes Tool-Ergebnis – eine Webseite, ein Support-Ticket, eine Datenbankzeile – gelangt im nächsten Schritt erneut in den Kontext des Modells. Da jeder dieser Inhalte eine Injection enthalten kann, müssen Eingaben geprüft werden, selbst wenn der Benutzer vertrauenswürdig ist.
• Ausgaben werden zu Aktionen. Ein halluzinierter Shell-Befehl oder eine zu weit gefasste SQL-Anweisung liest sich nicht nur schlecht; sie wird ausgeführt. Tool-Argumente müssen geprüft werden, bevor das Tool ausgeführt wird.
• Ketten vervielfachen das Risiko. Eine Kette mit fünf Werkzeugen bedeutet fünf Gelegenheiten, ein Geheimnis preiszugeben oder PII zu exfiltrieren. Effektive Leitplanken laufen bei jedem Werkzeugaufruf separat, sodass jeder Schritt seine eigenen Prüfungen erhält.

Wo KI-Agenten-Leitplanken laufen: Die vier Hooks

Auf TrueFoundry werden Leitplanken am Gateway auf dem agentischen Aufrufpfad durchgesetzt – der Kette von Benutzer → App → Agent → Sub-Agent → MCP-Werkzeugaufrufen. Jeder kontrollierte Schritt passiert einen Abfangpunkt mit einem Vor- und Nach- Hook.

‍

Produktscreenshot – TrueFoundry-Dokumentation: Leitplanken werden bei LLM-Ein- und -Ausgaben sowie bei MCP-Pre-/Post-Tool-Hooks ausgeführt.

‍