5 Lessons on Running Agentic AI in Production - From the Fireside chat

Governance für KI-Agenten ist die Gesamtheit der Kontrollen, die autonome Agenten im Produktivbetrieb sicher, nachvollziehbar und kostenbegrenzt halten: Kostentransparenz und -grenzen, einheitliche Protokollierung, Zugriffskontrolle über die Tools und MCPs, die Agenten aufrufen können, und Leitplanken, die als Richtlinien angewendet werden. In der Praxis setzen Unternehmen dies über eine zentrale Steuerungsebene oder ein KI-Gateway durch, das jede Agentenanfrage durchläuft.

Ein AI-Gateway sieht den gesamten Traffic, sodass es Ausgaben nach Benutzer, Team und Anwendung anzeigen, Budgets und Ratenbegrenzungen durchsetzen kann, bevor die Kosten aus dem Ruder laufen, und jede Anfrage an das passend dimensionierte Modell weiterleiten kann. Das deckt die drei Kostenebenen ab: Transparenz, Kontrolle und Routing.

Ein MCP-Gateway ist eine zentrale Ebene, die Ihre MCP-Server registriert und eine werkzeugspezifische Zugriffskontrolle anwendet, sodass Sie entscheiden können, welche Benutzer mit welcher Authentifizierung auf welche Werkzeuge zugreifen können. Es verwandelt die N-mal-M-Komplexität von Clients, Servern und Werkzeugen in etwas, das Sie von einem zentralen Ort aus steuern und prüfen können.

Leiten Sie Agenten durch eine Infrastruktur, die standardmäßig protokolliert und authentifiziert, anstatt sie ad hoc bereitstellen zu lassen. Planen Sie Tracing von Anfang an ein, da nicht-deterministische Agenten im Nachhinein nicht zuverlässig nachverfolgt werden können und für alles, was bereitgestellt wird, Dienstkonten anstelle persönlicher Anmeldeinformationen erfordern.

Ja. TrueFoundry läuft in Ihrer VPC, On-Premise, Air-Gapped, hybrid oder über mehrere Clouds hinweg, und keine Daten verlassen Ihre Domäne. Das ist der Hauptgrund, warum regulierte Unternehmen es SaaS-only Gateways vorziehen.

Ja. Das Gateway ist OpenTelemetry-kompatibel und lässt sich in Grafana, Datadog, Prometheus oder Ihren bevorzugten Stack integrieren. Es verfolgt jede Anfrage vom Prompt bis zur Ausführung von Tools und Modellen, sodass Sie eine einheitliche Protokollierung erhalten, ohne Ihre bestehenden Systeme entfernen zu müssen.