Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

5 Erkenntnisse zum Betrieb agentischer KI in der Produktion – Aus dem Fireside Chat

von Ashish Dubey

Aktualisiert: November 3, 2026

Published: Juli 6, 2026

⚡ TL;DR

Ein AI Gateway ist die zentrale Schicht, die jeder Request durchläuft und an der Kosten, Tracing und Zugriffskontrolle für agentische KI tatsächlich durchgesetzt werden. Wir haben 200 KI-Führungskräfte aus Unternehmen befragt und eine Live-Diskussion mit den Engineering-Leitern von Via und SurveyMonkey geführt. Das Muster war konsistent: Teams bringen Agenten schneller auf den Markt, als sie sie steuern können – und die Lösung ist eine Control Plane, nicht noch mehr Dashboards. Dieser Leitfaden behandelt die sechs wichtigsten Lektionen.

Die meisten Unternehmen haben mittlerweile Agenten in der Produktion, bevor sie eine Möglichkeit haben zu sehen, was diese Agenten überhaupt tun. In genau dieser Lücke entstehen Kostenüberschreitungen, nicht nachvollziehbare Fehler und Schatten-KI. Wir haben dieselbe Geschichte von 200 KI-Führungskräften aus 18 Branchen gehört und erneut in einer Live-Session mit Daniel, VP of Engineering bei Via, und Meenal, die den Bereich Data und Enterprise AI bei SurveyMonkey leitet.

Der rote Faden in fast jeder Antwort war dieselbe Idee, selbst wenn niemand das Wort benutzte: Sie brauchen ein AI Gateway. Nicht noch ein weiteres Observability-Tool, das im Nachhinein aufgesetzt wird, sondern eine einzige Steuerungsschicht, über die Modelle, MCP-Server und Agenten geroutet werden, sodass Kosten, Logging und Zugriff an einem zentralen Ort statt in jedem einzelnen Codebase verwaltet werden. Hier ist, was die von uns befragten Führungskräfte auf dem Weg dorthin gelernt haben.

Sehen Sie sich den ausführlichen Fireside Chat hier an – 

Warum Governance für agentische KI im großen Maßstab wichtig ist

Die aufschlussreichste Erkenntnis unseres Berichts war ein Paradoxon. Als wir Führungskräfte fragten, wofür ihre Budgets für 2026 und 2027 vorgesehen sind, stand die Erweiterung von KI-Use-Cases an erster Stelle. Als wir separat fragten, worin sie das größte Risiko sahen, gegen das sie sich absichern müssen, rangierten Sicherheit und Governance eben dieser Erweiterung ebenso weit oben. Die beiden Positionen liegen fast direkt aufeinander.

Darin liegt das gesamte Spannungsfeld. Wenn Sie die Erweiterung zu stark vorantreiben, geraten Kosten und Risiken außer Kontrolle. Agieren Sie zu vorsichtig, fallen Sie zurück. Jede Führungskraft, mit der wir gesprochen haben, versucht beides gleichzeitig zu finanzieren. Diejenigen, die es gut machen, betrachten Governance als das Element, das ihnen eine schnellere Expansion ermöglicht – nicht als das, was sie ausbremst. Wie Meenal es ausdrückte: Jeder Dollar, den Sie in die richtige Risiko- und Sicherheitsarchitektur investieren, wird zu einem Hebel, um mehr Geld in schnellerem Tempo in die Expansion zu stecken.

Lektion 1: Die Inferenz-Rechnung ist der kleinste Teil der Kosten

Es gab viel Wirbel um Berichte, dass Uber sein KI-Budget frühzeitig aufgebraucht habe, und man könnte dies leicht als Problem von Inferenz-Preisen interpretieren. Das ist es meistens nicht. Die Rechnung steigt wegen des Kontextes, mit dem Sie das Modell füttern, nicht wegen der Rate pro Token.

Meenal bezeichnete dies als Hausaufgaben, die die Organisation erledigen muss, bevor sie irgendetwas skaliert. Kontext stammt aus drei Quellen: den Daten in Ihren Datenbanken, der Entscheidungslogik Ihrer Teams und dem institutionellen sowie informellen Wissen in den Köpfen der Mitarbeiter. Stellen Sie dies gut zusammen, erhält der Agent das, was er braucht, mit den wenigsten Tokens. Überspringen Sie diesen Schritt, zahlen Sie dafür, dass dasselbe Modell wiederholt bei demselben Problem rät.

Sie zog auch eine Analogie, die im Gedächtnis blieb: Dies ist wieder die Geschichte vom Umstieg von On-Premise in die Cloud. Unternehmen wechselten in die Cloud, sahen, wie die Kosten explodierten, und lernten erst dann, diese zu steuern. KI folgt derselben Kurve, nur komprimiert. Die Kosten werden weiter steigen, während Tools Wege finden, KI zu bepreisen, und die zugrundeliegende Compute-Infrastruktur teurer wird – die Disziplin muss dieses Mal also früher einsetzen.

Aus der Arbeit mit verschiedenen Unternehmen sieht unser Mitgründer Anurag die Kostenkontrolle auf drei Ebenen verankert, und ein AI Gateway ist der Ort, an dem alle drei durchgesetzt werden:

  • Sichtbarkeit. Wenn Sie Modelle über Bedrock, OpenAI und Anthropic hinweg zulassen, benötigen Sie eine einzige Ansicht darüber, wohin die Ausgaben fließen – aufgeteilt nach Benutzer, Team und Anwendung. Sie können nicht verwalten, was Sie nicht sehen können.
  • Kontrolle. Sobald Sie Sichtbarkeit haben, setzen Sie Grenzen: Budgets und Rate Limits auf Benutzer-, Team- oder Anwendungsebene, abgestimmt auf den ROI und den Wert der jeweiligen App.
  • Routing. Die intelligenteste Schicht. Eine Anfrage an ein großes Frontier-Modell kann oft dasselbe Ergebnis von einem kleineren Modell erhalten. Die zentrale Schicht sieht den gesamten Datenverkehr, sodass sie jede Anfrage an das richtige Modell routen kann. Im Laufe der Zeit wird die Routing-Logik besser, da sie aus den Observability-Logs lernt.

Hier ist der Unterschied zwischen dem Betrieb von Agenten ohne diese Schicht und dem Betrieb hinter einer solchen Schicht.

Was in der Produktion fehlschlägt Ungesteuerter Agent-Stack Hinter einem AI Gateway
Kostentransparenz Rechnungen pro Anbieter, keine Sicht pro Team Einheitliche Ausgaben nach Benutzer, Team und App
Kostenkontrolle Erst nach der Rechnung entdeckt Budgets und Rate Limits im Voraus durchgesetzt
Modellauswahl Fest verdrahtet, oft überdimensioniert Pro Anfrage an das richtige Modell geroutet
Tracing Teilweise Logs, pro Dienst Ein Trace vom Prompt bis zum Tool und Modell
MCP-Zugriff Wilder Westen, pro Entwickler Zentrales Register mit Kontrolle auf Tool-Ebene
Guardrails In jede Codebasis kopiert Als Richtlinie am Gateway angewendet

Lektion 2: Sie können nicht tracen, was Sie nicht für Tracing konzipiert haben

Mehr als die Hälfte der von uns befragten Unternehmen konnte die Agenten, die sie in der Produktion laufen hatten, nicht vollständig zurückverfolgen. Einige dieser Agenten waren genehmigt. Einige waren Schatten-KI, die ohne Wissen der IT oder der Führungsebene bereitgestellt wurden.

Daniel brachte die Brisanz am schärfsten auf den Punkt. Stellen Sie sich vor, Sie übergeben einem Mitarbeiter einen Laptop mit der Erlaubnis, alles zu installieren, vollumfänglichem Netzwerkzugriff und ohne Überwachung. Kein modernes Unternehmen tut das. Agenten benötigen dieselben Schutzplanken (Guardrails), und zwar von Anfang an, denn das nachträgliche Tracing eines nicht-deterministischen Systems ist nahezu unmöglich. Der Agent tut nicht zweimal dasselbe. Wenn der Audit Trail also nicht von Anfang an eingeplant war, ist er auch nicht da, wenn Sie danach suchen.

Bei Via wird dies als Grund voraussetzung betrachtet. Eine gute Infrastruktur zum Ausführen von Agenten leistet zwei Dinge gleichzeitig: Sie macht Deployments sicherer und sie macht Deployments einfach – was bedeutet, dass Mitarbeiter deutlich mehr davon bereitstellen. Aus diesem Grund muss Agent Observability Teil der Plattform sein und darf kein Projekt sein, um das man sich später kümmert. Eine praktische Technik, die bei ihnen funktioniert hat, bestand darin, den Prompt eines Agenten in festgelegte Checkpoints zu unterteilen, damit sie jede Antwort in der Kette überprüfen und feststellen konnten, wo etwas schiefgelaufen ist.

Lektion 3: 76 % fehlt ein einheitliches Logging – und das ist ein Governance-Problem

Siebenundsiebzig Prozent der Organisationen in unserem Bericht verfügten nicht über ein vollständig einheitliches Logging über alle ihre Modelle und Workflows hinweg. Das ist gleichzeitig ein Kosten- und ein Kontrollproblem. Wenn Sie nicht sehen können, welches Modell von wem in welcher Abteilung verwendet wird, können Sie weder die Kostenstruktur nachvollziehen noch irgendetwas davon steuern.

SurveyMonkey hat LLM Observability als Erstes eingeführt, noch vor der Skalierung, genau weil diese Systeme ohne sie außer Kontrolle geraten. Ihr Logging erstreckt sich mittlerweile über die Kosten hinaus auf die Qualität: Sie achten auf Halluzinationen und nutzen Evals sowie LLM-as-a-Judge zur Überprüfung der Ausgaben. Daniel sprach eine Feinheit an, die viele Teams unvorbereitet trifft. Die Ausgabe eines Agenten kann personenbezogene Daten (PII) von Benutzern enthalten, selbst wenn Ihre normalen Logs dies nie tun. Sie müssen also definieren, was protokolliert und was bereinigt wird, anstatt standardmäßig alles zu loggen.

Beide waren sich in dem unangenehmen Teil einig: Observability fühlt sich selten wie das Erste an, was man bauen sollte. Der Drang geht dahin, schnell etwas zu veröffentlichen und Mehrwert zu zeigen. Das ist verständlich, aber nachträglich hinzugefügte Governance ist weitaus teurer als von Grund auf entwickelte Governance. Ein AI Gateway ist der Ort, an dem dieses Logging automatisch erfolgt, anstatt etwas zu sein, an das sich jeder Entwickler einzeln erinnern muss.

Lektion 4: Interne vs. externe Ausrichtung bestimmt Ihre Risikobereitschaft

Wo Sie bei der Frage zwischen Expansion und Risiko landen, hängt hauptsächlich von einer Sache ab: Ob die KI nach innen oder nach außen gerichtet ist. Das war Anurags Fazit aus den Unternehmen, mit denen wir zusammenarbeiten, und beide Experten bestätigten dies.

Interne Produktivitätstools können sich schnell bewegen, da die Kosten eines geringfügigen Fehlers niedrig sind. Via hat eine interne Infrastruktur aufgebaut, sodass die eigenen Mitarbeiter – einschließlich nicht-technischem Personal – ein Dashboard, eine kleine Website oder eine Automatisierung aus einer fertigen Vorlage erstellen können. Alles mit Kundenkontakt ist eine andere Geschichte. Meenal war direkt: Externe KI unterliegt einer strengeren Prüfung, da Kunden wissen wollen, wie ihre Daten verwendet werden. Sie durchläuft daher einen härteren Überprüfungszyklus als interne Anwendungen. Die Unternehmen, die beides gut ausbalancieren, sind diejenigen, die zuerst in die Sicherheitsarchitektur investieren und diesen Handlungsspielraum dann für die Expansion nutzen.

Lektion 5: Starten Sie mit 8 bis 10 Use-Cases mit hohem ROI, nicht mit 200

Der stärkste Rat aus der Session betraf die Zurückhaltung. Versuchen Sie nicht, alles auf einmal zu lösen. Meenals Regel lautete, vom Anwendungsfall auszugehen und nicht von der Technologie. Das Starten beim Problem führt Sie zu den richtigen Tools und dem tatsächlichen ROI. Daniels Rat war, das Ziel klug zu wählen: Zu klein ist es bedeutungslos, zu weit gegriffen ist es unrealistisch. Führen Sie es dann als agiles POC aus, bauen Sie die Guardrails auf und bringen Sie es in Produktion, wenn es hält.

Anurag hat diesen Wandel hautnah miterlebt. Vor einigen Jahren kamen Teams mit Listen von 200 Anwendungsfällen an, die sie mit KI lösen wollten. Die meisten davon hätten in der Entwicklung so viel gekostet, wie sie eingespart hätten. Die führenden Unternehmen von heute bringen 8 bis 10 Anwendungsfälle mit, jeder mit solidem ROI, und sie integrieren Kostenkontrolle, Governance und Observability ab Tag null. Dieser letzte Teil ist entscheidend: Teams, die dies überspringen, bringen Anwendungen in Produktion, erleben einen Fehlschlag und müssen das Gesamtsystem zurückrollen und neu aufbauen. Setzen Sie die Steuerungsschicht frühzeitig ein, erhalten die guten Anwendungsfälle den Raum zum Wachsen.

Wie TrueFoundry Governance für agentische KI über eine einzige Control Plane ausführt

Wir entwickeln TrueFoundry als Enterprise AI Control Plane für agentische KI. Das Konzept lässt sich direkt auf die sechs obigen Lektionen übertragen: Führen Sie Modelle, MCPs und Agenten in einer einzigen Schicht zusammen und legen Sie Kostenkontrolle, Governance und Observability über alles drüber.

Das AI Gateway ist der Einstiegspunkt. Es bietet Ihnen eine einzige OpenAI-kompatible API zu über 1.000 LLMs verschiedener Anbieter. Das Wechseln von Modellen erfordert somit nur eine Namensänderung in der Anfrage statt eines Re-Writes. Es fügt lediglich etwa 3 bis 4 ms Overhead hinzu und bewältigt 350+ RPS auf einer einzelnen vCPU, wodurch es im Hot Path bleibt, ohne zum Nadelöhr zu werden. Da jede Anfrage durch das Gateway fließt, werden Ausgaben-Tracking, Budgets, Rate Limits und Modell-Routing zentral durchgesetzt, anstatt in jedem Dienst neu implementiert zu werden.

Das MCP Gateway und das Agent-Register lösen das N-zu-M-Problem aus Lektion 3. MCP-Server und Agenten registrieren sich an einem zentralen Ort mit Zugriffskontrolle auf Tool-Ebene. So können Sie einem bestimmten Benutzer ein bestimmtes Tool zuweisen, ohne den Rest offenzulegen, wobei jeder Aufruf authentifiziert und nachverfolgt wird. Guardrails werden auf dieser Schicht als Richtlinien angewendet. Dies entspricht dem Muster, das SurveyMonkey mit vorab geprüften Agenten-Templates beschrieben hat: Daten-, Kontext- und Observability-Kontrollen sind in die Vorlage integriert, sodass Teams diese standardmäßig erben.

Für die Observability ist das Gateway OpenTelemetry-konform und verfolgt jede Anfrage vom Prompt über das Tool bis zur Modellausführung. Anschließend bindet es sich in Grafana, Datadog oder Prometheus ein. Wenn ein CTO mit 30 Agenten, drei Modellanbietern und keiner Steuerungsschicht zu uns kommt, besteht der erste Schritt nicht in einem Re-Write. Er besteht darin, alles, was diese Agenten nutzen, an einem Ort zu registrieren und ihre Endpunkte auf die zentrale Schicht auszurichten, sodass einheitliches Logging und Kostenkontrolle entstehen, ohne dass Entwickler ihren Code anpassen müssen.

Weiterführende Informationen

Fazit

Sechs Lektionen, ein roter Faden. Kosten, Tracing, MCP-Zugriff, Logging, Risikobereitschaft und Use-Case-Auswahl laufen alle darauf hinaus, ob Sie einen zentralen Ort haben, um zu sehen und zu steuern, was Ihre Agenten tun. Ein AI Gateway ist dieser Ort. Eine frühzeitige Implementierung ermöglicht es Teams, agentische KI in der Produktion zu skalieren, anstatt sie nach dem ersten Fehlschlag wieder abbauen zu müssen.

Erfahren Sie, wie das AI Gateway von TrueFoundry Kosten, MCP-Governance und Observability in einer einzigen Control Plane verwaltet, oder buchen Sie eine Demo, um es mit Ihrem eigenen Stack zu testen.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

Keine Artikel gefunden.
November 19, 2026
|
Lesedauer: 5 Minuten

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
November 19, 2026
|
Lesedauer: 5 Minuten

AI Gateway Security for Agents: Straiker on TrueFoundry

Keine Artikel gefunden.
November 18, 2026
|
Lesedauer: 5 Minuten

Clause Code Limits erklärt (Ausgabe 2026)

Keine Artikel gefunden.
Analyzing how Cloudflare detects MCP traffic
November 18, 2026
|
Lesedauer: 5 Minuten

How Cloudflare Detects MCP Traffic and Helps Secure It

Keine Artikel gefunden.
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Häufig gestellte Fragen

Was ist Governance für KI-Agenten?

Governance für KI-Agenten ist die Gesamtheit der Kontrollen, die autonome Agenten im Produktivbetrieb sicher, nachvollziehbar und kostenbegrenzt halten: Kostentransparenz und -grenzen, einheitliche Protokollierung, Zugriffskontrolle über die Tools und MCPs, die Agenten aufrufen können, und Leitplanken, die als Richtlinien angewendet werden. In der Praxis setzen Unternehmen dies über eine zentrale Steuerungsebene oder ein KI-Gateway durch, das jede Agentenanfrage durchläuft.

Wie hilft ein AI-Gateway, die Kosten für agentische KI zu kontrollieren?

Ein AI-Gateway sieht den gesamten Traffic, sodass es Ausgaben nach Benutzer, Team und Anwendung anzeigen, Budgets und Ratenbegrenzungen durchsetzen kann, bevor die Kosten aus dem Ruder laufen, und jede Anfrage an das passend dimensionierte Modell weiterleiten kann. Das deckt die drei Kostenebenen ab: Transparenz, Kontrolle und Routing.

Was ist ein MCP-Gateway und warum benötigen Unternehmen ein solches?

Ein MCP-Gateway ist eine zentrale Ebene, die Ihre MCP-Server registriert und eine werkzeugspezifische Zugriffskontrolle anwendet, sodass Sie entscheiden können, welche Benutzer mit welcher Authentifizierung auf welche Werkzeuge zugreifen können. Es verwandelt die N-mal-M-Komplexität von Clients, Servern und Werkzeugen in etwas, das Sie von einem zentralen Ort aus steuern und prüfen können.

Wie gehen Sie mit Schatten-KI und nicht nachverfolgbaren Agenten um?

Leiten Sie Agenten durch eine Infrastruktur, die standardmäßig protokolliert und authentifiziert, anstatt sie ad hoc bereitstellen zu lassen. Planen Sie Tracing von Anfang an ein, da nicht-deterministische Agenten im Nachhinein nicht zuverlässig nachverfolgt werden können und für alles, was bereitgestellt wird, Dienstkonten anstelle persönlicher Anmeldeinformationen erfordern.

Kann ich TrueFoundry in meiner eigenen VPC oder On-Premise betreiben?

Ja. TrueFoundry läuft in Ihrer VPC, On-Premise, Air-Gapped, hybrid oder über mehrere Clouds hinweg, und keine Daten verlassen Ihre Domäne. Das ist der Hauptgrund, warum regulierte Unternehmen es SaaS-only Gateways vorziehen.

Lässt es sich in meinen bestehenden Observability-Stack integrieren?

Ja. Das Gateway ist OpenTelemetry-kompatibel und lässt sich in Grafana, Datadog, Prometheus oder Ihren bevorzugten Stack integrieren. Es verfolgt jede Anfrage vom Prompt bis zur Ausführung von Tools und Modellen, sodass Sie eine einheitliche Protokollierung erhalten, ohne Ihre bestehenden Systeme entfernen zu müssen.

Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour