Steuerung von KI-Agenten über mehrere Plattformen hinweg

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Die meisten Unternehmen haben sich nicht bewusst dafür entschieden, KI-Agenten über fünf verschiedene Plattformen hinweg einzuführen. Es ist ihnen einfach passiert. Microsoft Copilot hielt Einzug mit der Produktivitätssuite. ServiceNow integrierte Now Assist direkt in die Ticket-Warteschlange. Salesforce aktivierte Agentforce im CRM. Weitere Daten- und SaaS-Plattformen begannen, Agenten direkt neben den führenden Systemen auszuführen. Jede Plattform brachte ihre eigene KI-Laufzeitumgebung mit — und ganz stillschweigend ihre eigene Governance-Strategie, die an den Grenzen der jeweiligen Plattform endet.
Das Ergebnis ist eine Governance-Lücke, die ein einzelner Anwendungsplattform-Anbieter kaum alleine schließen kann. Wenn ein Agent innerhalb einer Plattform eine API aufruft: Wer hat das autorisiert? Wenn ein Agent in einer anderen Plattform ein vertrauliches Dokument zusammenfasst: Welche Richtlinie hat die Antwort geregelt? Und wenn sich ein Agent in der Produktion fehlerhaft verhält: Wer kann ihn schnell isolieren — ohne die Konsolen oder Support-Warteschlangen mehrerer Anbieter koordinieren zu müssen?
Dies ist kein Risiko der Zukunft. Es ist die betriebliche Realität für jedes Unternehmen, das mehr als eine KI-Plattform unabhängig voneinander eingeführt hat — was in großen Unternehmen immer häufiger vorkommt.
Die Struktur des Problems
Bevor wir über eine Lösung sprechen, lohnt es sich, genau zu bestimmen, warum dies wirklich schwierig ist. Die Herausforderung ist struktureller Natur und zeigt sich an vier Stellen gleichzeitig.
Und es gibt ein fünftes Problem, das erst in dem Moment sichtbar wird, in dem ein Benutzer versucht, tatsächlich etwas mit dem Agenten eines Drittanbieters zu tun: den Authentifizierungsaufwand.
Der versteckte Authentifizierungsaufwand
Betrachten wir einen alltäglichen Prompt, der an den offiziellen Agenten eines Drittanbieters gesendet wird, welcher in einem Assistenten im Copilot-Stil installiert ist. Beim ersten Zugriff kann der Agent die Anfrage erst beantworten, nachdem sich der Benutzer direkt bei diesem Drittanbieter-Dienst angemeldet hat.

Das ist kein Fehler. Es ist die einzige sichere Architektur, wenn jeder Agent ein separat bereitgestelltes Produkt ist. Doch summiert über den gesamten Tool-Bestand eines Unternehmens hat dies reale betriebliche Konsequenzen:
- Reibung pro Benutzer und pro Tool. Jeder Mitarbeiter muss jeden Agenten bei der ersten Nutzung erneut autorisieren. Multiplizieren Sie das mit der Anzahl der Mitarbeiter und anschließend mit dem Tool-Bestand.
- Token-Wildwuchs. OAuth-Tokens für jeden verbundenen Dienst verteilen sich über sämtliche Benutzer-Identitätsspeicher. Compliance wird zu einer Einzelfrage pro Anbieter statt zu einem zentralen Audit-Trail.
- Keine zentrale Widerrufung. Wenn sich ein Vertrag ändert oder ein Sicherheitsvorfall den Entzug von Zugriffsrechten erfordert, muss die Organisation dies über jede einzelne Anbieterbeziehung abwickeln statt an einem zentralen Prüfpunkt.
Wie eine plattformübergreifende Control Plane funktioniert
Ein Architekturmuster, das diese Lücke direkt schließt, setzt die Steuerung an der Ebene an, die alle diese Plattformen gemeinsam haben. Jeder Agent — unabhängig davon, auf welcher Plattform er gehostet wird — führt letztendlich einen LLM-Aufruf oder einen Tool-Aufruf aus. Wer dort ansetzt und steuert, kontrolliert die Agentenaktivität, die über diese gemeinsame Ausführungsebene geroutet wird — ohne jede Anwendungsplattform bitten zu müssen, sich selbst neu zu entwickeln.
Das ist das Prinzip hinter dem Agent Gateway von TrueFoundry: eine dedizierte Steuerungsebene für KI-Agenten in der Produktion, die vor den Modellen und Tools sitzt, von denen jeder Agent abhängt. TrueFoundry zieht eine klare Grenze zwischen einem AI Gateway, das zustandslose Prompts und Tokens verwaltet, und einem Agent Gateway, das als Data Plane für agentische KI dient — für zustandsbehaftete Sitzungen, mehrstufige Ausführungen und den Datenfluss zwischen Agenten und ihren Tools. Es verhält sich wie ein Service Mesh, das speziell für agentische Systeme entwickelt wurde.
Über den Gateways liegt eine vierte Ebene: der Agent Harness. Ein Harness ist die Laufzeitumgebung um ein LLM herum — die Orchestrierungsschleife, die plant, Tools aufruft, den Kontext verwaltet, sensible Aktionen durch Freigaben absichert und jeden Schritt in einem Trace aufzeichnet. Erst dadurch wird aus einem Modellaufruf ein zuverlässiger, langlaufender Agent.

TrueFoundry stellt dies als verwalteten Dienst statt als Framework bereit. Eine isolierte Sandbox-Ausführungsumgebung führt Code und langlaufende Aufgaben aus. Human-in-the-Loop-Freigaben pausieren sensible Tool-Aufrufe, bis ein Benutzer zustimmt. Ein versioniertes Skills Registry verwaltet wiederverwendbare Anweisungen mit RBAC. Und besonders wichtig: In den Agentendefinitionen werden keinerlei API-Schlüssel oder Zugangsdaten gespeichert. Diese verbleiben in den Gateways, wo Plattform-Teams den Zugriff einmalig konfigurieren und Entwickler von Agenten niemals mit Secrets in Berührung kommen.

Ein entscheidender Punkt: Die Erkennung beschränkt sich nicht auf Agenten, die Sie auf der Plattform selbst entwickelt haben. Agenten, die an anderer Stelle laufen — auf Bedrock, LangGraph, einem benutzerdefinierten HTTP-Dienst oder der Plattform eines anderen Anbieters —, werden als Remote-Agenten mit denselben Metadaten und Steuerungsmechanismen im selben Bestand registriert. Aus der fragmentierten Flotte wird eine einzige Übersicht.

Fünf Funktionen, auf die Sie achten sollten
Für Teams, die bewerten, wie sich diese Lücke schließen lässt, lohnt sich ein genauer Blick auf die folgenden fünf Funktionen — jeweils mit einem Hinweis darauf, was die Umsetzung unter der Haube erfordert.
Enterprise-fähige Architektur
Eine Control Plane ist nur dann nützlich, wenn sie hohe Lasten verarbeiten kann, ohne selbst zum Engpass zu werden. TrueFoundry belegt dies mit Kennzahlen, die auf Enterprise-Ebene zählen:
Lauffähig vollständig in Ihrer eigenen Umgebung — VPC, On-Premises, Air-Gapped oder über mehrere Clouds hinweg —, sodass keine Daten Ihre Domain verlassen und die Vorgaben von SOC 2, HIPAA sowie DSGVO durch das Design eingehalten werden. Und da das zugrundeliegende Agent Gateway ein Open-Source-Projekt der Linux Foundation ist, bleibt die Steuerungsebene keine proprietäre Blackbox und Sie binden sich nicht an das Framework eines einzelnen Anbieters.
Kein Ersatz für Ihre Plattform-Investitionen
Eine wichtige Klarstellung, da dies der häufigste Einwand ist: Die Steuerung auf der Ausführungsebene erfordert keinen Austausch der nativen Plattform-Tools, die Sie bereits nutzen. Wenn sich Ihre sensiblen Daten für Wissensarbeiter in M365 befinden, deckt ein Tool wie Microsoft Agent 365 diesen Bereich gut ab — Identität, Daten und Verteilung innerhalb des Microsoft-Ökosystems. Basierend auf den Launch-Materialien von Microsoft und der öffentlichen Berichterstattung mit Stand Juni 2026 hat Agent 365 seine Erkennung bei der allgemeinen Verfügbarkeit über Registry Sync auch auf AWS Bedrock und Google Gemini Enterprise ausgeweitet — ein solider cloudübergreifender Schritt auf der Erkennungsseite.
Aus denselben Launch-Materialien geht jedoch hervor, dass die SaaS-Plattformen, auf denen heute ein erheblicher Teil der Agenten-Workloads in Unternehmen läuft, nicht Teil dieses anfänglichen Synchronisierungsumfangs waren: Agenten in Salesforce Agentforce und ServiceNow AI Agents (beide seit 2024 allgemein verfügbar) waren nicht in der ursprünglichen Abdeckung von Registry Sync enthalten. Zudem erfolgt die Durchsetzung von Richtlinien für jeden synchronisierten Agenten weiterhin über die Steuerungen von Microsoft und nicht über die der Quellplattform. Der Abdeckungsbereich der Konnektoren von Microsoft kann sich im Laufe der Zeit erweitern; Leser sollten die aktuelle Liste prüfen, bevor sie sich auf dieses Detail verlassen. Die Ausführungsebene bleibt eine Ebene, die von allen Plattformen tatsächlich gemeinsam genutzt wird.

Erste Schritte
Der schnellste Weg festzustellen, ob dieser Ansatz Ihre Governance-Lücke schließt, ist der Nachweis am eigenen Datenverkehr — fokussiert auf die Anforderungen, die heute die größte Herausforderung darstellen:
- Bereitstellen des Gateways in einer Sandbox-VPC und Routen eines Teils des realen Agenten-Datenverkehrs darüber. Prüfen Sie den Latenz-Overhead und die Ausgabe der Observability.
- Registrieren einiger bestehender Agenten aus mindestens zwei verschiedenen Plattformen. Prüfen Sie die Metadaten und den einheitlichen Bestand.
- Definieren von zwei oder drei plattformübergreifenden Richtlinien — einen PII-Filter, ein Rate Limit, eine Tool-Allowlist — und Bestätigen, dass diese für die registrierten/gerouteten Agenten im Testumfang greifen.
- Messen der Isolierungszeit für gesteuerte Pfade: von der Auslösung bis zur Durchsetzung, belegt durch das Audit-Log.
⚠ Redaktioneller Hinweis Dieser Artikel wird von TrueFoundry, Inc. ausschließlich zu Informationszwecken veröffentlicht und basiert auf der Analyse öffentlich zugänglicher Anbieterdokumentationen mit Stand Juni 2026. Alle geäußerten Ansichten sind Unternehmenspositionen von TrueFoundry, nicht die einzelner Mitwirkender, und stellen keine professionelle, rechtliche oder kaufmännische Beratung dar. Microsoft hat diesen Artikel weder geprüft, unterstützt noch gesponsert. Produktfunktionen, Preise und Roadmaps können sich ohne Vorankündigung ändern; dargestellte Zahlen stammen aus öffentlichen Materialien oder dienen als veranschaulichende Diagramme. Die ursprüngliche Analyse, der Text und die Diagramme sind Eigentum von TrueFoundry, Inc.; alle Produktnamen und Marken Dritter sind Eigentum der jeweiligen Inhaber. Bitte überprüfen Sie alle Informationen anhand der aktuellen Anbieterdokumentation, bevor Sie architektonische oder kaufmännische Entscheidungen treffen.
Quellen
- Microsoft Learn — Microsoft Agent 365 Übersicht (GA, Säulen: Überwachen / Steuern / Sichern).
- Microsoft Learn — Microsoft Agent 365 SDK Übersicht.
- Windows Central — Ankündigung des Microsoft 365 E7 Tarifs ($15/Benutzer/Monat standalone; $99/Benutzer/Monat im E7-Paket).
- Der in diesem Artikel erwähnte Umfang von Registry Sync basiert auf den öffentlichen GA-Materialien von Microsoft und der Berichterstattung mit Stand Juni 2026; Leser sollten die aktuelle Konnektorenliste in der Dokumentation von Microsoft überprüfen, bevor sie sich darauf stützen.
- TrueFoundry — Agent Gateway Produktseite (Steuerungssäulen, zustandsbehaftetes Agent Mesh, 99,99 % Verfügbarkeit, 10 Mrd.+ Anfragen/Monat, ~30 % Kostenoptimierung, Linux Foundation Projekt, VPC / On-Premises / Air-Gapped Deployment).
- TrueFoundry Docs — AI Gateway (1.000+ LLMs, Latenz-Overhead) und Agent Harness Übersicht (verwaltete Laufzeitumgebung, Sandbox, HITL-Freigaben, Skills Registry, no-keys Zugangsdatenmodell).
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






