Microsoft Agent 365 und TrueFoundry: Ein Vergleich zweier Ansätze für die Agent-Control-Plane.

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Den Großteil des Jahres 2024 drehte sich die Diskussion um Agenten um Frameworks. Ende 2025 hatte sich der Fokus verschoben. Unternehmen fragten nicht mehr wie bauen wir einen Agenten? sondern begannen zu fragen wie betreiben wir tausende davon sicher? Dieser Wandel machte die Agent-Control-Plane – die Ebene zwischen Agenten, den von ihnen aufgerufenen Modellen, den genutzten Tools und den dafür verantwortlichen Menschen – zur folgenreichsten Architektur-Entscheidung des Jahres.
Zwei starke Antworten haben sich an den entgegengesetzten Enden des Spektrums herauskristallisiert. Microsoft Agent 365, allgemein verfügbar seit dem 1. Mai 2026, behandelt Agenten als Identitäten erster Klasse innerhalb des Microsoft-Graphs und erweitert Entra, Purview und Defender, um sie zu steuern. TrueFoundrys Plattform – ein AI Gateway, MCP Gateway und Agent Gateway auf einer einzigen Datenebene – läuft in Ihrer Cloud, vor Ihren Modellen und Tools, und steuert, wie jeder Agent (jedes Framework, jeder Anbieter) tatsächlich ausgeführt wird.
Dieser Artikel ist ein ehrlicher technischer Vergleich. Er basiert auf der öffentlichen Anbieterdokumentation und der Berichterstattung zum Marktstart mit Stand Juni 2026; Quellenangaben finden Sie am Ende.
Microsoft Agent 365: Ein Überblick
Das Design von Microsoft basiert auf der Idee, dass Agenten genauso verwaltet werden sollten wie Benutzer – durch Identität, Richtlinien und dieselben Admin-Tools, die die IT bereits nutzt. Microsoft beschreibt Agent 365 als einheitliche Control-Plane zur Überwachung der Sicherheit von KI-Agenten in unterstützten Microsoft- und verbundenen Umgebungen. In der Praxis zeigt sich dies in zwei verschiedenen Erfahrungen: einem No-Code Agent Builder, den jeder Wissensarbeiter nutzen kann, und einer Registry auf Admin-Ebene, die von IT- und Sicherheitsteams betrieben wird.

Genau dieses Verteilungsmodell – jeder Benutzer kann einen Agenten starten – ist der Grund, warum die Registry auf der anderen Seite der Plattform so wichtig ist. Hier erstellte Agenten, aus dem Agent Store installierte Agenten, von Ökosystem-Partnern eingebrachte Agenten und von Defender entdeckte Schatten-Agenten fließen alle in ein zentrales Inventar im Microsoft 365 Admin Center, wobei jeder durch eine Microsoft Entra Agent ID identifiziert wird.

Unter der Benutzeroberfläche bilden drei Säulen das Fundament: Beobachten, Steuern, und Absichern – jede davon gestützt durch ein spezifisches Microsoft-Produkt: Identität über Microsoft Entra Agent ID; Datensicherheit über Microsoft Purview (Vertraulichkeitsbezeichnungen, DLP, eDiscovery, Aufbewahrungsrichtlinien); Bedrohungsschutz über Microsoft Defender (Posture Management, Erkennung von Shadow-AI, Reaktion auf Vorfälle). Für Entwickler stellt Microsoft ein Agent 365 SDK in Python, JavaScript und .NET bereit, inklusive Integrationen für gängige Agent-Frameworks und KI-Plattformen.
Die TrueFoundry-Plattform: ein Überblick
TrueFoundry ging den umgekehrten Weg. Während Microsoft fragte: Wie steuern wir Agenten innerhalb von Microsoft 365?, fragte TrueFoundry: Wie betreiben wir Agenten – unabhängig von Framework, Modell oder Cloud – mit der Sicherheit, Beobachtbarkeit und Kostenkontrolle eines produktiven Systems? Die Plattform besteht aus drei koordinierten Schichten auf einer einzigen Datenebene:
- AI Gateway – eine einheitliche API für über 1.000 LLMs von OpenAI, Anthropic, Bedrock, Vertex, Gemini, Azure OpenAI, Mistral, Together, Groq, xAI, Cerebras sowie selbst gehosteten vLLM/TGI/Triton-Instanzen, mit einem Latenz-Overhead von typischerweise unter 5 ms.
- MCP Gateway – eine zentrale Registrierung für Model Context Protocol-Server mit OAuth2, RBAC, tool-spezifischen Richtlinien sowie Guardrails vor und nach dem Aufruf. Löst das, was in der Dokumentation von TrueFoundry als N×M-Integrationsproblem bezeichnet wird.
- Agent Gateway – die neueste Schicht und die für diesen Vergleich relevanteste. Eine dedizierte Steuerungsebene für KI-Agenten in der Produktion.
Das Agent Gateway verdient einen genaueren Blick, da es die Schicht ist, die ein Modell-Gateway von einer umfassenderen Agenten-Steuerungsebene unterscheidet. TrueFoundry bringt den Unterschied präzise auf den Punkt: Ein KI-Gateway verwaltet zustandslose Prompts und Token; ein Agenten- Gateway ist die Datenebene für agentische KI – zustandsbehaftete Sitzungen, mehrstufige Ausführung und der Datenaustausch zwischen Agenten und den von ihnen aufgerufenen Tools. Betrachten Sie es als ein Service-Mesh, das speziell für agentische Systeme entwickelt wurde.
Es bietet sechs Kontrollpfeiler: einheitliche Agentenausführung durch eine einzige, kontrollierte Schicht; Beobachtbarkeit und Tracing auf Schritt-Ebene; Durchsetzung von Richtlinien und RBAC; zuverlässige Aufgabenausführung mit Wiederholungsversuchen, Fallbacks und Timeouts; automatische Skalierung unter Last; sowie Framework-Unabhängigkeit (LangChain, CrewAI, AutoGen oder vollständig eigene Lösungen). Bemerkenswert ist, dass das zugrunde liegende Agent-Gateway-Projekt ein Open-Source-Projekt der Linux Foundation ist – das bedeutet, die Steuerungsebene ist keine proprietäre Blackbox und Sie sind nicht an das Framework eines einzelnen Anbieters gebunden.
Agent Harness – die verwaltete Laufzeitumgebung über den Gateways
Wenn die drei Gateways das Fundament bilden, ist das Agent Harness die verwaltete Laufzeitumgebung, die darauf aufbaut. Ein Harness ist die Laufzeitschicht um ein LLM herum – die Orchestrierungsschleife, die plant, Tools aufruft, den Kontext verwaltet, sensible Aktionen durch Freigabeprozesse absichert und den vollständigen Trace aufzeichnet. Es ist das, was einen Modellaufruf in einen zuverlässigen, langlebigen Agenten verwandelt. Das Agent Harness von TrueFoundry führt dies als Managed Service zusammen: Modell auswählen, MCP-Server verbinden, kontrollierte Fähigkeiten aus einer Registrierung hinzufügen, Anweisungen schreiben und bereitstellen.
Die Plattform von TrueFoundry: ein Überblick
TrueFoundry hat den entgegengesetzten Ansatz gewählt. Während Microsoft fragte: Wie steuern wir Agenten innerhalb von Microsoft 365?, fragte TrueFoundry: Wie betreiben wir Agenten – unabhängig von Framework, Modell oder Cloud – mit der Sicherheit, Beobachtbarkeit und Kostenkontrolle eines produktiven Systems? Die Plattform besteht aus drei koordinierten Schichten auf einer einzigen Datenebene:
- AI Gateway – eine einheitliche API für über 1.000 LLMs, darunter OpenAI, Anthropic, Bedrock, Vertex, Gemini, Azure OpenAI, Mistral, Together, Groq, xAI, Cerebras sowie selbst gehostete vLLM/TGI/Triton-Instanzen, mit einem Latenz-Overhead von typischerweise unter 5 ms.
- MCP Gateway – eine zentrale Registrierungsstelle für Model Context Protocol-Server mit OAuth2, RBAC, tool-spezifischen Richtlinien sowie Guardrails für die Zeit vor und nach dem Aufruf. Sie löst das, was in der Dokumentation von TrueFoundry als N×M-Integrationsproblem bezeichnet wird.
- Agent Gateway – die neueste Ebene und für diesen Vergleich am relevantesten. Eine dedizierte Steuerungsebene für KI-Agenten in der Produktion.
Das Agent Gateway verdient eine genauere Betrachtung, da es die Ebene ist, die ein Modell-Gateway von einer umfassenderen Agenten-Steuerungsebene unterscheidet. TrueFoundry definiert diesen Unterschied präzise: Ein AI Gateway verwaltet zustandslose Prompts und Token; ein Agent Gateway ist die Datenebene für agentische KI – zustandsbehaftete Sitzungen, mehrstufige Ausführungen und der Datenaustausch zwischen Agenten und den von ihnen aufgerufenen Tools. Betrachten Sie es als ein Service-Mesh, das speziell für agentische Systeme entwickelt wurde.
Es bietet sechs Kontrollsäulen: einheitliche Agentenausführung durch eine einzige, verwaltete Ebene; schrittweise Beobachtbarkeit und Tracing; Durchsetzung von Richtlinien und RBAC; zuverlässige Aufgabenausführung mit Wiederholungsversuchen, Fallbacks und Timeouts; automatische Skalierung bei Last sowie Framework-Unabhängigkeit (LangChain, CrewAI, AutoGen oder vollständig eigene Lösungen). Bemerkenswert ist, dass das zugrunde liegende Agent-Gateway-Projekt ein Open-Source-Projekt der Linux Foundation ist – das bedeutet, die Steuerungsebene ist keine proprietäre Blackbox und Sie sind nicht an das Framework eines einzelnen Anbieters gebunden.
Agent Harness – die verwaltete Laufzeitumgebung über den Gateways
Wenn die drei Gateways das Fundament bilden, ist das Agent Harness die verwaltete Laufzeitumgebung, die darauf aufbaut. Ein Harness ist die Laufzeitschicht um ein LLM herum – die Orchestrierungsschleife, die plant, Tools aufruft, den Kontext verwaltet, sensible Aktionen durch Freigabeprozesse absichert und den gesamten Trace aufzeichnet. Es ist das, was einen Modellaufruf in einen zuverlässigen, langlebigen Agenten verwandelt. TrueFoundry bündelt dies im Agent Harness als Managed Service: Modell auswählen, MCP-Server verbinden, verwaltete Skills aus einer Registry hinzufügen, Anweisungen schreiben und bereitstellen.

Was mit dem Harness geliefert wird, müssen Teams normalerweise selbst entwickeln: eine isolierte Ausführungsumgebung (Sandbox) für Code und langlebige Aufgaben, Human-in-the-Loop-Freigabeprozesse für sensible Vorgänge, eine versionierte Skills-Registry mit RBAC, Primitive für das Kontext-Engineering (Sub-Agenten, Auslagerung großer Ergebnisse, automatische Komprimierung) sowie Generative-UI-Streaming für Clients zur Darstellung strukturierter Blöcke. End-to-End-Traces fließen in dieselbe Beobachtungsoberfläche wie der Rest der Plattform – eine zentrale Ansicht für den gesamten Modell-, MCP- und Agenten-Traffic.
Die wichtigste Governance-Eigenschaft des Harness ist sein Berechtigungsmodell. API-Schlüssel, OAuth-Token oder Bearer-Header befinden sich niemals in den Agentendefinitionen. Modell-Anmeldedaten liegen im AI Gateway; MCP-Anmeldedaten liegen im MCP Gateway mit benutzerbezogenem OAuth und automatischer Aktualisierung; Skills werden aus einer verwalteten Registry bezogen. Plattform-Teams konfigurieren den Zugriff einmalig; Agenten-Entwickler müssen sich nie mit Geheimnissen befassen. Dies ist die strukturelle Lösung für das Chaos bei den Anmeldedaten pro Tool, das in Multi-Agenten-Umgebungen häufig auftritt.
Wie sich die beiden Steuerungsebenen überschneiden – und wo nicht
Der klarste Weg, die Beziehung zu verstehen, ist die strukturelle Betrachtung. Beide Produkte stehen zwischen den Agenten und der Außenwelt, steuern jedoch unterschiedliche Bereiche. Microsoft Agent 365 steuert die M365-Oberfläche: Identität, Daten und Verteilung. TrueFoundry steuert die Ausführungsebene: Modell-Routing, Tool-Aufrufe und die Agenten-Laufzeitumgebung selbst.

Wo sich die beiden Produkte unterscheiden – mit Quellenangaben
Die folgende Tabelle basiert auf der Herstellerdokumentation beider Produkte; die Quellen sind unten aufgeführt.
Vor- und Nachteile nach Anwenderprofil
Dasselbe Produkt kann je nach Anwender ein klarer Gewinn oder eine Fehlentscheidung sein.
Wann Sie welches wählen sollten – und wann Sie beide nutzen
Die ehrliche Antwort auf die Frage „Agent 365 oder TrueFoundry?“ lautet für viele Unternehmen: beides, mit einer klaren Aufgabenteilung.
Wählen Sie Microsoft Agent 365, wenn…
- Ihre sensiblen Daten bereits größtenteils in M365 liegen und durch Purview geschützt sind
- die Agenten hauptsächlich aus Copilot Studio, M365 Copilot oder Partner-Agenten aus dem Agent Store stammen
- Sie bereits tiefgreifend in die Sicherheit mit Entra, Defender und Purview investiert haben
- die pro-Nutzer-Lizenzierung zur Art der Wertschöpfung passt (Agenten für Wissensarbeiter)
Wählen Sie TrueFoundry, wenn…
- Ihre Infrastruktur heterogen ist – Multi-Cloud, On-Premise oder hybrid
- Datenresidenz, Datensouveränität oder eine reine VPC-Bereitstellung zwingend erforderlich sind
- Sie benötigen umfassenden Modellzugriff mit Budgets, Fallbacks und Lastverteilung
- Sie entwickeln benutzerdefinierte Agenten mit LangGraph, CrewAI, AutoGen oder eigenem Code
- Sie benötigen Traces auf Schritt-Ebene und eine Kostenzuordnung, die in Ihren bestehenden Observability-Stack einfließt
Nutzen Sie beide, geschichtet, wenn…
- M365 ist eine von mehreren Umgebungen, auf die Ihre Agenten zugreifen
- Agent 365 steuert die M365-Oberfläche – Identität, Daten, Erkennung im Agent Store
- TrueFoundry steuert die Ausführungsebene – Modell-Routing, MCP-Tool-Aufrufe, Zugriff auf interne APIs, Datenverkehr zwischen Agenten
Fazit
Microsoft Agent 365 ist die richtige Wahl für die Frage: „Wie verwalte ich Agenten innerhalb von Microsoft 365?“ Für Unternehmen, deren Schwerpunkt auf M365 liegt, ist dies oft die natürliche Standardlösung.
TrueFoundry eignet sich für eine andere Fragestellung: „Wie betreibe ich Agenten – unabhängig von Framework, Modell oder Cloud – mit der Sicherheit, Beobachtbarkeit und Kostenkontrolle eines produktiven Systems?“ Für technisch orientierte, Multi-Cloud-basierte und regulierte Unternehmen ist TrueFoundry meist die direktere Lösung.
Microsoft steuert, was Benutzer mit Agenten tun können; TrueFoundry steuert, was Agenten mit der Infrastruktur tun können. Viele Unternehmen werden 2026 wahrscheinlich beide Lösungen einsetzen.
⚠ Redaktioneller Hinweis Dieser Artikel wird von TrueFoundry, Inc. ausschließlich zu Informationszwecken veröffentlicht und basiert auf einer Analyse der öffentlich zugänglichen Anbieterdokumentation mit Stand Juni 2026. Alle geäußerten Ansichten sind Unternehmenspositionen von TrueFoundry, nicht die einzelner Mitwirkender, und stellen keine professionelle, rechtliche oder kaufmännische Beratung dar. Microsoft hat diesen Artikel weder geprüft noch unterstützt oder gesponsert. Produktfunktionen, Preise und Roadmaps können sich ohne Vorankündigung ändern; die gezeigten Zahlen stammen aus öffentlichen Materialien oder dienen der Veranschaulichung. Die ursprüngliche Analyse, der Text und die Diagramme sind Eigentum von TrueFoundry, Inc.; alle Produktnamen und Marken Dritter sind Eigentum ihrer jeweiligen Inhaber. Überprüfen Sie alle Informationen anhand der aktuellen Anbieterdokumentation, bevor Sie Architektur- oder Kaufentscheidungen treffen.
Quellen & Nachweise
- Microsoft Learn – Übersicht zu Microsoft Agent 365 (GA, Lizenzierung, Säulen: Beobachten / Steuern / Absichern).
- Microsoft Learn – Übersicht zum Microsoft Agent 365 SDK (Python, JavaScript, .NET).
- Microsoft Learn – Microsoft Agent 365 Observability SDK (LangChain, Semantic Kernel, OpenAI Agents SDK, Integrationen für Agent-Frameworks).
- Microsoft Learn – Microsoft 365 Agents SDK (Orchestrator-agnostisch; unterstützt Azure Foundry, Semantic Kernel, OpenAI Agents, LangChain).
- Windows Central – Ankündigung des Microsoft 365 E7-Plans (15 $/Nutzer/Monat als Einzelprodukt; 99 $/Nutzer/Monat im E7-Paket).
- TrueFoundry – Produktseite für Agent Gateway (Steuerungssäulen, zustandsorientiertes Agent-Mesh, 99,99 % Verfügbarkeit, über 10 Mrd. Anfragen/Monat, ca. 30 % Kostenoptimierung, Linux Foundation-Projekt, VPC/On-Premises/Air-Gapped).
- TrueFoundry Docs – Einführung in das AI Gateway (über 1.000 LLMs, unterstützte Anbieter, Latenz-Overhead).
- TrueFoundry Docs – Übersicht zu Agent Harness (Managed Runtime, Sandbox, HITL-Freigaben, Skills-Registry, schlüsselloses Anmeldedatenmodell).
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






