Vorstellung des TrueFoundry MCP Gateway: Lösung des N×M-Integrationsproblems für KI-Agenten

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Wenn Sie KI-Agenten entwickeln, die mit externen Tools und APIs interagieren müssen, sind Sie wahrscheinlich auf dasselbe Hindernis gestoßen wie wir: das N×M-Integrationsproblem. Mit steigender Anzahl von Agenten (N) und Tools (M) implementiert jeder Agent am Ende seine eigene Verbindung, Authentifizierung und Fehlerbehandlung für jedes Tool. Dadurch entsteht eine N×M-Matrix aus Punkt-zu-Punkt-Integrationen, die schwer zu verwalten, zu sichern und zu überwachen ist. Jeder Agent, der sich direkt mit jedem Tool verbindet, erzeugt ein verworrenes Netz aus Punkt-zu-Punkt-Verbindungen.
Heute freuen wir uns, das TrueFoundry MCP Gateway anzukündigen: eine unternehmensbereite Plattform, die den Zugriff auf KI-Entwicklungstools mithilfe des Model Context Protocol (MCP) zentralisiert. Anstatt hunderte einzelner Tool-Konfigurationen über Ihre Entwicklungsteams hinweg zu verwalten, können Sie sicheren, geregelten Zugriff auf kuratierte KI-Tools über eine einzige Plattform bereitstellen.

Das Problem: Direkte Agent → Tool Verbindungen skalieren nicht
Wenn sich Agenten direkt mit Tools verbinden, wird jeder Agent zu einem eigenen Miniatur-Integrationsknotenpunkt. Für einen einzelnen Agenten, der mit einem einzelnen Tool kommuniziert, funktioniert das gut, aber es bricht schnell zusammen, sobald Ihre Anwendung wächst.
Wildwuchs von Anmeldedaten und Sicherheitsrisiken
In einem Direktverbindungsmodell speichert und verwaltet jeder Agent die Anmeldedaten für jedes Tool, auf das er zugreift. Dies schafft eine massive Angriffsfläche. Sie haben API-Schlüssel, OAuth-Tokens und Datenbank-Verbindungszeichenfolgen über mehrere Agenten-Codebasen, Konfigurationsdateien und Umgebungsvariablen verstreut. Dieser Wildwuchs an Anmeldedaten macht eine sichere Rotation nahezu unmöglich und erhöht Ihr Risiko eines Datenlecks drastisch. Wenn ein Agent kompromittiert wird, könnte dies Anmeldedaten für Dutzende kritischer interner und externer Dienste offenlegen.
Observability-Black-Holes
Ohne einen zentralen Punkt für die Verkehrssteuerung erhalten Sie keine einheitliche Sicht auf die Interaktionen zwischen Agenten und Tools. Ist ein bestimmtes Tool langsam? Tätigt ein Agent zu viele Aufrufe? Welche Benutzeraktion hat eine Kaskade von fünf verschiedenen Tool-Aufrufen ausgelöst? Um diese Fragen zu beantworten, müssten Sie Protokolle von N verschiedenen Agenten zusammenfügen, was oft unpraktisch ist. Sie enden mit einem Observability-Black-Hole, in dem die Fehlersuche reaktiv ist und die Leistungsoptimierung auf Vermutungen statt auf Daten basiert.
Inkonsistente Fehlerbehandlung & Retries
Jedes externe Tool hat seine eigenen Fehlermodi, Ratenbegrenzungen und vorübergehenden Fehlerbedingungen. In einem dezentralen Modell muss jeder einzelne Agenten-Entwickler eine robuste Fehlerbehandlung wie exponentiellen Backoff, Retries für idempotente Operationen und Circuit Breaker implementieren. Dies führt zu inkonsistenten und oft unvollständigen Implementierungen. Ein Agent könnte einen fehlgeschlagenen Aufruf aggressiv wiederholen und versehentlich einen Denial-of-Service-Angriff auf ein überlastetes Tool auslösen, während ein anderer stillschweigend fehlschlägt und einen kritischen Geschäftsprozess ausbremst.
Hoher Wartungsaufwand
Jede neue Tool-Integration wird zu einem erheblichen Entwicklungsaufwand, der sich über mehrere Agenten hinweg wiederholt. Entwickler verschwenden Zeit mit dem Schreiben von Boilerplate-Code für Authentifizierung, Anforderungssignierung und Antwort-Parsing, anstatt sich auf die Kernlogik des Agenten zu konzentrieren. Wenn sich die API eines Tools ändert, müssen Sie jeden Agenten, der sie verwendet, individuell identifizieren und aktualisieren. Dieser hohe Wartungsaufwand verlangsamt die Entwicklungsgeschwindigkeit und erschwert die Erweiterung der Fähigkeiten eines Agenten.
Die Lösung: MCP Gateway
MCP ist ein offenes Protokoll, das standardisiert, wie Anwendungen Kontext für LLMs bereitstellen. Stellen Sie sich MCP wie einen USB-C-Anschluss für KI-Anwendungen vor – es bietet eine standardisierte Möglichkeit, KI-Modelle mit verschiedenen Datenquellen und Tools zu verbinden.
MCP Server sind Programme, die Daten und Funktionen für LLMs über das MCP-Protokoll bereitstellen. Zum Beispiel:
- Ein Slack MCP Server könnte Tools wie „Nachricht in einem Kanal senden“ oder „Nach Nachrichten suchen“ bereitstellen
- Ein GitHub MCP Server könnte Tools wie „Liste der Repositorys abrufen“ oder „Pull Request erstellen“ bereitstellen
Ein MCP Gateway ist ein spezialisierter Reverse Proxy, der zwischen Ihren KI-Agenten (den Clients) und Ihren Tools (den MCP Servern) sitzt. In der Praxis fungiert es als zentraler MCP Hub, der Tool-Discovery, Authentifizierung, Routing und Observability in einem einzigen Steuerungspunkt für alle Agenten-Tool-Interaktionen konsolidiert. Anstatt dass sich Agenten direkt mit Dutzenden verschiedenen Tool-Endpunkten verbinden, verbinden sich alle mit einem einzigen, einheitlichen Gateway-Endpunkt. Das Gateway leitet Anfragen dann sicher an die entsprechenden Upstream-Tools weiter. Diese Architektur löst kritische Probleme für Entwickler, die agentische Systeme bauen:
Zentralisierte Sicherheit & Governance: Das Gateway wird zu einem zentralen Kontrollpunkt für alle Agenten-Tool-Interaktionen. Sie können Authentifizierung, Autorisierung (wie rollenbasierte Zugriffskontrolle) durchsetzen und detaillierte Audit-Logs an einem Ort erstellen.
Einheitliche Observability: Ein MCP Gateway zentralisiert Protokollierung, Metriken und Tracing. Sie können Latenzen überwachen, Fehlerraten verfolgen und eine komplexe Agenten-Aufgabe über mehrere Tool-Aufrufe hinweg von einem einzigen Dashboard aus nachverfolgen.
Betriebliche Effizienz: Ein Gateway vereinfacht das Tool-Management. Es verwaltet ein zentrales Register verfügbarer Tools, sodass Agenten diese dynamisch entdecken können. Es verwaltet Anmeldedaten für alle Upstream-Tools und fügt diese bei Bedarf sicher in Anfragen ein.
Kostenmanagement: KI-Agenten können teuer sein, da sie viele Aufrufe an LLMs und kostenpflichtige Tool-APIs tätigen. Ein Gateway gibt Ihnen die Kontrolle, diese Kosten durch Caching, Ratenbegrenzung und Budgetkontrollen zu verwalten.
TrueFoundry MCP Gateway: Architektur und Funktionen
Das TrueFoundry AI Gateway ist eine unternehmensbereite Plattform, die den Zugriff auf KI-Entwicklungstools mithilfe von MCP zentralisiert. Es bietet ein MCP-Register, eine zentralisierte Authentifizierung und einen integrierten MCP Client, der die agentische Schleife zwischen dem LLM und den MCP Servern orchestriert.
Architektur-Überblick
Agenten authentifizieren sich einmalig am MCP Gateway, das ihre MCP-Anfragen an registrierte MCP Server (Slack, GitHub, interne Tools) weiterleitet, während die Control Plane Tokens, OAuth-Flows und Zugriffsrichtlinien verwaltet.

Hauptfunktionen des MCP Gateway
1. Zentralisiertes MCP-Register
Sie können sowohl öffentliche als auch selbst gehostete MCP Server hinzufügen, die in der TrueFoundry Control Plane registriert sind. Die Control Plane verwaltet das zentrale Register aller MCP Server und deren Authentifizierungsmechanismen. Sie verarbeitet benutzerspezifische OAuth2-Flows, speichert und aktualisiert Zugriffstokens sicher und stellt sicher, dass Benutzer nur auf Ressourcen zugreifen können, für die sie autorisiert sind.
Dies löst das Problem des Wildwuchses von Anmeldedaten: Anstatt dass jeder Entwickler seine eigenen API-Schlüssel und OAuth-Tokens für jedes Tool verwaltet, werden diese vom Gateway zentral verwaltet. Benutzer authentifizieren sich einmal am Gateway, und das Gateway übernimmt die gesamte nachgelagerte Authentifizierung.
2. Feingranulare Zugriffskontrolle
Bei der Registrierung eines MCP Servers können Sie die Liste der Benutzer/Teams angeben, die Zugriff darauf haben. Dies ermöglicht eine feingranulare Zugriffskontrolle auf Unternehmensebene. Dies geschieht über MCP Server Groups, in denen Sie Manager definieren können, die den Zugriff auf die MCP Server verwalten und anderen gewähren können.
Sie könnten beispielsweise Folgendes haben:
- Eine MCP Server Group „Engineering“ mit Zugriff auf GitHub, JIRA und interne CI/CD-Tools
- Eine MCP Server Group „Sales“ mit Zugriff auf Salesforce, HubSpot und E-Mail-Tools
- Eine MCP Server Group „Finance“ mit Zugriff auf Buchhaltungs- und Zahlungsabwicklungstools
Jede Gruppe sieht nur die Tools, für deren Nutzung sie autorisiert ist, was die Angriffsfläche verringert und versehentlichen Missbrauch verhindert.
3. Einheitliche Authentifizierung
Jeder Benutzer kann ein einzelnes Personal Access Token (PAT) generieren, mit dem er auf alle Modelle und MCP Server zugreifen kann, auf die er Zugriff hat. Sie können auch ein Virtual Account Token (VAT) generieren, um einer Anwendung Zugriff auf eine bestimmte Gruppe von MCP Servern zu gewähren.
Das Gateway unterstützt mehrere Authentifizierungsmethoden:
- TrueFoundry API Keys: Für Benutzer mit TrueFoundry-Konten
- IDP Tokens: Zur Integration in Ihren bestehenden Identity Provider (Okta, Azure AD etc.). *Dies ermöglicht es, dass Tokens Ihrer Endkunden ebenfalls vom TrueFoundry MCP Gateway validiert werden.
Das Gateway übernimmt die Komplexität von OAuth2-Flows, einschließlich:
- Initiieren von OAuth2-Autorisierungs-Flows
- Sicheres Speichern und Verwalten von Zugriffstokens
- Automatisches Erneuern abgelaufener Tokens
- Zuordnen von Benutzer-Tokens zu OAuth-Tokens für verschiedene MCP Server
4. Virtuelle MCP Server
Eine der leistungsstärksten Funktionen ist die Möglichkeit, virtuelle MCP Server zu erstellen. Diese ermöglichen es Ihnen, Tools von mehreren MCP Servern in einem einzigen, kuratierten MCP Server zu kombinieren, mit dem sich Ihre Anwendung verbinden kann.
Angenommen, Sie haben MCP Server für GitHub und Slack integriert. Ein Team in Ihrem Unternehmen arbeitet an einem Agenten, der Zugriff auf diese beiden MCP Server benötigt, aber Sie möchten keine gefährlichen Tools wie `delete_project`, `delete_pr` usw. offenlegen.
Ein virtueller MCP Server ermöglicht es Ihnen, einen neuen MCP Server zu erstellen, indem Sie eine Untermenge sicherer Tools von den GitHub- und Slack-MCP Servern auswählen. Auf diesen neuen virtuellen MCP Server kann wie auf jeden anderen entfernten MCP Server zugegriffen werden, und er erfordert keine Bereitstellung. Er wird vollständig vom Gateway verwaltet.
Dies ist besonders nützlich für:
- Erstellen sicherer, kuratierter Tool-Sets für verschiedene Teams
- Kombinieren von Tools aus mehreren Quellen in logischen Gruppierungen
- Implementieren des Prinzips der geringsten Rechte (Least Privilege), indem nur notwendige Tools offengelegt werden
5. Agent Playground
Das TrueFoundry AI Gateway bietet eine Testumgebung (Playground), in der Benutzer mit Prompts und verschiedenen Tools von MCP Servern experimentieren können, um Agenten zu bauen. Das Gateway wird mit häufig genutzten Tools wie Websearch, WebScraping, Dokumentenextraktion und Codeausführung geliefert.
Das Gateway umfasst einen MCP Client, der die Ausführung der von den LLM-Anbietern festgelegten Tools orchestriert. Das Gateway streamt auch den Fortschritt der Anfrage an die Benutzeroberfläche zurück, sodass der Benutzer die LLM-Antworten, Tool-Aufrufe und Tool-Antworten in Echtzeit sehen kann.
Dies macht es für Entwickler einfach:
- Verschiedene Tool-Kombinationen zu testen
- Agentenverhalten zu debuggen
- Zu verstehen, wie Tools aufgerufen werden
- Schnell an Agenten-Prompts zu iterieren
6. MCP Server im Code verwenden
Das Gateway bietet Code-Snippets, die zeigen, wie Sie MCP Server in Ihrem Code verwenden können. Sie können die MCP Gateway API direkt nutzen oder in beliebte MCP-Client-Bibliotheken integrieren.
Hier ist ein Beispiel für die Verwendung des Gateways in Python:
6. Vier-Schichten-Authentifizierung & -Autorisierung
Das Gateway implementiert ein umfassendes Vier-Schichten-System für Authentifizierung und Autorisierung:
Schicht 1: Gateway-Authentifizierung
Jeder Benutzer/jede Anwendung benötigt ein Token, um mit dem Gateway zu kommunizieren – entweder einen TrueFoundry API Key oder Ihr eigenes IDP Token. Das TrueFoundry AI Gateway kann Ihr eigenes IDP Token überprüfen und die E-Mail des Benutzers basierend auf den SSO-Einstellungen aus dem Token extrahieren.
Das bedeutet, dass Sie Ihre bestehenden Identity Provider (Okta, Azure AD, Google Workspace etc.) integrieren können, ohne dass Benutzer separate TrueFoundry-Konten erstellen müssen.
Schicht 2: Gateway-Zugriffskontrolle
Sie können auf Gateway-Ebene definieren, welche Benutzer Zugriff auf welche MCP Server haben. Dies ermöglicht eine feingranulare Zugriffskontrolle auf Unternehmensebene. Dies geschieht über MCP Server Groups, in denen Sie Manager definieren können, die den Zugriff auf die MCP Server verwalten und anderen gewähren können.
Schicht 3: Externe Dienst-Autorisierung (MCP Server Auth)
Dies ist die vom MCP Server implementierte Autorisierung für den Zugriff auf den externen Dienst. TrueFoundry ermöglicht die Integration von MCP Servern mit den folgenden Auth-Mechanismen:
- No Auth: Für Demo-APIs oder öffentliche APIs (nicht für die Produktion empfohlen)
- Static Header-Based Auth: Für MCP Server, die API-Schlüssel oder statische Tokens verwenden (z. B. Hugging Face)
- OAuth2 und DCR Based Auth: Für MCP Server, die OAuth2 unterstützen (GitHub, Slack, Atlassian etc.)
Das Gateway übernimmt die Komplexität von OAuth2-Flows:
- Es speichert und verwaltet OAuth-Tokens für verschiedene MCP Server für jeden Benutzer
- Es führt eine Zuordnung von Benutzer-Tokens zu OAuth-Tokens für verschiedene MCP Server
- Es erneuert Tokens automatisch, wenn sie ablaufen
- Dies ermöglicht es Benutzern, mit einem einzigen Token mit dem Gateway zu kommunizieren, ohne mehrere Tokens verwalten zu müssen
Schicht 4: Benutzerdefinierte Header
Sie können beliebige benutzerdefinierte Header über den Header `x-tfy-mcp-headers` an MCP Server übergeben. Dies ist nützlich für Authentifizierungs-Tokens, Metadaten oder alle Header, die Ihr MCP Server benötigt. Benutzerdefinierte Header überschreiben immer die für den MCP Server konfigurierte Standard-Authentifizierung.
Praxisnahe Anwendungsfälle
Anwendungsfall 1: Unternehmens-Entwicklungsteams
Eine große Engineering-Organisation möchte allen Entwicklern Zugriff auf GitHub, JIRA und Slack über KI-Agenten gewähren, jedoch mit unterschiedlichen Berechtigungsstufen:
- Junior-Entwickler: Schreibgeschützter Zugriff auf GitHub (können Repos auflisten, PRs anzeigen, aber nicht mergen)
- Senior-Entwickler: Voller Zugriff auf GitHub, schreibgeschützter Zugriff auf JIRA
- Engineering-Manager: Voller Zugriff auf alle Tools
Mit dem TrueFoundry MCP Gateway:
- Die IT erstellt MCP Server Groups für jede Rolle
- Jede Gruppe wird mit den entsprechenden OAuth-Scopes konfiguriert
- Entwickler authentifizieren sich einmalig am Gateway mit ihrem Unternehmens-IDP
- Das Gateway übernimmt alle OAuth-Flows und das Token-Management
- Entwickler nutzen ein einzelnes Personal Access Token, um auf alle autorisierten Tools zuzugreifen
Anwendungsfall 2: Mandantenfähige SaaS-Plattform
Eine SaaS-Plattform möchte ihren Kunden ermöglichen, KI-Agenten zu bauen, die mit den eigenen Tools des Kunden (z. B. deren GitHub, deren Slack) interagieren:
- Jeder Kunde authentifiziert sich mit seinem eigenen IDP Token
- Das Gateway ordnet Kunden-Tokens den entsprechenden OAuth-Tokens für deren Tools zu
- Kunden können nur auf ihre eigenen Ressourcen zugreifen (durchgesetzt durch OAuth-Scopes)
- Die Plattform hat vollständige Observability über die Tool-Nutzung für Abrechnung und Support
Anwendungsfall 3: Sichere interne Tools
Eine Organisation möchte interne Tools (Datenbanken, APIs) für KI-Agenten freigeben, jedoch mit strengen Sicherheitsanforderungen:
- Interne MCP Server werden mit header-basierter Authentifizierung registriert
- Der Zugriff wird über MCP Server Groups auf bestimmte Teams beschränkt
- Alle Tool-Aufrufe werden protokolliert und auditiert
- Virtuelle MCP Server werden verwendet, um nur sichere, schreibgeschützte Tools für Agenten offenzulegen
Erste Schritte
Der Einstieg in das TrueFoundry MCP Gateway ist einfach:
- MCP Server Group erstellen: Organisieren Sie Ihre MCP Server in logischen Gruppen
- MCP Server hinzufügen: Registrieren Sie öffentliche oder selbst gehostete MCP Server mit entsprechender Authentifizierung
- Zugriffskontrolle konfigurieren: Definieren Sie, welche Benutzer/Teams auf welche Server zugreifen können
- Zugriffstokens generieren: Benutzer generieren Personal Access Tokens, um sich mit dem Gateway zu verbinden
- Mit dem Bauen beginnen: Nutzen Sie den Playground zum Experimentieren oder integrieren Sie direkt in Ihren Code
Das Gateway unterstützt sowohl die Benutzer-Authentifizierung (über OAuth2-Flows) als auch die Maschinen-zu-Maschinen-Authentifizierung (über Client Credentials Grant), wodurch es sich sowohl für interaktive Agenten als auch für automatisierte Workflows eignet.
Tutorial: Erstellen eines OAuth-geschützten MCP Servers von Grund auf und Integration mit dem TrueFoundry AI Gateway
Lassen Sie uns den Aufbau eines vollständigen MCP Servers mit OAuth2-Authentifizierung und dessen Integration in das TrueFoundry MCP Gateway durchgehen. Wir erstellen einen einfachen Taschenrechner-MCP-Server, der sowohl die Benutzer-Authentifizierung (über das Gateway) als auch die Maschinen-zu-Maschinen-Authentifizierung demonstriert.
Lesen Sie diese Dokumentation für das vollständige Tutorial - https://docs.truefoundry.com/docs/ai-gateway/mcp-server-oauth-okta
Der vollständige Code für dieses Tutorial ist in unserem [GitHub-Repository] verfügbar.
Dieses Tutorial demonstriert:
- Erstellen von MCP Servern: Verwendung von FastMCP zur Erstellung von Tools, die LLMs aufrufen können
- OAuth2-Integration: Absicherung von MCP Servern mit OAuth2 unter Verwendung von Okta
- Maschinen-zu-Maschinen-Auth: Ermöglichung des programmatischen Zugriffs ohne Benutzerinteraktion
- Gateway-Integration: Zentralisierung des MCP-Server-Zugriffs über das TrueFoundry MCP Gateway
- Benutzer-Authentifizierung: Ermöglichung für Endbenutzer, sich über vom Gateway verwaltete OAuth-Flows zu authentifizieren
Das Gateway übernimmt die Komplexität von OAuth-Flows, Token-Management und Refresh, sodass Benutzer mit einem einzigen Personal Access Token auf alle ihre autorisierten MCP Server zugreifen können.
Warum das wichtig ist
Da KI-Agenten den Schritt von Prototypen in die Produktion machen, wird die Integrationsarchitektur entscheidend. Das N×M-Integrationsproblem ist keine theoretische Sorge – es ist ein reales Hindernis für den Aufbau zuverlässiger, sicherer und skalierbarer agentischer Systeme.
Ein MCP Gateway ist keine Nischenkomponente mehr. Es ist eine kritische Infrastruktur für jedes Team, das produktionsreife KI-Agenten entwickelt. Es bietet die essenzielle Control Plane zur Verwaltung der Sicherheit, Observability und betrieblichen Komplexität von Agenten-Tool-Interaktionen im großen Maßstab.
Durch die Zentralisierung des Tool-Zugriffs über ein Gateway lösen Sie nicht nur heutige Probleme – Sie legen ein skalierbares Fundament für die Zukunft. Wenn Ihr Agenten-Ökosystem wächst, wächst das Gateway mit und bietet konsistente Sicherheits-, Observability- und Betriebsmuster über alle Ihre Agenten-Tool-Interaktionen hinweg.
Das TrueFoundry MCP Gateway löst die grundlegenden Integrationsherausforderungen, vor denen jedes Team steht, das KI-Agenten entwickelt. Indem es eine zentralisierte, sichere und überwachbare Plattform für Agenten-Tool-Interaktionen bietet, ermöglicht es Teams:
- Schneller voranzukommen: Entwickler konzentrieren sich auf die Agentenlogik, nicht auf Integrations-Boilerplate
- Sicher zu bleiben: Zentrales Management von Anmeldedaten und feingranulare Zugriffskontrolle
- Sichtbarkeit zu wahren: Einheitliche Observability über alle Agenten-Tool-Interaktionen hinweg
- Souverän zu skalieren: Eine Architektur, die mit Ihren Anforderungen wächst
Wenn Sie KI-Agenten bauen und mit dem N×M-Integrationsproblem kämpfen, würden wir uns freuen, von Ihnen zu hören. Das TrueFoundry MCP Gateway ist ab sofort verfügbar, und wir sind gespannt, was Sie damit entwickeln.
Weitere Informationen finden Sie in unserer Dokumentation oder kontaktieren Sie uns, um Ihren spezifischen Anwendungsfall zu besprechen.
Was denken Sie über MCP Gateways? Hielten Sie bereits vor ähnlichen Integrationsherausforderungen? Wir würden uns freuen, Ihre Erfahrungen in den Kommentaren zu lesen.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.














%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






