Wir stellen vor: TrueFoundry MCP Gateway: Lösung des N×M-Integrationsproblems für KI-Agenten

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Wenn Sie KI-Agenten entwickeln, die mit externen Tools und APIs interagieren müssen, sind Sie wahrscheinlich an dieselbe Wand gestoßen wie wir: das N×M-Integrationsproblem. Wenn die Anzahl der Agenten (N) und Tools (M) zunimmt, implementiert jeder Agent letztendlich seine eigene Verbindung, Authentifizierung und Fehlerbehandlung für jedes Tool. Dadurch entsteht eine N×M-Matrix von Punkt-zu-Punkt-Integrationen, deren Verwaltung, Sicherung und Überwachung immer schwieriger wird. Jeder Agent, der sich direkt mit jedem Tool verbindet, erzeugt ein verworrenes Netz von Punkt-zu-Punkt-Verbindungen.
Heute freuen wir uns, Ihnen mitteilen zu können, TrueFoundry MCP-Gateway - eine unternehmenstaugliche Plattform, die den Zugriff auf KI-Entwicklungstools mithilfe des Model Context Protocol (MCP) zentralisiert. Anstatt Hunderte von individuellen Toolkonfigurationen in Ihren Entwicklungsteams zu verwalten, können Sie über eine einzige Plattform sicheren, kontrollierten Zugriff auf kuratierte KI-Tools bereitstellen.

Das Problem: Direct Agent → Tool-Verbindungen skalieren nicht
Wenn Agenten eine direkte Verbindung zu den Tools herstellen, wird jeder Agent zu seinem eigenen Miniatur-Integrationshub. Das funktioniert gut, wenn ein Agent mit einem Tool spricht, aber es fällt schnell auseinander, wenn Ihre Anwendung wächst.
Verbreitung von Zugangsdaten und Sicherheitsrisiken
In einem Direktverbindungsmodell speichert und verwaltet jeder Agent die Anmeldeinformationen für jedes Tool, auf das er zugreift. Dadurch entsteht eine riesige Angriffsfläche. Sie haben API-Schlüssel, OAuth-Token und Datenbankverbindungszeichenfolgen, die über mehrere Agenten-Codebasen, Konfigurationsdateien und Umgebungsvariablen verteilt sind. Dieser Überfluss an Zugangsdaten macht eine sichere Rotation nahezu unmöglich und erhöht das Risiko eines Datenlecks erheblich. Wenn ein Agent kompromittiert wird, kann er Zugangsdaten für Dutzende kritischer interner und externer Dienste preisgeben.
Beobachtbarkeit Schwarze Löcher
Ohne eine zentrale Stelle für die Verkehrskontrolle erhalten Sie keinen einheitlichen Überblick über die Interaktionen zwischen Agenten und Tools. Ist ein bestimmtes Tool langsam? Tätigt ein Agent zu viele Anrufe? Welche Benutzeraktion hat eine Kaskade von fünf verschiedenen Toolaufrufen ausgelöst? Um diese Fragen zu beantworten, müssten Sie die Logs von N verschiedenen Agenten zusammenfügen, was oft unpraktisch ist. Am Ende haben Sie ein schwarzes Loch zur Beobachtbarkeit, in dem das Debuggen reaktiv ist und die Leistungsoptimierung auf Vermutungen und nicht auf Daten basiert.
Inkonsistente Fehlerbehandlung und Wiederholungsversuche
Jedes externe Werkzeug hat seine eigenen Ausfallmodi, Ratengrenzen und vorübergehenden Fehlerbedingungen. In einem dezentralen Modell muss jeder einzelne Agentenentwickler eine robuste Fehlerbehandlung wie exponentielles Backoff, Wiederholungsversuche für idempotente Operationen und Leistungsschalter implementieren. Dies führt zu inkonsistenten und oft unvollständigen Implementierungen. Ein Agent kann einen fehlgeschlagenen Anruf aggressiv wiederholen und versehentlich einen Denial-of-Service-Angriff auf ein nicht funktionierendes Tool starten, während ein anderer unbemerkt fehlschlägt und einen wichtigen Geschäftsprozess zum Scheitern bringt.
Hoher Wartungsaufwand
Jede neue Toolintegration wird zu einem erheblichen Entwicklungsaufwand, der sich über mehrere Agenten hinweg wiederholt. Entwickler verschwenden Zeit damit, Standardcode für Authentifizierung, Anforderungssignierung und Antwortanalyse zu schreiben, anstatt sich auf die zentrale Agentenlogik zu konzentrieren. Wenn sich die API eines Tools ändert, müssen Sie jeden Agenten, der es verwendet, einzeln identifizieren und aktualisieren. Dieser hohe Wartungsaufwand verlangsamt die Entwicklungsgeschwindigkeit und erschwert die Erweiterung der Funktionen eines Agenten.
Die Lösung: MCP Gateway
MCP ist ein offenes Protokoll, das standardisiert, wie Anwendungen Kontext für LLMs bereitstellen. Stellen Sie sich MCP wie einen USB-C-Anschluss für KI-Anwendungen vor — er bietet eine standardisierte Möglichkeit, KI-Modelle mit verschiedenen Datenquellen und Tools zu verbinden.
MCP-Server sind Programme, die Daten und Funktionen über das MCP-Protokoll für LLMs verfügbar machen. Zum Beispiel:
- Ein Slack MCP Server könnte Tools wie „Eine Nachricht an einen Channel senden“ oder „Nach Nachrichten suchen“ verfügbar machen
- Ein GitHub MCP Server könnte Tools wie „Liste der Repositorys abrufen“ oder „Einen Pull Request erstellen“ bereitstellen
Ein MCP Gateway ist ein spezialisierter Reverse-Proxy, der sich zwischen Ihren KI-Agenten (den Clients) und Ihren Tools (den MCP-Servern) befindet. In der Praxis fungiert es als zentralisiertes MCP-Hub, konsolidiert Tool-Erkennung, Authentifizierung, Routing und Beobachtbarkeit an einem einzigen Kontrollpunkt für alle Interaktionen zwischen Agenten und Tools. Anstatt dass sich die Agenten direkt mit Dutzenden verschiedener Tool-Endpunkte verbinden, stellen sie alle eine Verbindung zu einem einzigen, einheitlichen Gateway-Endpunkt her. Das Gateway leitet Anfragen dann sicher an die entsprechenden Upstream-Tools weiter. Diese Architektur löst kritische Probleme für Entwickler, die Agentensysteme entwickeln:
Zentralisierte Sicherheit und Verwaltung: Das Gateway wird zu einem einzigen Engpass für alle Interaktionen zwischen Agenten und Tools. Sie können Authentifizierung und Autorisierung (z. B. rollenbasierte Zugriffskontrolle) erzwingen und detaillierte Auditprotokolle an einem Ort erstellen.
Einheitliche Beobachtbarkeit: Ein MCP Gateway zentralisiert Protokollierung, Metriken und Tracing. Von einem einzigen Dashboard aus können Sie die Latenz überwachen, Fehlerraten verfolgen und eine komplexe Agentenaufgabe über mehrere Tool-Aufrufe hinweg verfolgen.
Betriebliche Effizienz: Ein Gateway vereinfacht die Werkzeugverwaltung. Es führt eine zentrale Registrierung der verfügbaren Tools, sodass Agenten sie dynamisch finden können. Es verwaltet die Anmeldeinformationen für alle Upstream-Tools und fügt sie bei Bedarf sicher in Anfragen ein.
Kostenmanagement: KI-Agenten können teuer sein, da sie viele LLMs und kostenpflichtige Tool-APIs aufrufen. Ein Gateway gibt Ihnen die Kontrolle, um diese Kosten durch Caching, Ratenbegrenzung und Budgetkontrollen zu verwalten.
TrueFoundry MCP Gateway: Architektur und Funktionen
Das TrueFoundry AI Gateway ist eine unternehmenstaugliche Plattform, die den Zugriff auf KI-Entwicklungstools mithilfe von MCP zentralisiert. Es bietet eine MCP-Registrierung, zentrale Authentifizierung und ein integrierter MCP-Client, der die Agentenschleife zwischen den LLM- und den MCP-Servern orchestriert.
Überblick über die Architektur
Agenten authentifizieren sich einmal beim MCP Gateway, das ihre MCP-Anfragen an registrierte MCP-Server (Slack, GitHub, interne Tools) weiterleitet, wobei die Control Plane Tokens, OAuth-Flows und Zugriffsrichtlinien verwaltet.

Hauptmerkmale von MCP Gateway
1. Zentralisiertes MCP-Register
Sie können sowohl öffentliche als auch Ihre selbst gehosteten MCP-Server hinzufügen, die in der TrueFoundry Control Plane registriert sind. Die Control Plane verwaltet die zentrale Registrierung aller MCP-Server und ihrer Authentifizierungsmechanismen. Es verarbeitet benutzerspezifische OAuth2-Flows, speichert und aktualisiert Zugriffstoken sicher und stellt sicher, dass Benutzer nur auf Ressourcen zugreifen können, für die sie autorisiert sind.
Dies löst das Problem der Ausbreitung von Anmeldeinformationen: Anstatt dass jeder Entwickler seine eigenen API-Schlüssel und OAuth-Token für jedes Tool verwaltet, verwaltet das Gateway sie zentral. Benutzer authentifizieren sich einmal beim Gateway, und das Gateway kümmert sich um die gesamte nachgelagerte Authentifizierung.
2. Feinkörnige Zugriffskontrolle
Bei der Registrierung eines MCP-Servers können Sie die Liste der Benutzer/Teams angeben, die Zugriff darauf haben. Dies ermöglicht eine feinkörnige Zugriffskontrolle auf Unternehmensebene. Dies erfolgt über MCP-Servergruppen, in denen Sie Manager definieren können, die die MCP-Server verwalten und anderen Zugriff darauf gewähren können.
Zum Beispiel könnten Sie haben:
- Eine „Engineering“ -MCP-Servergruppe mit Zugriff auf GitHub, JIRA und interne CI/CD-Tools
- Eine MCP-Servergruppe für den Vertrieb mit Zugriff auf Salesforce-, HubSpot- und E-Mail-Tools
- Eine MCP-Servergruppe im Finanzbereich mit Zugriff auf Buchhaltungs- und Zahlungsabwicklungstools
Jede Gruppe sieht nur die Tools, zu deren Verwendung sie berechtigt ist, wodurch die Angriffsfläche reduziert und versehentlicher Missbrauch verhindert wird.
3. Vereinheitlichte Authentifizierung
Jeder Benutzer kann ein einziges Personal Access Token (PAT) generieren, mit dem er auf alle Modelle und MCP-Server zugreifen kann, auf die er Zugriff hat. Sie können auch ein Virtual Account Token (VAT) generieren, um einer Anwendung den Zugriff auf eine bestimmte Gruppe von MCP-Servern zu ermöglichen.
Das Gateway unterstützt mehrere Authentifizierungsmethoden:
- TrueFoundry API Keys: Für Benutzer mit TrueFoundry-Konten
- IDP-Token: Für die Integration mit Ihrem bestehenden Identitätsanbieter (Okta, Azure AD usw.). *Dadurch können Ihre Endkunden-Token auch vom Truefoundry MCP Gateway validiert werden.
Das Gateway bewältigt die Komplexität von OAuth2-Flows, einschließlich:
- Initiieren von OAuth2-Autorisierungsabläufen
- Zugriffstoken speichern und sicher verwalten
- Automatisches Aktualisieren abgelaufener Token
- Zuordnung von Benutzer-Tokens zu OAuth-Token für verschiedene MCP-Server
4. Virtuelle MCP-Server
Eine der leistungsstärksten Funktionen ist die Möglichkeit, virtuelle MCP-Server zu erstellen. Diese ermöglichen es Ihnen, Tools von mehreren MCP-Servern zu einem einzigen, kuratierten MCP-Server zu kombinieren, mit dem Ihre Anwendung eine Verbindung herstellen kann.
Angenommen, Sie haben MCP-Server für GitHub und Slack integriert. Ein Team in Ihrem Unternehmen arbeitet an einem Agenten, der Zugriff auf diese beiden MCP-Server benötigt, aber Sie möchten keine gefährlichen Tools wie `delete_project`, `delete_pr` usw. preisgeben.
Ein virtueller MCP-Server ermöglicht es Ihnen, einen neuen MCP-Server zu erstellen, indem Sie eine Teilmenge sicherer Tools von GitHub- und Slack-MCP-Servern verwenden. Auf diesen neuen virtuellen MCP-Server kann wie auf jeden anderen Remote-MCP-Server zugegriffen werden und es ist keine Bereitstellung erforderlich. Er wird vollständig vom Gateway verwaltet.
Dies ist besonders nützlich für:
- Erstellung sicherer, kuratierter Toolsets für verschiedene Teams
- Kombinieren von Tools aus mehreren Quellen zu logischen Gruppierungen
- Implementierung von Least-Privilege-Zugriffen, indem nur die erforderlichen Tools zur Verfügung gestellt werden
5. Agent Playground
TrueFoundry AI Gateway bietet eine Spielwiese, auf der Benutzer mit Eingabeaufforderungen und verschiedenen Tools von MCP-Servern experimentieren können, um Agenten zu erstellen. Das Gateway enthält häufig verwendete Tools wie Websearch, WebScraping, Dokumentenextraktion und Codeausführung.
Das Gateway umfasst einen MCP-Client, der die Ausführung der von den LLM-Anbietern ausgewählten Tools orchestriert. Das Gateway streamt auch den Fortschritt der Anfrage zurück an die Benutzeroberfläche, sodass der Benutzer die LLM-Antworten, Tool-Aufrufe und die Tool-Antworten in Echtzeit sehen kann.
Das macht es Entwicklern leicht:
- Testen Sie verschiedene Werkzeugkombinationen
- Verhalten des Agents debuggen
- Verstehe, wie Tools aufgerufen werden
- Iterieren Sie schnell auf Eingabeaufforderungen von Agenten
6. Verwenden Sie MCP-Server im Code
Das Gateway stellt Codefragmente bereit, die zeigen, wie Sie beginnen können, die MCP-Server in Ihrem Code zu verwenden. Sie können die MCP Gateway-API direkt verwenden oder in gängige MCP-Clientbibliotheken integrieren.
Hier ist ein Beispiel für die Verwendung des Gateways von Python:
import asyncio
from fastmcp import Client
from fastmcp.client.transports import StreamableHttpTransport
async def main():
# Connect to the gateway using your Personal Access Token
transport = StreamableHttpTransport(
url="https://{controlPlaneURL}/mcp/{groupName}/{mcpServerName}/server",
auth="Bearer your-tfy-token"
)
async with Client(transport=transport) as client:
# List available tools
tools = await client.list_tools()
print(f"Available tools: {tools}")
# Call a tool
result = await client.call_tool(
name="github_list_repositories",
arguments={"org": "my-org"}
)
print(f"Result: {result}")
asyncio.run(main())6. Vierstufige Authentifizierung und Autorisierung
Das Gateway implementiert ein umfassendes vierstufiges Authentifizierungs- und Autorisierungssystem:
Ebene 1: Gateway-Authentifizierung
Jeder Benutzer/jede Anwendung benötigt ein Token, um mit dem Gateway zu kommunizieren — entweder einen TrueFoundry-API-Schlüssel oder Ihr eigenes IDP-Token. TrueFoundry AI Gateway kann Ihr eigenes IDP-Token verifizieren und anhand der SSO-Einstellungen die E-Mail-Adresse des Benutzers aus dem Token extrahieren.
Das bedeutet, dass Sie eine Integration mit Ihrem bestehenden Identitätsanbieter (Okta, Azure AD, Google Workspace usw.) durchführen können, ohne dass Benutzer separate TrueFoundry-Konten erstellen müssen.
Ebene 2: Gateway-Zugriffskontrolle
Sie können auf der Gateway-Ebene definieren, welche Benutzer Zugriff auf welche MCP-Server haben. Dies ermöglicht eine feinkörnige Zugriffskontrolle auf Unternehmensebene. Dies erfolgt über MCP-Servergruppen, in denen Sie Manager definieren können, die die MCP-Server verwalten und anderen Zugriff darauf gewähren können.
Schicht 3: Externe Serviceautorisierung (MCP Server Auth)
Dies ist die vom MCP Server implementierte Autorisierung für den Zugriff auf den externen Dienst. TrueFoundry ermöglicht die Integration von MCP-Servern in die folgenden Authentifizierungsmechanismen:
- Keine Authentifizierung: Für Demo-APIs oder öffentliche APIs (nicht für die Produktion empfohlen)
- Statische Header-basierte Authentifizierung: Für MCP-Server, die API-Schlüssel oder statische Token verwenden (z. B. Hugging Face)
- OAuth2 und DCR Based Auth: Für MCP-Server, die OAuth2 unterstützen (GitHub, Slack, Atlassian usw.)
Das Gateway bewältigt die Komplexität von OAuth2-Flows:
- Es speichert und verwaltet OAuth-Token für verschiedene MCP-Server für jeden Benutzer
- Es führt eine Zuordnung von Benutzer-Tokens zu OAuth-Token für verschiedene MCP-Server
- Es aktualisiert die Token automatisch, wenn sie ablaufen
- Auf diese Weise können Benutzer mit einem einzigen Token mit dem Gateway sprechen, ohne mehrere Token verwalten zu müssen.
Ebene 4: Benutzerdefinierte Header
Sie können alle benutzerdefinierten Header mit dem Befehl `an MCP-Server übergebenx-tfy-mcp-Header`Kopfzeile. Dies ist nützlich für Authentifizierungstoken, Metadaten oder alle Header, die Ihr MCP-Server benötigt. Benutzerdefinierte Header überschreiben immer die für den MCP-Server konfigurierte Standardauthentifizierung.
Anwendungsfälle aus der Praxis
Anwendungsfall 1: Unternehmensentwicklungsteams
Eine große technische Organisation möchte allen Entwicklern über KI-Agenten Zugriff auf GitHub, JIRA und Slack gewähren, allerdings mit unterschiedlichen Berechtigungsstufen:
- Junior Developers: Nur lesender Zugriff auf GitHub (kann Repos auflisten, PRs anzeigen, aber nicht zusammenführen)
- Senior Developers: Voller Zugriff auf GitHub, schreibgeschützter Zugriff auf JIRA
- Engineering Manager: Voller Zugriff auf alle Tools
Mit TrueFoundry MCP Gateway:
- Die IT erstellt MCP-Servergruppen für jede Rolle
- Jede Gruppe ist mit den entsprechenden OAuth-Bereichen konfiguriert
- Entwickler authentifizieren sich einmalig mit ihrem Unternehmens-IDP beim Gateway
- Das Gateway kümmert sich um alle OAuth-Flüsse und das Token-Management
- Entwickler verwenden ein einziges Personal Access Token, um auf alle autorisierten Tools zuzugreifen
Anwendungsfall 2: Multi-Tenant-SaaS-Plattform
Eine SaaS-Plattform möchte es ihren Kunden ermöglichen, KI-Agenten zu erstellen, die mit den eigenen Tools des Kunden (z. B. seinem GitHub, seinem Slack) interagieren:
- Jeder Kunde authentifiziert sich mit seinem eigenen IDP-Token
- Das Gateway ordnet Kunden-Token ihren OAuth-Token für ihre Tools zu
- Kunden können nur auf ihre eigenen Ressourcen zugreifen (erzwungen durch OAuth-Bereiche)
- Die Plattform bietet vollständige Beobachtbarkeit der Toolnutzung für Abrechnung und Support
Anwendungsfall 3: Sichere interne Tools
Eine Organisation möchte KI-Agenten interne Tools (Datenbanken, APIs) zur Verfügung stellen, allerdings mit strengen Sicherheitsanforderungen:
- Interne MCP-Server werden mit Header-basierter Authentifizierung registriert
- Der Zugriff ist über MCP Server Groups auf bestimmte Teams beschränkt
- Alle Tool-Aufrufe werden protokolliert und geprüft
- Virtuelle MCP-Server werden verwendet, um Agenten nur sichere, schreibgeschützte Tools zur Verfügung zu stellen
Erste Schritte
Der Einstieg in TrueFoundry MCP Gateway ist einfach:
- Erstellen Sie eine MCP-Servergruppe: Organisieren Sie Ihre MCP-Server in logische Gruppen
- MCP-Server hinzufügen: Registrieren Sie öffentliche oder selbst gehostete MCP-Server mit entsprechender Authentifizierung
- Zugriffskontrolle konfigurieren: Definieren Sie, welche Benutzer/Teams auf welche Server zugreifen können
- Zugriffstoken generieren: Benutzer generieren persönliche Zugriffstoken, um eine Verbindung zum Gateway herzustellen
- Beginne mit dem Bauen: Nutze den Spielplatz zum Experimentieren oder integriere ihn direkt in deinen Code
Das Gateway unterstützt sowohl die Benutzerauthentifizierung (über OAuth2-Flows) als auch die Machine-to-Machine-Authentifizierung (über Client Credentials Grant) und eignet sich daher sowohl für interaktive Agenten als auch für automatisierte Workflows.
Tutorial: Einen OAuth-geschützten MCP-Server von Grund auf neu erstellen und in Truefoundry AI Gateway integrieren
Sehen wir uns an, wie Sie einen kompletten MCP-Server mit OAuth2-Authentifizierung erstellen und ihn in TrueFoundry MCP Gateway integrieren. Wir erstellen einen einfachen Taschenrechner-MCP-Server, der sowohl die Benutzerauthentifizierung (über das Gateway) als auch die Maschine-zu-Maschine-Authentifizierung demonstriert.
Das vollständige Tutorial finden Sie in dieser Dokumentation - https://docs.truefoundry.com/docs/ai-gateway/mcp-server-oauth-okta
Den vollständigen Code für dieses Tutorial finden Sie in unserem [GitHub-Repository]
Dieses Tutorial zeigt:
- MCP-Server erstellen: Verwenden von FastMCP zur Erstellung von Tools, die LLMs aufrufen können
- OAuth2-Integration: Sicherung von MCP-Servern mit OAuth2 mithilfe von Okta
- Machine-to-Machine-Auth: Aktivierung des programmgesteuerten Zugriffs ohne Benutzerinteraktion
- Gateway-Integration: Zentralisierung des MCP-Serverzugriffs über TrueFoundry MCP Gateway
- Benutzerauthentifizierung: Ermöglicht Endbenutzern die Authentifizierung über OAuth-Flows, die vom Gateway verwaltet werden
Das Gateway bewältigt die Komplexität von OAuth-Flows, der Tokenverwaltung und -aktualisierung und ermöglicht Benutzern den Zugriff auf alle ihre autorisierten MCP-Server mit einem einzigen Personal Access Token.
Warum das wichtig ist
Wenn KI-Agenten von Prototypen zur Produktion übergehen, wird die Integrationsarchitektur entscheidend. Das N×M-Integrationsproblem ist nicht nur ein theoretisches Problem — es ist ein echtes Hindernis für den Aufbau zuverlässiger, sicherer und skalierbarer Agentensysteme.
Ein MCP Gateway ist keine Nischenkomponente mehr. Es ist eine wichtige Infrastruktur für alle KI-Agenten, die ein Team bilden, das auf Produktionsniveau arbeitet. Es bietet die grundlegende Steuerungsebene für die Verwaltung der Sicherheit, Beobachtbarkeit und betrieblichen Komplexität der Interaktionen zwischen Agenten und Tools in großem Maßstab.
Durch die Zentralisierung des Toolzugriffs über ein Gateway lösen Sie nicht nur die Probleme von heute, sondern schaffen auch eine skalierbare Grundlage für die Zukunft. Wenn Ihr Agenten-Ökosystem wächst, wächst auch das Gateway mit und bietet konsistente Sicherheits-, Beobachtbarkeits- und Betriebsmuster für alle Interaktionen zwischen Agenten und Tools.
Das TrueFoundry MCP Gateway löst die grundlegenden Integrationsherausforderungen, mit denen jeder Teambuilding-KI-Agenten konfrontiert ist. Durch die Bereitstellung einer zentralisierten, sicheren und beobachtbaren Plattform für Interaktionen zwischen Agenten und Tools können Teams:
- Schneller vorankommen: Entwickler konzentrieren sich auf die Agentenlogik, nicht auf das Integrationsprinzip
- Bleiben Sie sicher: Zentralisierte Verwaltung von Anmeldeinformationen und detaillierte Zugriffskontrolle
- Aufrechterhaltung der Transparenz: Einheitliche Beobachtbarkeit für alle Interaktionen zwischen Agenten und Tools
- Zuverlässig skalieren: Architektur, die mit Ihren Anforderungen wächst
Wenn Sie KI-Agenten entwickeln und mit dem N×M-Integrationsproblem zu kämpfen haben, würden wir uns freuen, von Ihnen zu hören. Das TrueFoundry MCP Gateway ist jetzt verfügbar, und wir sind gespannt, was Sie damit bauen.
Weitere Informationen finden Sie in unserem Dokumentation oder kontaktieren Sie uns, um Ihren spezifischen Anwendungsfall zu besprechen.
Was sind Ihre Gedanken zu MCP Gateways? Waren Sie mit ähnlichen Integrationsherausforderungen konfrontiert? Wir würden uns freuen, Ihre Erfahrungen in den Kommentaren zu hören.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren











.png)




.png)






.webp)

.webp)



