agentgateway vs Vercel AI Gateway: Self-Hosted Agent Gateway oder Managed Model Router?
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Auf dem Papier erfüllen agentgateway und Vercel AI Gateway dieselbe Aufgabe. Beide platzieren einen einzelnen OpenAI-kompatiblen Endpunkt vor einer langen Liste von Modellanbietern. In der Praxis wurden sie jedoch für unterschiedliche Zielgruppen entwickelt. Vercel AI Gateway ist ein gehosteter Dienst: Sie senden Anfragen an Vercel, und Vercel betreibt alles hinter dem Endpunkt. agentgateway, das von Solo.io ins Leben gerufen wurde und nun von der Linux Foundation verwaltet wird, ist eine Open-Source-Software, die Sie selbst installieren und betreiben. Sie steuert zusätzlich MCP-Tool-Aufrufe und den Agent-zu-Agent-Datenverkehr. Bevor Sie also Funktionen vergleichen, sollten Sie entscheiden, ob Sie überhaupt ein Gateway selbst betreiben möchten und wie viel Ihres Datenverkehrs von Agenten im Vergleich zu Anwendungen stammt.
Wir haben beide Lösungen getestet. Unser Team hat die Open-Source-Version von agentgateway praktisch evaluiert (v1.5.0, mit Überprüfung der Hauptergebnisse in v1.6.0), und wir haben eigene Anfragen über das gehostete Gateway von Vercel ausgeführt. Anschließend haben wir jede Aussage in diesem Artikel im November 2026 mit den Dokumentationen der jeweiligen Anbieter abgeglichen. Zu diesem Zeitpunkt war agentgateway bei Version v1.7.0.
Vercel AI Gateway: Übersicht
Vercel AI Gateway schaltet sich zwischen Ihre Anwendung und die Modellanbieter. Es verwaltet Ihre Anmeldedaten, verfolgt die Nutzung und setzt Ausgabenlimits durch – alles hinter einem einzigen Endpunkt. Es wurde im August 2025 allgemein verfügbar und entstand aus der Webplattform und dem AI SDK von Vercel. Sie können es über OpenAI- oder Anthropic-kompatible APIs, das AI SDK oder einfaches HTTP aufrufen; Ihre Anwendung muss dabei nicht auf Vercel gehostet sein. Der Katalog umfasst über 400 Modelle von OpenAI, Anthropic, Google, Amazon Bedrock und weiteren Anbietern.
Sie müssen nichts bereitstellen. Vercel beschreibt das Gateway als eine Node.js-Anwendung auf der eigenen Fluid-Compute-Infrastruktur mit Redis in jeder Region zur Quota-Verfolgung. Um all das müssen Sie sich nicht kümmern. In unseren Tests hat sich das System bewährt: Anfragen wurden erfolgreich über OpenAI, Google Vertex AI und Amazon Bedrock geleitet, Tool-Aufrufe und strikt strukturierte Ausgaben kamen korrekt zurück, und wenn der primäre Anbieter nicht verfügbar war, griff das Gateway automatisch auf das von uns definierte Backup-Modell zurück.
Die Preisgestaltung sticht den meisten Nutzern zuerst ins Auge. Vercel berechnet 0 % Aufschlag auf Tokens, selbst wenn Sie Ihre eigenen Anbieter-Schlüssel mitbringen, und jedes Team erhält ein monatliches Gratisguthaben für eine Auswahl von Modellen. Governance-Funktionen kosten extra pro Anfrage, und Team-Funktionen wie SAML-SSO erfordern einen Vercel-Tarif. Der einzige Haken ist der Ausführungsort: Vercel dokumentiert keine Möglichkeit, das Gateway in der eigenen VPC, On-Premises oder in Air-Gapped-Umgebungen auszuführen. Wenn dieses Thema neu für Sie ist, erklärt unser Leitfaden was ein LLM Gateway ist die Grundlagen.
agentgateway: Übersicht
agentgateway ist kein einfaches Update des älteren Gloo AI Gateway von Solo. Solo hat einen neuen Proxy in Rust geschrieben, ihn unter der Apache-2.0-Lizenz veröffentlicht und der Agentic AI Foundation unter dem Dach der Linux Foundation übergeben. Solo vertreibt weiterhin die kostenpflichtige Version: Solo Enterprise for agentgateway. Sie können es als einzelne Binärdatei ausführen, die eine YAML-Datei liest, als Container oder auf Kubernetes mit getrennter Control Plane und Data Plane, wo es die Gateway API implementiert. Es ist schlank und schnell. Unser Team hatte es bei einem Kaltstart in unter 11 Sekunden betriebsbereit; im Leerlauf verbrauchte es etwa 18 MB Arbeitsspeicher, und in einem Netzwerk ohne Internetverbindung führte es keinerlei Aufrufe nach außen durch.
Es verarbeitet drei Arten von Datenverkehr mit einem einzigen Richtlinienmodell: LLM-Aufrufe, Model Context Protocol (MCP)-Datenverkehr zwischen Agenten und Tools sowie Agent-zu-Agent (A2A)-Aufrufe. Die MCP-Autorisierung hat uns am besten gefallen. Sie definieren Regeln, welche Tools jeder Aufrufer verwenden darf, und das Gateway filtert zusätzlich die bereitgestellte Tool-Liste. So sieht ein Agent niemals ein Tool, das er nicht aufrufen darf. Die kostenlose Version validiert außerdem JWTs gegen Ihren Identitätsanbieter, beschränkt die nutzbaren Modelle pro Schlüssel, setzt Ausgabenbudgets pro Schlüssel durch und maskiert sensible Daten wie E-Mail-Adressen und Kreditkartennummern, bevor der Prompt Ihr Netzwerk verlässt.
Solo berechnet Gebühren für Funktionen, die instanzübergreifend geteilt werden müssen. Flottenweite Rate Limits, eine gemeinsam genutzte Budget-Ressource und eine zentrale Kostenansicht sind Enterprise-Funktionen. Unser agentgateway Review bietet hierzu noch ausführlichere Details.
Direkter Vergleich
Die Spalte für agentgateway basiert auf unseren Tests der Open-Source-Version (v1.5.0, erneut geprüft unter v1.6.0) sowie der Dokumentation von Solo für v1.7.0. Die Spalte für Vercel basiert auf den öffentlichen Dokumenten von Vercel und unseren Tests mit einem kostenlosen Account. Beide Systeme wurden im November 2026 überprüft.
Wo Vercel AI Gateway stärker ist
Sie müssen nichts betreiben. Es gibt keinen Cluster, den Sie dimensionieren müssen, und keine Upgrades, die Sie einplanen müssen. Das ist wesentlicher, als es klingt: agentgateway veröffentlicht etwa jeden Monat ein Minor-Release, und allein v1.6.0 enthielt fünf Breaking Changes.
Die Preise von Vercel sind transparent und öffentlich. Der Token-Aufschlag (null), die Gebühren pro Funktion und die Tarifpreise sind direkt auf der Website einsehbar. Solo bietet keine öffentliche Preisliste für seine Enterprise-Edition, und Sie können keinen Testzugang starten, ohne mit dem Vertrieb zu sprechen.
Limits gelten für den gesamten Dienst. Vercel betreibt ein einziges Gateway für alle Nutzer, sodass Budgets und Quoten unabhängig vom Ursprung Ihres Datenverkehrs greifen. Bei agentgateway erfordern instanzübergreifende Budgets und Rate Limits die Enterprise-Edition.
Sie erhalten Zugriff auf über 400 Modelle hinter einem einzigen Schlüssel. Anfragen können nach Anbieter, Geschwindigkeit oder Kosten priorisiert oder sortiert werden und automatisch auf andere Anbieter oder Modelle ausweichen, wenn ein Dienst ausfällt.
Es speichert Ihre Prompts nicht. Das Gateway von Vercel erfasst weder Prompts noch generierte Texte. Zudem können Sie teamweit eine vollständige "Zero Data Retention" aktivieren oder Anbieter blockieren, die Daten für das Modelltraining nutzen.
Wo agentgateway stärker ist
Sie entscheiden, wo die Software läuft: in Ihrer VPC, im eigenen Rechenzentrum oder in einer Air-Gapped-Umgebung. Prompts laufen niemals über das Gateway eines Drittherstellers. Das Gateway von Vercel ist ausschließlich gehostet verfügbar.
Es versteht Agenten. MCP-Regeln auf Tool-Ebene, spezifische Tool-Listen pro Aufrufer und A2A-Unterstützung nutzen dasselbe Richtlinienmodell wie reguläre Modellaufrufe. Vercel überlässt die Tool-Ausführung und die Regeln, welche Tools ein Agent aufrufen darf, vollständig Ihrer Anwendung.
Es kann sensible Daten filtern. Die integrierte PII-Maskierung entfernt Informationen wie E-Mail-Adressen und Kreditkartennummern, bevor eine Anfrage den Anbieter erreicht. In der Dokumentation von Vercel haben wir keine vergleichbare Funktion gefunden.
Es kommuniziert mit Ihren eigenen Modellen. Jeder OpenAI-kompatible Endpunkt kann als Backend dienen, einschließlich vLLM oder Ollama auf Ihrer eigenen Hardware. Vercel erlaubt zwar die Nutzung eigener API-Schlüssel für unterstützte Anbieter, dokumentiert jedoch kein Routing zu beliebigen privaten Endpunkten.
Es ist Open Source unter dem Dach einer Foundation. Der Code steht unter Apache 2.0 und wird als Linux-Foundation-Projekt geführt, sodass seine Zukunft nicht von den Plänen eines einzelnen Unternehmens abhängt. Auch ein Wechsel ist unkompliziert, da Ihre Anwendungen weiterhin die Standard-OpenAI-API nutzen.
Performance
Da wir die beiden Systeme nicht unter identischen Bedingungen testen können, verzichten wir auf ein direktes Ranking. agentgateway läuft auf der Hardware, die Sie bereitstellen. Das Gateway von Vercel ist ein geteilter Dienst, der nur von außen gemessen werden kann.
Interpretieren Sie den Wert von Vercel mit Vorsicht. Er beinhaltet die Hin- und Rückverbindung zum Vercel-Netzwerk und schwankte stark: Bei 21 von 98 Anfragepaaren war der Weg über das Gateway sogar schneller als der direkte Aufruf von OpenAI. Ein Modellaufruf dauert in der Regel ohnehin Hunderte von Millisekunden bis hin zu mehreren Sekunden, weshalb kaum eines der Gateways zum Engpass wird. Beim Streaming fügte agentgateway im Vergleich zum direkten Aufruf eines Live-Anbieters maximal etwa 12 ms bis zum ersten Token hinzu.
Beide Lösungen zeigten Schwachstellen unter hoher Last. Der Free-Tier von Vercel ließ etwa vier aufeinanderfolgende Anfragen zu, bevor HTTP 429 zurückgegeben wurde (ohne Retry-After-Header), sodass ein ungetakteter Lasttest nicht möglich war. Laut Vercel hebt der Kauf von Guthaben die Free-Tier-Limits auf, und kostenpflichtige Anfragen werden vom Gateway nicht gedrosselt. Das haben wir nicht getestet. agentgateway hatte Schwierigkeiten mit großen Streaming-Antworten: Bei sehr langen Dokumenten begann die Leistung einer Instanz ab etwa 30 Anfragen pro Sekunde einzubrechen. Kleine Streaming-Anfragen liefen bei jeder getesteten Last einwandfrei.
Preise
agentgateway verursacht keine Kosten über Ihre Infrastruktur und das Personal zu dessen Betreuung hinaus. Eine einzelne Instanz mit Budgets pro Schlüssel, PII-Maskierung und MCP-Autorisierung ist kostenlos. Solo Enterprise for agentgateway ergänzt flottenweite Rate Limits, eine globale Budget-Ressource, ein Kostenverwaltungs-UI, "On-Behalf-Of"-Identitäten, FIPS-Builds und Herstellersupport. Preise erhalten Sie auf Anfrage beim Vertrieb, da es keine öffentliche Preisliste gibt. Unsere Solo AI Gateway Preisübersicht fasst alle verfügbaren Details zusammen.
Vercel berechnet keinen Aufschlag auf Tokens – auch nicht bei Abrechnung über Ihre eigenen Anbieter-Schlüssel – und jedes Team erhält ein monatliches Gratisguthaben für ausgewählte Modelle. Um eigene Schlüssel zu nutzen, müssen Sie zunächst Guthaben erwerben. Die Kosten steigen vor allem durch die Governance-Funktionen:
Bei Vercel kostet das reine Routing fast nichts. Die Gebühren entstehen durch Sicherheitskontrollen, die Ihr Compliance-Team wahrscheinlich einfordern wird. Kalkulieren Sie diese Kosten vor einer Entscheidung ein. Bei agentgateway kann die Lizenz kostenlos sein. Hier zahlen Sie für Entwicklungszeit sowie für die Enterprise-Edition, sobald Sie mehrere Instanzen betreiben.
Wichtige Details in der Praxis
Vercel-Budgets sind weiche Obergrenzen (Soft Caps). Die Anfrage, die das Limit überschreitet, wird noch vollständig ausgeführt. Ausgaben über Ihre eigenen Anbieter-Schlüssel werden gar nicht auf die Gateway-Budgets angerechnet. Auch die Budgets pro Schlüssel bei agentgateway lassen die überschreitende Anfrage noch durch.
Vercel stellt Fehlversuche mit eigenen Schlüsseln in Rechnung. Wenn eine Anfrage mit Ihrem eigenen Anbieter-Schlüssel fehlschlägt, wiederholt Vercel sie mit den eigenen Anmeldedaten und belastet Ihr Guthaben. Richten Sie Ausgabenlimits daher sowohl beim Anbieter als auch im Gateway ein.
Führen Sie keine Lasttests im Free-Tier von Vercel durch. Vercel dokumentiert Free-Tier-Limits pro Modell, in unseren Tests verhielt sich das Limit jedoch so, als gelte es für das gesamte Konto. Ein Modellwechsel setzte das Limit nicht zurück, und verbleibendes Gratisguthaben half nicht. Kaufen Sie Guthaben, bevor Sie eine ernsthafte Evaluierung starten.
agentgateway führt einen Aufruf mehr aus als in der Dokumentation angegeben. Eine Retry-Einstellung von 1 bedeutet zwei Aufrufe an den Anbieter. Diese Retries werden ohne Verzögerung abgesendet, sofern Sie keinen Backoff konfigurieren.
Streams bei agentgateway können sich aufhängen. Konfigurieren Sie responseIdleTimeout auf Streaming-Routen. Diese Funktion wurde in v1.6.0 eingeführt und deckt ab v1.7.0 auch MCP-Antworten ab. Ohne diese Einstellung hält ein Anbieter, der mitten im Stream abbricht, die Verbindung so lange offen, wie der Client zu warten bereit ist.
Die kostenlosen Limits von agentgateway gelten pro Instanz. Budgets und Rate Limits summieren sich nicht über Replikate hinweg, es sei denn, Sie erwerben die Enterprise-Edition – ein Detail, das beim Skalieren leicht übersehen wird.
Wann Sie Vercel AI Gateway wählen sollten
- Sie möchten, dass jemand anderes den Betrieb des Gateways übernimmt.
- Der Großteil Ihres Datenverkehrs besteht aus Modellaufrufen aus Anwendungen, und Ihre Tools werden innerhalb dieser Anwendungen ausgeführt.
- Ein gehosteter Dienst mit SOC 2 Type 2, ISO 27001 und regionaler Anbieter-Inferenz erfüllt Ihre Compliance-Anforderungen.
- Sie entwickeln bereits auf Vercel oder nutzen das AI SDK.
Wann Sie agentgateway wählen sollten
- Das Gateway muss im eigenen Netzwerk laufen, einschließlich Air-Gapped-Umgebungen.
- Sie betreiben Agenten, die MCP-Tools und andere Agenten aufrufen, und benötigen eine Zugriffskontrolle auf Tool-Ebene.
- Sie möchten PII-Maskierung und Identitätsprüfungen ohne zusätzliche Lizenzkosten nutzen und verfügen über ein Platform-Team für den Betrieb.
- Sie routen neben kommerziellen Anbietern auch zu selbst gehosteten Modellen.
Die TrueFoundry-Alternative
Vercel betreibt das Gateway für Sie, jedoch ausschließlich in der eigenen Cloud. agentgateway läuft überall, erfordert aber Eigenbetrieb, und ein instanzübergreifender Status kostet extra. Das TrueFoundry AI Gateway deckt beide Szenarien ab. Sie können es als verwaltetes SaaS nutzen, das Gateway in Ihrer VPC mit einer von uns gehosteten Control Plane ausführen oder es komplett selbst in Ihrer VPC, On-Premises oder Air-Gapped betreiben. Die Gateway-Pods erhalten Konfigurationen und Zugriffsregeln in Echtzeit von der Control Plane, zusammen mit zentral aggregierten Zählern für Rate Limits und Budgets. So greifen Limits ohne kostenpflichtiges Upgrade zuverlässig über alle Replikate hinweg.
Es bietet Zugriff auf über 1.000 LLMs hinter einer einzigen OpenAI-kompatiblen API, routet über dieselbe Control Plane zu selbst gehosteten Modellen und steuert LLM-, MCP- sowie Agenten-Datenverkehr mit Zugriffskontrollen auf Tool-Ebene. Zudem kann es menschliche Freigaben vor kritischen Tool-Aufrufen einfordern. Budgets lassen sich nach Team, Modell oder Anbieter-Konto strukturieren; SSO, RBAC und Audit-Logging sind direkt integriert. Wenn Sie zwischen einem Managed Router und einem Self-Hosted Agent Gateway schwanken, erfahren Sie, wie das TrueFoundry AI Gateway beide Ansätze vereint, oder buchen Sie eine Demo.
Weiterführende Artikel
- agentgateway (ehemals Gloo AI Gateway): Ein ehrlicher Testbericht
- Solo AI Gateway Preise: Die vollständige Übersicht
- Solo.io Alternativen und Mitbewerber
- Was ist ein Agent Gateway?
- MCP-Authentifizierung einfach erklärt
- Die besten MCP Gateways
Fazit
Die Entscheidung läuft auf zwei Fragen hinaus: Wer betreibt das Gateway, und welchen Datenverkehr soll es steuern? Wenn Sie verwaltetes Modell-Routing ohne Aufschlag suchen und ein gehosteter Dienst Ihren Datenschutzregeln entspricht, ist Vercel AI Gateway der einfachere Weg. Wenn das Gateway in Ihrem eigenen Netzwerk laufen muss oder Ihre Agenten eine Zugriffskontrolle auf Tool-Ebene benötigen, ist agentgateway die bessere Wahl. Wenn Sie beide Welten vereinen möchten, buchen Sie eine TrueFoundry Demo.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








