LiteLLM vs. agentgateway: Vergleich zweier Open-Source-AI-Gateways
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
LiteLLM vs. agentgateway wirkt auf den ersten Blick wie ein ausgeglichenes Duell. Beide sind Open Source, beide werden selbst gehostet, beide stellen einen OpenAI-kompatiblen Endpunkt vor zahlreichen Modell-Anbietern bereit und beide verarbeiten mittlerweile sowohl MCP-Tool-Aufrufe und Agent-zu-Agent-Traffic als auch Standard-Modellaufrufe. Die Herkunft beider Projekte unterscheidet sich jedoch grundlegend. LiteLLM ist ein Python-Proxy von BerriAI, der aus einem beliebten SDK hervorgegangen ist und heute den größten Funktionsumfang sowie die größte Community in dieser Kategorie bietet. agentgateway ist ein von Solo.io von Grund auf in Rust entwickelter Proxy, der an die Linux Foundation übergeben wurde. Er ist kompakter, schneller und fokussierter. Wenn Sie nach Alternativen zu LiteLLM suchen, gehört agentgateway zu den wenigen Lösungen, die bei den Agenten-Funktionen mit LiteLLM mithalten können.
Wir haben beide Systeme im Praxiseinsatz getestet. Unser Team hat die Open-Source-Version von agentgateway (v1.5.0, mit Überprüfung der Wichtigsten Ergebnisse auf v1.6.0) direkt evaluiert und LiteLLM demselben Benchmark-Setup unterzogen. Anschließend haben wir die Aussagen in diesem Beitrag mit der offiziellen Dokumentation beider Projekte im November 2026 abgeglichen (zu diesem Zeitpunkt agentgateway v1.7.0 und LiteLLM v1.106.6).
LiteLLM: Überblick
LiteLLM entstand ursprünglich bei BerriAI, einem Y-Combinator-Unternehmen, und wurde im August 2023 als Open-Source-Software veröffentlicht. Die meisten Entwickler nutzen es zunächst als Python SDK und setzen den LiteLLM-Proxy später als zentrales Gateway ein. Mittlerweile zählt das Projekt über 61.000 GitHub-Sterne und wird von Unternehmen wie Netflix, Okta und NVIDIA genutzt. Die Dokumentation führt über 100 Anbieter auf (die Homepage spricht von 140+), und Sie können selbst gehostete Modelle wie vLLM oder Ollama parallel zu kommerziellen APIs ansteuern.
Die kostenlose Version bietet bereits einen großen Funktionsumfang. Sie erhalten virtuelle Schlüssel, Budget- und Rate-Limits auf Ebene von Schlüsseln, Benutzern, Teams, Organisationen, Endnutzern und Tags sowie Exact-Match- und semantisches Caching, ein halbes Dutzend Routing-Strategien, Fallbacks, Prometheus-Metriken und zahlreiche Logging-Integrationen. Das LiteLLM MCP-Gateway kann den Zugriff bis auf einzelne Tools und sogar einzelne Tool-Parameter einschränken; zudem steht seit v1.80.8 ein A2A-Agenten-Gateway zur Verfügung.
Der Aufwand liegt im operativen Betrieb. Der Proxy ist eine Python-Anwendung (FastAPI), die Postgres für Schlüssel, die Admin-Benutzeroberfläche und das Spend-Tracking benötigt sowie Redis, sobald mehr als eine Instanz ausgeführt wird. LiteLLM verlagert seinen Hot-Path schrittweise nach Rust; auf der Homepage wird bereits ein Rust-Gateway beworben. In der Dokumentation wird der Rust-Core jedoch weiterhin als Beta geführt, die bisher nur ausgewählte Routen abdeckt — die vollständige Unterstützung des Anthropic-Messages-Pfads ist für Dezember 2026 geplant. Enterprise-Funktionen wie SSO für mehr als fünf Benutzer, SCIM, Audit-Logs und JWT-Authentifizierung für Workloads erfordern eine kostenpflichtige Lizenz.
agentgateway: Überblick
agentgateway ist der Nachfolger von Solo.ios älterem Gloo AI Gateway. Es wurde in Rust neu entwickelt, statt auf Envoy aufzubauen. Es steht unter der Apache-2.0-Lizenz und wird von der Agentic AI Foundation (Teil der Linux Foundation) verwaltet. Solo vertreibt eine kostenpflichtige Variante namens Solo Enterprise für agentgateway. Die Software läuft als einzelne Binärdatei mit einer zentralen YAML-Konfiguration, als Container oder auf Kubernetes mit einem eigenen Controller, der die Gateway API implementiert. Für das Routing von Traffic ist keine Datenbank erforderlich. In unseren Tests war das System nach einem Kaltstart in unter 11 Sekunden einsatzbereit und benötigte im Leerlauf lediglich rund 18 MB Arbeitsspeicher.
Es steuert LLM-Aufrufe, MCP-Traffic und A2A-Aufrufe über ein einheitliches Richtlinienmodell. Die MCP-Autorisierung gehört zu den stärksten Funktionen: CEL-Regeln legen fest, welche Tools der jeweilige Aufrufer nutzen darf, und das Gateway filtert die Tool-Liste so, dass ein Agent nur die für ihn freigegebenen Funktionen sieht. Die kostenlose Version validiert zudem JWTs gegen Ihren Identity Provider, beschränkt Modelle pro Schlüssel, setzt in der Standalone-Variante Budgets pro Schlüssel durch und maskiert sensible Daten wie E-Mail-Adressen und Kreditkartennummern, bevor ein Prompt den Anbieter erreicht. Flottenweite Rate-Limits, eine gemeinsam genutzte Budget-Ressource und eine Benutzeroberfläche für das Kostenmanagement sind Enterprise-Funktionen. Unser agentgateway-Testbericht beschreibt dies im Detail.
Direkter Vergleich
Die Spalte für LiteLLM basiert auf der offiziellen Dokumentation von LiteLLM sowie unseren eigenen Benchmark-Ergebnissen. Die Spalte für agentgateway basiert auf unseren Praxistests und der Solo-Dokumentation für v1.7.0. Beide Informationsstände wurden im November 2026 überprüft.
Wo LiteLLM seine Stärken hat
Es bietet Antwort-Caching. Exact-Match- und semantisches Caching sind kostenlos nutzbar und unterstützen Backends wie Redis, Valkey, Qdrant, S3 und weitere. agentgateway besitzt keinen integrierten Antwort-Cache. Dadurch fallen bei wiederkehrenden Anfragen (z. B. bei Support-Bots) für jede einzelne Anfrage die vollen Kosten beim Anbieter an, sofern Sie keinen eigenen Cache vorschalten.
Der Funktionsumfang ist nahezu überall umfangreicher. LiteLLM unterstützt mehr Anbieter, mehr Routing-Strategien (darunter kosten- und latenzbasiertes Routing), mehr Budget-Ebenen und mehr Observability-Integrationen als agentgateway. Wenn eine Funktion in dieser Kategorie existiert, bietet LiteLLM höchstwahrscheinlich eine entsprechende Konfigurationsoption.
Die Limits gelten auch in der kostenlosen Version instanzübergreifend. Da LiteLLM seinen Zustand in Postgres und Redis verwaltet, greifen Budgets und Rate-Limits über alle Replikate hinweg, ohne dass eine kostenpflichtige Lizenz erforderlich ist. Die kostenlosen Steuerungsfunktionen von agentgateway sind hingegen auf eine einzelne Instanz beschränkt.
Die MCP-Berechtigungen sind feingranularer. LiteLLM kann ein Tool freigeben, aber spezifische Parameter dafür blockieren, und es schichtet Berechtigungen über sechs Identitätsebenen. Die Regeln von agentgateway arbeiten auf Tool-Ebene.
Es verfügt über die größere Community. Über 61.000 Sterne, wöchentliche Releases und namhafte Anwender bedeuten, dass die meisten Probleme, auf die Sie stoßen könnten, bereits von anderen gelöst wurden. Zudem können Sie einen 30-tägigen Enterprise-Testschlüssel anfordern, ohne direkt mit dem Vertrieb sprechen zu müssen — eine Option, die Solo nicht anbietet.
Wo agentgateway seine Stärken hat
Es ist deutlich schneller und ressourcenschonender. Auf demselben Testsystem mit 1 vCPU verursachte agentgateway einen zusätzlichen Overhead von lediglich ca. 2 bis 5 ms pro Anfrage. LiteLLM hingegen fügte bereits bei geringer Last 12 bis 15 ms hinzu und begann schon weit vor 50 Anfragen pro Sekunde mit der Warteschlangenbildung (Queueing). agentgateway benötigt im Leerlauf etwa 18 MB Arbeitsspeicher; LiteLLM verbrauchte bei 10 Anfragen pro Sekunde rund 1,2 GB.
Der Betriebsaufwand ist geringer. Eine einzelne Binärdatei ohne Datenbank und ohne Redis reicht für ein voll funktionsfähiges Gateway aus. Das Produktions-Setup von LiteLLM besteht typischerweise aus einem Load Balancer, Postgres, Redis und einem Secret Store — ein üblicher Cloud-Footprint, aber deutlich aufwendiger als ein einzelner Container.
Mehr Sicherheitsfunktionen sind kostenlos enthalten. Die JWT-Validierung gegen Ihren Identity Provider sowie PII-Maskierung sind direkt in der Open-Source-Version enthalten. Bei LiteLLM erfordern JWT-Authentifizierung und team-spezifische Guardrails eine Enterprise-Lizenz.
Das Projekt wird von einer neutralen Organisation verwaltet. Der Code von agentgateway steht unter der Apache-2.0-Lizenz im Rahmen eines Linux-Foundation-Projekts und ist somit unabhängig von den kommerziellen Plänen eines einzelnen Unternehmens. LiteLLM ist zwar MIT-lizenziert, die Maintainer sind jedoch überwiegend Mitarbeiter von BerriAI, und der Enterprise-Ordner ist proprietär.
Es fügt sich nativ in Kubernetes ein. agentgateway implementiert die Gateway API mit einem eigenen Controller und CRDs, sodass die Routing-Konfiguration wie jede andere Cluster-Ressource verwaltet werden kann. LiteLLM bietet zwar Helm-Charts, jedoch keinen Operator oder CRDs.
Performance
Wir haben beide Gateways über dasselbe Test-Setup evaluiert: Ein Container mit maximal 1 vCPU und 2 GB RAM, ein lokaler Mock-Anbieter mit einer festen Antwortzeit von 50 ms sowie alle Messwerte im Vergleich zum direkten Aufruf des Mock-Dienstes. Ein Hinweis zugunsten von LiteLLM: In der Dokumentation werden Produktionsinstanzen mit 4 vCPU und 8 GB empfohlen, womit 1 vCPU für einen Python-Proxy eine sehr begrenzte Ressource darstellt.
Beide Anbieter veröffentlichen auch eigene Benchmarks. LiteLLM gibt auf seiner Benchmark-Seite 1.170 Anfragen pro Sekunde bei einem p95-Overhead von 8 ms über vier Instanzen mit jeweils 4 vCPU an. Solo hat Direktvergleiche gegen LiteLLM veröffentlicht, die 0,44 ms gegenüber 30,6 ms im p99 bei einer festen Last von 3.000 Anfragen pro Sekunde zeigen — bei einem Speicherverbrauch von 13 MiB im Vergleich zu 11,7 GiB. Da es sich hierbei um Hersteller-Benchmarks gegen Mock-Backends handelt, sollten diese Werte eher als Tendenz denn als absoluter Beweis verstanden werden. Unsere eigenen Messergebnisse weisen jedoch in dieselbe Richtung.
Ist dieser Unterschied in der Praxis relevant? Für eine einfache Chat-Anwendung mit wenigen Anfragen pro Sekunde vermutlich nicht: Ein Modellaufruf dauert mehrere hundert Millisekunden, worin 10 ms Gateway-Overhead kaum ins Gewicht fallen. Bedeutsam wird der Unterschied jedoch beim Einsatz von Agenten, die viele Aufrufe in einer Schleife ausführen, oder wenn zusätzliche Serverinstanzen bezahlt werden müssen, damit LiteLLM dieselbe Last bewältigt.
Preise
Beide Systeme können kostenlos selbst gehostet werden. Die Open-Source-Edition von LiteLLM bietet kein Nutzungslimit. Kosten entstehen erst, wenn Sie SSO für mehr als fünf Admin-Benutzer, SCIM, Audit-Logs, JWT-Authentifizierung, team-spezifische Guardrails oder die Trennung von Admin- und Worker-Knoten benötigen. LiteLLM Enterprise ist ein Jahresvertrag, dessen Preis sich nach dem Anfragevolumen richtet (Preise auf Anfrage); ein 30-tägiger Testzugang kann direkt per Schlüssel aktiviert werden.
Die kostenlose Version von agentgateway umfasst Budgets pro Schlüssel, PII-Maskierung, JWT-Validierung und MCP-Autorisierung auf einer einzelnen Instanz. Solo Enterprise für agentgateway erweitert dies um flottenweite Rate-Limits, eine übergreifende Budget-Ressource, eine Benutzeroberfläche für das Kostenmanagement, On-Behalf-Of-Identitäten, FIPS-Builds und Herstellersupport. Auch hier erfolgt die Preisgestaltung individuell über den Vertrieb; ein Self-Service-Testzugang steht nicht zur Verfügung. Unsere Preisübersicht zum Solo AI Gateway bietet hierzu weitere Details.
Die Lizenzgebühren machen oft nur den kleineren Teil der Gesamtkosten aus. Bei LiteLLM müssen die Aufwände für verwaltetes Postgres und Redis sowie die zusätzlichen Instanzen eingerechnet werden, die ein Python-Proxy unter hoher Last benötigt. Bei agentgateway fallen Lizenzkosten für die Enterprise-Edition an, sobald instanzübergreifende Limits benötigt werden.
Wichtige Praxishinweise
LiteLLM-Versionen festpinnen und Container-Images überprüfen. Bei LiteLLM kam es im Jahr 2026 zu zwei Supply-Chain-Sicherheitsvorfällen. Am 24. März enthielten die manipulierten PyPI-Releases 1.82.7 und 1.82.8 Schadcode zum Diebstahl von Zugangsdaten. Am 21. Oktober gelangte eine kompromittierte Version v1.107.0 für etwa zwei Stunden auf PyPI und Docker Hub, wobei die Container-Images sogar eine gültige Signatur trugen. LiteLLM hat detaillierte Analysen veröffentlicht, seine Signaturschlüssel ausgetauscht und den Release-Prozess angepasst. Das exakte Festpinnen von Versionsnummern gehört jedoch weiterhin zur grundlegenden Sicherheitsvorsorge.
Sicherheits-Patches von LiteLLM zügig einspielen. Eine kritische SQL-Injection-Schwachstelle (CVE-2026-42208) betraf die Versionen v1.81.16 bis v1.83.6 und wurde in v1.83.7 behoben. Aufgrund der wöchentlichen Release-Zyklen sollten regelmäßige Updates eingeplant werden. Im November 2026 hat LiteLLM zudem ein Long-Term-Support-Pilotprojekt (LTS) auf Basis der Version 1.108 gestartet.
Verantwortlichkeit für die Konfiguration von LiteLLM klären. Da Modelle in der Datenbank gespeichert werden, überschreiben Änderungen in der Admin-UI die YAML-Datei. Dadurch kann die Konfiguration des laufenden Gateways von den Ständen im Git-Repository abweichen.
Redis ist für die korrekte Funktionsweise von LiteLLM erforderlich, nicht nur für die Performance. Ohne Redis setzt jede Instanz ihre eigenen Rate-Limits durch, anstatt das konfigurierte Gesamt-Limit einzuhalten.
agentgateway führt einen Retry mehr aus als in der Dokumentation angegeben. Die Einstellung für einen Wiederholungsversuch (Retry = 1) führt zu insgesamt zwei Aufrufen beim Anbieter — ohne Verzögerung (Backoff), sofern keine explizit konfiguriert wurde.
Streams bei agentgateway können ohne Timeout hängen bleiben. Konfigurieren Sie responseIdleTimeout (ab v1.6.0) für Streaming-Routen, da die Verbindung andernfalls dauerhaft offen bleibt, wenn ein Anbieter während der Übertragung stockt.
Wann Sie LiteLLM wählen sollten
- Sie benötigen Caching, kostenbasiertes Routing oder die größte Anbieterauswahl, ohne für Zusatzfunktionen zahlen zu müssen.
- Sie benötigen Budget- und Rate-Limits, die auch in der kostenlosen Version zuverlässig über mehrere Instanzen hinweg greifen.
- Ihr Team ist geübt im Betrieb von Postgres und Redis und kann Python-Plugins entwickeln.
- Sie legen Wert auf eine große Community und einen direkt zugänglichen Enterprise-Testzugang.
Wann Sie agentgateway wählen sollten
- Latenz, Speicherverbrauch oder die Anzahl der Instanzen sind kritisch — beispielsweise bei Agenten, die sehr viele Aufrufe nacheinander ausführen.
- Sie suchen ein Gateway ohne Datenbank-Abhängigkeit, bevorzugt für den Einsatz auf Kubernetes mit der Gateway API.
- Sie benötigen JWT-Validierung und PII-Maskierung ohne den Kauf einer Enterprise-Lizenz.
- Sie bevorzugen ein von einer neutralen Stiftung verwaltetes Projekt unter der Apache-2.0-Lizenz.
Die Alternative: TrueFoundry
Beide Open-Source-Gateways erfordern zusätzlichen Eigenaufwand. LiteLLM bietet zwar viele Funktionen, überlässt Ihnen jedoch den Betrieb von Postgres und Redis, das Einspielen von Patches sowie die Enterprise-Lizenzierung für SSO und Audit-Logs. agentgateway ist extrem schlank, verlangt jedoch eine Enterprise-Lizenz bei Solo für instanzübergreifende Funktionen und bietet kein integriertes Caching. Das TrueFoundry AI Gateway läuft wahlweise als verwalteter SaaS-Dienst, als Gateway in Ihrer eigenen VPC mit einer von uns gehosteten Control-Plane oder vollständig selbst gehostet (in Ihrer VPC, On-Premises oder Air-Gapped). Die Gateway-Pods erhalten Konfigurationen und Zugriffsregeln in Echtzeit von der Control-Plane. Auch die Zähler für Rate-Limits und Budgets werden zentral aggregiert, sodass Limits instanzübergreifend greifen — ohne dass dafür ein gebührenpflichtiges Upgrade erforderlich ist.
Es stellt über 1.000 LLMs über eine einzige OpenAI-kompatible API bereit, routet selbst gehostete Modelle über dieselbe Control-Plane und steuert LLM-, MCP- und Agenten-Traffic mit feingranularer Zugriffskontrolle auf Tool-Ebene sowie manueller Freigabe (Human-in-the-Loop) vor kritischen Tool-Aufrufen. Budgets können nach Team, Modell oder Anbieter-Konto strukturiert werden; SSO, RBAC und Audit-Logging sind standardmäßig integriert. Wenn Sie Open-Source-Gateways vergleichen, weil Sie sowohl Kostenkontrolle als auch Agenten-Governance benötigen, erfahren Sie hier, wie das TrueFoundry AI Gateway beides löst oder buchen Sie eine Demo.
Weiterführende Artikel
- agentgateway (ehemals Gloo AI Gateway): Ein ehrlicher Testbericht
- LiteLLM-Alternativen
- Solo AI Gateway Preise: Eine vollständige Übersicht
- Solo.io Wettbewerber und Alternativen
- Die besten MCP-Gateways
- Was ist ein LLM-Gateway?
Fazit
Die Entscheidung LiteLLM vs. agentgateway hängt davon ab, worauf Sie den Schwerpunkt legen: Funktionsvielfalt oder Effizienz. LiteLLM bietet den größten Funktionsumfang in der kostenlosen Version — einschließlich Caching und instanzübergreifenden Limits — erfordert jedoch einen aufwendigeren Stack und regelmäßige Sicherheits-Updates. agentgateway bietet ein schnelles, kompaktes Gateway mit starker Agenten- und MCP-Steuerung, macht instanzübergreifende Funktionen jedoch kostenpflichtig. Wenn Sie beide Vorteile nutzen möchten, ohne die Infrastruktur selbst betreiben zu müssen, buchen Sie eine TrueFoundry-Demo.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








