LiteLLM vs agentgateway: twee open-source AI-gateways vergeleken

LiteLLM vs agentgateway lijkt op het eerste gezicht een gelijkwaardige strijd. Beide zijn open-source, beide zijn self-hosted, beide plaatsen een OpenAI-compatibel eindpunt voor meerdere modelproviders, en beide verwerken inmiddels zowel MCP-tool-calls en agent-to-agent-verkeer als model-calls. Ze komen echter uit heel verschillende werelden. LiteLLM is een Python-proxy van BerriAI die is voortgekomen uit een populaire SDK, en beschikt over de uitgebreidste functielijst en community binnen deze categorie. agentgateway is een Rust-proxy die Solo.io vanaf de grond heeft opgebouwd en heeft overgedragen aan de Linux Foundation; het is kleiner, sneller en heeft een gerichtere focus. Als je zoekt naar LiteLLM-alternatieven, is dit een van de weinige oplossingen die op het gebied van agent-functies kan wedijveren met LiteLLM.

We hebben beide oplossingen in de praktijk gebruikt. Ons team heeft de open-source agentgateway-build hands-on getest (v1.5.0, waarbij de belangrijkste bevindingen opnieuw zijn gecontroleerd op v1.6.0) en heeft LiteLLM aan dezelfde benchmarkopstelling onderworpen. Vervolgens hebben we de beweringen in dit artikel vergeleken met de documentatie van elk project in november 2026, toen de actuele releases agentgateway v1.7.0 en LiteLLM v1.106.6 waren.

LiteLLM: overzicht

LiteLLM begon binnen BerriAI, een Y Combinator-bedrijf, en werd in augustus 2023 open-source gemaakt. De meeste gebruikers leren het eerst kennen als een Python SDK en zetten de LiteLLM-proxy vervolgens in als een gedeelde gateway. Inmiddels heeft het meer dan 61.000 GitHub-sterren en publieke gebruikers waaronder Netflix, Okta en NVIDIA. De documentatie vermeldt meer dan 100 providers (de homepage spreekt van 140+), en je kunt verkeer leiden naar self-hosted modellen zoals vLLM of Ollama naast commerciële API's.

De gratis versie biedt een uitgebreid pakket aan mogelijkheden. Je krijgt virtuele sleutels, budgetten en rate-limits op het niveau van sleutel, gebruiker, team, organisatie, eindgebruiker en tag. Daarnaast biedt het exact-match en semantische caching, een half dozijn routingstrategieën, fallbacks, Prometheus-metrics en tientallen logging-integraties. De LiteLLM MCP-gateway kan de toegang beperken tot individuele tools en zelfs individuele toolparameters, en sinds v1.80.8 is er een A2A-agent-gateway beschikbaar.

De prijs zit in de operationele lasten. De proxy is een Python-toepassing (FastAPI) die Postgres vereist voor sleutels, de beheerders-UI en het bijhouden van uitgaven, evenals Redis zodra je meer dan één instantie gebruikt. LiteLLM migreert de kritieke paden naar Rust en adverteert op de homepage nu met een Rust-gateway. De documentatie bestempelt de Rust-core echter nog steeds als een bèta die slechts enkele routes dekt, waarbij het volledige Anthropic Messages-pad gepland staat voor december 2026. Enterprise-functies zoals SSO voor meer dan vijf gebruikers, SCIM, auditlogs en JWT-authenticatie voor workloads vereisen een betaalde licentie.

agentgateway: overzicht

agentgateway is Solo.io's vervanging voor de oudere Gloo AI Gateway, geschreven in Rust in plaats van gebouwd op Envoy. Het is gelicentieerd onder Apache 2.0 en wordt gehost door de Agentic AI Foundation, onderdeel van de Linux Foundation. Solo verkoopt een betaalde editie genaamd Solo Enterprise voor agentgateway. Het draait als een enkele binary die één YAML-bestand leest, als een container, of op Kubernetes met een eigen controller, waar het de Gateway API implementeert. Het heeft geen database nodig om verkeer te routen. Ons team had het vanaf een koudestart binnen 11 seconden operationeel voor het verwerken van verzoeken, met een geheugengebruik van ongeveer 18 MB in ruststand.

Het beheert LLM-calls, MCP-verkeer en A2A-calls met één beleidsmodel. MCP-autorisatie is de sterkste functie: CEL-regels bepalen welke tools elke aanroeper mag gebruiken, en de gateway filtert de toollijst zodat een agent alleen ziet wat deze geautoriseerd is aan te roepen. De gratis editie valideert ook JWT's tegen je identity provider, beperkt modellen per sleutel, dwingt budgetten per sleutel af in de standalone-build en maskeert gevoelige gegevens zoals e-mailadressen en creditcardnummers voordat een prompt de provider bereikt. Rate-limits voor het gehele netwerk, een gedeelde budgetbron en een UI voor kostenbeheer zijn enterprise-functies. Onze agentgateway-review behandelt dit uitgebreid.

Directe vergelijking

De kolom van LiteLLM is gebaseerd op de documentatie van LiteLLM en onze eigen benchmarktests. De kolom van agentgateway geeft onze hands-on testen en Solo's documentatie voor v1.7.0 weer. Beide zijn gecontroleerd in november 2026.

Waar LiteLLM sterker is

Het cached responsen. Exact-match en semantische caching zijn gratis beschikbaar met Redis, Valkey, Qdrant, S3 en andere back-ends. agentgateway heeft geen ingebouwde respons-cache, waardoor herhalende workloads zoals support-bots voor elk verzoek het volle tarief betalen, tenzij je zelf een cache toevoegt.

De functielijst is op bijna elk vlak uitgebreider. LiteLLM ondersteunt meer providers, meer routingstrategieën (waaronder routing op basis van kosten en latency), meer budgetniveaus en meer observability-integraties dan agentgateway. Als een functie bestaat binnen deze categorie, heeft LiteLLM er waarschijnlijk een instelling voor.

Limieten gelden gratis over meerdere instanties heen. Omdat LiteLLM de status bijhoudt in Postgres en Redis, worden budgetten en rate-limits toegepast op alle replica's zonder dat daar een betaald niveau voor nodig is. De gratis functies van agentgateway zijn beperkt tot één enkele instantie.

De MCP-machtigingen gaan een niveau dieper. LiteLLM kan een tool toestaan maar specifieke parameters daarvan blokkeren, en bouwt machtigingen op over zes identiteitsniveaus. De regels van agentgateway werken per tool.

Het beschikt over de grotere community. Met meer dan 61.000 sterren, wekelijkse releases en gerenommeerde gebruikers is de kans groot dat problemen waar je tegenaan loopt al door iemand anders zijn opgelost. Je kunt bovendien een Enterprise-proeflicentie van 30 dagen aanvragen zonder met sales te hoeven spreken, wat Solo niet aanbiedt.

Waar agentgateway sterker is

Het is aanzienlijk sneller en kleiner. Op dezelfde testopstelling met 1 vCPU voegde agentgateway ongeveer 2 tot 5 ms toe per verzoek, terwijl LiteLLM bij een lichte belasting 12 tot 15 ms toevoegde en al ver voor de 50 verzoeken per seconde begon met wachtrijvorming. agentgateway verbruikt in ruststand ongeveer 18 MB geheugen; LiteLLM gebruikte ongeveer 1,2 GB bij 10 verzoeken per seconde.

Er is minder beheer nodig. Één binary, geen database en geen Redis is voldoende voor een werkende gateway. De productie-inrichting van LiteLLM vereist een loadbalancer, Postgres, Redis en een secret store — een gebruikelijke cloudvoetafdruk, maar aanzienlijk meer dan een enkele container.

Meer beveiligingsfunctionaliteiten zijn gratis. JWT-validatie tegen je identity provider en PII-maskering maken deel uit van de open-source build. Bij LiteLLM vereisen JWT-authenticatie en guardrails per team een Enterprise-licentie.

Het project valt onder een stichting. De code van agentgateway is Apache 2.0 onder een Linux Foundation-project, waardoor het niet afhankelijk is van de plannen van één enkel bedrijf. LiteLLM is gelicentieerd onder MIT, maar de maintainers zijn hoofdzakelijk medewerkers van BerriAI en de enterprise-map is closed-source.

Het sluit naadloos aan op Kubernetes. agentgateway implementeert de Gateway API met een eigen controller en CRD's, waardoor de routing-configuratie eruitziet als elke andere cluster-resource. LiteLLM levert Helm-charts, maar geen operator of CRD's.

Prestaties

We hebben beide gateways getest op dezelfde opstelling: één container beperkt tot 1 vCPU en 2 GB, een lokale mock-provider met een vaste respons van 50 ms, waarbij elk cijfer is gemeten ten opzichte van het rechtstreeks aanroepen van de mock. Eén kanttekening in het voordeel van LiteLLM: de documentatie adviseert productie-instanties te schalen op 4 vCPU en 8 GB, waardoor 1 vCPU een krappe omgeving is voor een Python-proxy.

Beide leveranciers publiceren ook hun eigen cijfers. De benchmarkpagina van LiteLLM meldt 1.170 verzoeken per seconde met 8 ms p95 overhead over vier instanties van 4 vCPU. Solo heeft directe benchmarks vergeleken met LiteLLM gepubliceerd die 0,44 ms tegenover 30,6 ms laten zien bij p99 op een vaste 3.000 verzoeken per seconde, met 13 MiB geheugen tegenover 11,7 GiB. Dit zijn door leveranciers uitgevoerde tests tegen mock-backends, dus beschouw ze als een indicatie in plaats van een hard bewijs. Onze eigen cijfers wijzen in dezelfde richting.

Is dit verschil van belang? Voor een chat-app die enkele verzoeken per seconde verwerkt waarschijnlijk niet: een model-call duurt honderden milliseconden, en 10 ms gateway-tijd valt daarin nauwelijks op. Het wordt wel belangrijk wanneer je agents draait die veel calls achter elkaar uitvoeren, of wanneer je betaalt voor de extra instanties die LiteLLM nodig heeft om dezelfde belasting te verwerken.

Prijzen

Beide oplossingen zijn gratis te self-hosten. De open-source-editie van LiteLLM heeft geen gebruikslimiet; je betaalt pas zodra je SSO nodig hebt voor meer dan vijf beheerdergebruikers, SCIM, auditlogs, JWT-authenticatie, guardrails per team of een scheiding tussen admin en workers. LiteLLM Enterprise is een jaarcontract op basis van het volume aan gateway-verzoeken, zonder openbare prijzen, en je kunt direct een proefperiode van 30 dagen starten met een instant-sleutel.

De gratis editie van agentgateway omvat budgetten per sleutel, PII-maskering, JWT-validatie en MCP-autorisatie op een enkele instantie. Solo Enterprise voor agentgateway voegt daar netwerkbrede rate-limits, een budgetbron, een UI voor kostenbeheer, on-behalf-of identiteit, FIPS-builds en ondersteuning aan toe. De prijzen hiervoor gaan eveneens via sales en er is geen self-service proefversie. Onze kostenanalyse van de Solo AI-gateway bevat meer details.

De licentie is bij beide vaak de kleinste kostenpost. Houd bij LiteLLM rekening met de kosten voor beheerde Postgres en Redis en de extra instanties die een Python-proxy op schaal vereist. Houd bij agentgateway rekening met de enterprise-editie zodra je limieten nodig hebt die over instanties heen worden gedeeld.Aandachtspunten om rekening mee te houden

Zet LiteLLM-versies vast en verifieer images. LiteLLM had te maken met twee supply-chain-incidenten in 2026. Op 24 maart bevatten kwaadwillige PyPI-releases 1.82.7 en 1.82.8 een credential-stealer. Op 21 oktober bereikte een gecompromitteerde v1.107.0 gedurende ongeveer twee uur PyPI en Docker Hub, waarbij de images een geldige handtekening droegen. LiteLLM heeft gedetailleerde analyses gepubliceerd, de ondertekeningssleutel vervangen en het releaseproces aangepast, maar het vastzetten van exacte versies is nu een noodzakelijke voorzorgsmaatregel.

Blijf op de hoogte van LiteLLM-patches. Een kritieke SQL-injection (CVE-2026-42208) had betrekking op v1.81.16 tot en met v1.83.6 en werd verholpen in v1.83.7. Houd bij wekelijkse releases rekening met een frequent updateproces. In november 2026 startte LiteLLM tevens een pilot voor langetermijnondersteuning (LTS) op de 1.108-lijn.

Bepaal wie de eigenaar is van de LiteLLM-configuratie. Omdat modellen in de database worden opgeslagen, overschrijven wijzigingen in de beheerders-UI het YAML-bestand, waardoor de actieve gateway kan afwijken van wat in Git staat.

Redis is essentieel voor de correcte werking van LiteLLM, niet alleen voor de snelheid. Zonder Redis dwingt elke instantie zijn eigen rate-limits af in plaats van de centraal ingestelde limiet.

agentgateway voert één retry meer uit dan de documentatie aangeeft. Een retry-instelling van 1 voert twee provider-calls uit, zonder backoff tenzij je deze expliciet toevoegt.

Streams in agentgateway kunnen blijven hangen zonder timeout. Stel responseIdleTimeout in (v1.6.0 en later) op streaming-routes, anders houdt een provider die halverwege de stream blokkeert de verbinding open.

Wanneer kies je voor LiteLLM

• Je wilt caching, routing op basis van kosten of de breedste ondersteuning voor providers zonder ergens voor te betalen.
• Je hebt budgetten en rate-limits nodig die over meerdere instanties heen gelden binnen de gratis tier.
• Je team is vertrouwd met het beheren van Postgres en Redis en het schrijven van Python-plugins.
• Je geeft de voorkeur aan een grote community en een self-service enterprise-proefversie.

Wanneer kies je voor agentgateway

• Latency, geheugengebruik of het aantal instanties zijn van groot belang, bijvoorbeeld bij agents die veel calls uitvoeren.
• Je zoekt een gateway die kan draaien zonder database, bij voorkeur op Kubernetes met de Gateway API.
• Je hebt JWT-validatie en PII-maskering nodig zonder enterprise-licentie.
• Je geeft de voorkeur aan een project dat wordt beheerd door een stichting onder een Apache 2.0-licentie.

Het TrueFoundry-alternatief

Bij beide gateways moet je zelf nog het nodige bouwen. LiteLLM biedt uitgebreide functionaliteiten, maar laat het beheer van Postgres, Redis, patchbeheer en een enterprise-licentie voor SSO en auditlogs aan jou over. agentgateway is slank, maar laat je aan Solo betalen voor alles wat over instanties heen wordt gedeeld, en heeft geen cache. De TrueFoundry AI Gateway draait als beheerde SaaS, als een gateway in je eigen VPC met een door ons gehost control plane, of volledig self-hosted in je VPC, on-premises of in een air-gapped omgeving. Gateway-pods ontvangen configuraties en toegangsregels realtime vanuit het control plane, samen met centraal samengevoegde rate-limit- en budgettellers, waardoor limieten over replica's heen gelden zonder een betaalde upgrade.

Het ontsluit 1.000+ LLM's via één OpenAI-compatibele API, routeert naar self-hosted modellen vanuit hetzelfde control plane, en beheert LLM-, MCP- en agent-verkeer met toegangsbeheer op tool-niveau en menselijke goedkeuring voor destructieve tool-calls. Budgetten kunnen worden ingesteld per team, model of provider-account, en SSO, RBAC en audit-logging zijn standaard ingebouwd. Als je open-source gateways vergelijkt omdat je zowel kostenbeheersing als agent-governance nodig hebt, bekijk dan hoe de TrueFoundry AI Gateway beide verwerkt of plan een demo.

Gerelateerde artikelen

• agentgateway (voorheen Gloo AI Gateway): een eerlijke review
• LiteLLM-alternatieven
• Solo AI gateway prijzen: een compleet overzicht
• Solo.io concurrenten en alternatieven
• Beste MCP-gateways
• Wat is een LLM-gateway?

Conclusie

De keuze tussen LiteLLM en agentgateway komt neer op wat je het zwaarst laat wegen: breedte of efficiëntie. LiteLLM biedt gratis de meeste functionaliteiten, waaronder caching en gedeelde limieten, ten koste van een zwaardere infrastructuur en een intensief patch-schema. agentgateway biedt een snelle, compacte gateway met sterke beheerfuncties voor agents en MCP, maar stelt voor alles wat over instanties heen wordt gedeeld een betaalde licentie verplicht. Wil je beide voordelen benutten zonder dit zelf te hoeven beheren, plan dan een TrueFoundry-demo.