Agent Gateway vs. LLM Gateway: Wat is het verschil?
.png)
Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
“Agent gateway” en “LLM gateway” worden vaak gebruikt alsof ze hetzelfde product zijn. Dat zijn ze niet. Ze lossen twee helften van één probleem op. Een LLM gateway staat voor uw modellen en beheert de uitwisseling met een model: welk model antwoordt, wat het kost, en wat er in de prompt en de respons staat. Een agent gateway staat voor uw tools en beheert wat een agent doet zodra deze zelfstandig begint te handelen: welke tools hij mag aanroepen, namens wie, met welke bevoegdheid, en wat er in het logboek achterblijft.
Voor een eenvoudige “prompt in, tekst uit”-applicatie is de eerste gateway alles wat u nodig hebt. Het moment dat uw applicatie tools begint aan te roepen, documenten ophaalt en sub-agents aan elkaar koppelt, ontstaat er een tweede probleem waar de eerste gateway niets over te zeggen heeft — en dat is het probleem waarvoor een agent gateway bestaat.
De eenheid die elk beheert
De eenvoudigste manier om deze uit elkaar te houden is te vragen wat elk omsluit. Een LLM gateway omsluit een aanvraag: één aanroep naar een model, stateloos, die eindigt wanneer de respons terugkomt. Een agent gateway omsluit een aanroep-pad: de keten van hops die begint met één menselijke aanvraag en zich vertakt in model-aanroepen, tool-aanroepen en sub-agent-aanroepen, elk mogelijk in eigendom van een ander team of een andere leverancier.

Dat verschil bepaalt al het andere. Een stateloze aanvraag wordt beheerd door regels over de aanvraag zelf — kosten, model, prompt-inhoud. Een multi-hop aanroep-pad wordt beheerd door regels over identiteit en autoriteit die bij elke hop moeten gelden: voor wie deze aanroep is, welke agent hem doet, en wat die agent mag doen. Bij de derde hop van een agent-keten geeft geen van die vragen uit zichzelf antwoord.
Wat een LLM gateway beheert
De LLM gateway is het volwassen deel, en de meeste teams voeren dit als eerste in. Het bevindt zich in het pad van elke model-aanroep en beheert de aanvraag: het routet een logische modelnaam naar een echte provider, balanceert de belasting en vangt storingen op tussen providers, meent herhaalde antwoorden op in de cache, dwingt budgetten en rate limits per team af, voert guardrails uit op de prompt en de respons, en registreert tokens, kosten, latentie en fouten voor elke aanroep. (We behandelen deze mechanica diepgaand in ons artikel over hoe AI-gateways kosten verlagen en betrouwbaarheid verbeteren.)
Alles wat het doet is afgestemd op de model-aanvraag. Het is daar uitstekend in, maar blind voor wat er gebeurt nadat het model een tool-aanroep retourneert die uw agent moet uitvoeren. Die volgende stap — de agent die daadwerkelijk iets doet — valt buiten zijn beheer-eenheid.
Wat een agent gateway beheert
Een agent gateway beheert het aanroep-pad, en zijn centrale taak is identiteit. Elk toegangscontrolesysteem dat u al gebruikt, gaat ervan uit dat er een gebruiker achter elke aanvraag zit, dat de aanroeper die gebruiker is, en dat de reikwijdte van de aanroep is waar de gebruiker toestemming voor heeft gegeven. Een agent die een sub-agent aanroept die een tool aanroept, verbreekt al deze drie veronderstellingen in stilte — niets geeft een foutmelding, en u komt er pas achter tijdens een audit.
Een agent gateway behandelt een agent daarom als een derde type principal — niet een gebruiker, niet een gedeeld service-account, maar een geregistreerde agent met een eigen verifieerbare identiteit.

Op die basis dwingt het bij elke hop het volgende af: delegatie per hop (elke hop presenteert zijn eigen identiteit plus het bewijs van de ontvangen delegatie en krijgt een nieuw token dat specifiek is afgestemd op precies die aangeroepene, voor precies die gebruiker, voor die hop — delegatie, geen impersonatie); OAuth2, RBAC en metadata-beleid bij elke tool-aanroep; toegangscontrole op tool-niveau, zodat elke agent alleen de tools kan bereiken waarvoor hij is geregistreerd; pre- en post-tool guardrails die tool-argumenten en tool-resultaten inspecteren op PII, injecties en onveilige acties; retries, timeouts en fallbacks op tool-stappen zodat een vastgelopen tool of een oneindige lus wordt ingeperkt; en een audit trail van elke door een agent geïnitieerde tool-actie. Omdat handhaving en logging op hetzelfde punt plaatsvinden, is de auditlog een bijproduct in plaats van een afzonderlijk project.


Waarom agents het LLM-gatewaymodel breken
Als u probeert agents te beheren met alleen een LLM gateway, doen zich vier problemen voor, en geen daarvan heeft te maken met het model.

Schaduw-agents. Een team levert een CrewAI-agent op die Salesforce bevraagt met een gedeelde sleutel. Het werkt, en geen enkel centraal systeem weet dat het bestaat — dus het kan niet worden ontdekt, geauditeerd, in snelheid worden beperkt of worden uitgeschakeld. Niet-toewijsbare acties. Wanneer een agent het token van de gebruiker doorstuurt, tonen downstream logs alleen “Jane”; wanneer het een gedeeld service-account gebruikt, tonen ze alleen “de service.” Na een incident is “de retrieval agent heeft die gegevens blootgesteld” aan geen van beide kanten te bewijzen. Aaneengeschakelde autoriteit die niemand heeft goedgekeurd. Drie individueel redelijke agents — maak een leverancier aan, lees de bankgegevens, koppel een betaling — schakelen aaneen tot een end-to-end betalingspad waar geen beoordelaar toestemming voor heeft gegeven. De confused deputy. Een agent met brede toegang neemt instructies over uit inhoud die hij heeft gelezen, en een prompt-injectie in een Jira-ticket wordt een echte Salesforce-schrijfketen, omdat het token van de agent het verschil niet kan zien tussen “wat Jane heeft gevraagd” en “wat er in het ticket stond.” Een LLM gateway ziet hier niets van, omdat niets hiervan een model-aanvraag is.
Naast elkaar

De korte versie: de LLM gateway beveiligt het gesprek met het model; de agent gateway beveiligt het gedrag van de agent in uw systemen. Een guardrail die PII uit een prompt verwijdert, doet niets tegen een agent die een betalings-tool aanroept waarvoor hij nooit geautoriseerd was — en vice versa.
Hoe ze samenkomen in TrueFoundry
Het zijn geen concurrerende producten; het zijn twee lagen van één platform. De AI Gateway van TrueFoundry beheert modelverkeer, en de MCP Gateway beheert tool-verkeer — waardoor agents en MCP-clients één aansluitpunt krijgen waar authenticatie, toegangscontrole en observability op één plek worden toegepast. Agents en IDE-clients maken verbinding met een uniform eindpunt; de gateway verzorgt autorisatie (OAuth 2LO en 3LO), slimme tool-selectie, guardrails en een volledige audit trail, en routet elke aanroep naar de juiste geregistreerde MCP-server.

Omdat beide lagen identiteit, beleid en observability delen, wordt een enkele aanvraag die een model aanroept en vervolgens drie tools aanroept van begin tot eind beheerd — kosten en prompt-veiligheid aan de modelzijde, identiteit en tool-autoriteit aan de agentzijde — en verschijnt als één samenhangende trace.

Waar teams de fout in gaan
Ze nemen aan dat een LLM gateway agents dekt. Het beheert de model-aanroep, niet de tool-aanroep. Het moment dat agents handelen, hebt u een tweede, onopgelost beheersprobleem.
Ze modelleren agents als gebruikers of services. Het doorsturen van het token van de gebruiker vernietigt toewijsbaarheid en geeft de agent te veel rechten; een gedeeld service-account geeft elke gebruiker de som van zijn machtigingen. Een agent heeft een eigen identiteit nodig.
Ze loggen op app-niveau, niet bij de hop. Logging aan de applicatiezijde mist weigeringen en hops tussen leveranciers. Handhaving bij de gateway maakt de audit trail per definitie compleet.
Ze slaan de inventarisatiestap over. U kunt niet beheren wat u niet kunt inventariseren. Zorg dat toegangsrechten tot tools afhankelijk zijn van registratie en u krijgt een organisatiebrede agent-inventarisatie als bijproduct.
Gerelateerde artikelen
- Wat is een MCP gateway?
- Introductie van de Agent Gateway
- MCP gateway vs. proxy vs. router
- AI gateway vs. API gateway
- Beste agent gateways
Conclusie
De twee termen zijn geen synoniemen en geen concurrenten. Een LLM gateway beheert de aanvraag naar een model; een agent gateway beheert het pad dat een agent aflegt door uw tools en systemen. De eerste gaat over kosten, betrouwbaarheid en prompt-veiligheid bij een stateloze aanroep. De tweede gaat over identiteit, autoriteit en toewijzing over een statusvolle keten — het probleem dat verschijnt zodra uw software stopt met praten en begint met handelen.
Gebruik de LLM gateway voor uw modelverkeer, voeg de agent gateway toe wanneer uw agents tools beginnen aan te roepen, en houd ze op één platform zodat een enkele aanvraag van begin tot eind wordt beheerd in plaats van in twee losgekoppelde helften.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.



Eén gateway voor elk LLM, elke agent en elke MCP-server
Recente blogs
Veelgestelde vragen
Wat is het verschil tussen een agent gateway en een LLM gateway?
Een LLM gateway regelt een enkel, stateless modelverzoek - routering, caching, budgetten, prompt- en response-guardrails, en kostenobservability. Een agent gateway regelt het multi-hop-aanroeppad dat een agent over tools heen aflegt - agent-identiteit, delegatie per hop, tool-niveau toegangscontrole en guardrails, en een audit van elke tool-actie. De ene beveiligt de modelaanroep; de andere beveiligt wat de agent doet.
Heb ik beide nodig?
Als uw applicatie alleen prompts verstuurt en tekst terugkrijgt, volstaat een LLM Gateway. Zodra het tools aanroept, documenten ophaalt, of subagents aan elkaar schakelt, heeft u ook een Agent Gateway nodig - de LLM Gateway heeft geen zicht op tool-aanroepen.
Is een Agent Gateway hetzelfde als een MCP Gateway?
Ze zijn nauw verwant. De MCP Gateway is de toolgerichte laag - een register van MCP-servers met OAuth, toegangscontrole op toolniveau, guardrails, en audit. De Agent Gateway reguleert de agents die deze tools aanroepen, en dwingt identiteit en delegatie af over het hele aanroeppad heen.
Hoe handelt een Agent Gateway identiteit af over meerdere stappen heen?
Via tokenuitwisseling: in plaats van de inkomende token door te sturen, presenteert elke stap zijn eigen identiteit plus bewijs van de delegatie die deze heeft ontvangen, en krijgt een nieuwe token die exact is afgebakend voor die callee, voor die gebruiker, voor die stap. De stroomafwaartse token is nutteloos voor elke andere callee en verloopt snel.
Kan ik beide in mijn eigen omgeving draaien?
Ja. De gateway van TrueFoundry implementeert als SaaS, in uw VPC, on-prem, of air-gapped, zodat model- en toolverkeer volledig binnen uw netwerk kan blijven.












.webp)

.webp)
.webp)


.webp)
.webp)


.webp)







