Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Agent Gateway vs. LLM Gateway: Wat is het verschil?

DoorAshish Dubey

Bijgewerkt: november 20, 2026

Gepubliceerd: november 9, 2026

TL;DR
  • Ze beheren verschillende eenheden. Een LLM gateway beheert een enkele, stateloze modelaanvraag. Een agent gateway beheert het multi-hop, statusvolle pad dat een aanvraag aflegt zodra een agent tools begint aan te roepen.
  • De LLM gateway regelt de modelaanroep: routing, caching, budgetten, prompt- en respons-guardrails, en observability van tokens en kosten.
  • De agent gateway regelt wat de agent doet: agent-identiteit, delegatie per hop, OAuth2 en RBAC bij elke tool-aanroep, toel-niveau toegangscontrole en guardrails, retries en timeouts, en een audit trail van elke tool-actie.
  • U hebt beide nodig. De LLM gateway beveiligt wat het model ziet; de agent gateway beveiligt wat de agent doet. Geen van beide is een vervanging voor de ander.
  • In TrueFoundry zijn ze één platform — de AI Gateway voor modelverkeer, de MCP en Agent Gateway voor tool-verkeer — zodat identiteit, beleid en observability consistent blijven over beide.

“Agent gateway” en “LLM gateway” worden vaak gebruikt alsof ze hetzelfde product zijn. Dat zijn ze niet. Ze lossen twee helften van één probleem op. Een LLM gateway staat voor uw modellen en beheert de uitwisseling met een model: welk model antwoordt, wat het kost, en wat er in de prompt en de respons staat. Een agent gateway staat voor uw tools en beheert wat een agent doet zodra deze zelfstandig begint te handelen: welke tools hij mag aanroepen, namens wie, met welke bevoegdheid, en wat er in het logboek achterblijft.

Voor een eenvoudige “prompt in, tekst uit”-applicatie is de eerste gateway alles wat u nodig hebt. Het moment dat uw applicatie tools begint aan te roepen, documenten ophaalt en sub-agents aan elkaar koppelt, ontstaat er een tweede probleem waar de eerste gateway niets over te zeggen heeft — en dat is het probleem waarvoor een agent gateway bestaat.

De eenheid die elk beheert

De eenvoudigste manier om deze uit elkaar te houden is te vragen wat elk omsluit. Een LLM gateway omsluit een aanvraag: één aanroep naar een model, stateloos, die eindigt wanneer de respons terugkomt. Een agent gateway omsluit een aanroep-pad: de keten van hops die begint met één menselijke aanvraag en zich vertakt in model-aanroepen, tool-aanroepen en sub-agent-aanroepen, elk mogelijk in eigendom van een ander team of een andere leverancier.

A single model request versus a multi-hop agentic call path
Een enkele modelaanvraag versus een multi-hop agentic aanroep-pad

Dat verschil bepaalt al het andere. Een stateloze aanvraag wordt beheerd door regels over de aanvraag zelf — kosten, model, prompt-inhoud. Een multi-hop aanroep-pad wordt beheerd door regels over identiteit en autoriteit die bij elke hop moeten gelden: voor wie deze aanroep is, welke agent hem doet, en wat die agent mag doen. Bij de derde hop van een agent-keten geeft geen van die vragen uit zichzelf antwoord.

Het beheren van agent tool-aanroepen en model-aanroepen vanaf één plek is de essentie.

Wat een LLM gateway beheert

De LLM gateway is het volwassen deel, en de meeste teams voeren dit als eerste in. Het bevindt zich in het pad van elke model-aanroep en beheert de aanvraag: het routet een logische modelnaam naar een echte provider, balanceert de belasting en vangt storingen op tussen providers, meent herhaalde antwoorden op in de cache, dwingt budgetten en rate limits per team af, voert guardrails uit op de prompt en de respons, en registreert tokens, kosten, latentie en fouten voor elke aanroep. (We behandelen deze mechanica diepgaand in ons artikel over hoe AI-gateways kosten verlagen en betrouwbaarheid verbeteren.)

Alles wat het doet is afgestemd op de model-aanvraag. Het is daar uitstekend in, maar blind voor wat er gebeurt nadat het model een tool-aanroep retourneert die uw agent moet uitvoeren. Die volgende stap — de agent die daadwerkelijk iets doet — valt buiten zijn beheer-eenheid.

Wat een agent gateway beheert

Een agent gateway beheert het aanroep-pad, en zijn centrale taak is identiteit. Elk toegangscontrolesysteem dat u al gebruikt, gaat ervan uit dat er een gebruiker achter elke aanvraag zit, dat de aanroeper die gebruiker is, en dat de reikwijdte van de aanroep is waar de gebruiker toestemming voor heeft gegeven. Een agent die een sub-agent aanroept die een tool aanroept, verbreekt al deze drie veronderstellingen in stilte — niets geeft een foutmelding, en u komt er pas achter tijdens een audit.

Een agent gateway behandelt een agent daarom als een derde type principal — niet een gebruiker, niet een gedeeld service-account, maar een geregistreerde agent met een eigen verifieerbare identiteit.

User versus service account versus agent identity
Gebruiker versus service-account versus agent-identiteit

Op die basis dwingt het bij elke hop het volgende af: delegatie per hop (elke hop presenteert zijn eigen identiteit plus het bewijs van de ontvangen delegatie en krijgt een nieuw token dat specifiek is afgestemd op precies die aangeroepene, voor precies die gebruiker, voor die hop — delegatie, geen impersonatie); OAuth2, RBAC en metadata-beleid bij elke tool-aanroep; toegangscontrole op tool-niveau, zodat elke agent alleen de tools kan bereiken waarvoor hij is geregistreerd; pre- en post-tool guardrails die tool-argumenten en tool-resultaten inspecteren op PII, injecties en onveilige acties; retries, timeouts en fallbacks op tool-stappen zodat een vastgelopen tool of een oneindige lus wordt ingeperkt; en een audit trail van elke door een agent geïnitieerde tool-actie. Omdat handhaving en logging op hetzelfde punt plaatsvinden, is de auditlog een bijproduct in plaats van een afzonderlijk project.

Tool-level access control in the TrueFoundry gateway
Inschakelen, uitschakelen en bereik instellen van individuele tools op een geregistreerde MCP-server. Bron: TrueFoundry docs.
Approval policy for high-risk tool actions
Een goedkeuringsbeleid dat risicovolle tool-aanroepen tegenhoudt voordat ze worden uitgevoerd. Bron: TrueFoundry docs.

Waarom agents het LLM-gatewaymodel breken

Als u probeert agents te beheren met alleen een LLM gateway, doen zich vier problemen voor, en geen daarvan heeft te maken met het model.

Four failures an LLM gateway alone cannot catch
TypVier problemen die een LLM gateway alleen niet kan opvangene image caption hier (optioneel)

Schaduw-agents. Een team levert een CrewAI-agent op die Salesforce bevraagt met een gedeelde sleutel. Het werkt, en geen enkel centraal systeem weet dat het bestaat — dus het kan niet worden ontdekt, geauditeerd, in snelheid worden beperkt of worden uitgeschakeld. Niet-toewijsbare acties. Wanneer een agent het token van de gebruiker doorstuurt, tonen downstream logs alleen “Jane”; wanneer het een gedeeld service-account gebruikt, tonen ze alleen “de service.” Na een incident is “de retrieval agent heeft die gegevens blootgesteld” aan geen van beide kanten te bewijzen. Aaneengeschakelde autoriteit die niemand heeft goedgekeurd. Drie individueel redelijke agents — maak een leverancier aan, lees de bankgegevens, koppel een betaling — schakelen aaneen tot een end-to-end betalingspad waar geen beoordelaar toestemming voor heeft gegeven. De confused deputy. Een agent met brede toegang neemt instructies over uit inhoud die hij heeft gelezen, en een prompt-injectie in een Jira-ticket wordt een echte Salesforce-schrijfketen, omdat het token van de agent het verschil niet kan zien tussen “wat Jane heeft gevraagd” en “wat er in het ticket stond.” Een LLM gateway ziet hier niets van, omdat niets hiervan een model-aanvraag is.

Naast elkaar

LLM gateway versus agent gateway, compared across what they govern
LLM gateway versus agent gateway, vergeleken op basis van wat ze beheren

De korte versie: de LLM gateway beveiligt het gesprek met het model; de agent gateway beveiligt het gedrag van de agent in uw systemen. Een guardrail die PII uit een prompt verwijdert, doet niets tegen een agent die een betalings-tool aanroept waarvoor hij nooit geautoriseerd was — en vice versa.

Hoe ze samenkomen in TrueFoundry

Het zijn geen concurrerende producten; het zijn twee lagen van één platform. De AI Gateway van TrueFoundry beheert modelverkeer, en de MCP Gateway beheert tool-verkeer — waardoor agents en MCP-clients één aansluitpunt krijgen waar authenticatie, toegangscontrole en observability op één plek worden toegepast. Agents en IDE-clients maken verbinding met een uniform eindpunt; de gateway verzorgt autorisatie (OAuth 2LO en 3LO), slimme tool-selectie, guardrails en een volledige audit trail, en routet elke aanroep naar de juiste geregistreerde MCP-server.

The MCP Gateway architecture in TrueFoundry
MCP-clients maken verbinding via één gateway; de control plane bevat het register en tokenbeheer. Bron: TrueFoundry docs.

Omdat beide lagen identiteit, beleid en observability delen, wordt een enkele aanvraag die een model aanroept en vervolgens drie tools aanroept van begin tot eind beheerd — kosten en prompt-veiligheid aan de modelzijde, identiteit en tool-autoriteit aan de agentzijde — en verschijnt als één samenhangende trace.

MCP tool metrics in the TrueFoundry gateway
Aanvraagsnelheden per tool, latentie en fouten naast modelmetrieken. Bron: TrueFoundry docs.
Plaats modelbeheer en agent-beheer op één platform.

Waar teams de fout in gaan

Ze nemen aan dat een LLM gateway agents dekt. Het beheert de model-aanroep, niet de tool-aanroep. Het moment dat agents handelen, hebt u een tweede, onopgelost beheersprobleem.

Ze modelleren agents als gebruikers of services. Het doorsturen van het token van de gebruiker vernietigt toewijsbaarheid en geeft de agent te veel rechten; een gedeeld service-account geeft elke gebruiker de som van zijn machtigingen. Een agent heeft een eigen identiteit nodig.

Ze loggen op app-niveau, niet bij de hop. Logging aan de applicatiezijde mist weigeringen en hops tussen leveranciers. Handhaving bij de gateway maakt de audit trail per definitie compleet.

Ze slaan de inventarisatiestap over. U kunt niet beheren wat u niet kunt inventariseren. Zorg dat toegangsrechten tot tools afhankelijk zijn van registratie en u krijgt een organisatiebrede agent-inventarisatie als bijproduct.

Gerelateerde artikelen

Conclusie

De twee termen zijn geen synoniemen en geen concurrenten. Een LLM gateway beheert de aanvraag naar een model; een agent gateway beheert het pad dat een agent aflegt door uw tools en systemen. De eerste gaat over kosten, betrouwbaarheid en prompt-veiligheid bij een stateloze aanroep. De tweede gaat over identiteit, autoriteit en toewijzing over een statusvolle keten — het probleem dat verschijnt zodra uw software stopt met praten en begint met handelen.

Gebruik de LLM gateway voor uw modelverkeer, voeg de agent gateway toe wanneer uw agents tools beginnen aan te roepen, en houd ze op één platform zodat een enkele aanvraag van begin tot eind wordt beheerd in plaats van in twee losgekoppelde helften.

Beheer modellen en agents vanaf één control plane

Probeer het nu.

Eén gateway voor al je modellen, MCP-servers en agents. Geen creditcard nodig.

Start gratis
Inhoudsopgave

Eén gateway voor elk LLM, elke agent en elke MCP-server

Boek een gesprek van 30 minuten met onze AI-expert

Demo aanvragen

De snelste manier om je AI te bouwen, beheren en schalen

Demo boeken
Samenvatten met
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Ontdek meer

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Bifrost AI Gateway Review: Performance Benchmarked op 1 vCPU

Geen items gevonden.
november 20, 2026
|
5 min leestijd

OpenRouter rate limits: je gratis tier hangt af van wat je al hebt betaald

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Agent-sandboxes uitgelegd: Waarom TrueForge de sandbox als een tool behandelt

Geen items gevonden.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
november 20, 2026
|
5 min leestijd

Bifrost vs Portkey: prijzen, gateway-functies en geschiktheid voor enterprise vergeleken

Geen items gevonden.
Geen items gevonden.

Recente blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Veelgestelde vragen

Wat is het verschil tussen een agent gateway en een LLM gateway?

Een LLM gateway regelt een enkel, stateless modelverzoek - routering, caching, budgetten, prompt- en response-guardrails, en kostenobservability. Een agent gateway regelt het multi-hop-aanroeppad dat een agent over tools heen aflegt - agent-identiteit, delegatie per hop, tool-niveau toegangscontrole en guardrails, en een audit van elke tool-actie. De ene beveiligt de modelaanroep; de andere beveiligt wat de agent doet.

Heb ik beide nodig?

Als uw applicatie alleen prompts verstuurt en tekst terugkrijgt, volstaat een LLM Gateway. Zodra het tools aanroept, documenten ophaalt, of subagents aan elkaar schakelt, heeft u ook een Agent Gateway nodig - de LLM Gateway heeft geen zicht op tool-aanroepen.

Is een Agent Gateway hetzelfde als een MCP Gateway?

Ze zijn nauw verwant. De MCP Gateway is de toolgerichte laag - een register van MCP-servers met OAuth, toegangscontrole op toolniveau, guardrails, en audit. De Agent Gateway reguleert de agents die deze tools aanroepen, en dwingt identiteit en delegatie af over het hele aanroeppad heen.

Hoe handelt een Agent Gateway identiteit af over meerdere stappen heen?

Via tokenuitwisseling: in plaats van de inkomende token door te sturen, presenteert elke stap zijn eigen identiteit plus bewijs van de delegatie die deze heeft ontvangen, en krijgt een nieuwe token die exact is afgebakend voor die callee, voor die gebruiker, voor die stap. De stroomafwaartse token is nutteloos voor elke andere callee en verloopt snel.

Kan ik beide in mijn eigen omgeving draaien?

Ja. De gateway van TrueFoundry implementeert als SaaS, in uw VPC, on-prem, of air-gapped, zodat model- en toolverkeer volledig binnen uw netwerk kan blijven.

Volg een korte producttour
Start producttour
Product Tour