Envoy AI Gateway (Nu Agent Router): Een Eerlijke Review

De naamsverandering, in één alinea

Als je hebt gezocht op “Envoy AI Gateway” en hier bent beland: je bent op de juiste plek en het product bestaat nog steeds. Het heet nu Agent Router, is te vinden op theagentrouter.ai en is een zelfstandig project binnen de Agentic AI Foundation (a Series of LF Projects, LLC) in plaats van een Envoy sub-project onder de CNCF. De aankondiging is van 9 september 2026; de verhuizing ging de volgende dag in.

Er is technisch niets kapotgegaan. De namespace is nog steeds envoy-ai-gateway-system, de API-groep aigateway.envoyproxy.io, de CLI nog steeds aigw, en de licentie blijft Apache 2.0. Manifesten in je repository blijven gewoon werken. Wat is veranderd, is de organisatievorm, het documentatiedomein, het repo-pad en de naam. Vanaf hier gebruiken we “Agent Router”.

Wat Agent Router daadwerkelijk is

Agent Router is een aanvullende laag op Envoy Gateway — geen fork — die Envoy leert hoe het met LLM's moet communiceren. De eigen omschrijving is de duidelijkste samenvatting in deze categorie: “Agent Router configures. Envoy handles the traffic.”

Maintainers zijn afkomstig van Tetrate, Bloomberg, Tencent, Netflix, AMD en Nutanix, volgens de 1.0-aankondiging. Tetrate is de commerciële drijfveer die zowel een gehoste dienst als een zelfbeheerd enterprise-product bovenop het project aanbiedt. Er is een wekelijkse community-meeting, openbare ontwerppoorstellen en een Discord.

Versiegeschiedenis

Ongeveer één minor release per kwartaal — een gezond tempo. v1.0 bevat het krachtigste statement uit de documentatie van het project:

“We zullen de API's nooit breken, tenzij er sprake is van een kritiek beveiligingsprobleem, en we zullen in de release notes altijd een migratiepad bieden als het ooit moet.”

Dat is een serieuze, schriftelijke toezegging, wat meer is dan de meeste commerciële gateway-leveranciers op papier durven te zetten.

Architectuur

Agent Router is duidelijk opgesplitst in een control plane en een data plane.

Control plane. De Kubernetes API Server dient als de configuratie-interface. De AI Gateway Controller beheert AI-specifieke resources en configureert de External Processor, waarbij xDS wordt fijnegestemd via het extension server-mechanisme van Envoy Gateway; de Envoy Gateway Controller beheert de core proxy-configuratie.

Data plane. Envoy Proxy, een External Processor (ext-proc) die AI-specifieke transformatie en validatie uitvoert, en een Rate Limit Service voor op tokens gebaseerde beperkingen. De MCP gateway is een lichtgewicht proxy binnen de Agent Router sidecar.

Vijf CRD's, allemaal beschikbaar op v1beta1 en gedekt door de stabiliteitsgarantie van v1.0: AIGatewayRoute (routeert LLM-verkeer en selecteert backends), AIServiceBackend (declareert een upstream provider of zelfgehost model), BackendSecurityPolicy (centraliseert upstream credentials), GatewayConfig (configuratie op gateway-niveau) en MCPRoute (MCP-multiplexing, tool-filtering, autorisatie).

Configuratie bestaat uit YAML die wordt toegepast via kubectl. Gedocumenteerde veldnamen geven een goed beeld van de structuur — modelNameOverride op een backend voor modelvirtualisatie, credentialOverride voor per-request upstream credentials, streamIdleTimeout voor begrensde streaming-wachttijden, en op een MCPRoute:

Je beheert daarnaast ook een versiematrix. De basislijn van v1.1.0 is Go 1.26.4, Envoy Gateway v1.8.1, Envoy Proxy v1.38.1, Gateway API v1.5.1, Inference Extension v1.0.2 en MCP Go SDK v1.7.0. Upgrades van Envoy Gateway worden daardoor jouw afhankelijkheid.

[SCREENSHOT: Agent Router — docs site architecture diagram showing control plane (AI Gateway Controller + Envoy Gateway Controller) and data plane (Envoy Proxy + External Processor + Rate Limit Service)]

Overzicht van functies (zoals gedocumenteerd)

Providers — 16 direct vanuit de box: OpenAI, Azure OpenAI, Gemini, Vertex AI, Bedrock, Anthropic, Mistral, Cohere, Groq, Together AI, DeepInfra, DeepSeek, Hunyuan, SambaNova, Grok en Tetrate Agent Router Service. Zelfgehoste vLLM en Ollama zijn bereikbaar via de CLI.

Geünificeerde API. OpenAI-compatibel: chat, completions, embeddings, afbeeldingengeneratie, audio en de Responses API, plus Anthropic-native /anthropic/v1/messages. Vertaling tussen providers onderling verwerkt gevallen zoals Anthropic Messages naar Bedrock Converse.

Verkeersafhandeling. Token-aware rate limiting. QuotaPolicy voor tokenbudgetten over tijdsintervallen. Provider-fallback en automatische failover. Modelnaamvirtualisatie via modelNameOverride, waardoor het wisselen van provider een configuratiewijziging is in plaats van een codewijziging. Mutaties van headers en body. In v1.1: streamIdleTimeout met failover — als deze afgaat vóór het eerste token, schakelt een retry over naar de volgende backend.

Inference routing en credentials. Ondersteuning voor InferencePool en Endpoint Picker via zowel HTTPRoute + InferencePool als AIGatewayRoute + InferencePool — erg nuttig als je je eigen GPU's draait. BackendSecurityPolicy centraliseert upstream authenticatie: API-sleutels, AWS SigV4, Azure en GCP cloud-native identiteiten inclusief Workload Identity en GKE ADC.

MCP-ondersteuning is omvangrijk. Server-multiplexing achter één eindpunt met tools die automatisch worden voorzien van een backend-prefix (github__issue_read), tool-filtering, OAuth met PKCE volgens de MCP-autorisatiespecificatie, en streamable HTTP met Last-Event-ID herverbinding. De absolute uitblinker is fijnmazige autorisatie via CEL op basis van JWT-claims en MCP-context — request.mcp.method, request.mcp.tool, request.mcp.params, request.auth.jwt — waarbij tools/list alleen teruggeeft wat de aanroeper mag gebruiken. Weinig projecten evenaren die diepgang.

Observability. Prometheus-metrics die de OpenTelemetry GenAI-semantische conventies volgen, met afzonderlijke verantwoording voor reasoning-tokens. OTel-tracing met OpenInference-compatibiliteit. Access logs die AI-metadata bevatten. v1.1 voegt gen_ai.* span-attributen toe en bevat een voorbeeld-Grafana-dashboard in de repository.

Guardrails zijn geen standaardfunctie. Er is geen pagina voor guardrails in de documentatie; de Security-pagina bestaat grotendeels uit links naar de beveiligingsdocumentatie van Envoy Gateway zelf. Tetrate's vergelijking vermeldt de OSS-rij als "guardrail hooks", terwijl daadwerkelijke AI-guardrails als enterprise-product worden aangeboden.

De echte sterke punten

Een serieus project verdient een serieuze uitleg van de pluspunten.

Het data plane is Envoy. Geen nieuwe proxy geschreven in Python of Node — maar de proxy die al productieverkeer verwerkt op enorme schaal. Het operationele risico op het data plane is daardoor vrijwel minimaal.

De stabiliteitsgarantie is zeldzaam. Een gegarandeerd stabiele v1beta1 control-plane API met een schriftelijke belofte en een migratiepad-toezegging is beter dan wat de meeste commerciële leveranciers bieden.

Onderhoud door meerdere bedrijven. Tetrate, Bloomberg, Netflix, AMD, Nutanix en Tencent leveren allemaal maintainers. Het is geen project van één leverancier met een OSS-label; de busfactor biedt daadwerkelijke bescherming.

Geen afgeslankte community-versie. Tetrate zegt het klip-en-klaar: “No proprietary data plane, no crippled community build, nothing held out of the project so we can sell it back.” De enterprise-meerwaarde zit in fleet management en niet in afgeschermde data-plane functies — een eerlijke opzet van dit open-core model. Het project is bovendien overal standards-native (Gateway API, Inference Extension, OTel GenAI-conventies, OpenInference, MCP), waardoor er nauwelijks propriëtaire code is waarin je vast kunt komen te zitten.

Het is echt eenvoudig uit te proberen. Eén commando, geen Kubernetes, geen Docker, op Linux of macOS:

OPENAI_API_KEY=sk-... aigw run

Dat geeft direct een OpenAI-compatibele router op localhost:1975. Weinig open source AI gateway-projecten zetten zo snel een werkend eindpunt neer.

Bekende gebruikers. De homepage vermeldt Alan door Comma Soft, Bloomberg, LY Corporation, National Research Platform, Nutanix, Paper Compute Co., Simplifai, Stacklok, Tencent Cloud, Tetrate en Unwrap, en de 1.0-blogpost bedankt de eerste drie met name. We hebben geen formele casestudies met meetbare resultaten gevonden — logo's en een bedanklijst zijn immers geen casestudies —, maar er zijn drie commerciële producten op gebouwd (Tetrate Agent Router Service en Enterprise, Nutanix Agent Gateway), wat een goed bewijs is van productie-waardige code.

[SCREENSHOT: Agent Router — homepage adopters row with the eleven published company logos]

Waar teams tegen problemen aanlopen

Dit is geen kritiek op de code zelf. Het is een inventarisatie van wat het open-source project niet bevat, onderbouwd door het ontbreken ervan in de documentatie of de aanwezigheid ervan op de betaalde vergelijkingstabel van Tetrate (gecontroleerd op 25 september 2026).

1. Er is geen gebruikersinterface (UI). De navigatie van de documentatie bevat geen admin-consolepagina. Elk nieuw model, elke sleutelrotatie en elke quota-wijziging is een Kubernetes-manifest via je GitOps-pipeline; Tetrate verkoopt "The Management Console" als een enterprise-component. Prima voor een platformteam. Maar voor de twaalf applicatieteams die op donderdag een nieuw model willen testen, betekent dit een ticket insturen.

2. Geen platform-RBAC of SSO voor gateway-beheer. Kubernetes-RBAC op de CRD's is geen rolgebaseerde toegang tot modellen, MCP-servers en teams. Authenticatie van requests op het data plane (JWT, OIDC) komt vanuit Envoy Gateway, maar dat betreft authenticatie van de aanroeper, niet het beheer van de toegang voor beheerders. Tetrate vermeldt SSO met Okta/Entra/OIDC/SAML en gecompartimenteerde consoles als enterprise-functies.

3. Kostentoewijzing bestaat uit metrics, niet uit chargeback. Token-metrics komen terecht in Prometheus. Het omzetten daarvan naar uitgaven per team met een prijscatalogus, showback en chargeback moet je zelf bouwen, inclusief het up-to-date houden van die catalogus. Tetrate is daar eerlijk over: bij een mix van zelfgehoste GPU's en API's op basis van tokens geldt: “Attribution has to normalize both or the number you hand finance is fiction.”

4. Budgetten zijn per gateway, niet fleet-wide. QuotaPolicy biedt tokenbudgetten over tijdsintervallen, maar Tetrate's vergelijking merkt het OSS-gedrag op als "per gateway". Als je gateways in drie regio's draait, kan een agent die in de ene regio wordt geweigerd, in de andere wel slagen.

5. Geen logging van prompts of antwoorden. Access logs bevatten modelnamen en aantallen tokens; er is geen gedocumenteerde functionaliteit voor het opslaan, bewaren, doorzoeken of herhalen van prompts en completions. v0.6 voegde redactie van de body toe — de koers is gericht op het verwijderen van gegevens uit de body, niet op het opslaan ervan.

6. Geen human-in-the-loop goedkeuringen, en guardrails moet je zelf meebrengen. MCP-autorisatie is allow/deny op het moment van het request; niets blokkeert een schadelijke tool-call totdat er goedkeuring is gegeven. Tetrate verkoopt een kill-switch voor agents, maar er is geen goedkeuringsworkflow per call aanwezig. Ook bevat het OSS-project geen PII-detectie, prompt-injectiefilters, contentmoderatie of het scannen op geheime sleutels (secrets).

7. Kubernetes is een vereiste voor productie. aigw run is bedoeld voor laptops. Productie vereist een cluster, plus Envoy Gateway, plus de AI Gateway-controller, plus een Rate Limit Service. Als je momenteel geen Kubernetes met de Gateway API gebruikt, is dat een flink traject voordat je je eerste token kunt routen.

8. Wie er om 03:00 uur 's nachts verantwoordelijk is. Ondersteuning vanuit de community verloopt via GitHub, Discord, Slack en een bijeenkomst op maandag. Tetrate Enterprise verkoopt 24/7 ondersteuning met een SLA, een vast accountteam, builds met CVE-patches op een onderhouden release-versie, air-gapped distributie en een actuele modelcatalogus. Hun vergelijkingstabel geeft bij de OSS-kolom aan: "you maintain it" — de hele review samengevat in vier woorden.

Wil je het controlepunt zonder het zelf te hoeven bouwen?

Routeer naar meer dan 1.000 modellen, inclusief kostentoewijzing, budgetten en RBAC die al klaarstaan.

Start gratis

Zelf bouwen vs. kopen helder uiteengezet

Als je platformteam Envoy Gateway draait en de capaciteit heeft, is de rechterkolom een roadmap die je kunt uitvoeren. Zo niet, dan is het een product dat je op het punt staat per ongeluk zelf te gaan bouwen. Bereken de kosten zoals je elke afweging tussen zelf bouwen of kopen berekent: in voltijdsmedewerkers per maand, niet in licentiekosten.

Waar TrueFoundry in het plaatje past

We gaan niet doen alsof Agent Router een slecht product is. Het verschil zit in de reikwijdte en wie de operationele last draagt.

De AI Gateway van TrueFoundry berust op hetzelfde architectonische idee — één controlepunt voor model- en toolverkeer — maar levert het omliggende platform er direct bij in plaats van het aan jou over te laten. Het voegt slechts ongeveer 3-4 ms toe, verwerkt meer dan 350 RPS op 1 vCPU, en ontsluit meer dan 1.000 LLM's via één OpenAI-compatibele API.

Een UI en RBAC die echt waarde toevoegen. Het toevoegen van modellen, de rotatie van sleutels en het aanpassen van quota gebeuren via een UI met een audit log, waardoor teams snel kunnen handelen zonder een platformticket in te dienen. Entiteiten kunnen gebruikers, teams, virtuele accounts of agents zijn; resources omvatten provider-accounts, MCP-servers, agents, clusters en workspaces, elk met een eigen set rollen. SSO via OIDC of SAML 2.0, inclusief SCIM.

Kostentoewijzing en budgetten die de financiële afdeling accepteert. Budget Limiting V2 biedt budgetten op tenant- en teamniveau, ingedeeld naar gebruiker, model, provider-account of metadata, inclusief een modus voor alleen waarschuwingen. Het bijhouden van kosten gebeurt op basis van een open-source prijscatalogus (github.com/truefoundry/models) met tarieven per regio en staffels; de toewijzing verloopt via X-TFY-METADATA. Dit is het gat dat het meeste werk kost om zelf te dichten — zie kostentoewijzing en teambudgetten.

Guardrails als een catalogus, niet als een hook. Negen ingebouwde opties (secrets, codeveiligheid, SQL-sanitizer, regex, prompt-injectie, PII, contentmoderatie, Cedar, OPA) plus 17 externe providers op vier punten: LLM-invoer, LLM-uitvoer, MCP voorafgaand aan tools en MCP na afloop van tools.

Een eerlijke kanttekening: guardrails voor contentmoderatie, PII en prompt-injecties werken alleen wanneer TrueFoundry de gateway host, niet op je eigen infrastructuur. De overige functies werken in beide gevallen.

MCP-governance met een goedkeuringsstap. In- en uitschakelen per tool, annotaties voor alleen-lezen en schadelijke acties, en human-in-the-loop goedkeuring met bereik voor specifieke tools, schadelijke acties of alles, inclusief een vervaldatum voor rechten en notificaties via E-mail, Slack, PagerDuty of Teams. Dit heeft geen equivalent in de documentatie van Agent Router.

Observability en deployment zonder nog twee extra projecten. OTel-traces en metrics via HTTP of gRPC, Prometheus-scraping voor zelfgehoste omgevingen, en metrics-API's voor model, MCP, guardrail, cache en routing. Draait als SaaS verspreid over meer dan 12 regio's en drie cloudproviders, of zelfgehost in je eigen VPC, on-premise of air-gapped — het verkeer blijft in jouw infrastructuur en TrueFoundry bevindt zich niet in het actieve datapad.

Vergelijk het op je eigen verkeer.

Stuur één workload naar de gateway en bekijk de kosten- en latencycijfers zelf.

Start gratis

Direct vergeleken

Eén opmerking: Agent Router’s MCP-autorisatie met CEL is uitstekend, en een Apache 2.0-licentie zonder afgeschermd data plane is een permanente eigenschap die geen enkel commercieel product kan bieden.

Gerelateerde artikelen

• Wat is een LLM Gateway — de categorie gedefinieerd
• Beste AI Gateway in 2026 — het bredere landschap
• Envoy Proxy Alternatieven — de onderliggende laag
• Totale Eigendomskosten (TCO) voor GenAI-Infrastructuur — het berekenen van de kosten van zelf bouwen
• Wat is een MCP Gateway — de helft van het tool-verkeer

Conclusie

Agent Router — het project dat je misschien nog kent als Envoy AI Gateway — is een van de betere ontwikkelingen in open-source AI-infrastructuur. Het data plane is Envoy. De API is stabiel en de maintainers hebben dat zwart-op-wit gegarandeerd. Zes bedrijven houden het project actief in stand. Het MCP-autorisatiemodel is beter dan dat van de meeste commerciële alternatieven. En de grens van het open-core model is helder en eerlijk.

De reden om voor iets anders te kiezen heeft niets te maken met kwaliteit. Het draait om de verdeling van verantwoordelijkheden. Agent Router levert je de routinglaag. De console, de platform-RBAC, de kostentoewijzing per team, de fleet-wide budgetten, de prompt-logs, de goedkeuringsworkflows, de catalogus met guardrails en de piketdienst om 03:00 uur 's nachts vallen allemaal onder jouw verantwoordelijkheid — en dat vormt het grootste deel van het werk. Een platformteam met sterke Kubernetes-kennis en de capaciteit om die stack te beheren, doet er goed aan dit zelf te draaien. Dat is een verantwoorde keuze, en dit artikel is daar geen pleidooi tegen.

Als dat geen project is dat je wilt opstarten, kies dan een gateway waarbij al dit werk al voor je is gedaan.

Routeer je eerste workload via TrueFoundry

Gratis te starten