Envoy AI Gateway (Agora Agent Router): Uma Análise Honesta

A mudança de nome, em um parágrafo

Se você pesquisou por “Envoy AI Gateway” e chegou até aqui: você está no lugar certo e o produto ainda existe. Ele agora é Agent Router, está hospedado em theagentrouter.ai e é um projeto independente na Agentic AI Foundation (uma série da LF Projects, LLC) em vez de um subprojeto do Envoy sob a CNCF. O anúncio é datado de 9 de setembro de 2026; a mudança entrou em vigor no dia seguinte.

Nada tecnicamente parou de funcionar. O namespace continua sendo envoy-ai-gateway-system, o grupo de API ainda é aigateway.envoyproxy.io, a CLI continua sendo aigw e a licença ainda é Apache 2.0. Os manifestos no seu repositório continuam funcionando. O que mudou foi a governança, o domínio da documentação, o caminho do repositório e o nome. Usaremos “Agent Router” daqui em diante.

O que o Agent Router realmente é

O Agent Router é uma camada aditiva sobre o Envoy Gateway — não um fork — que ensina o Envoy a falar a linguagem de LLMs. A própria definição deles é a frase mais clara da categoria: “O Agent Router configura. O Envoy gerencia o tráfego.”

Os mantenedores vêm da Tetrate, Bloomberg, Tencent, Netflix, AMD e Nutanix, conforme o anúncio da versão 1.0. A Tetrate é o motor comercial, operando tanto um serviço hospedado quanto um produto empresarial autogerenciado. Há reuniões comunitárias semanais, propostas de design públicas e um Discord.

Histórico de versões

Aproximadamente um lançamento menor por trimestre — um ritmo saudável. A v1.0 traz a frase mais forte na documentação do projeto:

“Nunca quebraremos as APIs, a menos que haja um problema crítico de segurança, e sempre forneceremos um caminho de migração nas notas de lançamento caso precisemos fazê-lo.”

Esse é um compromisso real, registrado por escrito, e mais do que a maioria dos gateways comerciais se dispõe a publicar.

Arquitetura

O Agent Router é claramente dividido em plano de controle e plano de dados.

Plano de controle. O Kubernetes API Server é a interface de configuração. O AI Gateway Controller gerencia recursos específicos de IA e configura o External Processor, ajustando o xDS por meio do mecanismo de servidor de extensão do Envoy Gateway; o Envoy Gateway Controller lida com a configuração principal do proxy.

Plano de dados. Envoy Proxy, um External Processor (ext-proc) que realiza a transformação e validação específicas de IA, e um Rate Limit Service para limitação baseada em tokens. O gateway MCP é um proxy leve dentro do sidecar do Agent Router.

Cinco CRDs, todos disponibilizados na versão v1beta1 e cobertos pela garantia de estabilidade 1.0: AIGatewayRoute (roteia o tráfego de LLM e seleciona backends), AIServiceBackend (declara um provedor upstream ou modelo auto-hospedado), BackendSecurityPolicy (centraliza credenciais upstream), GatewayConfig (configuração em nível de gateway) e MCPRoute (multiplexação MCP, filtragem de ferramentas, autorização).

A configuração é feita em YAML, aplicada com kubectl. Os nomes dos campos documentados dão uma ideia da estrutura — modelNameOverride em um backend para virtualização de modelo, credentialOverride para credenciais upstream por solicitação, streamIdleTimeout para esperas de streaming limitadas e, em um MCPRoute:

# Illustrative shape only - see the API reference for the full schema
spec:
  toolSelector:
    includeRegex:
      - "issue_.*"
  backendSelector: ...   # CEL, default action Deny (v1.1)
  hostnames: ...         # max 16 (v1.1)

Você também está gerenciando uma matriz de versões. A base v1.1.0 é Go 1.26.4, Envoy Gateway v1.8.1, Envoy Proxy v1.38.1, Gateway API v1.5.1, Inference Extension v1.0.2 e MCP Go SDK v1.7.0. As atualizações do Envoy Gateway tornam-se sua dependência.

[SCREENSHOT: Agent Router — diagrama da arquitetura do site de documentação mostrando o plano de controle (AI Gateway Controller + Envoy Gateway Controller) e o plano de dados (Envoy Proxy + External Processor + Rate Limit Service)]

Inventário de recursos, conforme documentado

Provedores — 16 prontos para uso: OpenAI, Azure OpenAI, Gemini, Vertex AI, Bedrock, Anthropic, Mistral, Cohere, Groq, Together AI, DeepInfra, DeepSeek, Hunyuan, SambaNova, Grok e Tetrate Agent Router Service. vLLM e Ollama auto-hospedados podem ser acessados via CLI.

API unificada. Compatível com OpenAI: chat, completions, embeddings, geração de imagens, áudio e a API de Respostas, além do /anthropic/v1/messages nativo da Anthropic. A tradução entre provedores lida com casos como Anthropic Messages para Bedrock Converse.

Gerenciamento de tráfego. Limitação de taxa (rate limiting) com reconhecimento de tokens. QuotaPolicy para orçamentos de tokens em janelas de tempo. Fallback de provedor e failover automático. Virtualização de nomes de modelos via modelNameOverride, permitindo trocar de provedor alterando apenas a configuração, sem necessidade de alterar o código. Mutações de cabeçalho e corpo. Na v1.1, streamIdleTimeout com failover — se disparado antes do primeiro token, uma nova tentativa é feita no próximo backend.

Roteamento de inferência e credenciais. Suporte a InferencePool e Endpoint Picker, via HTTPRoute + InferencePool e AIGatewayRoute + InferencePool — genuinamente útil se você opera suas próprias GPUs. O BackendSecurityPolicy centraliza a autenticação upstream: chaves de API, AWS SigV4, Azure e identidade nativa em nuvem do GCP, incluindo Workload Identity e GKE ADC.

O suporte a MCP é substancial. Multiplexação de servidores atrás de um único endpoint com ferramentas prefixadas automaticamente pelo backend (github__issue_read), filtragem de ferramentas, OAuth com PKCE conforme a especificação de autorização MCP, HTTP transmissível com reconexão Last-Event-ID. O destaque é autorização de granularidade fina usando CEL sobre declarações JWT e contexto MCP — request.mcp.method, request.mcp.tool, request.mcp.params, request.auth.jwt — com tools/list retornando apenas o que o chamador tem permissão para usar. Poucos projetos alcançam essa profundidade.

Observabilidade. Métricas do Prometheus seguindo as convenções semânticas de GenAI do OpenTelemetry, com contabilização separada de tokens de raciocínio. Rastreamento OTel com compatibilidade OpenInference. Logs de acesso contendo metadados de IA. A v1.1 adiciona atributos de span gen_ai.* e um exemplo de dashboard Grafana no repositório.

Guardrails não são um recurso nativo. Não há uma página de guardrails na documentação; a página de recursos de segurança contém, em grande parte, links para a própria documentação de segurança do Envoy Gateway. A comparação da Tetrate lista a linha OSS como "hooks de guardrail", com guardrails de IA reais sendo um produto corporativo.

Os pontos fortes genuínos

Um projeto confiável merece uma explicação confiável do porquê.

O plano de dados é o Envoy. Não é um novo proxy escrito em Python ou Node — é o proxy que já suporta tráfego de produção em escala massiva. O risco operacional do plano de dados é o menor possível.

A garantia de estabilidade é rara. Uma API de plano de controle v1beta1 com estabilidade garantida, compromisso por escrito e um caminho de migração definido supera o que a maioria dos fornecedores oferece.

Manutenção multissetorial. Tetrate, Bloomberg, Netflix, AMD, Nutanix e Tencent possuem mantenedores. Não é um projeto de fornecedor único usando um selo de código aberto; o fator de risco (bus factor) é uma proteção real.

Sem versões comunitárias limitadas. A Tetrate afirma claramente: “Sem plano de dados proprietário, sem versão comunitária limitada, nada retido do projeto para ser vendido posteriormente.” O valor agregado para empresas é o gerenciamento de frota, não recursos de plano de dados restritos — uma abordagem de open-core honesta. O projeto também é nativo em padrões em todos os aspectos (Gateway API, Inference Extension, convenções OTel GenAI, OpenInference, MCP), portanto, há pouca superfície proprietária para gerar dependência (vendor lock-in).

É genuinamente fácil de testar. Um comando, sem Kubernetes, sem Docker, no Linux ou macOS:

OPENAI_API_KEY=sk-... aigw run

Isso cria um roteador compatível com OpenAI em localhost:1975. Poucos projetos de gateway de IA de código aberto chegam a um endpoint funcional tão rápido.

Adoção pública. A página inicial lista Alan by Comma Soft, Bloomberg, LY Corporation, National Research Platform, Nutanix, Paper Compute Co., Simplifai, Stacklok, Tencent Cloud, Tetrate e Unwrape o post da versão 1.0 agradece nominalmente aos três primeiros. Não encontramos estudos de caso formais com métricas — logotipos e uma lista de agradecimentos não são estudos de caso —, mas três produtos comerciais são construídos sobre ele (Tetrate Agent Router Service e Enterprise, Nutanix Agent Gateway), o que é uma evidência decente de código pronto para produção.

[CAPTURA DE TELA: Agent Router — linha de adotantes na página inicial com os onze logotipos de empresas publicados]

Onde as equipes encontram problemas

Nada disso é uma crítica ao código. É um inventário do que o projeto de código aberto não inclui, evidenciado pela ausência em sua documentação ou pela presença na comparação paga da Tetrate, verificado em 25 de setembro de 2026.

1. Não há interface de usuário (UI). A navegação da documentação não contém uma página de console administrativo. Cada integração de modelo, rotação de chaves e alteração de cota é um manifesto do Kubernetes através do seu pipeline GitOps; a Tetrate vende o "The Management Console" como um componente empresarial. Ótimo para uma equipe de plataforma. Para as doze equipes de aplicação que querem testar um novo modelo na quinta-feira, é necessário abrir um chamado.

2. Sem RBAC de plataforma ou SSO para administração de gateway. O RBAC do Kubernetes nos CRDs não é um controle baseado em funções sobre modelos, servidores MCP e equipes. A autenticação de solicitações no plano de dados (JWT, OIDC) vem do Envoy Gateway, mas isso é autenticação de chamador, não controle de acesso administrativo. A Tetrate lista SSO com Okta/Entra/OIDC/SAML e consoles com escopo definido como diferenciais empresariais.

3. A atribuição de custos é baseada em métricas, não em estorno (chargeback). As métricas de tokens vão para o Prometheus. Transformar isso em gastos por equipe com um catálogo de preços, showback e chargeback é algo que você precisa construir, incluindo manter o catálogo atualizado. A Tetrate é franca: com uma mistura de GPUs auto-hospedadas e APIs por token, "A atribuição precisa normalizar ambos, ou o número que você entrega ao financeiro é ficção."

4. Os orçamentos são por gateway, não para toda a frota. O QuotaPolicy oferece orçamentos de tokens em janelas de tempo, mas a comparação da Tetrate marca o comportamento do OSS como "por gateway". Execute gateways em três regiões e um agente recusado em uma pode ter sucesso em outra.

5. Sem registro (log) de prompts ou respostas. Os logs de acesso contêm nomes de modelos e contagens de tokens; não há captura, retenção, pesquisa ou reprodução de prompt/conclusão documentada. A v0.6 adicionou redação — a direção tomada é a de remover os corpos das mensagens, não de armazená-los.

6. Sem aprovação humana (human-in-the-loop), e as proteções (guardrails) são de sua responsabilidade. A autorização MCP é permitir/negar no momento da solicitação; nada bloqueia uma chamada de ferramenta destrutiva atrás de uma aprovação. A Tetrate vende um botão de interrupção de agente (kill switch), mas não existe um fluxo de trabalho de aprovação por chamada. Também não há detecção de PII, filtragem de injeção de prompt, moderação de conteúdo ou verificação de segredos no projeto OSS.

7. O Kubernetes é o pré-requisito para produção. O aigw run é para laptops. Produção significa um cluster, além do Envoy Gateway, do controlador do AI Gateway e de um serviço de limite de taxa (Rate Limit Service). Se você não utiliza Kubernetes com a Gateway API hoje, isso representa um projeto considerável antes mesmo de rotear seu primeiro token.

8. Quem é o responsável às 3 da manhã. O suporte da comunidade é feito via GitHub, Discord, Slack e uma reunião às segundas-feiras. A Tetrate Enterprise vende suporte 24/7 com SLA, uma equipe de conta dedicada, builds com correções de CVE em uma linha de lançamento mantida, distribuição em ambiente isolado (air-gapped) e um catálogo de modelos atualizado. A comparação deles rotula a coluna de código aberto como "você mantém" — toda a análise em duas palavras.

Want the control point without the build?

Route to 1,000+ models, with cost attribution, budgets and RBAC already there.

Get started free

Construir ou comprar, explicado claramente

Se sua equipe de plataforma utiliza o Envoy Gateway e tem capacidade, a coluna da direita é um roteiro que você pode executar. Caso contrário, é um produto que você está prestes a construir por acidente. Precifique-o da mesma forma que você precifica qualquer decisão de construir ou comprar: meses de equipe, não taxas de licenciamento.

Onde a TrueFoundry se posiciona

Não vamos fingir que o Agent Router é ruim. A diferença está no escopo e em quem carrega a carga operacional.

O da TrueFoundryGateway de IA é a mesma ideia arquitetônica — um ponto de controle à frente do tráfego de modelos e ferramentas — com a plataforma ao redor incluída, em vez de ser atribuída a você. Ele adiciona aproximadamente 3-4 ms, gerencia mais de 350 RPS em 1 vCPU, e atua como interface para Mais de 1.000 LLMs através de uma única API compatível com OpenAI.

Um console e um RBAC que realmente faz sentido. A integração de modelos, a rotação de chaves e as alterações de cota ocorrem em uma interface com trilha de auditoria, para que as equipes avancem sem precisar abrir chamados para a plataforma. Os sujeitos são usuários, equipes, contas virtuais ou agentes; os recursos abrangem contas de provedores, servidores MCP, agentes, clusters e espaços de trabalho, cada um com sua própria família de funções. SSO via OIDC ou SAML 2.0, com SCIM.

Atribuição de custos e orçamentos que o financeiro aceitará. Budget Limiting V2 com orçamentos definidos por locatário e equipe, delimitados por sujeito, modelo, conta de provedor ou metadados, com modo apenas de aviso. O rastreamento de custos é executado a partir de um catálogo de preços de código aberto (github.com/truefoundry/models) com taxas regionais e escalonadas; a atribuição flui através do X-TFY-METADATA. Esta é a lacuna que leva mais tempo para ser preenchida por conta própria — veja atribuição de custos e orçamentos de equipe.

Guardrails como um catálogo, não como uma armadilha. Nove integrados (segredos, segurança de código, sanitizador SQL, regex, injeção de prompt, PII, moderação de conteúdo, Cedar, OPA) mais 17 provedores externos, em quatro pontos: entrada de LLM, saída de LLM, pré-ferramenta MCP e pós-ferramenta MCP.

Uma ressalva honesta: os guardrails de moderação de conteúdo, PII e injeção de prompt funcionam apenas quando o TrueFoundry hospeda o gateway, não na sua própria infraestrutura. Os demais funcionam de ambas as formas.

Governança de MCP com portão de aprovação. Habilitação/desabilitação por ferramenta, anotações de somente leitura e destrutivas, e aprovação com intervenção humana com escopos nomeados/destrutivos/todos, expiração de concessão e notificação por e-mail/Slack/PagerDuty/Teams. Sem equivalente na documentação do Agent Router.

Observabilidade e implantação, não dois projetos adicionais. Rastreamentos e métricas OTEL via HTTP ou gRPC, scraping de Prometheus auto-hospedado, APIs de métricas para modelo, MCP, guardrail, cache e roteamento. Executado como SaaS em mais de 12 regiões e três nuvens, ou auto-hospedado em sua VPC, on-premise ou em ambiente isolado (air-gapped) — o tráfego permanece em sua infraestrutura, com o TrueFoundry fora do caminho crítico.

Compare it on your own traffic.

Point one workload at the gateway and look at the cost and latency numbers yourself.

Start free

Comparativo direto

Uma observação: o do Agent Router Autorização de MCP com CEL é excelente, e o Apache 2.0 sem plano de dados restrito é uma propriedade permanente que nenhum produto comercial pode oferecer.

Leituras relacionadas

• O que é um Gateway de LLM — a categoria, definida
• Melhor Gateway de IA em 2026 — o cenário mais amplo
• Alternativas ao Envoy Proxy — a camada subjacente
• Custo Total de Propriedade para Infraestrutura de IA Generativa — precificando a coluna de construção
• O que é um Gateway MCP — a metade do tráfego de ferramentas

Conclusão

O Agent Router — o projeto que você talvez ainda conheça como Envoy AI Gateway — é uma das melhores coisas que aconteceram para a infraestrutura de IA de código aberto. O plano de dados é o Envoy. A API é estável e os mantenedores registraram isso por escrito. Seis empresas o mantêm ativo. O modelo de autorização MCP supera a maioria dos equivalentes comerciais. E a linha open-core é honesta.

O motivo para escolher outra solução não é a qualidade. É a divisão de responsabilidades. O Agent Router oferece a camada de roteamento. O console, o RBAC da plataforma, a atribuição de custos por equipe, os orçamentos para toda a frota, os logs de prompts, os fluxos de trabalho de aprovação, o catálogo de guardrails e o suporte de plantão às 3 da manhã são todos seus — e eles representam a maior parte do trabalho. Uma equipe de plataforma com forte capacidade em Kubernetes e pessoal suficiente para gerenciar essa pilha deve operá-la por conta própria. Essa é uma escolha legítima, e este post não é um argumento contra ela.

Se esse não é um projeto que você deseja iniciar, compre o gateway com o trabalho já feito.

Route your first workload through TrueFoundry

Free to start