Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

LiteLLM vs agentgateway: comparando dois gateways de IA de código aberto

Published: novembro 20, 2026

Resumo (TL;DR)
  • LiteLLM vs agentgateway é uma escolha entre amplitude e eficiência — ambos são de código aberto, auto-hospedados e gerenciam tráfego de LLM, MCP e agentes. O LiteLLM é um proxy Python com a lista de recursos mais extensa e a maior comunidade, mas roda sobre Postgres e Redis. O agentgateway é um proxy Rust enxuto, sem banco de dados, com latência e uso de memória significativamente menores e controles de agente integrados.
  • Escolha o LiteLLM para obter cache gratuito, a lista de provedores mais ampla e limites compartilhados entre instâncias no plano gratuito — desde que você esteja disposto a operar Postgres e Redis.
  • Escolha o agentgateway quando latência, memória ou consumo de recursos forem prioritários, quando preferir não operar bancos de dados ou quando precisar de validação JWT e mascaramento de PII sem adquirir uma licença enterprise.
  • Pontos de atenção: o stack mais pesado do LiteLLM e seus incidentes na cadeia de suprimentos em 2026 (fixe versões e aplique patches com frequência); o agentgateway não possui cache integrado, e qualquer recurso compartilhado entre instâncias é pago.

Na teoria, a disputa entre LiteLLM e agentgateway parece equilibrada. Ambos são de código aberto, auto-hospedados, disponibilizam um endpoint compatível com a OpenAI à frente de diversos provedores de modelos e, atualmente, gerenciam chamadas de ferramentas MCP e tráfego agente-para-agente (A2A), além de chamadas de modelos. No entanto, eles surgiram de abordagens muito distintas. O LiteLLM é um proxy Python desenvolvido pela BerriAI que evoluiu a partir de um SDK popular, contando com a lista de recursos e a comunidade mais amplas da categoria. O agentgateway é um proxy Rust criado do zero pela Solo.io e doado à Linux Foundation, sendo mais leve e rápido, com um foco mais direcionado. Se você está avaliando alternativas ao LiteLLM, este é um dos poucos projetos capazes de se equiparar a ele em recursos voltados para agentes.

Nós operamos ambos. Nossa equipe testou na prática a versão open-source do agentgateway (v1.5.0, com as principais descobertas revalidadas na v1.6.0) e submeteu o LiteLLM à mesma estrutura de benchmarks. Em seguida, validamos as informações deste artigo comparando-as com a documentação oficial de cada projeto em novembro de 2026, período em que as versões vigentes eram agentgateway v1.7.0 e LiteLLM v1.106.6.

LiteLLMagentgateway (Solo.io)
O que éProxy e SDK em Python para mais de 100 provedores de LLM, com gateways MCP e de agentes integradosProxy em Rust para tráfego de LLM, MCP e agente-para-agente
Licença e governançaNúcleo MIT, diretório enterprise proprietário. Mantido pela BerriAIApache 2.0. Hospedado pela Agentic AI Foundation sob a Linux Foundation
Edição pagaLiteLLM Enterprise, com preço sob consulta baseado no volume de requisiçõesSolo Enterprise para agentgateway, com preço sob consulta com a equipe de vendas
Recomendado paraEquipes que buscam a maior cobertura de provedores e recursos e estão dispostas a operar Postgres e RedisEquipes de plataforma que precisam de um gateway leve, rápido e com controles nativos para agentes e MCP

LiteLLM: visão geral

O LiteLLM nasceu dentro da BerriAI, uma empresa acelerada pela Y Combinator, e teve seu código aberto em agosto de 2023. A maioria dos desenvolvedores o conhece primeiro como um SDK Python para, em seguida, implantar o proxy LiteLLM como um gateway compartilhado. Atualmente, o projeto conta com mais de 61.000 estrelas no GitHub e usuários públicos como Netflix, Okta e NVIDIA. A documentação lista mais de 100 provedores (a página inicial menciona mais de 140), sendo possível rotear requisições tanto para modelos auto-hospedados, como vLLM ou Ollama, quanto para APIs comerciais.

A versão gratuita oferece um conjunto abrangente de funcionalidades. Você obtém chaves virtuais, orçamentos e limites de taxa nos níveis de chave, usuário, equipe, organização, usuário final e tag, além de cache semântico e por correspondência exata, meia dúzia de estratégias de roteamento, mecanismos de fallback, métricas no formato Prometheus e dezenas de integrações de logging. O gateway MCP do LiteLLM permite restringir o acesso até o nível de ferramentas individuais e parâmetros específicos de ferramentas, contando também com um gateway para agentes A2A disponibilizado desde a versão 1.80.8.

O impacto está na complexidade operacional. O proxy é uma aplicação Python (FastAPI) que exige Postgres para gerenciar chaves, a interface administrativa e o rastreamento de gastos, além de Redis ao operar mais de uma instância. O LiteLLM está migrando seu caminho crítico de processamento para Rust, e sua página inicial já promove um gateway em Rust. Contudo, a documentação ainda classifica o núcleo em Rust como versão beta restrita a algumas rotas, com a implementação completa para Anthropic Messages planejada para dezembro de 2026. Recursos enterprise, como SSO para mais de cinco usuários, SCIM, logs de auditoria e autenticação JWT para cargas de trabalho, exigem uma licença paga.

agentgateway: visão geral

O agentgateway é o substituto desenvolvido pela Solo.io para o seu antigo Gloo AI Gateway, construído do zero em Rust em vez de utilizar o Envoy. Possui licença Apache 2.0 e é hospedado pela Agentic AI Foundation, integrante da Linux Foundation. A Solo comercializa uma edição paga chamada Solo Enterprise para agentgateway. Ele pode ser executado como um binário único que lê um único arquivo YAML, como um contêiner ou no Kubernetes via Gateway API com um controlador próprio. Não requer banco de dados para rotear tráfego. Em nossos testes, a aplicação passou do estado inicial inativo para o atendimento de requisições em menos de 11 segundos, consumindo cerca de 18 MB de memória em ociosidade.

O agentgateway governa chamadas de LLM, tráfego MCP e interações A2A por meio de um modelo de política unificado. A autorização MCP é o seu principal ponto forte: regras CEL definem quais ferramentas cada chamador pode utilizar, e o gateway filtra a lista de ferramentas de modo que o agente visualize apenas o que tem permissão para executar. A edição gratuita também valida tokens JWT junto ao seu provedor de identidade, limita modelos por chave, impõe orçamentos por chave na implantação autônoma (standalone) e mascara dados sensíveis, como endereços de e-mail e números de cartão, antes que o prompt alcance o provedor. Limites de taxa distribuídos para todo o cluster, recursos de orçamento compartilhado e interfaces de gerenciamento de custos são recursos exclusivos da versão enterprise. Nossa análise do agentgateway detalha esses aspectos em profundidade.

Comparação direta

A coluna do LiteLLM reflete a documentação oficial do projeto e os resultados dos nossos testes de benchmark. A coluna do agentgateway reflete nossos testes práticos e a documentação da Solo para a versão 1.7.0. Ambos foram verificados em novembro de 2026.

RecursoLiteLLM (código aberto)agentgateway (código aberto)
Linguagem e tempo de execuçãoPython (FastAPI). Núcleo em Rust em beta para rotas específicasRust, binário único
DependênciasPostgres para chaves, UI e gastos. Redis ao executar múltiplas instânciasNenhuma para rotear tráfego. Logs de requisições em SQLite embutido ou Postgres
KubernetesDois Helm charts. Sem operator ou CRDsImplementação da Gateway API com CRDs e Helm charts próprios
ProvedoresMais de 100 provedores, além de qualquer endpoint compatível com OpenAI23 provedores homologados, além de qualquer endpoint compatível com OpenAI
Tráfego gerenciadoLLM, MCP e A2ALLM, MCP, A2A e tráfego HTTP e gRPC geral
Controle de acesso MCPPermissões em seis níveis (chave, equipe, usuário final, agente, usuário interno, organização), chegando ao nível de ferramentas e parâmetrosRegras CEL por ferramenta, com filtragem da lista de ferramentas por chamador
Identidade de carga de trabalhoChaves virtuais. Autenticação JWT e OIDC restritas à versão EnterpriseChaves de API ou JWTs validados via provedor de identidade, gratuitos
RoteamentoPonderado, menor carga, baseado em latência, uso e custo, com fallbacks, retentativas e cooldownsPonderado, failover por prioridade, roteamento condicional, retentativas e remoção de instâncias com falha (outlier eviction)
OrçamentosChave, usuário, equipe, organização, usuário final, agente e tag. Compartilhados entre instâncias via Postgres e RedisPor chave na implantação autônoma, por instância. Orçamentos compartilhados exigem versão enterprise
Limites de taxaRPM, TPM e concorrência em múltiplos escopos, compartilhados via RedisLocais para cada instância. Limites para todo o cluster exigem versão enterprise
Cache de respostasCache semântico e por correspondência exata, gratuitosSem cache de respostas integrado
Mascaramento de PII antes do provedorFiltro de conteúdo por regex integrado ou Microsoft Presidio em contêineres separadosNativo e integrado
Guardrails por equipeRecurso EnterpriseConfigurado por rota na edição gratuita
ObservabilidadePrometheus, OpenTelemetry e dezenas de integrações (Langfuse, Datadog, entre outras)Prometheus, OpenTelemetry e log de requisições consultável via SQL
SSO administrativoGratuito para até cinco usuários, exige Enterprise para mais. SCIM é exclusivo EnterpriseAutenticação OIDC na interface autônoma (v1.6.0 e posteriores)
Conformidade (empresa)SOC 2 Tipo II; ISO 27001 declarada na página enterpriseA Solo declara conformidade SOC 2 Tipo II

Pontos fortes do LiteLLM

Possui cache de respostas nativo. O cache semântico e por correspondência exata é gratuito, com suporte a backends como Redis, Valkey, Qdrant, S3, entre outros. O agentgateway não possui cache de respostas integrado; portanto, cargas de trabalho repetitivas, como bots de suporte, pagam o valor integral por cada requisição, a menos que você adicione uma camada de cache externa.

Sua lista de recursos é mais extensa na maioria das categorias. O LiteLLM suporta mais provedores, mais estratégias de roteamento (incluindo roteamento baseado em custo e latência), mais escopos de orçamento e mais integrações de observabilidade do que o agentgateway. Se um recurso existe nesta categoria de software, é muito provável que o LiteLLM tenha uma opção de configuração para ele.

Seus limites são mantidos entre instâncias sem custo adicional. Por armazenar o estado no Postgres e no Redis, os orçamentos e limites de taxa são aplicados de forma consistente em todas as réplicas no plano gratuito. No agentgateway, os controles gratuitos são restritos a uma única instância.

As permissões MCP oferecem maior granularidade. O LiteLLM pode autorizar uma ferramenta e, ao mesmo tempo, bloquear parâmetros específicos dessa ferramenta, estruturando permissões em seis níveis de identidade. No agentgateway, as regras são aplicadas no nível da ferramenta.

Possui a maior comunidade. Mais de 61.000 estrelas no GitHub, lançamentos semanais e usuários de grande porte significam que a maioria dos problemas que você encontrar já foi enfrentada e resolvida por outros usuários. Além disso, é possível obter uma chave de avaliação da versão Enterprise por 30 dias sem a necessidade de contato prévio com a equipe de vendas, algo que a Solo não disponibiliza.

Pontos fortes do agentgateway

É significativamente mais rápido e consome menos recursos. No mesmo ambiente de teste com 1 vCPU, o agentgateway adicionou cerca de 2 a 5 ms de latência por requisição, enquanto o LiteLLM adicionou de 12 a 15 ms sob baixa carga, começando a enfileirar requisições bem antes de atingir 50 req/s. O agentgateway consome cerca de 18 MB de memória em ociosidade; o LiteLLM consumiu aproximadamente 1,2 GB a 10 requisições por segundo.

Menor complexidade operacional. Um único binário, sem necessidade de banco de dados ou Redis, é suficiente para colocar o gateway em operação. A arquitetura de produção do LiteLLM requer um balanceador de carga, Postgres, Redis e um gerenciador de segredos — uma infraestrutura comum em nuvem, porém muito mais complexa do que um único contêiner.

Recursos de segurança mais avançados na versão gratuita. A validação de JWT junto ao seu provedor de identidade e o mascaramento de PII fazem parte da versão open-source. No LiteLLM, autenticação JWT e guardrails por equipe exigem licença Enterprise.

O projeto é governado por uma fundação independente. O código do agentgateway possui licença Apache 2.0 e está sob o guarda-chuva da Linux Foundation, garantindo que o projeto não dependa exclusivamente do direcionamento de uma única empresa. O LiteLLM possui licença MIT, mas seus mantenedores são majoritariamente colaboradores da BerriAI, e o diretório enterprise é proprietário.

Integração nativa com Kubernetes. O agentgateway implementa a Gateway API com um controlador e CRDs próprios; assim, as configurações de roteamento seguem o mesmo padrão de qualquer outro recurso do cluster. O LiteLLM disponibiliza Helm charts, mas não oferece operator ou CRDs.

Desempenho

Submetemos ambos os gateways à mesma estrutura de testes: um contêiner limitado a 1 vCPU e 2 GB de RAM, um provedor simulado (mock) local com resposta fixa de 50 ms, e todas as métricas comparadas com chamadas diretas ao provedor simulado. Vale ressaltar um ponto a favor do LiteLLM: sua documentação recomenda instâncias de produção com 4 vCPU e 8 GB; portanto, 1 vCPU é um ambiente restrito para um proxy Python.

Métrica (1 vCPU, 2 GB)LiteLLMagentgateway
Latência adicional (sem streaming, baixa carga)Aproximadamente 12 a 15 ms a 10 req/sAproximadamente 2 a 5 ms
Througput sem streamingAproximadamente 40 a 50 req/s antes do enfileiramento; metade das requisições sofreu timeout a 200 req/sPelo menos 3.200 req/s (o gerador de carga atingiu seu limite antes do gateway)
StreamingCerca de 65 ms adicionados até o primeiro token a 10 req/s; saturação a 50 req/sStreams curtos mantiveram-se estáveis em todas as cargas; documentos longos apresentaram degradação a cerca de 30 req/s
MemóriaCerca de 1,2 GB a 10 req/sCerca de 18 MB em ociosidade, 31 MB após 5.000 requisições

Ambos os fornecedores também publicam seus próprios dados de desempenho. A página de benchmarks do LiteLLM relata 1.170 requisições por segundo com overhead p95 de 8 ms distribuídos em quatro instâncias de 4 vCPU. A Solo publicou benchmarks comparativos diretos contra o LiteLLM demonstrando 0,44 ms versus 30,6 ms no p99 sob carga fixa de 3.000 requisições por segundo, com consumo de memória de 13 MiB contra 11,7 GiB. Como esses testes foram realizados pelos próprios fornecedores contra backends simulados, eles devem ser interpretados como indicativos de tendência, e não como prova absoluta. Nossos testes independentes apontaram na mesma direção.

Essa diferença de desempenho é relevante? Para uma aplicação de chat com poucas requisições por segundo, provavelmente não: uma chamada de modelo leva centenas de milissegundos, e um overhead de 10 ms no gateway é imperceptível nesse contexto. A diferença passa a ser crítica quando você executa agentes que realizam múltiplas chamadas em loop, ou quando precisa arcar com os custos de instâncias adicionais do LiteLLM para suportar a mesma carga.

Preços

Ambos os projetos são gratuitos para auto-hospedagem. A edição open-source do LiteLLM não possui limite de uso; a cobrança ocorre quando você necessita de SSO para mais de cinco usuários administradores, SCIM, logs de auditoria, autenticação JWT, guardrails por equipe ou separação entre nós de administração e workers. O LiteLLM Enterprise é um contrato anual calculado com base no volume de requisições do gateway, sem preços públicos, permitindo iniciar um teste de 30 dias via chave gerada instantaneamente.

A edição gratuita do agentgateway cobre orçamentos por chave, mascaramento de PII, validação de JWT e autorização MCP em uma única instância. O Solo Enterprise para agentgateway adiciona limites de taxa para todo o cluster, recurso de orçamento compartilhado, UI de gestão de custos, verificação de identidade em nome de terceiros (on-behalf-of identity), compilações FIPS e suporte técnico. O modelo comercial também é sob consulta com a equipe de vendas, sem opção de teste de autoatendimento. Nosso detalhamento de preços do Solo AI Gateway apresenta mais informações.

O custo da licença frequentemente representa a menor parcela dos despesas globais para ambas as opções. Ao optar pelo LiteLLM, considere os custos de serviços gerenciados de Postgres e Redis, além das instâncias adicionais que um proxy Python exige em escala. Com o agentgateway, considere o custo da edição enterprise assim que necessitar de limites compartilhados entre instâncias.

Detalhamentos técnicos importantes

Fixe as versões do LiteLLM e verifique a integridade das imagens. O LiteLLM registrou dois incidentes na cadeia de suprimentos em 2026. Em 24 de março, as versões maliciosas 1.82.7 e 1.82.8 no PyPI continham código para roubo de credenciais. Em 21 de outubro, uma versão comprometida v1.107.0 permaneceu disponível no PyPI e Docker Hub por cerca de duas horas, com imagens contendo assinatura válida. A equipe do LiteLLM publicou relatórios detalhados, alterou sua chave de assinatura e reformulou seu processo de publicação. Atualmente, a fixação de versões exatas é uma prática indispensável de segurança.

Mantenha a atualização de patches do LiteLLM em dia. Uma vulnerabilidade crítica de injeção de SQL (CVE-2026-42208) afetou as versões de v1.81.16 a v1.83.6, sendo corrigida na v1.83.7. Com o ciclo de lançamentos semanais, planeje atualizações frequentes. Em novembro de 2026, o LiteLLM também iniciou um programa piloto de suporte de longo prazo (LTS) na linha 1.108.

Defina a governança das configurações do LiteLLM. Com os modelos armazenados no banco de dados, as alterações realizadas na interface administrativa se sobrepõem ao arquivo YAML; como resultado, o gateway em execução pode perder o alinhamento com as definições armazenadas no Git.

O Redis é fundamental para a precisão das operações do LiteLLM, não apenas para a velocidade. Sem ele, cada instância aplicará seus próprios limites de taxa de forma isolada, em vez de respeitar o limite global configurado.

O agentgateway executa uma retentativa a mais do que o especificado em sua documentação. Configurar o parâmetro de retentativa como 1 resulta em duas chamadas ao provedor, sem intervalo de espera (backoff), a menos que este seja explicitamente configurado.

Conexões em streaming no agentgateway podem permanecer abertas indefinidamente sem um tempo limite configurado. Defina responseIdleTimeout (disponível na v1.6.0 e posteriores) em rotas de streaming; caso contrário, um provedor que interrompa a transmissão manterá a conexão aberta.

Quando escolher o LiteLLM

  • Você precisa de cache, roteamento baseado em custo ou do catálogo de provedores mais amplo sem custos de licenciamento.
  • Sua operação exige orçamentos e limites de taxa consolidados entre múltiplas instâncias na versão gratuita.
  • Sua equipe possui maturidade operacional para gerenciar Postgres e Redis, além de desenvolver plugins em Python.
  • Você valoriza uma comunidade consolidada e a possibilidade de realizar testes enterprise de forma autônoma.

Quando escolher o agentgateway

  • Latência, consumo de memória ou quantidade de instâncias são fatores críticos — por exemplo, em cenários com agentes realizando chamadas em malha.
  • Você busca um gateway sem dependência de bancos de dados, idealmente integrado ao Kubernetes via Gateway API.
  • Você precisa de validação JWT e mascaramento de PII sem a necessidade de adquirir uma licença enterprise.
  • Sua organização prioriza projetos governados por fundações independentes sob licença Apache 2.0.

A alternativa TrueFoundry

Ambos os gateways demandam esforço de desenvolvimento e integração adicional. O LiteLLM entrega uma gama vasta de recursos, mas transfere a responsabilidade da operação de Postgres, Redis, aplicação de patches e custos de licença enterprise para recursos de SSO e auditoria. O agentgateway destaca-se pela leveza, contudo restringe recursos compartilhados entre instâncias à versão paga da Solo e não possui cache integrado. O TrueFoundry AI Gateway opera como SaaS gerenciado, como um gateway na sua VPC conectado a um plano de controle hospedado por nós, ou em implantação totalmente auto-hospedada na sua VPC, ambiente on-premises ou air-gapped. Os pods do gateway recebem configurações e regras de acesso do plano de controle em tempo real, juntamente com contadores centralizados de limite de taxa e orçamento — garantindo a aplicação de limites em todas as réplicas sem necessidade de licenças adicionais.

A plataforma expõe mais de 1.000 LLMs por meio de uma API unificada e compatível com OpenAI, realiza o roteamento para modelos auto-hospedados a partir do mesmo plano de controle e governa o tráfego de LLMs, MCPs e agentes com controle de acesso granular ao nível de ferramentas e aprovação humana para chamadas de ferramentas com impacto crítico. Os orçamentos podem ser delimitados por equipe, modelo ou conta de provedor, contando com SSO, RBAC e registro de auditoria integrados de forma nativa. Se você está avaliando gateways de código aberto para equilibrar controle de custos e governança de agentes, confira como o TrueFoundry AI Gateway atende a ambos os requisitos ou agende uma demonstração com nossa equipe.

Leituras complementares

Conclusão

A escolha entre LiteLLM e agentgateway resume-se ao direcionamento estratégico da sua infraestrutura: abrangência funcional ou eficiência operacional. O LiteLLM oferece o maior conjunto de recursos gratuitos, incluindo cache e limites centralizados, ao custo de uma arquitetura mais complexa e uma rotina constante de atualização de patches. O agentgateway entrega um gateway extremamente rápido e leve, com controles robustos para agentes e MCP, mas exige uma licença paga para recursos distribuídos entre instâncias. Caso sua operação necessite de ambas as abordagens sem a complexidade de gerenciar essa infraestrutura internamente, agende uma demonstração da TrueFoundry.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.
Take a quick product tour
Start Product Tour
Product Tour