Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Como Migrar do LiteLLM para um AI Gateway Governavel

Published: novembro 20, 2026

Resumo
  • O LiteLLM e um excelente proxy inicial, sob licenca MIT, com suporte a mais de 100 provedores e configuracao rapida. As equipes nao migram por ele ser ruim, mas porque superam a capacidade de um proxy Python de processo unico conforme o uso, as equipes e os requisitos de conformidade escalam.
  • Os gatilhos especificos: o GIL do Python limita a vazao e a latencia sob alta concorrencia, o proxy concentra todas as credenciais dos provedores (grande raio de alcance de danos), a dispersao de implantacao entre notebooks, CI e producao dificulta a aplicacao de correcoes, e a alta disponibilidade em infraestrutura propria fica totalmente a seu cargo.
  • Os incidentes na cadeia de suprimentos de 2026 foram um alerta para a governanca, e nao motivo para panico: versoes maliciosas no PyPI e CVEs, incluindo uma no catalogo KEV da CISA, evidenciaram por que a concentracao de credenciais e a dispersao de versoes sao riscos operacionais que valem a pena centralizar.
  • A migracao e de baixo risco porque ambos utilizam a API compativel com a OpenAI. Na maioria dos casos, a unica alteracao no cliente e a URL base. Voce pode executar ambos os gateways em paralelo e fazer a transicao equipe por equipe.
  • Mapeie os conceitos, nao reconstrua do zero: as chaves virtuais do LiteLLM se tornam RBAC e orcamentos, a lista de modelos se torna um catalogo governavel, a configuracao do proxy se torna politica e os logs se tornam observabilidade por requisicao com atribuicao de custos.

O LiteLLM conquistou sua popularidade com merito. Ele possui licenca MIT, oferece suporte a mais de 100 provedores por meio de uma unica API compativel com a OpenAI, e instalado em minutos e leva uma pequena equipe de "chamar tres provedores com tres SDKs" para "chamar um unico endpoint" com quase nenhum esforço. Para muitos projetos, e a escolha inicial correta, e nada neste artigo diz o contrario.

Os motivos pelos quais as equipes migram dele sao estruturais e surgem em uma escala previsivel. Quando uma duzia de engenheiros se transforma em uma centena, quando um aplicativo se transforma em trinta, quando "provavelmente deveriamos rastrear os gastos" se transforma em "a equipe financeira precisa do custo por equipe" e "a equipe de seguranca precisa de uma trilha de auditoria", um proxy Python de processo unico comeca a sofrer sob tarefas para as quais nunca foi projetado. Some a isso os incidentes na cadeia de suprimentos de 2026 na distribuicao do LiteLLM, e a conversa muda de "funciona" para "quem controla nosso acesso aos modelos e como provamos isso?".

Este e um guia pratico de migracao, nao uma desconstrucao do produto. Ele identifica os sinais especificos de que voce superou a capacidade do LiteLLM, mapeia cada conceito do LiteLLM para seu equivalente em um gateway governavel e apresenta uma migracao passo a passo de baixo risco, precisamente porque ambos os lados utilizam a API compativel com a OpenAI. Na maioria dos casos, o codigo da sua aplicacao muda em apenas uma linha: a URL base.

Superou a capacidade do LiteLLM? Veja como uma simples troca de URL base migra sua operacao para um gateway governavel. Agende uma demonstracao.

Por que as equipes migram do LiteLLM

Seja preciso sobre os gatilhos. Historias vagas de que "nao escalou" nao ajudam no planejamento; modos de falha especificos sim.

Sintoma observadoCausa subjacente
A latencia aumenta e a vazao atinge um platô sob carga concorrente, mesmo com mais CPUO Global Interpreter Lock do Python serializa o trabalho dependente de CPU em um unico processo; o proxy se torna o gargalo
Um unico vazamento de credencial exporia todas as contas de provedoresO proxy concentra todas as credenciais dos provedores em um so lugar, gerando um grande raio de alcance de danos
Corrigir uma vulnerabilidade significa procurar copias em notebooks, executores de CI e producaoDispersao de implantacao: o proxy roda em varios locais sem controle central de versao
Manter o proxy em alta disponibilidade (failover, atualizacoes sem tempo de inatividade) consome tempo da equipe de plataformaA alta disponibilidade em infraestrutura propria e de sua inteira responsabilidade; nao ha um plano de controle gerenciado
A equipe financeira nao consegue obter os gastos por equipe; a seguranca nao consegue obter uma trilha de auditoriaA governanca (RBAC, atribuicao de custos, auditoria) nao e o foco central do projeto de um proxy leve

O limite de vazao do GIL. O proxy do LiteLLM e escrito em Python. O Global Interpreter Lock do Python significa que um processo executa o bytecode Python em uma unica thread por vez. Para um proxy focado em I/O, que passa a maior parte do tempo aguardando respostas dos provedores, isso e toleravel em baixa concorrencia. No entanto, a medida que o volume de requisicoes concorrentes aumenta, o processamento de requisicoes, a serializacao, o registro de logs e as verificacoes de politicas disputam essa mesma trava. Como resultado, a latencia sobe e a vazao estagna, independentemente da quantidade de hardware adicionada. Voce pode criar shards em varios processos e instancias, mas passa a ser responsavel pela orquestracao e pelo problema de estado compartilhado que isso cria.

Concentracao de credenciais e raio de alcance de danos. O proxy armazena as chaves de API de todos os provedores que gerencia. Esse e o objetivo de um proxy, mas significa que um proxy comprometido, ou uma configuracao vazada, expoe a OpenAI, a Anthropic, os endpoints de modelos na nuvem e todo o resto de uma so vez. Sem um gerenciamento centralizado de credenciais, rotacao e acesso delimitado, o raio de alcance de danos de qualquer incidente e "tudo".

Dispersao de implantacao e aplicacao de correcoes. Como e muito simples de executar, o LiteLLM acaba rodando em todos os lugares: uma copia no notebook de cada desenvolvedor, uma no CI e varias em producao. Quando uma vulnerabilidade surge, voce precisa localizar e corrigir cada instancia. Nao ha um plano de controle unico que garanta que "todos os chamadores passem por este endpoint governavel", fazendo da tarefa de "corrigir o proxy" uma caça ao tesouro.

Sobrecarga de alta disponibilidade propria. Executar um unico proxy e facil. Executa-lo com failover, atualizacoes sem tempo de inatividade, verificacao de integridade e escala horizontal sob SLA e um trabalho de plataforma que agora e totalmente seu. Muitas equipes chegam a um ponto em que esse trabalho nao diferenciado nao compensa o esforço.

Os incidentes na cadeia de suprimentos de 2026, analisados com sobriedade

Dois eventos em 2026 transformaram essas preocupacoes estruturais em Questoes urgentes, e vale a pena analisa-los claramente, sem alarmismo.

Em marco de 2026, uma falha de seguranca no CI levou a publicacao de versoes maliciosas do LiteLLM (versoes 1.82.7 e 1.82.8) no PyPI. Os pacotes maliciosos roubavam credenciais dos sistemas que os instalavam. A imagem Docker oficial nao foi afetada. Em outubro de 2026, um segundo incidente envolveu o envio de uma versao maliciosa (1.107.0) tanto para o PyPI quanto para o Docker utilizando tokens do GitHub roubados. Separadamente, o LiteLLM teve multiplas CVEs, incluindo uma listada no catalogo Known Exploited Vulnerabilities da CISA (um caminho de execucao remota de codigo exploravel por detentores de uma chave de API) e um problema em que uma sessao MCP poderia ser estabelecida com qualquer token bearer.

O padrao de remediacao em cada caso foi o mesmo: fixar versoes, recompilar a partir de uma versao comprovadamente segura e rotacionar todas as credenciais. A licao nao e que "o LiteLLM e inseguro" — projetos open-source sao alvos precisamente por serem amplamente utilizados. A licao e que a concentracao de credenciais somada a dispersao de versoes transforma qualquer evento isolado na cadeia de suprimentos em um incidente em toda a infraestrutura. Esse e um argumento forte para um plano de controle governavel, no qual versoes, credenciais e acessos sejam gerenciados e auditaveis de forma centralizada. Uma dependencia comprometida e muito mais facil de conter quando todos os chamadores ja roteiam por um unico endpoint governavel, com credenciais rotacionadas e delimitadas, alem de uma trilha de auditoria completa.

O que um "gateway governavel" adiciona

Um AI gateway governavel mantem tudo o que o LiteLLM oferecia — um unico endpoint compativel com a OpenAI para varios provedores — e adiciona a camada na qual um proxy leve nao se concentra:

  • Identidade e controle de acesso: RBAC, SSO e SCIM para que o acesso esteja vinculado ao seu provedor de identidade e o descredenciamento seja automatico, e nao uma remocao manual de chave.
  • Credenciais centralizadas e delimitadas: credenciais de provedores mantidas e rotacionadas em um unico local gerenciado, com acesso delimitado em vez de uma unica configuracao contendo tudo.
  • Governanca de custos:orcamentos e limites de taxa por usuario, equipe e modelo, retornando HTTP 429 em caso de violacao, alem de atribuicao de custos com tags por equipe para o funcionamento do FinOps.
  • Observabilidade: rastros por requisicao com tokens, latencia, modelo e custo, marcados por usuario e equipe, prontos para uso.
  • Guardrails e alta disponibilidade: guardrails em tempo real (PII, injecao de prompt, credenciais) no fluxo da requisicao, alem de um plano de controle gerenciado ou automantedido que cuida do failover e das atualizacoes.

A TrueFoundry oferece isso em um unico plano de controle e, fundamentalmente, pode ser implantada como SaaS, dentro da sua VPC, on-premises ou em ambientes isolados (air-gapped). O plano de dados permanece dentro da sua rede, de modo que "governavel" nao significa "entregar seu trafego a terceiros". Para criterios gerais de selecao, consulte como escolher um AI gateway e, para o contexto arquitetural, veja o que e e o que faz um LLM proxy.

Veja como a TrueFoundry mapeia suas chaves, orcamentos e modelos do LiteLLM para uma politica governavel. Agende uma demonstracao.

O caminho da migracao

A migracao e deliberadamente incremental. Voce nunca migra toda a organizacao de uma so vez.

The migration path: inventory current usage, map LiteLLM concepts to the governed gateway, run both in parallel with a base-URL swap, cut over team by team, then decommission.
O caminho da migracao: inventariar o uso atual, mapear os conceitos do LiteLLM para o gateway governavel, executar ambos em paralelo com a troca da URL base, realizar a transicao equipe por equipe e, finalmente, desativar o ambiente antigo.

Etapa 1: Inventario

Antes de alterar qualquer elemento, catalogue o que o LiteLLM esta fazendo na sua estrutura hoje:

  • Cada chave virtual e quem ou o que a utiliza.
  • A lista de modelos: quais modelos de provedores estao expostos e com quais aliases.
  • Quaisquer orcamentos e limites de taxa configurados atualmente.
  • As credenciais dos provedores na configuracao e cada segredo mantido pelo proxy.
  • Regras de roteamento e fallback, alem de configuracoes de cache.
  • Cada chamador: os aplicativos, servicos, notebooks e jobs de CI que apontam para o proxy, bem como as URLs base utilizadas por eles.

O inventario de chamadores e a etapa que as equipes frequentemente ignoram e depois se arrependem. Nao e possivel migrar o trafego de algo que voce nao sabia que existia. Faça uma busca (grep) na sua base de codigo e infraestrutura pelo hostname do proxy.

Etapa 2: Mapear conceitos

Voce nao esta reescrevendo a estrutura; esta traduzindo. Cada conceito do LiteLLM tem um equivalente no gateway governavel.

Concept mapping: LiteLLM virtual keys become RBAC and budgets, the model list becomes a governed catalog, proxy config becomes policy, and logs become per-request observability.
Mapeamento de conceitos: as chaves virtuais do LiteLLM se tornam RBAC e orcamentos, a lista de modelos se torna um catalogo governavel, a configuracao do proxy se torna politica e os logs se tornam observabilidade por requisicao.
Conceito do LiteLLMEquivalente no gateway governavel
Chave virtual (chave de API com limites)Acesso vinculado a identidade via RBAC + orcamentos e limites de taxa por chave/equipe
Lista de modelos / aliasesCatalogo de modelos governavel, com acesso delimitado por equipe
Arquivo de configuracao do proxy (config.yaml)Politica declarativa (roteamento, fallback, cache, limites) sob controle de versao e auditoria
Chaves de API de provedores dispersasCredenciais centralizadas, delimitadas e rotacionadas
Logs de requisicaoObservabilidade por requisicao: tokens, latencia, custo, marcados por usuario/equipe/modelo
Configuracoes de fallbackFallback com novas tentativas na propria requisicao e roteamento orientado por politicas
Compartilhamento manual de chavesProvisionamento e desprovisionamento via SSO + SCIM

A traducao e principalmente uma mudanca de mentalidade: o LiteLLM pensa em chaves e em um arquivo de configuracao; um gateway governavel pensa em identidades, equipes, catalogos e politicas. As funcionalidades se sobrepoem bastante, e e por isso que a migracao e de baixo risco.

Etapa 3: Executar ambos em paralelo

Esta e a etapa que garante a seguranca de todo o processo. Tanto o LiteLLM quanto o gateway governavel expoem uma API compativel com a OpenAI. Isso significa que a unica alteracao necessaria no cliente e a URL base — mudando da URL do proxy LiteLLM para o endpoint do gateway. Sem troca de SDK, sem reescrita no formato das requisicoes e sem alteracoes no tratamento de respostas.

Suba o gateway governavel ao lado do LiteLLM. Aponte um unico servico de baixo risco para a nova URL base. Verifique se as respostas sao identicas, se a observabilidade exibe o trafego com a atribuicao correta de custos e se os orcamentos e guardrails funcionam conforme o configurado. Como ambos os endpoints estao ativos, voce pode compara-los diretamente e reverter um servico para a URL base antiga em segundos, caso algo pareca incorreto.

Um exemplo pratico: suponha que seu servico de inferencia leia OPENAI_API_BASE a partir de uma variavel de ambiente. A migracao para esse servico consiste em alterar uma variavel de ambiente e reiniciar o servico; a reversao e simplesmente voltar a variavel ao valor anterior. Esse e todo o impacto no lado do cliente durante esta migracao quando ambos os lados utilizam a mesma API.

Etapa 4: Transicao por equipe

Agora migre o trafego em etapas, organizadas por equipe ou aplicacao, e nao tudo de uma vez:

  1. Escolha uma equipe. Crie o acesso para ela no gateway (regra de RBAC, orcamentos, escopo do catalogo de modelos) espelhando os limites antigos da sua chave virtual.
  2. Altere a URL base dos chamadores dessa equipe para o gateway.
  3. Acompanhe a observabilidade durante um periodo de validacao definido e confirme se a atribuicao de custos, a latencia, as taxas de erro e o comportamento dos guardrails estao corretos.
  4. Migre a proxima equipe.

Realizar a transicao por equipe oferece um limite seguro para reversao e permite que orcamentos e acessos sejam definidos corretamente para cada equipe a medida que voce avanca, em vez de migrar uma rede confusa de chaves compartilhadas em um unico passo arriscado. Isso tambem distribui o trabalho de revisao: cada equipe confirma que seu proprio trafego esta correto antes de voce prosseguir.

Etapa 5: Desativar o ambiente antigo

Assim que todos os chamadores estiverem apontando para o gateway e o sistema tiver rodado por tempo suficiente para garantir confianca, desative o LiteLLM: interrompa as instancias do proxy, remova os segredos dos provedores da configuracao dele e, fundamentalmente, rotacione essas credenciais dos provedores para que as copias do proxy antigo percam a validade. Remova o proxy do CI e das configuracoes dos desenvolvedores para evitar que a dispersao de implantacao volte a crescer silenciosamente. A migracao estara concluida quando houver exatamente um caminho governavel para cada modelo e nenhum proxy orfao mantendo chaves ativas.

Onde as equipes erram

Migrar chaves compartilhadas em vez de redefinir o acesso por equipe. As implantacoes do LiteLLM acumulam chaves virtuais compartilhadas que sao usadas por varias equipes. Migrar essas chaves como estao recria exatamente a mesma dispersao sem governanca da qual voce esta tentando escapar. Aproveite a transicao para definir o acesso por equipe em seu provedor de identidade — esse e um dos principais objetivos da mudanca.

Ignorar o inventario de chamadores. As equipes migram os aplicativos de que se lembram e deixam um notebook, um job de cron ou um passo de CI apontando para o proxy antigo. Em seguida, desativam o LiteLLM e algo quebra silenciosamente. Faça uma busca (grep) por todo o ambiente procurando pelo hostname antigo antes de desligar o proxy.

Esquecer de rotacionar as credenciais na desativacao. Se voce desligar o LiteLLM, mas mantiver as chaves dos provedores sem rotacionar, essas credenciais continuarao ativas e armazenadas em um sistema desativado e sem monitoramento — exatamente o cenario de credenciais obsoletas que os incidentes de 2026 exploraram. Rotacione cada credencial armazenada no proxy antigo.

Tratar a troca da URL base como se fosse toda a migracao. A troca da URL base e o que torna o lado do cliente simples, mas a governanca — RBAC, orcamentos, definicao de escopo do catalogo, auditoria — e o verdadeiro motivo da migracao. Trocar as URLs sem configurar adequadamente a governanca deixa voce apenas com um novo proxy e os mesmos problemas antigos.

Migracao no estilo "Big-Bang". Alternar toda a organizacao em uma unica mudanca elimina seu limite de reversao. A execucao em paralelo e a transicao equipe por equipe existem para que qualquer problema fique restrito a uma unica equipe e possa ser revertido com a alteracao de uma URL base. So ignore essas etapas se voce gosta de chamadas de emergencia para tratar incidentes.

Conclusao

Superar a capacidade do LiteLLM e um sinal de sucesso, nao um erro na escolha inicial. Os motivos sao especificos e estruturais: o limite de vazao de um proxy Python sob concorrencia, a concentracao de todas as credenciais dos provedores em um so lugar, a dispersao de copias por varios ambientes, o peso de manter alta disponibilidade em infraestrutura propria e os incidentes na cadeia de suprimentos em 2026, que tornaram a concentracao de credenciais e a dispersao de versoes problemas muito menos abstratos.

A migracao em si e de baixo risco porque ambos os lados utilizam a API compativel com a OpenAI, fazendo com que a alteracao no cliente seja, em geral, apenas a URL base. Faça o inventario do que voce tem, mapeie as chaves para RBAC e orcamentos, a lista de modelos para um catalogo e a configuracao para politicas. Execute ambos em paralelo, faça a transicao equipe por equipe e desative o ambiente antigo com a rotacao completa das credenciais. Feito dessa forma, voce substitui um proxy conveniente por um plano de controle governavel sem a necessidade de reescrever codigo, garantindo controle sobre acesso, custos e auditoria.

Migre do LiteLLM com alteracoes minimas na sua aplicacao. Agende uma demonstracao.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.
Take a quick product tour
Start Product Tour
Product Tour