Migrando do Bifrost: Mudando de um AI Gateway Self-Hosted para um Gerenciado
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
O Bifrost é um bom AI gateway open source, e muitas equipes começam por ele pelos motivos certos: é gratuito, rápido e roda em qualquer lugar. Os motivos pelos quais as equipes mais tarde abandonam um AI gateway self-hosted são geralmente operacionais, em vez de funcionais. Alguém precisa rodar o cluster, manter o PostgreSQL altamente disponível, fazer upgrades com breaking releases e responder à revisão de segurança. Quando esse trabalho deixa de valer a pena, a questão passa a ser como migrar sem quebrar todas as aplicações que chamam o gateway.
Este guia é o plano que seguiríamos. Ele mapeia os conceitos do Bifrost para um gateway gerenciado (usamos o TrueFoundry AI Gateway como destino), lista as alterações de clientes e apresenta um cutover com um caminho de rollback. Ele também cobre o que não é transferido, para que você possa dimensionar o trabalho de forma honesta.
Onde nos baseamos em nossa própria experiência, ao executar o Bifrost OSS v2.0.0 e ao instalar um gateway plane do TrueFoundry em nosso próprio cluster em outubro de 2026, nós indicamos.
Quando um AI gateway self-hosted deixa de valer a pena
O nível gratuito do Bifrost é um gateway completo, portanto, lacunas de recursos raramente são o gatilho. Geralmente são estes:
- Você precisa de mais de um nó. Replicas OSS não compartilham estado. Elas leem o mesmo
config.jsonestático, precisam de reinicialização para cada alteração e mantêm orçamentos, contadores de rate-limit e revogações de chaves por pod. A sincronização ao vivo é exclusiva do Enterprise. - Revisão de segurança. SSO, RBAC, audit logs, segredos em vault e guardrails são recursos Enterprise, precificados sob consulta. Identidades de serviço não existem em nenhum dos níveis; os serviços mantêm virtual keys de longa duração.
- Upgrades. O lançamento v1.5.0 trouxe 16 breaking changes e migrações de banco de dados que não podem ser revertidas. Alguém precisa ler cada release note e fazer backup do PostgreSQL antes de cada upgrade.
- On-call. O gateway está no caminho de cada chamada de modelo. Se ele cair às 2h da manhã, o aviso é para você.
Se dois ou mais desses pontos forem verdadeiros, um gateway gerenciado geralmente custa menos do que o tempo de engenharia. Nossos posts sobre preços do Bifrost e Bifrost Enterprise vs OSS cobrem a matemática de comprar versus executar em mais detalhes.
Escolha o modelo de implantação primeiro
“Gerenciado” abrange mais de um formato, e a escolha decide quanto da migração é trabalho de infraestrutura. O TrueFoundry oferece três (opções de implantação):
Usamos a opção do meio para nossa própria avaliação. O gateway plane é instalado a partir de um chart Helm e se autentica no control plane com um token de gateway; modelos, roteamento e regras de acesso são configurados no control plane e sincronizados para o gateway. O chart também implanta um pod do Redis ao lado do gateway. Os pré-requisitos são Kubernetes 1.27 ou posterior, volumes de block-storage, um domínio e certificado para o endpoint do gateway, um secret de pull de imagem do TrueFoundry e egress do cluster para a URL do seu control plane (implantar gateway plane). O self-hosting do gateway plane faz parte do nível Enterprise do TrueFoundry.
Passo 1: inventariar o que o Bifrost está fazendo hoje
A maioria das surpresas durante a migração vem de configurações que ninguém se lembra de ter escrito. Antes de criar qualquer coisa no novo gateway, liste:
- Providers e chaves: cada provider, cada chave, pesos de chaves e endpoints customizados como vLLM ou Ollama.
- Virtual keys: proprietário (time, cliente ou nenhum), providers e modelos permitidos, orçamentos, rate limits, acesso a ferramentas MCP e expiração.
- Roteamento: configurações ponderadas de providers, cadeias de fallback, configurações de retry e cada regra de roteamento CEL, com seu escopo e prioridade.
- MCP: servidores MCP conectados, grupos de ferramentas e seus modos de autenticação.
- Observabilidade: configurações de registro de conteúdo (content-logging), OTel e outros conectores, retenção e quaisquer dashboards ou alertas criados com métricas do
bifrost_*. - Plugins: plugins customizados em Go, semantic caching e o plugin do Maxim.
- Chamadores (Callers): cada aplicação, qual SDK ela usa, qual rota do Bifrost ela chama (compatível com OpenAI ou uma rota nativa do provider) e quais cabeçalhos do
x-bf-*ela envia.
Se você executa o Bifrost com uma configuração baseada em arquivo, o config.json contém a maior parte desta lista. Se você usa o repositório de configurações baseado em banco de dados, leia-o de volta por meio da API de gerenciamento em vez da interface do usuário (UI), para que nada seja esquecido.
Etapa 2: mapear conceitos do Bifrost para o novo gateway
O mapeamento abaixo é o núcleo da migração. O comportamento do Bifrost vem da documentação do Bifrost; o comportamento do TrueFoundry vem da documentação do TrueFoundry vinculada em cada linha.
Reescrevendo regras de roteamento CEL
As regras CEL são a parte da configuração do Bifrost que não se traduz mecanicamente. Classifique cada regra pelo que ela realmente faz:
- Divisão de tráfego ou failover (destinos ponderados, fallbacks): torna-se um modelo virtual.
- Roteamento por equipe ou ambiente (por exemplo, um cabeçalho como
x-environment): torna-se um modelo virtual separado por ambiente, com acesso concedido à equipe certa ou políticas com escopo baseadas em metadados. - Reação ao uso de orçamento (mover o tráfego para um modelo mais barato após atingir um limite): torna-se uma regra de orçamento mais um fallback, ou uma decisão na aplicação.
- Qualquer outra coisa: anote e decida se realmente pertence ao gateway.
Etapa 3: alterar os clientes
Para uma aplicação que usa o SDK da OpenAI, a mudança resume-se a três valores: URL base, chave de API e nome do modelo.
Alguns pontos a verificar por chamador:
- Autenticação torna-se obrigatória. Em nossos testes, uma instalação padrão do Bifrost OSS aceitava requisições sem credenciais, então alguns chamadores internos podem nunca ter enviado uma. Cada requisição no TrueFoundry carrega um token bearer. Identifique esses chamadores antes da transição, não durante ela.
- Rotas nativas de provedores. Se um chamador usa as rotas compatíveis do Bifrost com Anthropic, Gemini ou Bedrock utilizando o próprio SDK do provedor, verifique o suporte ao SDK nativo no destino. O TrueFoundry suporta os SDKs da OpenAI, Anthropic, Google Gen AI, Azure OpenAI e boto3, com configuração de roteamento suportada para alguns e não para outros (suporte a SDK nativo).
- Formato da resposta (response shape). Quando apontamos o SDK Python da OpenAI para o Bifrost v2.0.0, quatro de seis cenários corresponderam exatamente à OpenAI; a role de streaming, logprobs e o formato de erro divergiram. Códigos que analisam os corpos de erro do Bifrost ou contornam suas peculiaridades de streaming podem precisar de ajustes ao falar com um gateway diferente. Teste o tratamento de erros, não apenas o caminho sem falhas.
- Diferenças entre provedores não desaparecem. Em nossos testes no Bifrost, o mesmo formato de requisição produziu diferentes exigências de rigor no schema de tools, parâmetros de raciocínio e erros de descontinuação de modelo entre os provedores. Isso é verdade atrás de qualquer gateway, portanto, mantenha testes de contrato por provedor na sua CI.
Etapa 4: transição gradual, com um caminho de volta
- Suba o novo gateway ao lado do Bifrost. Recrie provedores, modelos, contas virtuais, orçamentos em modo de auditoria, limites de taxa, guardrails e configurações de log. Deixe o Bifrost intacto.
- Execute testes de contrato contra ambos os gateways: chat com e sem streaming, chamadas de ferramentas, saída estruturada, embeddings, casos de erro e cada rota nativa de provedor que você utiliza.
- Mova um serviço de baixo risco primeiro. Altere sua URL base, token e nomes de modelo via configuração ou feature flag, para que voltar seja um deploy, e não uma alteração de código.
- Compare por uma semana. A contagem de tokens e o custo calculado por serviço devem coincidir entre os logs do Bifrost e o dashboard do novo gateway. Uma diferença geralmente significa que o mapeamento de preços ou de nome de modelo está incorreto.
- Mova o restante em lotes, deixando os serviços de maior volume por último. Mude os orçamentos de auditoria para aplicação (enforce) assim que os números baterem.
- Mantenha o Bifrost rodando em modo somente leitura durante uma janela de rollback, depois revogue suas chaves virtuais. Em instalações OSS com múltiplas réplicas, a revogação de uma chave não se propaga entre os pods, portanto reinicie cada réplica após revogar ou simplesmente desligue o Bifrost.
O que não é transferido
- Histórico de requisições. O schema SQLite ou PostgreSQL do Bifrost não é um formato de intercâmbio estável. Se você precisar do histórico para auditorias ou avaliações, exporte-o através da API de logs ou de seus conectores existentes antes de desativar, e mantenha-o fora do gateway.
- Plugins Go customizados. Eles são compilados contra um núcleo específico do Bifrost e uma versão do Go, portanto, exigem reescrita.
- Expressões CEL, como mencionado acima.
- Conteúdo de cache. Caches semânticos e de correspondência exata começam frios no novo gateway.
- Dashboards e alertas construídos sobre nomes de métricas e labels do
bifrost_*. - Cabeçalhos específicos do Bifrost, como
x-bf-vk,x-bf-dim-*,x-bf-lh-*e a sobrescrita de log por requisição. - Consentimentos OAuth do MCP para conexões por usuário; os usuários devem autorizar novamente.
Cuidados a ter com base na nossa própria experiência
Estes pontos vêm da instalação de um gateway plane do TrueFoundry em nosso cluster e do direcionamento de tráfego de teste para ele.
- Regras de guardrail no nível do tenant aplicam-se imediatamente a novos chamadores. Nosso tenant já tinha uma regra de guardrail de PII; nossas primeiras requisições de teste foram rejeitadas com HTTP 400 até que excluíssemos a conta virtual de teste dessa regra. Revise as regras de guardrail existentes e execute as novas em modo de auditoria antes de mover o tráfego de produção.
- O log de requisições vem ativado por padrão. Com um control plane hospedado, o gateway envia logs de requisições para ele. Você pode manter os dados de requisição e resposta em um bucket em sua própria nuvem, e as configurações de log podem desativar o registro do corpo da requisição ou ocultá-lo por equipe, modelo ou metadados. Decida isso com sua equipe de segurança antes da primeira requisição de produção, não depois.
- Modelos auto-hospedados são registrados como qualquer outro provedor. Registramos um endpoint compatível com OpenAI rodando em nosso cluster como um modelo auto-hospedado e o chamamos como
<account>/<model>. Endpoints internos do vLLM ou similares que você acessa através do Bifrost hoje são transferidos da mesma forma. - Dimensione para o pod extra. O chart do gateway-plane roda o Redis ao lado do gateway. Inclua-o no seu planejamento de capacidade e custos.
Um gateway gerenciado é ideal para você?
Permaneça no Bifrost auto-hospedado se você roda um único nó, tem engenheiros de plataforma para sustentá-lo e não precisa de SSO, auditoria ou identidades de serviço.
Migre para o Bifrost Enterprise se deseja continuar no Bifrost e operando o gateway você mesmo, mas precisa de clustering e dos recursos de segurança. Você ainda será responsável pelo cluster, PostgreSQL em alta disponibilidade e atualizações.
Migre para um gateway gerenciado se a carga operacional for o problema. Escolha SaaS se a sua política de dados permitir, ou um gateway plane em seu próprio cluster se o tráfego de modelos precisar permanecer dentro da sua rede.
Por que escolher o TrueFoundry como destino
- Você escolhe o nível de gerenciamento. SaaS, um gateway plane no seu cluster com um control plane hospedado, ou totalmente auto-hospedado, incluindo ambientes air-gapped.
- Sincronização de configuração é a própria arquitetura. Os pods do gateway são stateless e recebem configurações, usuários, contas virtuais e regras de autorização do control plane em tempo real; a configuração completa é republicada a cada 10 minutos para que uma atualização perdida não gere inconsistências, e os gateways continuam servindo com a última configuração válida se o control plane ficar inacessível (arquitetura do gateway plane). Isso substitui o modelo do Bifrost OSS de reiniciar cada pod.
- Identidade de serviço nativa. As contas virtuais fornecem a cada aplicação seu próprio token com rotação programada, período de carência e sincronização com secret manager.
- Políticas como regras. Orçamentos, limites de taxa, guardrails e logs são conjuntos de regras independentes combinados por usuário, modelo e metadados da requisição, com modos de auditoria para um lançamento seguro.
Se você está planejando sair de um AI gateway auto-hospedado, agende uma demonstração e traga sua configuração do Bifrost; podemos analisar o mapeamento junto com você. Para conhecer o produto primeiro, comece pela página do TrueFoundry AI Gateway.
Leituras relacionadas
- Preços do Bifrost: OSS, custos Enterprise e o que as equipes devem saber
- Bifrost vs LiteLLM
- O que é um LLM gateway?
- AI gateway on-premise: tudo o que você precisa saber
- Alternativas ao LiteLLM
Conclusão
Migrar de um AI gateway self-hosted tem menos a ver com a alteração no cliente, que é pequena, e mais com recriar com fidelidade chaves, políticas e roteamento, para depois fazer o cutover de um serviço por vez com um caminho de volta. Faça o inventário primeiro, mapeie cada chave virtual para uma identidade real, reescreva as regras CEL intencionalmente em vez de fazer uma tradução direta, e mantenha o Bifrost em execução até que os números coincidam. Se você quiser uma segunda opinião sobre o mapeamento, agende uma demonstração da TrueFoundry.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
Is TrueFoundry SOC 2 / HIPAA / GDPR compliant?
TrueFoundry supports SOC 2, HIPAA, and GDPR standards, with RBAC, SSO, and immutable audit logging built in. See the Trust Center for current attestations.












.webp)







