Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Migrando do Bifrost: Mudando de um AI Gateway Self-Hosted para um Gerenciado

Published: novembro 20, 2026

O Bifrost é um bom AI gateway open source, e muitas equipes começam por ele pelos motivos certos: é gratuito, rápido e roda em qualquer lugar. Os motivos pelos quais as equipes mais tarde abandonam um AI gateway self-hosted são geralmente operacionais, em vez de funcionais. Alguém precisa rodar o cluster, manter o PostgreSQL altamente disponível, fazer upgrades com breaking releases e responder à revisão de segurança. Quando esse trabalho deixa de valer a pena, a questão passa a ser como migrar sem quebrar todas as aplicações que chamam o gateway.

Este guia é o plano que seguiríamos. Ele mapeia os conceitos do Bifrost para um gateway gerenciado (usamos o TrueFoundry AI Gateway como destino), lista as alterações de clientes e apresenta um cutover com um caminho de rollback. Ele também cobre o que não é transferido, para que você possa dimensionar o trabalho de forma honesta.

Onde nos baseamos em nossa própria experiência, ao executar o Bifrost OSS v2.0.0 e ao instalar um gateway plane do TrueFoundry em nosso próprio cluster em outubro de 2026, nós indicamos.

Quando um AI gateway self-hosted deixa de valer a pena

O nível gratuito do Bifrost é um gateway completo, portanto, lacunas de recursos raramente são o gatilho. Geralmente são estes:

  • Você precisa de mais de um nó. Replicas OSS não compartilham estado. Elas leem o mesmo config.json estático, precisam de reinicialização para cada alteração e mantêm orçamentos, contadores de rate-limit e revogações de chaves por pod. A sincronização ao vivo é exclusiva do Enterprise.
  • Revisão de segurança. SSO, RBAC, audit logs, segredos em vault e guardrails são recursos Enterprise, precificados sob consulta. Identidades de serviço não existem em nenhum dos níveis; os serviços mantêm virtual keys de longa duração.
  • Upgrades. O lançamento v1.5.0 trouxe 16 breaking changes e migrações de banco de dados que não podem ser revertidas. Alguém precisa ler cada release note e fazer backup do PostgreSQL antes de cada upgrade.
  • On-call. O gateway está no caminho de cada chamada de modelo. Se ele cair às 2h da manhã, o aviso é para você.

Se dois ou mais desses pontos forem verdadeiros, um gateway gerenciado geralmente custa menos do que o tempo de engenharia. Nossos posts sobre preços do Bifrost e Bifrost Enterprise vs OSS cobrem a matemática de comprar versus executar em mais detalhes.

Escolha o modelo de implantação primeiro

“Gerenciado” abrange mais de um formato, e a escolha decide quanto da migração é trabalho de infraestrutura. O TrueFoundry oferece três (opções de implantação):

ModeloO que roda ondeEscolha quando
SaaS gatewayO gateway e o control plane rodam na infraestrutura do TrueFoundry. As apps chamam https://gateway.truefoundry.ai.Você quer infraestrutura zero e sua política de dados permite um gateway hospedado.
Gateway plane no seu clusterO gateway (data plane) roda no seu cluster Kubernetes; o control plane permanece hospedado. A configuração é sincronizada para o gateway.O tráfego de modelos deve permanecer na sua rede, mas você não quer executar o control plane.
Totalmente self-hostedO control plane e o gateway rodam ambos no seu ambiente, incluindo air-gapped.Ambientes regulamentados onde nada pode sair da sua rede.

Usamos a opção do meio para nossa própria avaliação. O gateway plane é instalado a partir de um chart Helm e se autentica no control plane com um token de gateway; modelos, roteamento e regras de acesso são configurados no control plane e sincronizados para o gateway. O chart também implanta um pod do Redis ao lado do gateway. Os pré-requisitos são Kubernetes 1.27 ou posterior, volumes de block-storage, um domínio e certificado para o endpoint do gateway, um secret de pull de imagem do TrueFoundry e egress do cluster para a URL do seu control plane (implantar gateway plane). O self-hosting do gateway plane faz parte do nível Enterprise do TrueFoundry.

Passo 1: inventariar o que o Bifrost está fazendo hoje

A maioria das surpresas durante a migração vem de configurações que ninguém se lembra de ter escrito. Antes de criar qualquer coisa no novo gateway, liste:

  • Providers e chaves: cada provider, cada chave, pesos de chaves e endpoints customizados como vLLM ou Ollama.
  • Virtual keys: proprietário (time, cliente ou nenhum), providers e modelos permitidos, orçamentos, rate limits, acesso a ferramentas MCP e expiração.
  • Roteamento: configurações ponderadas de providers, cadeias de fallback, configurações de retry e cada regra de roteamento CEL, com seu escopo e prioridade.
  • MCP: servidores MCP conectados, grupos de ferramentas e seus modos de autenticação.
  • Observabilidade: configurações de registro de conteúdo (content-logging), OTel e outros conectores, retenção e quaisquer dashboards ou alertas criados com métricas do bifrost_*.
  • Plugins: plugins customizados em Go, semantic caching e o plugin do Maxim.
  • Chamadores (Callers): cada aplicação, qual SDK ela usa, qual rota do Bifrost ela chama (compatível com OpenAI ou uma rota nativa do provider) e quais cabeçalhos do x-bf-* ela envia.

Se você executa o Bifrost com uma configuração baseada em arquivo, o config.json contém a maior parte desta lista. Se você usa o repositório de configurações baseado em banco de dados, leia-o de volta por meio da API de gerenciamento em vez da interface do usuário (UI), para que nada seja esquecido.

Etapa 2: mapear conceitos do Bifrost para o novo gateway

O mapeamento abaixo é o núcleo da migração. O comportamento do Bifrost vem da documentação do Bifrost; o comportamento do TrueFoundry vem da documentação do TrueFoundry vinculada em cada linha.

BifrostTrueFoundry AI GatewayNotas
Provider com chaves ponderadasConta de Provider (modelo) com modelos; várias contas por provider (quick start)Divida as chaves entre as quais você deseja rotear em contas separadas.
Nome do modelo openai/gpt-4o-mini/, por exemplo openai-main/gpt-4o-miniA string do modelo de cada chamador muda, a menos que você coloque um virtual model na frente.
Virtual key (bearer secret, pertencente a um time, cliente ou nada)Personal access tokens para pessoas; virtual account tokens para serviços, com rotação automática e sincronização com secret store (API keys)A etapa que mais melhora a segurança: cada serviço ganha sua própria identidade.
Providers e modelos permitidos em uma chaveAcesso a modelos concedido a usuários, times e virtual accounts por meio de rolesConceda por modelo, não para todo o tenant.
Orçamentos (chave, time, cliente, provider, modelo)Regras de limite de orçamento correspondidas por sujeitos, modelos, contas de provider e metadados; todas as regras correspondentes devem ser aprovadas (budget limiting)Inicie novos orçamentos em modo de auditoria por uma semana para comparar com os números do Bifrost.
Rate limits de requisições e tokensRegras de rate limit para requisições e tokens, divididas por usuário, modelo, virtual account ou metadados (rate limiting)Rate limits limitam o throughput; orçamentos limitam o gasto. Mantenha-os separados.
Roteamento ponderado, fallbacks, retriesVirtual models com estratégias de peso, prioridade ou latência, retries e códigos de status de fallback (virtual models)Um virtual model também fornece aos chamadores um nome estável entre providers.
Regras de roteamento CELNenhum equivalente um-para-umReescreva cada regra como um virtual model, uma política com escopo de metadados ou seleção de modelo no lado da aplicação. Veja abaixo.
Cabeçalhos x-bf-dim-* e x-bf-lh-*Cabeçalho X-TFY-METADATA, utilizável em regras de orçamento, rate limit e logging, e como rótulos de métricasOs chamadores alteram um cabeçalho em vez de vários.
Guardrails (Enterprise)Guardrails com modos de validação e mutação, aplicação ou auditoria (guardrails)Verifique quais regras para todo o tenant já existem antes de rotear o tráfego; veja os pontos de atenção.
Clientes MCP e grupos de ferramentasServidores MCP Gateway com autenticação de entrada (inbound) e saída (outbound) (MCP auth)Fluxos OAuth por usuário exigem que os usuários deem consentimento novamente.
Logging de conteúdo ativado ou desativado (global, por requisição, por conector)Configurações de logging por usuário, time, virtual account, modelo ou metadados, com redação de dados sensíveis (configuração de logging)Decida as regras de logging antes da migração; veja abaixo.
Plugin OTel, Prometheus /metricsExportação OTel a partir das configurações do gateway; Prometheus /metrics quando o gateway roda no seu cluster (exportação OTel)Dashboards nos nomes de métricas bifrost_* precisam ser recriados.
Plugins Go customizadosNenhum equivalente diretoReimplemente como um guardrail customizado ou mova a lógica para a aplicação.

Reescrevendo regras de roteamento CEL

As regras CEL são a parte da configuração do Bifrost que não se traduz mecanicamente. Classifique cada regra pelo que ela realmente faz:

  • Divisão de tráfego ou failover (destinos ponderados, fallbacks): torna-se um modelo virtual.
  • Roteamento por equipe ou ambiente (por exemplo, um cabeçalho como x-environment): torna-se um modelo virtual separado por ambiente, com acesso concedido à equipe certa ou políticas com escopo baseadas em metadados.
  • Reação ao uso de orçamento (mover o tráfego para um modelo mais barato após atingir um limite): torna-se uma regra de orçamento mais um fallback, ou uma decisão na aplicação.
  • Qualquer outra coisa: anote e decida se realmente pertence ao gateway.

Etapa 3: alterar os clientes

Para uma aplicação que usa o SDK da OpenAI, a mudança resume-se a três valores: URL base, chave de API e nome do modelo.

Alguns pontos a verificar por chamador:

  • Autenticação torna-se obrigatória. Em nossos testes, uma instalação padrão do Bifrost OSS aceitava requisições sem credenciais, então alguns chamadores internos podem nunca ter enviado uma. Cada requisição no TrueFoundry carrega um token bearer. Identifique esses chamadores antes da transição, não durante ela.
  • Rotas nativas de provedores. Se um chamador usa as rotas compatíveis do Bifrost com Anthropic, Gemini ou Bedrock utilizando o próprio SDK do provedor, verifique o suporte ao SDK nativo no destino. O TrueFoundry suporta os SDKs da OpenAI, Anthropic, Google Gen AI, Azure OpenAI e boto3, com configuração de roteamento suportada para alguns e não para outros (suporte a SDK nativo).
  • Formato da resposta (response shape). Quando apontamos o SDK Python da OpenAI para o Bifrost v2.0.0, quatro de seis cenários corresponderam exatamente à OpenAI; a role de streaming, logprobs e o formato de erro divergiram. Códigos que analisam os corpos de erro do Bifrost ou contornam suas peculiaridades de streaming podem precisar de ajustes ao falar com um gateway diferente. Teste o tratamento de erros, não apenas o caminho sem falhas.
  • Diferenças entre provedores não desaparecem. Em nossos testes no Bifrost, o mesmo formato de requisição produziu diferentes exigências de rigor no schema de tools, parâmetros de raciocínio e erros de descontinuação de modelo entre os provedores. Isso é verdade atrás de qualquer gateway, portanto, mantenha testes de contrato por provedor na sua CI.

Etapa 4: transição gradual, com um caminho de volta

  1. Suba o novo gateway ao lado do Bifrost. Recrie provedores, modelos, contas virtuais, orçamentos em modo de auditoria, limites de taxa, guardrails e configurações de log. Deixe o Bifrost intacto.
  2. Execute testes de contrato contra ambos os gateways: chat com e sem streaming, chamadas de ferramentas, saída estruturada, embeddings, casos de erro e cada rota nativa de provedor que você utiliza.
  3. Mova um serviço de baixo risco primeiro. Altere sua URL base, token e nomes de modelo via configuração ou feature flag, para que voltar seja um deploy, e não uma alteração de código.
  4. Compare por uma semana. A contagem de tokens e o custo calculado por serviço devem coincidir entre os logs do Bifrost e o dashboard do novo gateway. Uma diferença geralmente significa que o mapeamento de preços ou de nome de modelo está incorreto.
  5. Mova o restante em lotes, deixando os serviços de maior volume por último. Mude os orçamentos de auditoria para aplicação (enforce) assim que os números baterem.
  6. Mantenha o Bifrost rodando em modo somente leitura durante uma janela de rollback, depois revogue suas chaves virtuais. Em instalações OSS com múltiplas réplicas, a revogação de uma chave não se propaga entre os pods, portanto reinicie cada réplica após revogar ou simplesmente desligue o Bifrost.

O que não é transferido

  • Histórico de requisições. O schema SQLite ou PostgreSQL do Bifrost não é um formato de intercâmbio estável. Se você precisar do histórico para auditorias ou avaliações, exporte-o através da API de logs ou de seus conectores existentes antes de desativar, e mantenha-o fora do gateway.
  • Plugins Go customizados. Eles são compilados contra um núcleo específico do Bifrost e uma versão do Go, portanto, exigem reescrita.
  • Expressões CEL, como mencionado acima.
  • Conteúdo de cache. Caches semânticos e de correspondência exata começam frios no novo gateway.
  • Dashboards e alertas construídos sobre nomes de métricas e labels do bifrost_*.
  • Cabeçalhos específicos do Bifrost, como x-bf-vk, x-bf-dim-*, x-bf-lh-* e a sobrescrita de log por requisição.
  • Consentimentos OAuth do MCP para conexões por usuário; os usuários devem autorizar novamente.

Cuidados a ter com base na nossa própria experiência

Estes pontos vêm da instalação de um gateway plane do TrueFoundry em nosso cluster e do direcionamento de tráfego de teste para ele.

  • Regras de guardrail no nível do tenant aplicam-se imediatamente a novos chamadores. Nosso tenant já tinha uma regra de guardrail de PII; nossas primeiras requisições de teste foram rejeitadas com HTTP 400 até que excluíssemos a conta virtual de teste dessa regra. Revise as regras de guardrail existentes e execute as novas em modo de auditoria antes de mover o tráfego de produção.
  • O log de requisições vem ativado por padrão. Com um control plane hospedado, o gateway envia logs de requisições para ele. Você pode manter os dados de requisição e resposta em um bucket em sua própria nuvem, e as configurações de log podem desativar o registro do corpo da requisição ou ocultá-lo por equipe, modelo ou metadados. Decida isso com sua equipe de segurança antes da primeira requisição de produção, não depois.
  • Modelos auto-hospedados são registrados como qualquer outro provedor. Registramos um endpoint compatível com OpenAI rodando em nosso cluster como um modelo auto-hospedado e o chamamos como <account>/<model>. Endpoints internos do vLLM ou similares que você acessa através do Bifrost hoje são transferidos da mesma forma.
  • Dimensione para o pod extra. O chart do gateway-plane roda o Redis ao lado do gateway. Inclua-o no seu planejamento de capacidade e custos.

Um gateway gerenciado é ideal para você?

Permaneça no Bifrost auto-hospedado se você roda um único nó, tem engenheiros de plataforma para sustentá-lo e não precisa de SSO, auditoria ou identidades de serviço.

Migre para o Bifrost Enterprise se deseja continuar no Bifrost e operando o gateway você mesmo, mas precisa de clustering e dos recursos de segurança. Você ainda será responsável pelo cluster, PostgreSQL em alta disponibilidade e atualizações.

Migre para um gateway gerenciado se a carga operacional for o problema. Escolha SaaS se a sua política de dados permitir, ou um gateway plane em seu próprio cluster se o tráfego de modelos precisar permanecer dentro da sua rede.

Por que escolher o TrueFoundry como destino

  • Você escolhe o nível de gerenciamento. SaaS, um gateway plane no seu cluster com um control plane hospedado, ou totalmente auto-hospedado, incluindo ambientes air-gapped.
  • Sincronização de configuração é a própria arquitetura. Os pods do gateway são stateless e recebem configurações, usuários, contas virtuais e regras de autorização do control plane em tempo real; a configuração completa é republicada a cada 10 minutos para que uma atualização perdida não gere inconsistências, e os gateways continuam servindo com a última configuração válida se o control plane ficar inacessível (arquitetura do gateway plane). Isso substitui o modelo do Bifrost OSS de reiniciar cada pod.
  • Identidade de serviço nativa. As contas virtuais fornecem a cada aplicação seu próprio token com rotação programada, período de carência e sincronização com secret manager.
  • Políticas como regras. Orçamentos, limites de taxa, guardrails e logs são conjuntos de regras independentes combinados por usuário, modelo e metadados da requisição, com modos de auditoria para um lançamento seguro.

Se você está planejando sair de um AI gateway auto-hospedado, agende uma demonstração e traga sua configuração do Bifrost; podemos analisar o mapeamento junto com você. Para conhecer o produto primeiro, comece pela página do TrueFoundry AI Gateway.

Leituras relacionadas

Conclusão

Migrar de um AI gateway self-hosted tem menos a ver com a alteração no cliente, que é pequena, e mais com recriar com fidelidade chaves, políticas e roteamento, para depois fazer o cutover de um serviço por vez com um caminho de volta. Faça o inventário primeiro, mapeie cada chave virtual para uma identidade real, reescreva as regras CEL intencionalmente em vez de fazer uma tradução direta, e mantenha o Bifrost em execução até que os números coincidam. Se você quiser uma segunda opinião sobre o mapeamento, agende uma demonstração da TrueFoundry.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.

Frequently asked questions

Is TrueFoundry SOC 2 / HIPAA / GDPR compliant?

TrueFoundry supports SOC 2, HIPAA, and GDPR standards, with RBAC, SSO, and immutable audit logging built in. See the Trust Center for current attestations.

Take a quick product tour
Start Product Tour
Product Tour