Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Monitoramento de LLM com Bifrost: Prometheus e OpenTelemetry na Prática

Published: novembro 20, 2026

O Bifrost, o gateway de código aberto da Maxim AI, vem com uma pilha de monitoramento de LLM surpreendentemente completa em seu nível gratuito: um log de requisições, um endpoint do Prometheus /metrics e exportação de rastros OpenTelemetry. Ir de “ele expõe métricas” para painéis e alertas em que você pode confiar exige algumas decisões que a documentação espalha por várias páginas. Este guia as reúne em um só lugar: o que ativar, como fazer a coleta (scrape), quais rótulos importam, as consultas que valem a pena salvar e as configurações que vazam silenciosamente o conteúdo do prompt ou quebram seus contadores.

Este guia foi construído a partir da documentação do Bifrost, além de algumas coisas que vimos em primeira mão executando o Bifrost OSS v2.0.0, as quais apontamos à medida que aparecem.

A latência do gateway está fora do escopo aqui; nossa análise do Bifrost cobre o desempenho.

Uma requisição, três planos

Uma única requisição de chat através do Bifrost chega a três lugares ao mesmo tempo, todos disponíveis no OSS (observabilidade integrada):

  1. ‍‍Logs. O plugin de logging sempre ativo grava uma linha de forma assíncrona: mensagens de entrada e saída, modelo, contagem de tokens, custo em USD calculado, latência, status e quaisquer cabeçalhos de log. A documentação coloca sua sobrecarga abaixo de 0,1 ms. Você pode vê-lo no painel na porta 8080 ou consultá-lo através de GET /api/logs.‍
  2. Métricas. Contadores como bifrost_upstream_requests_total, bifrost_input_tokens_total e bifrost_cost_total incrementam com rótulos para provedor, modelo e chave virtual, além de environment="production" do cabeçalho de dimensão.‍
  3. Rastros (Traces). Se o plugin OTel estiver ativado, um span vai para o seu coletor no formato de rastro escolhido, carregando a mesma dimensão para que possa ficar ao lado dos rastros da sua aplicação.

O restante deste guia é sobre como tornar cada plano pronto para produção.

Métricas de LLM com Prometheus

Ativando e fazendo a coleta (scrape)

O plugin de telemetria é ativado por padrão e serve o formato de exposição do Prometheus em /metrics na porta do gateway (Prometheus). Para um único nó, um trabalho simples de coleta é suficiente:‍

Duas coisas costumam atrapalhar as pessoas aqui.

A autenticação altera a coleta. Quando auth_config.is_enabled é verdadeiro, /metrics exige autenticação básica, e um trabalho de coleta sem credenciais correspondentes falha com um 401. O Prometheus mostra o alvo como inativo (down), para que você perceba, mas apenas se estiver monitorando a saúde do alvo. O problema inverso é pior, e nós o encontramos em nossos próprios testes: uma nova instalação do OSS começa sem nenhuma autenticação, então /metrics, o painel e a API de administração ficam abertos para qualquer pessoa que possa alcançar a porta até que você configure um administrador e um token de configuração. Não exponha a porta 8080 além da rede do coletor.

Não faça a coleta através de um balanceador de carga. Cada réplica mantém seus próprios contadores. Se o Prometheus coletar de um endereço balanceado, cada coleta chega a um pod diferente e seus contadores saltam para trás e para a frente. Colete de cada pod diretamente (descoberta de serviço do Kubernetes nos IPs dos pods) ou use o modo Push Gateway, que a documentação do Bifrost recomenda para clusters multi-nó atrás de um balanceador de carga. Isso importa mais no OSS, onde as réplicas não compartilham nenhum estado: orçamentos e contadores vivem por pod, então as métricas por pod são a única visão honesta.

O que o Bifrost expõe

O catálogo de métricas, agrupado pelo objetivo de uso:

UsoMétricas
Tráfego e errosbifrost_upstream_requests_total, bifrost_success_requests_total, bifrost_error_requests_total, bifrost_active_requests, bifrost_request_retries
Latênciabifrost_upstream_latency_seconds, bifrost_stream_first_token_latency_seconds (tempo até o primeiro token, TTFT), bifrost_stream_inter_token_latency_seconds
Tokens e gastosbifrost_input_tokens_total, bifrost_output_tokens_total, bifrost_cost_total
Cachingbifrost_cache_hits_total
Saúde das chaves do provedorbifrost_provider_key_up, bifrost_key_rotation_events_total
Ferramentas MCPbifrost_mcp_client_operation_duration_seconds, com um rótulo error_type
Camada HTTPhttp_requests_total, http_request_duration_seconds, http_request_size_bytes, http_response_size_bytes

As métricas HTTP rotulam path com o modelo de rota correspondente, não a URL bruta, o que mantém a cardinalidade limitada. Uma coisa a lembrar sobre bifrost_cost_total: é um custo que o Bifrost calcula a partir de seu catálogo de preços e dos campos de uso retornados pelos provedores. É bom para orçamentos e demonstrativos, mas não é uma fatura, e descontos ou créditos negociados não aparecerão nele.

Os rótulos que as tornam úteis

Os rótulos padrão carregam a mesma estrutura de identidade que o Bifrost usa para governança, que é o que transforma contadores brutos em respostas:

  • provider, model e alias
  • virtual_key_id / virtual_key_name, team_id / team_name, customer_id / customer_name. Estão vazios quando você não usa governança.
  • routing_engine_used, routing_rule_id / routing_rule_name, selected_key_id / selected_key_name e fallback_index, que juntos explicam por que uma requisição foi para onde foi.

A atribuição por usuário não é um rótulo de métrica padrão. Você a obtém por meio de cabeçalhos de log (X-User-ID ou qualquer cabeçalho x-bf-lh-*), que vão para o log de requisições, ou por meio de dimensões.

Dimensões personalizadas e a armadilha da cardinalidade

Qualquer cabeçalho de requisição que comece com x-bf-dim- torna-se uma dimensão gravada no log de requisições, no span do OTel e no Prometheus como um rótulo personalizado ao mesmo tempo (dimensões de observabilidade compartilhadas). Essa é a maneira mais limpa de etiquetar o tráfego por ambiente, recurso ou cliente (tenant) sem novas chaves virtuais.

Também é a maneira mais fácil de quebrar o Prometheus. Cada valor distinto de um rótulo cria uma nova série temporal para cada métrica que o carrega. Uma dimensão como environment com três valores é aceitável. Uma dimensão como request_id, session_id ou user_id cria uma série por valor em dezenas de métricas. Mantenha identificadores de alta cardinalidade nos cabeçalhos de log (x-bf-lh-*), que vão apenas para o log de requisições, e reserve x-bf-dim-* para valores que você colocaria de bom grado em um menu suspenso de um painel.

PromQLs que valem a pena salvar

Estes usam os nomes de métricas e rótulos documentados. Confirme os tipos de métricas em relação à saída do /metrics da sua versão primeiro; a consulta de TTFT supõe que as métricas de latência são histogramas.‍

‍Alertas que você terá que trazer por conta própria

O mecanismo de alertas integrado do Bifrost é exclusivo do Enterprise e avalia métricas de orçamento e limites de taxa (percentual de orçamento usado, gasto, uso de requisições e tokens), não taxas de erro ou latência (alertas). Para alertas de confiabilidade em qualquer um dos níveis, aponte o Alertmanager para as métricas acima:

‍‍O Bifrost não fornece um painel do Grafana ou um pacote de regras de alerta na documentação que analisamos, portanto, eles ficam sob a responsabilidade da sua equipe.

Rastreamento de LLM com OpenTelemetry

Ativando o plugin OTel

A exportação de rastros reside no plugin otel, que faz parte do OSS (configuração de plugins). Ele vem desativado por padrão no Helm chart; depois de adicioná-lo, a exportação de rastros fica ativada por padrão. As configurações com as quais você lidará:

ConfiguraçãoO que faz
Endpoint e protocolo do coletorPara onde os spans vão, via OTLP HTTP ou gRPC.
trace_typeA convenção semântica para os spans: genai_extension, open_inference ou vercel.
traces_enabledO padrão é true uma vez que o plugin é configurado.
metrics_enabled, metrics_endpoint, metrics_push_intervalEnvia métricas via OTLP também, para uma configuração combinada ou apenas de métricas.
disable_content_logging do conectorRemove o conteúdo do prompt e da resposta do que este conector exporta. O padrão é false.

No lado do receptor, um OpenTelemetry Collector mínimo que aceita ambos os protocolos e encaminha para o seu backend de rastreamento é assim:

‍Mantenha um coletor entre o Bifrost e qualquer backend SaaS, mesmo que o backend aceite OTLP diretamente. Ele fornece um único lugar para agrupar em lotes (batch), filtrar atributos e trocar de provedor sem tocar na configuração do gateway.

Escolhendo um formato de rastro: OTel GenAI, OpenInference ou Vercel

trace_type decide como as ferramentas downstream interpretam os spans do Bifrost. Um guia rápido para escolher:

  • genai_extension segue as convenções semânticas da OpenTelemetry GenAI (os atributos gen_ai.*, às vezes abreviados para OTel GenAI). Escolha-o para backends de uso geral, como Grafana Tempo, Honeycomb, Jaeger ou Datadog via OTLP.
  • open_inference segue as convenções OpenInference da Arize. Escolha-o se o seu visualizador de rastros for construído em torno do OpenInference, como o Arize Phoenix. O Bifrost não documenta conectores nativos para Langfuse ou Arize, portanto, trate OTLP mais OpenInference como a rota provável para isso, em vez de uma integração suportada.
  • vercel corresponde às convenções do Vercel AI SDK. Escolha-o se o restante dos seus rastros já vier do Vercel AI SDK.

Qualquer que você escolher, envie uma requisição de teste e verifique os nomes dos atributos em seu backend antes de construir painéis sobre eles.

Conteúdo de prompts em seus rastros

Esta é a configuração que mais provavelmente surpreenderá um revisor de segurança. O disable_content_logging do Bifrost em nível de cliente remove prompts e respostas do seu próprio repositório de logs, mas não se aplica aos conectores de observabilidade. OpenTelemetry, Datadog, BigQuery, Kafka e Pub/Sub têm, cada um, sua própria flag disable_content_logging, e cada uma tem como padrão false (configuração de cliente). Portanto, uma equipe que desativa o log de conteúdo no cliente e adiciona o plugin OTel está, por padrão, ainda exportando prompts completos para seu backend de rastreamento.

Para uma postura de apenas metadados, defina a flag no cliente e em cada conector ativado. Cabeçalhos de requisição capturados são exportados independentemente das flags de conteúdo, portanto, verifique também quais cabeçalhos você captura. Se precisar de algum conteúdo para depuração, um processador de descarte de atributos em seu coletor serve como uma segunda linha de defesa, mas adeque-o aos nomes de atributos que o formato de rastro escolhido realmente emite.

Unindo spans do Bifrost aos rastros da sua aplicação

A propagação do contexto de rastro W3C ponta a ponta é documentada para o plugin nativo do Datadog, que usa dd-trace-go. Para o plugin OTel genérico, a documentação não diz se um cabeçalho traceparent de entrada torna o span do Bifrost um filho do span da sua aplicação. Teste isso antes de prometer a qualquer pessoa uma cascata (waterfall) única do frontend ao modelo. Se não houver a junção, a dimensão compartilhada x-bf-dim-* é seu recurso de contingência para correlacionar os dois.

O log de requisições: o plano que você já possui

O plugin de logging é o único plano que você não precisa configurar. Pontos que o tornam útil na prática:

  • GET /api/logs filtra por provedor, modelo, status, intervalo de tempo, latência, tokens e custo, além de suportar content_search de texto completo. Uma transmissão via WebSocket fornece um acompanhamento ao vivo.
  • Desde a v1.5.0, cada linha registra a chave selecionada, a contagem de tentativas e um attempt_trail ordenado mostrando cada tentativa, sua chave, o motivo da falha e se ela acionou a rotação de chave. Quando um provedor oscila, isso é mais rápido do que qualquer painel.
  • O armazenamento é SQLite por padrão e PostgreSQL para produção. A retenção padrão é de 365 dias via log_retention_days, com um limpador que roda a cada 24 horas.
  • Na v2.0.0, a captura bruta de requisição e resposta do provedor é uma opção sob Observability e, em seguida, Logs Settings, no painel. Ativamos isso para inspecionar exatamente o que o Bifrost enviou a cada provedor, e vale a pena saber que existe antes de você precisar.

Não há amostragem baseada em taxa para logs. O parâmetro mais próximo, drop_excess_requests, descarta carga quando as filas enchem; não é um amostrador. Em alto volume, planeje o armazenamento para cada requisição ou desative o log de conteúdo.

Pontos de atenção, em uma única lista

  • A opção de log de conteúdo do cliente não cobre os conectores. Configure-a por conector.
  • Ativar a autenticação faz com que o /metrics exija autenticação básica; até que a autenticação esteja ativa, tudo fica aberto.
  • Fazer a coleta através de um balanceador de carga desorganiza os contadores por pod. Colete dos pods ou use o Push Gateway.
  • Valores de x-bf-dim-* tornam-se rótulos do Prometheus. Mantenha IDs fora deles.
  • O plugin OTel vem desativado por padrão no Helm, embora seja gratuito.
  • As métricas de custo são calculadas a partir de um catálogo de preços que sincroniza com a Maxim a cada 24 horas. Em uma instalação isolada (air-gapped), você mesmo deve fornecer o arquivo de preços.
  • Alertas nativos são Enterprise e cobrem apenas gastos e limites de taxa. Alertas de latência e erro ficam por sua conta.
  • Se você descarregar logs para S3 ou GCS (Enterprise), o limpador de retenção não exclui esses objetos. Configure uma regra de ciclo de vida no bucket.

O que é OSS e o que é Enterprise

CapacidadeBifrost OSSBifrost Enterprise
Log de requisições, painel, API de logsSimSim
Prometheus /metrics, Push GatewaySimSim
Rastros e métricas OTLPSimSim
Conectores Datadog e BigQueryDocumentados sem indicação de nível, mas listados como Enterprise na página de preçosSim
Exportação de logs para S3 ou GCSNãoSim
Alertas nativos (Slack, Teams, PagerDuty, webhook)NãoSim, apenas métricas de gastos e limites de taxa
Visibilidade de logs em nível de linha por equipeNãoSim, por meio de controle de acesso a dados

Se a questão do Enterprise for além da observabilidade, nossa análise detalhada sobre Bifrost Enterprise vs OSS cobre identidade, auditoria e clustering.

Onde o monitoramento do Bifrost para

O Bifrost informa o que aconteceu. Ele não diz se a resposta foi boa. Sinais de qualidade, como avaliações, verificações de desvio (drift) e alucinação, vivem na plataforma separada da Maxim, para a qual o plugin gratuito da Maxim encaminha o tráfego, ou em ferramentas que você constrói a partir dos logs exportados. O gateway também deixa o design do painel, regras de alerta, dimensionamento do armazenamento de logs e políticas de log por equipe para você. O log de conteúdo fica ativado ou desativado globalmente, por requisição ou por conector; não há uma regra como “nunca registre os prompts da equipe financeira”.

A alternativa TrueFoundry

O TrueFoundry AI Gateway cobre os mesmos três planos com menos necessidade de montagem. Algumas diferenças que importam após ler os pontos de atenção acima:

  • Um painel que você não precisa construir. O painel de métricas cobre custos, chamadas de LLM e MCP, detalhamento de erros, resultados de guardrails, roteamento, caching e economia de custos, e filtra por modelo, usuário, conta virtual e equipe (painel de métricas).
  • Exportação OTel a partir da interface. Rastros e métricas podem ser exportados para qualquer backend OTLP via HTTP ou gRPC, com cabeçalhos personalizados e uma opção para temporalidade delta, configurada nas definições do gateway em vez de um arquivo de configuração (exportação de dados OpenTelemetry).
  • Prometheus quando você hospeda o gateway. Um gateway auto-hospedado expõe /metrics com rótulos de modelo, tenant e usuário, e você escolhe quais chaves de metadados da requisição se tornam rótulos, o que mantém a cardinalidade sob seu controle (Prometheus e Grafana).
  • Regras de logging por usuário e conteúdo. As configurações de logging correspondem a usuários, equipes, contas virtuais, modelos ou metadados da requisição, decidem se os corpos são registrados com semântica de negação sobreposta e ocultam padrões da cópia armazenada (configuração de logging). Essa é a regra “nunca registre os prompts da equipe financeira” que o Bifrost não possui.

Se você prefere dedicar seu tempo ao que as métricas dizem em vez de como conectá-las, veja como o TrueFoundry AI Gateway lida com o monitoramento de LLMs.

Leituras relacionadas

Conclusão

O Bifrost oferece uma boa base para o monitoramento de LLMs gratuitamente: logs por requisição, métricas do Prometheus com rótulos conscientes da governança e rastros OpenTelemetry na convenção de sua escolha. Torná-lo pronto para produção depende de você. Faça a coleta por pod, mantenha IDs fora dos rótulos de dimensão, defina a flag de conteúdo em cada conector e construa os alertas e painéis que ele não fornece. Se essa lista parece um trabalho que você prefere não assumir, agende uma demonstração da TrueFoundry e compare as duas configurações lado a lado.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 20, 2026
|
5 min read

Grok 4.3 no Amazon Bedrock: Roteamos Quatro Modelos de Fronteira por um Único Gateway e Medimos o Custo

Ferramentas de LLM
comparação
novembro 20, 2026
|
5 min read

GPT-6.1 Terra: API, Benchmarks, Preço & Como Usar

No items found.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
novembro 20, 2026
|
5 min read

Bifrost vs Portkey: Precificação, Recursos de Gateway e Adequação Enterprise Comparados

No items found.
novembro 20, 2026
|
5 min read

Evolução do Machine Learning: Um Mergulho Profundo na Jornada de Savin

True ML Talks
No items found.
Take a quick product tour
Start Product Tour
Product Tour