Monitorización de LLM con Bifrost: Prometheus y OpenTelemetry en la práctica
.webp)
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Bifrost, la pasarela de código abierto de Maxim AI, incluye un conjunto de herramientas de monitorización de LLM sorprendentemente completo en su nivel gratuito: un registro de peticiones, un endpoint de Prometheus /metrics y la exportación de trazas de OpenTelemetry. Pasar de "expone métricas" a tener cuadros de mando y alertas en los que poder confiar requiere tomar algunas decisiones que la documentación dispersa en varias páginas. Esta guía las reúne en un solo lugar: qué activar, cómo hacer el scraping, qué etiquetas importan, las consultas que vale la pena guardar y los ajustes que silenciosamente filtran el contenido de los prompts o rompen tus contadores.
Esta guía se ha elaborado a partir de la documentación de Bifrost, además de algunas cosas que vimos de primera mano al ejecutar Bifrost OSS v2.0.0, las cuales señalamos a medida que van apareciendo.
La latencia de la pasarela queda fuera del alcance de este artículo; nuestra reseña de Bifrost cubre el rendimiento.
Una petición, tres planos
Una única petición de chat a través de Bifrost llega a tres lugares a la vez, todos ellos disponibles en la versión OSS (observabilidad integrada):
-
Registros (Logs). El plugin de registro, que está siempre activo, escribe una fila de forma asíncrona: mensajes de entrada y salida, modelo, recuento de tokens, coste calculado en USD, latencia, estado y cualquier cabecera de registro. La documentación sitúa su sobrecarga por debajo de los 0,1 ms. Puedes verlo en el cuadro de mando en el puerto 8080 o consultarlo a través deGET /api/logs. - Métricas. Los contadores como
bifrost_upstream_requests_total,bifrost_input_tokens_totalybifrost_cost_totalse incrementan con etiquetas de proveedor, modelo y clave virtual, además deenvironment="production"procedente de la cabecera de dimensión. - Trazas. Si el plugin de OTel está activado, se envía un span a tu colector en el formato de traza que hayas elegido, con la misma dimensión para que pueda situarse junto a las trazas de tu aplicación.
El resto de esta guía trata sobre cómo preparar cada uno de estos planos para entornos de producción.
Métricas de LLM con Prometheus
Activación y scraping
El plugin de telemetría está activado por defecto y ofrece el formato de exposición de Prometheus en /metrics en el puerto de la pasarela (Prometheus). Para un solo nodo, un trabajo de scraping sencillo es suficiente:
Hay dos cosas que suelen confundir a los usuarios en este punto.
La autenticación cambia el scraping. Cuando auth_config.is_enabled está configurado como true, /metrics requiere autenticación básica (Basic auth), y un trabajo de scraping sin las credenciales correspondientes falla con un error 401. Prometheus muestra el destino como caído (down), por lo que te darás cuenta, pero solo si estás supervisando el estado de los destinos. El problema inverso es peor, y nos topamos con él en nuestras propias pruebas: una instalación limpia de OSS comienza sin ningún tipo de autenticación, por lo que /metrics, el cuadro de mando y la API de administración están abiertos a cualquiera que pueda acceder al puerto hasta que configures un administrador y un token de configuración. No expongas el puerto 8080 fuera de la red del scrapper.
No hagas scraping a través de un balanceador de carga. Cada réplica mantiene sus propios contadores. Si Prometheus realiza el scraping a una dirección balanceada, cada consulta llegará a un pod diferente y tus contadores darán saltos hacia atrás y hacia adelante. Realiza el scraping de cada pod directamente (descubrimiento de servicios de Kubernetes en las IP de los pods), o utiliza el modo Push Gateway, que la documentación de Bifrost recomienda para clústeres multinodo detrás de un balanceador de carga. Esto es aún más importante en OSS, donde las réplicas no comparten ningún estado: los presupuestos y contadores residen por pod, por lo que las métricas por pod son la única visión real.
Qué expone Bifrost
El catálogo de métricas, agrupado por su caso de uso:
Las métricas HTTP etiquetan path con la plantilla de ruta coincidente, no con la URL completa, lo que mantiene acotada la cardinalidad. Una cosa a recordar sobre bifrost_cost_total: es un coste que Bifrost calcula a partir de su catálogo de precios y los campos de uso que devuelven los proveedores. Es útil para presupuestos y atribución de costes (showback), pero no es una factura, y los descuentos negociados o créditos no aparecerán reflejados en él.
Las etiquetas que lo hacen útil
Las etiquetas predeterminadas llevan la misma estructura de identidad que Bifrost utiliza para el gobierno, que es lo que transforma los contadores brutos en respuestas:
provider,modelyaliasvirtual_key_id/virtual_key_name,team_id/team_name,customer_id/customer_name. Estarán vacías si no utilizas funciones de gobierno.routing_engine_used,routing_rule_id/routing_rule_name,selected_key_id/selected_key_nameyfallback_index, que en conjunto explican por qué una petición se dirigió a un destino determinado.
La atribución por usuario no es una etiqueta de métrica predeterminada. Se obtiene a través de cabeceras de registro (X-User-ID o cualquier cabecera x-bf-lh-*), que quedan registradas en el log de peticiones, o mediante dimensiones.
Dimensiones personalizadas y la trampa de la cardinalidad
Cualquier cabecera de petición que comience por x-bf-dim- se convierte en una dimensión que se escribe en el registro de peticiones, en el span de OTel y en Prometheus como una etiqueta personalizada al mismo tiempo (dimensiones de observabilidad compartidas). Es la forma más limpia de etiquetar el tráfico por entorno, funcionalidad o cliente (tenant) sin necesidad de crear nuevas claves virtuales.
También es la forma más fácil de romper Prometheus. Cada valor distinto de una etiqueta crea una nueva serie temporal para cada métrica que la contiene. Una dimensión como environment con tres valores no supone ningún problema. Sin embargo, una dimensión como request_id, session_id o user_id crea una serie por cada valor en docenas de métricas. Mantén los identificadores de alta cardinalidad en las cabeceras de registro (x-bf-lh-*), que solo van al registro de peticiones, y reserva x-bf-dim-* para valores que incluirías sin problema en un menú desplegable de un cuadro de mando.
PromQL que vale la pena guardar
Estas consultas utilizan los nombres de métricas y etiquetas documentados. Confirma primero los tipos de métricas con la salida de /metrics de tu compilación; la consulta de TTFT asume que las métricas de latencia son histogramas.
Alertas que tendrás que configurar por tu cuenta
El motor de alertas integrado de Bifrost está disponible solo en la versión Enterprise, y evalúa métricas de presupuesto y límites de frecuencia (porcentaje de presupuesto utilizado, gasto, uso de peticiones y tokens), no tasas de error o latencia (alertas). Para configurar alertas de fiabilidad en cualquiera de las versiones, apunta Alertmanager a las métricas anteriores:
Bifrost no incluye un cuadro de mando de Grafana ni un paquete de reglas de alerta en la documentación que revisamos, por lo que la gestión de estos elementos recae directamente sobre tu equipo.
Trazado de LLM con OpenTelemetry
Activación del plugin de OTel
La exportación de trazas reside en el plugin otel, que forma parte de la versión OSS (configuración del plugin). Viene desactivado por defecto en el chart de Helm; una vez añadido, la exportación de trazas se activa de forma predeterminada. Los ajustes que necesitarás modificar son:
En el lado receptor, una configuración mínima de OpenTelemetry Collector que acepte ambos protocolos y los reenvíe a tu backend de trazado se vería así:
Mantén un colector entre Bifrost y cualquier backend SaaS, incluso si este último acepta OTLP directamente. Te proporciona un punto centralizado para agrupar (batching), filtrar atributos y cambiar de proveedor sin modificar la configuración de la pasarela.
Selección del formato de traza: OTel GenAI, OpenInference o Vercel
trace_type determina cómo interpretan los spans de Bifrost las herramientas de procesamiento posterior. Una guía rápida para elegir:
genai_extensionsigue las convenciones semánticas de OpenTelemetry GenAI (los atributosgen_ai.*, a veces abreviados como OTel GenAI). Elígelo para backends de propósito general como Grafana Tempo, Honeycomb, Jaeger o Datadog sobre OTLP.open_inferencesigue las convenciones OpenInference de Arize. Elígelo si tu visor de trazas está diseñado en torno a OpenInference, como Arize Phoenix. Bifrost no documenta conectores nativos para Langfuse o Arize, por lo que es recomendable tratar OTLP junto con OpenInference como la ruta estándar en ese escenario en lugar de una integración soportada directamente.vercelcoincide con las convenciones del SDK de IA de Vercel. Elígelo si el resto de tus trazas ya provienen del Vercel AI SDK.
Independientemente de cuál elijas, envía una petición de prueba y verifica los nombres de los atributos en tu backend antes de construir cuadros de mando basados en ellos.
Contenido de los prompts en tus trazas
Este es el ajuste que tiene más probabilidades de tomar por sorpresa a un revisor de seguridad. El ajuste disable_content_logging a nivel de cliente de Bifrost elimina los prompts y respuestas de su propio almacenamiento de registros, pero no se aplica a los conectores de observabilidad. OpenTelemetry, Datadog, BigQuery, Kafka y Pub/Sub tienen cada uno su propia marca disable_content_logging, y cada una tiene como valor predeterminado false (configuración del cliente). Por lo tanto, un equipo que desactive el registro de contenido en el cliente y añada el plugin de OTel seguirá exportando, por defecto, los prompts completos a su backend de trazado.
Para mantener una postura basada únicamente en metadatos, establece esta marca en el cliente y en cada conector que actives. Las cabeceras de petición capturadas se exportan independientemente de las marcas de contenido, por lo que se recomienda revisar también qué cabeceras estás registrando. Si necesitas cierto contenido para depuración, un procesador de eliminación de atributos en tu colector servirá como segunda línea de defensa, pero asegúrate de hacer coincidir los nombres de los atributos con los que emite realmente el formato de traza elegido.
Vinculación de spans de Bifrost con las trazas de tu aplicación
La propagación de contexto de traza de extremo a extremo de W3C está documentada para el plugin nativo de Datadog, que utiliza dd-trace-go. Para el plugin genérico de OTel, la documentación no especifica si una cabecera traceparent entrante convierte el span de Bifrost en un span hijo del de tu aplicación. Prueba este comportamiento antes de prometer una vista en cascada (waterfall) única desde el frontend hasta el modelo. Si no se vinculan, la dimensión compartida x-bf-dim-* servirá como alternativa para correlacionar ambos.
El registro de peticiones: el plano con el que ya cuentas
El plugin de registro es el único plano que no requiere configuración inicial. Aspectos clave que lo hacen práctico en el uso diario:
GET /api/logspermite filtrar por proveedor, modelo, estado, rango de tiempo, latencia, tokens y coste, además de admitir búsqueda de texto completo (content_search). Un flujo de WebSocket te proporciona un seguimiento en tiempo real (live tail).- Desde la versión v1.5.0, cada fila registra la clave seleccionada, el recuento de reintentos y un
attempt_trailordenado que muestra cada intento, su clave, el motivo del fallo y si activó la rotación de claves. Cuando un proveedor presenta inestabilidad, esta vista es más rápida que cualquier cuadro de mando. - El almacenamiento es SQLite por defecto y PostgreSQL para entornos de producción. La retención predeterminada es de 365 días a través de
log_retention_days, con un proceso de limpieza que se ejecuta cada 24 horas. - En la versión v2.0.0, la captura de la petición y respuesta brutas del proveedor es un conmutador dentro del cuadro de mando, bajo Observability y a continuación Logs Settings. Lo activamos para inspeccionar exactamente qué enviaba Bifrost a cada proveedor, y conviene saber que existe antes de necesitarlo.
No existe muestreo basado en tasa para los registros. La opción más cercana, drop_excess_requests, reduce la carga cuando las colas se llenan; no funciona como un muestreador. Con volúmenes altos de tráfico, planifica el almacenamiento para cada petición o desactiva el registro de contenido.
Lista de consideraciones a tener en cuenta
- El conmutador de registro de contenido del cliente no cubre los conectores. Debe configurarse individualmente por conector.
- Al activar la autenticación,
/metricspasa a requerir Basic auth; hasta que no esté activa, todo permanece abierto. - El scraping a través de un balanceador de carga distorsiona los contadores individuales de cada pod. Realiza el scraping directamente por pod o utiliza Push Gateway.
- Los valores de
x-bf-dim-*se convierten en etiquetas de Prometheus. Evita incluir identificadores únicos en ellos. - El plugin de OTel está desactivado por defecto en Helm, a pesar de ser gratuito.
- Las métricas de coste se calculan a partir de un catálogo de precios que se sincroniza desde Maxim cada 24 horas. En una instalación aislada (air-gapped), deberás suministrar el archivo de precios manualmente.
- Las alertas nativas están reservadas para la versión Enterprise y solo cubren el gasto y los límites de frecuencia. Las alertas de latencia y errores deben ser desarrolladas por tu equipo.
- Si descargas los registros a S3 o GCS (Enterprise), el limpiador de retención no elimina esos objetos. Configura una regla de ciclo de vida en el bucket.
Diferencias entre la versión OSS y Enterprise
Si tus necesidades respecto a la versión Enterprise van más allá de la observabilidad, nuestra comparativa de Bifrost Enterprise vs OSS aborda aspectos de identidad, auditoría y clustering.
Dónde termina la monitorización de Bifrost
Bifrost te muestra lo que ha ocurrido, pero no evalúa si la respuesta generada ha sido de calidad. Las señales de calidad, como las evaluaciones, la detección de desviaciones (drift) y las verificaciones de alucinaciones, residen en la plataforma independiente de Maxim (a la que el plugin gratuito de Maxim reenvía el tráfico) o en herramientas desarrolladas a partir de los registros exportados. La pasarela también deja en tus manos el diseño de los cuadros de mando, las reglas de alerta, el dimensionamiento del almacenamiento de registros y las políticas de registro por equipo. El registro de contenido se activa o desactiva de forma global, por petición o por conector; no existen reglas condicionales como "no registrar nunca los prompts del equipo de finanzas".
La alternativa de TrueFoundry
TrueFoundry AI Gateway abarca los mismos tres planos con una configuración más sencilla. Algunas diferencias clave tras revisar las consideraciones anteriores:
- Un cuadro de mando listo para usar. El cuadro de mando de métricas cubre costes, llamadas a LLM y MCP, desglose de errores, resultados de barreras de seguridad (guardrails), enrutamiento, almacenamiento en caché y ahorro de costes, con filtros por modelo, usuario, cuenta virtual y equipo (cuadro de mando de métricas).
- Exportación de OTel desde la interfaz de usuario. Tanto las trazas como las métricas pueden exportarse a cualquier backend OTLP mediante HTTP o gRPC, con cabeceras personalizadas y opción de temporalidad delta, todo ello configurado desde los ajustes de la pasarela sin editar archivos de configuración (exportar datos de OpenTelemetry).
- Prometheus al autohospedar la pasarela. Una pasarela autohospedada expone
/metricscon etiquetas de modelo, cliente (tenant) y usuario, permitiendo elegir qué claves de metadatos de la petición se convierten en etiquetas para mantener la cardinalidad bajo control (Prometheus y Grafana). - Reglas de registro según usuario y contexto. Las configuraciones de registro coinciden por usuarios, equipos, cuentas virtuales, modelos o metadatos de la petición, determinando si el cuerpo del mensaje se registra bajo una semántica de denegación prioritaria, y redactando patrones sensibles en la copia almacenada (configuración de registros). Esta función permite aplicar la regla de "no registrar nunca los prompts del equipo de finanzas" que no está presente en Bifrost.
Si prefieres dedicar tu tiempo a analizar los datos de las métricas en lugar de configurar su infraestructura, descubre cómo gestiona TrueFoundry AI Gateway la monitorización de LLM.
Lecturas relacionadas
- Observabilidad en una pasarela de IA
- ¿Qué es la observabilidad de LLM?
- Las mejores herramientas de observabilidad de LLM
- Observabilidad de agentes de IA: ¿por qué ha hecho eso?
- Precios de Bifrost: OSS, costes de Enterprise y lo que los equipos deben saber
Conclusión
Bifrost proporciona una base sólida y gratuita para la monitorización de LLM: registros por petición, métricas de Prometheus con etiquetas orientadas al gobierno y trazas de OpenTelemetry en la convención de tu elección. Sin embargo, su adaptación para entornos de producción requiere trabajo manual: realizar el scraping por pod, evitar identificadores en las etiquetas de dimensión, configurar la marca de contenido en cada conector y construir las alertas y cuadros de mando que no vienen incluidos. Si prefieres evitar gestionar esta configuración por tu cuenta, solicita una demostración de TrueFoundry y compara ambas alternativas directamente.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.













.webp)

.webp)






