Blank white background with no objects or features visible.

Bonjour, zone EMEA ! TrueFoundry étend sa présence en Europe, au Moyen-Orient et en Afrique. En savoir plus. →

Surveillance des LLM avec Bifrost : Prometheus et OpenTelemetry en pratique

Published: novembre 20, 2026

Bifrost, la passerelle open-source de Maxim AI, fournit une pile de surveillance de LLM particulièrement complète dans sa version gratuite : un journal de requêtes, un point de terminaison Prometheus /metrics et l'exportation de traces OpenTelemetry. Passer de « elle expose des métriques » à des tableaux de bord et des alertes fiables nécessite quelques décisions que la documentation éparpille sur plusieurs pages. Ce guide les rassemble au même endroit : ce qu'il faut activer, comment effectuer la collecte (scrape), quelles étiquettes (labels) comptent, les requêtes à sauvegarder et les paramètres qui risquent de divulguer le contenu des invites (prompts) ou de fausser vos compteurs.

Ce guide est conçu à partir de la documentation de Bifrost, complété par des constatations faites directement lors de l'exécution de Bifrost OSS v2.0.0, que nous signalons au fil du texte.

La latence de la passerelle n'est pas traitée ici ; notre évaluation de Bifrost couvre les performances.

Une requête, trois plans

Une seule requête de chat passant par Bifrost arrive à trois endroits en même temps, tous disponibles dans la version OSS (observabilité intégrée) :

  1. ‍‍Journaux (Logs). Le plugin de journalisation toujours actif écrit une ligne de manière asynchrone : messages d'entrée et de sortie, modèle, nombre de tokens, coût calculé en USD, latence, statut et en-têtes de journalisation. La documentation indique un surcoût inférieur à 0,1 ms. Vous pouvez le consulter dans le tableau de bord sur le port 8080 ou le interroger via GET /api/logs.‍
  2. Métriques. Les compteurs tels que bifrost_upstream_requests_total, bifrost_input_tokens_total et bifrost_cost_total s'incrémentent avec des étiquettes pour le fournisseur, le modèle et la clé virtuelle, ainsi que environment="production" à partir de l'en-tête de dimension.‍
  3. Traces. Si le plugin OTel est activé, une portée (span) est envoyée à votre collecteur dans le format de trace choisi, portant la même dimension pour s'intégrer aux traces de votre application.

La suite de ce guide explique comment rendre chacun de ces plans prêt pour la production.

Métriques LLM avec Prometheus

Activation et collecte (scraping)

Le plugin de télémétrie est activé par défaut et fournit le format d'exposition Prometheus sur /metrics sur le port de la passerelle (Prometheus). Pour un nœud unique, une simple tâche de collecte suffit :‍

Deux pièges fréquents sont à éviter ici.

L'authentification modifie la collecte. Lorsque auth_config.is_enabled est à true, /metrics exige une authentification Basic, et une tâche de collecte sans identifiants correspondants échoue avec une erreur 401. Prometheus affiche la cible comme étant hors service (down), ce qui permet de le remarquer, mais seulement si vous surveillez l'état des cibles. Le problème inverse est plus grave, et nous l'avons rencontré lors de nos propres tests : une nouvelle installation OSS démarre sans aucune authentification, de sorte que /metrics, le tableau de bord et l'API d'administration sont ouverts à quiconque peut atteindre le port tant que vous ne configurez pas d'administrateur et de jeton de configuration. N'exposez pas le port 8080 au-delà du réseau du collecteur.

Ne collectez pas à travers un répartiteur de charge (load balancer). Chaque réplique conserve ses propres compteurs. Si Prometheus collecte une adresse répartie, chaque collecte atterrit sur un pod différent et vos compteurs sautent en avant et en arrière. Collectez directement chaque pod (découverte de services Kubernetes sur les IP des pods), ou utilisez le mode Push Gateway, recommandé par la documentation de Bifrost pour les clusters multi-nœuds derrière un répartiteur de charge. Cela importe d'autant plus sur la version OSS, où les répliques ne partagent aucun état : les budgets et les compteurs existent par pod, donc les métriques par pod sont la seule vue exacte.

Ce que Bifrost expose

Le catalogue de métriques, regroupé par cas d'usage :

UsageMétriques
Trafic et erreursbifrost_upstream_requests_total, bifrost_success_requests_total, bifrost_error_requests_total, bifrost_active_requests, bifrost_request_retries
Latencebifrost_upstream_latency_seconds, bifrost_stream_first_token_latency_seconds (délai avant le premier token, TTFT), bifrost_stream_inter_token_latency_seconds
Tokens et dépensesbifrost_input_tokens_total, bifrost_output_tokens_total, bifrost_cost_total
Mise en cachebifrost_cache_hits_total
Santé des clés fournisseursbifrost_provider_key_up, bifrost_key_rotation_events_total
Outils MCPbifrost_mcp_client_operation_duration_seconds, avec une étiquette error_type
Couche HTTPhttp_requests_total, http_request_duration_seconds, http_request_size_bytes, http_response_size_bytes

Les métriques HTTP étiquettent path avec le modèle de route correspondant, et non l'URL brute, ce qui limite la cardinalité. Un point à garder en mémoire concernant bifrost_cost_total : il s'agit d'un coût calculé par Bifrost à partir de son catalogue de prix et des champs d'utilisation retournés par les fournisseurs. C'est utile pour les budgets et la répartition des coûts (showback), mais ce n'est pas une facture, et les remises négociées ou les crédits n'y apparaîtront pas.

Les étiquettes qui apportent de la valeur

Les étiquettes par défaut utilisent la même structure d'identité que Bifrost emploie pour la gouvernance, ce qui transforme les compteurs bruts en informations exploitables :

  • provider, model et alias
  • virtual_key_id / virtual_key_name, team_id / team_name, customer_id / customer_name. Celles-ci sont vides lorsque vous n'utilisez pas la gouvernance.
  • routing_engine_used, routing_rule_id / routing_rule_name, selected_key_id / selected_key_name et fallback_index, qui expliquent ensemble pourquoi une requête a été acheminée vers une destination précise.

L'attribution par utilisateur n'est pas une étiquette de métrique par défaut. Vous l'obtenez via les en-têtes de journalisation (X-User-ID ou tout en-tête x-bf-lh-*), qui arrivent dans le journal des requêtes, ou via les dimensions.

Dimensions personnalisées et piège de la cardinalité

Tout en-tête de requête commençant par x-bf-dim- devient une dimension écrite simultanément dans le journal des requêtes, la portée OTel et Prometheus sous forme d'étiquette personnalisée (dimensions d'observabilité partagées). C'est le moyen le plus propre de marquer le trafic par environnement, fonctionnalité ou client sans créer de nouvelles clés virtuelles.

C'est aussi le moyen le plus rapide de surcharger Prometheus. Chaque valeur distincte d'une étiquette crée une nouvelle série temporelle pour chaque métrique qui la porte. Une dimension comme environment avec trois valeurs ne pose aucun problème. Une dimension comme request_id, session_id ou user_id crée une série par valeur sur des dizaines de métriques. Conservez les identifiants à forte cardinalité dans les en-têtes de journalisation (x-bf-lh-*), qui vont uniquement dans le journal des requêtes, et réservez x-bf-dim-* pour les valeurs que vous intégreriez volontiers dans un menu déroulant de tableau de bord.

Requêtes PromQL utiles

Ces requêtes utilisent les noms de métriques et d'étiquettes documentés. Vérifiez d'abord les types de métriques par rapport à la sortie /metrics de votre version ; la requête TTFT suppose que les métriques de latence sont des histogrammes.‍

‍Alertes à configurer soi-même

Le moteur d'alerte intégré de Bifrost est réservé à la version Enterprise, et il évalue les métriques de budget et de limite de débit (pourcentage du budget utilisé, dépenses, utilisation des requêtes et des tokens), et non les taux d'erreur ou la latence (alertes). Pour les alertes de fiabilité sur l'une ou l'autre version, pointez Alertmanager vers les métriques ci-dessus :

‍‍Bifrost ne fournit pas de tableau de bord Grafana ni de jeu de règles d'alerte dans la documentation examinée ; la gestion de ces éléments incombe donc à votre équipe.

Traçage LLM avec OpenTelemetry

Activation du plugin OTel

L'exportation de traces gît dans le plugin otel, qui fait partie de la version OSS (configuration des plugins). Il est désactivé par défaut dans le chart Helm ; une fois ajouté, l'exportation de traces est activée par défaut. Les paramètres à ajuster :

ParamètreRôle
Endpoint du collecteur et protocoleDestination des portées (spans), via OTLP HTTP ou gRPC.
trace_typeLa convention sémantique pour les portées : genai_extension, open_inference ou vercel.
traces_enabledDéfini sur true par défaut une fois le plugin configuré.
metrics_enabled, metrics_endpoint, metrics_push_intervalEnvoie également les métriques via OTLP, pour une configuration dédiée ou combinée.
Connecteur disable_content_loggingSupprime le contenu des invites et des réponses de ce que ce connecteur exporte. Défini sur false par défaut.

Côté réception, un OpenTelemetry Collector minimal acceptant les deux protocoles et transmettant à votre outil de traçage ressemble à ceci :

‍Conservez un collecteur entre Bifrost et tout service SaaS tiers, même si ce dernier accepte directement OTLP. Cela vous offre un point unique pour regrouper, filtrer les attributs et changer de fournisseur sans modifier la configuration de la passerelle.

Choisir un format de trace : OTel GenAI, OpenInference ou Vercel

trace_type détermine la manière dont les outils en aval interprètent les portées de Bifrost. Voici un guide pour choisir :

  • genai_extension suit les conventions sémantiques OpenTelemetry GenAI (les attributs gen_ai.*, parfois abrégés en OTel GenAI). Choisissez-le pour des outils généraux comme Grafana Tempo, Honeycomb, Jaeger ou Datadog via OTLP.
  • open_inference suit les conventions OpenInference d'Arize. Choisissez-le si votre visualiseur de traces est basé sur OpenInference, comme Arize Phoenix. Bifrost ne documente pas de connecteurs natifs Langfuse ou Arize ; considérez donc OTLP plus OpenInference comme la voie à privilégier.
  • vercel correspond aux conventions du SDK Vercel AI. Choisissez-le si le reste de vos traces provient déjà du SDK Vercel AI.

Quel que soit votre choix, envoyez une requête de test et vérifiez les noms d'attributs dans votre outil d'analyse avant de construire des tableaux de bord.

Contenu des invites dans vos traces

C'est le paramètre le plus susceptible de surprendre un responsable de la sécurité. Le paramètre disable_content_logging au niveau du client de Bifrost supprime les invites et les réponses de son propre stockage de journaux, mais il ne s'applique pas aux connecteurs d'observabilité. OpenTelemetry, Datadog, BigQuery, Kafka et Pub/Sub disposent chacun de leur propre fanion disable_content_logging, défini par défaut sur false (configuration du client). Ainsi, une équipe qui désactive la journalisation du contenu au niveau du client mais ajoute le plugin OTel continue, par défaut, d'exporter l'intégralité des invites vers son outil de traçage.

Pour une posture limitée aux métadonnées, définissez le fanion sur le client et sur chaque connecteur activé. Les en-têtes de requête capturés sont exportés quels que soient les fanions de contenu, vérifiez donc également quels en-têtes vous capturez. Si vous avez besoin de certains contenus pour le débogage, un processeur de suppression d'attributs dans votre collecteur constitue une deuxième ligne de défense, mais veillez à l'aligner sur les noms d'attributs réellement émis par le format de trace choisi.

Lier les portées Bifrost aux traces applicatives

La propagation de contexte de trace W3C de bout en bout est documentée pour le plugin natif Datadog, qui utilise dd-trace-go. Pour le plugin OTel générique, la documentation n'indique pas si un en-tête traceparent entrant fait de la portée de Bifrost un enfant de la portée de votre application. Testez ce point avant de garantir une vue en cascade unique du frontend au modèle. Si la liaison ne se fait pas, la dimension partagée x-bf-dim-* constitue votre solution de repli pour corréler les deux.

Le journal des requêtes : la vue déjà disponible

Le plugin de journalisation est le seul élément que vous n'avez pas à configurer. Voici ce qui le rend utile en pratique :

  • GET /api/logs filtre par fournisseur, modèle, statut, plage horaire, latence, tokens et coût, et prend en charge la recherche textuelle intégrale content_search. Un flux WebSocket fournit un suivi en direct (live tail).
  • Depuis la v1.5.0, chaque ligne enregistre la clé sélectionnée, le nombre de tentatives et un historique ordonné attempt_trail montrant chaque essai, sa clé, la raison de l'échec et si cela a déclenché une rotation de clé. Lorsqu'un fournisseur connaît des instabilités, cela s'avère plus rapide à consulter que n'importe quel tableau de bord.
  • Le stockage se fait sur SQLite par défaut et sur PostgreSQL pour la production. La conservation est fixée par défaut à 365 jours via log_retention_days, avec un nettoyeur qui s'exécute toutes les 24 heures.
  • Sur la v2.0.0, la capture brute des requêtes et réponses des fournisseurs est un commutateur situé sous Observability, puis Logs Settings, dans le tableau de bord. Nous l'avons activé pour inspecter exactement ce que Bifrost envoyait à chaque fournisseur ; il est bon de savoir qu'il existe avant d'en avoir besoin.

Il n'y a pas d'échantillonnage basé sur le débit pour les journaux. Le paramètre le plus proche, drop_excess_requests, déleste la charge lorsque les files d'attente se remplissent ; ce n'est pas un échantillonneur. À fort volume, prévoyez du stockage pour chaque requête, ou désactivez la journalisation du contenu.

Liste des points de vigilance

  • Le commutateur de journalisation du contenu du client ne couvre pas les connecteurs. Configurez-le par connecteur.
  • L'activation de l'authentification oblige /metrics à exiger une authentification Basic ; tant que l'authentification n'est pas activée, tout reste accessible.
  • Effectuer une collecte à travers un répartiteur de charge perturbe les compteurs par pod. Collectez directement les pods ou utilisez la Push Gateway.
  • Les valeurs de x-bf-dim-* deviennent des étiquettes Prometheus. N'y insérez pas d'identifiants uniques.
  • Le plugin OTel est désactivé par défaut dans Helm, bien qu'il soit gratuit.
  • Les métriques de coût sont calculées à partir d'un catalogue de prix synchronisé depuis Maxim toutes les 24 heures. Dans une installation isolée du réseau (air-gapped), vous devez fournir le fichier de tarification vous-même.
  • Les alertes natives sont réservées à la version Enterprise et ne couvrent que les dépenses et les limites de débit. Les alertes de latence et d'erreur sont à votre charge.
  • Si vous déchargez les journaux vers S3 ou GCS (Enterprise), le nettoyeur de rétention ne supprime pas ces objets. Définissez une règle de cycle de vie sur le bucket.

Comparatif OSS vs Enterprise

FonctionnalitéBifrost OSSBifrost Enterprise
Journal des requêtes, tableau de bord, API de journauxOuiOui
Prometheus /metrics, Push GatewayOuiOui
Traces et métriques OTLPOuiOui
Connecteurs Datadog et BigQueryDocumentés sans précision de version, mais listés comme Enterprise sur la page de tarificationOui
Exportation de journaux vers S3 ou GCSNonOui
Alertes natives (Slack, Teams, PagerDuty, webhook)NonOui, métriques de dépenses et limites de débit uniquement
Visibilité des journaux au niveau des lignes par équipeNonOui, via le contrôle d'accès aux données

Si la question de la version Enterprise dépasse le cadre de l'observabilité, notre analyse comparative Bifrost Enterprise vs OSS traite de l'identité, de l'audit et de la mise en cluster.

Où s'arrêtent les fonctionnalités de Bifrost

Bifrost indique ce qui s'est passé. Il ne dit pas si la réponse était pertinente. Les signaux de qualité tels que les évaluations, la dérive (drift) et les vérifications d'hallucinations résident dans la plateforme distincte de Maxim, vers laquelle le plugin gratuit Maxim transmet le trafic, ou dans les outils que vous développez à partir des journaux exportés. La passerelle vous laisse également la conception des tableaux de bord, les règles d'alerte, le dimensionnement du stockage des journaux et la politique de journalisation par équipe. La journalisation du contenu est activée ou désactivée de manière globale, par requête ou par connecteur ; il n'y a pas de règle du type « ne jamais journaliser les invites de l'équipe finance ».

L'alternative TrueFoundry

La passerelle IA de TrueFoundry (AI Gateway) couvre ces trois mêmes axes avec moins d'assemblage requis. Quelques différences notables :

  • Un tableau de bord prêt à l'emploi. Le tableau de bord des métriques couvre les coûts, les appels LLM et MCP, la répartition des erreurs, les résultats des garde-fous (guardrails), le routage, la mise en cache et les économies réalisées. Il permet de filtrer par modèle, utilisateur, compte virtuel et équipe (tableau de bord des métriques).
  • Exportation OTel depuis l'interface utilisateur. Les traces et les métriques peuvent être exportées vers n'importe quel backend OTLP via HTTP ou gRPC, avec des en-têtes personnalisés et une option de temporalité delta, le tout configuré dans les paramètres de la passerelle plutôt que dans un fichier de configuration (exporter les données OpenTelemetry).
  • Prometheus en hébergement autonome. Une passerelle auto-hébergée expose /metrics avec des étiquettes de modèle, de client et d'utilisateur, et vous choisissez quelles clés de métadonnées de requête deviennent des étiquettes, conservant ainsi le contrôle de la cardinalité (Prometheus et Grafana).
  • Règles de journalisation ciblées. Les configurations de journalisation s'appliquent en fonction des utilisateurs, équipes, comptes virtuels, modèles ou métadonnées de requête. Elles permettent de décider si les corps de texte sont enregistrés avec une priorité au refus, et d'anonymiser des motifs spécifiques dans la copie stockée (configuration de la journalisation). C'est la règle « ne jamais journaliser les invites de l'équipe finance » que Bifrost ne propose pas.

Si vous préférez consacrer votre temps à l'analyse des métriques plutôt qu'à leur intégration, découvrez comment la passerelle IA TrueFoundry gère la surveillance des LLM.

Lectures complémentaires

Conclusion

Bifrost fournit gratuitement une base solide pour la surveillance des LLM : journaux par requête, métriques Prometheus avec étiquettes adaptées à la gouvernance, et traces OpenTelemetry dans le format de votre choix. Son adaptation pour la production reste à votre charge : collecter par pod, éviter les identifiants dans les étiquettes de dimension, définir le fanion de contenu sur chaque connecteur, et créer les alertes et tableaux de bord non fournis. Si cette liste de tâches représente un travail que vous souhaitez éviter, réservez une démonstration de TrueFoundry pour comparer directement les deux solutions.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

INSCRIVEZ-VOUS
Table des matières

Gouvernez, déployez et suivez l'IA dans votre propre infrastructure

Réservez un séjour de 30 minutes avec notre Expert en IA

Réservez une démo

Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA

Démo du livre
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Découvrez-en plus

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

Grok 4.3 on Amazon Bedrock: We Routed Four Frontier Models Through One Gateway and Measured the Cost

Outils LLM
comparaison
novembre 20, 2026
|
5 min de lecture

Alternatives au bifrost : les meilleurs outils que vous pouvez envisager en 2026

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

GPT-6.1 Terra : API, benchmarks, tarification et mode d'emploi

Aucun article n'a été trouvé.
novembre 20, 2026
|
5 min de lecture

GPT-5.1 vs GPT-5 : 9 améliorations majeures à connaître

LLM et GenAI
Aucun article n'a été trouvé.
Faites un rapide tour d'horizon des produits
Commencer la visite guidée du produit
Visite guidée du produit