TrueFoundry vs OpenRouter : suivi de l'utilisation et observabilité — comparaison des logs, métriques, tracé et évaluations (2026)
.webp)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Le suivi de l'utilisation d'OpenRouter repose sur un choix de conception fondamental : OpenRouter enregistre toujours les métadonnées (horodatages, modèle, fournisseur, nombre de tokens, latence, coût) et n'enregistre le contenu du prompt et de la complétion que si un administrateur d'organisation l'active. Tout le reste en découle, à l'opposé du choix fait par TrueFoundry, où l'intégralité des corps est enregistrée par défaut selon une politique de logging que vous définissez. Cet article compare les deux solutions sur la capture et la recherche de requêtes, les métriques et leurs formats, le tracé LLM et la propagation de contexte, la granularité de l'attribution, les tableaux de bord et intégrations, les alertes, les hooks d'évaluation et la rétention. Chaque affirmation s'appuie sur la documentation publique des deux fournisseurs, et nous soulignons les points où OpenRouter a l'avantage, car c'est parfois le cas dans ce domaine.
En un coup d'œil
Suivi de l'utilisation d'OpenRouter : ce que capturent le tableau de bord Activity et les Logs
Le tableau de bord OpenRouter pour l'utilisation est la page Activity : les métadonnées de chaque requête y atterrissent avec un filtrage optionnel par espace de travail, les graphiques d'exploration s'appuient sur les mêmes agrégats retournés par l'API Analytics, et les configurations de graphiques peuvent être enregistrées et partagées avec "Tous les membres de mon organisation". L'activation de Usage Accounting renvoie le coût et le nombre de tokens dans chaque corps de réponse, permettant à un client de suivre la dépense par appel sans effectuer de polling. Le contenu du prompt et de la complétion fait l'objet d'une fonctionnalité distincte sur option : la fonction Input & Output Logging est en bêta, activable par espace de travail, visible uniquement par les administrateurs de l'organisation, et contournée pour les requêtes envoyées via des points de terminaison régionaux ; le routage régional et le logging de contenu s'excluent donc mutuellement. Deux fonctionnalités rendent les données d'activité OpenRouter plus utiles que de simples métadonnées brutes. Broadcast prend en charge un taux d'échantillonnage par destination (déterministe par session_id, de sorte que les sessions sont exportées intégralement) et un filtrage par clé API par destination, ce qui permet d'exporter les clés de production à un taux inférieur à celui des clés de développement. Les Classificateurs Personnalisés vous permettent de définir une taxonomie (département, type de tâche, complexité de l'agent) qu'un petit modèle applique à chaque génération, après quoi les logs filtrent et analysent les groupes par ces tags. La capture elle-même est binaire par espace de travail ; l'échantillonnage s'effectue lors de l'exportation, pas lors de l'ingestion.
TrueFoundry enregistre le corps complet des requêtes et des réponses au format Parquet dans un stockage blob, régi par des configurations de logging basées sur l'utilisateur, l'équipe, le modèle ou les métadonnées ; le coût, les tokens et la latence sont enregistrés même lorsqu'une règle masque les corps (logging de requêtes). La recherche s'effectue via une API de requête de spans filtrée par ID de trace, sujet, modèle et métadonnées, avec des attributs de span documentés, ainsi qu'un navigateur de requêtes dans l'interface utilisateur (récupération des logs de requêtes). Puisque le fichier Parquet est stocké dans votre propre bucket, DuckDB, Athena ou Spark peuvent l'interroger directement, ce qui garantit la propriété totale de vos données brutes. Ce que nous ne proposons pas, contrairement à OpenRouter dans une certaine mesure : l'échantillonnage en pourcentage. Nos configurations de logging enregistrent ou n'enregistrent pas selon la règle correspondante. Notre vue d'ensemble sur l'observabilité dans une passerelle IA détaille plus en profondeur le modèle de politique de logging.


Métriques : l'API d'utilisation d'OpenRouter comparée à un point de terminaison Prometheus
L'API Analytics d'OpenRouter est actuellement en version bêta. GET /api/v1/analytics/meta liste les métriques, dimensions, opérateurs de filtrage et granularités pris en charge ; POST /api/v1/analytics/query exécute la requête. Une clé de gestion est requise, et les clés API classiques reçoivent une erreur 403. L'ensemble des métriques est complet : dépenses ventilées par crédits, OpenRouter, BYOK, frais BYOK, fournisseurs en amont, cache et web ; nombre de requêtes ; tokens répartis en prompt, complétion, raisonnement ou mis en cache ; taux de réussite du cache ; coût combiné par million de tokens ; et latence ainsi que débit aux centiles P50, P90 et P99, avec une granularité à la minute, l'heure, le jour, la semaine ou le mois. Deux limitations sont à prendre en compte pour la création de rapports : les requêtes sont limitées à deux dimensions et les réponses comportent un indicateur de troncature. Il n'existe pas de point de terminaison de collecte Prometheus, ce qui s'explique par l'absence de processus géré par le client à collecter ; les métriques OTLP via Broadcast constituent la seconde option.
TrueFoundry expose un point de terminaison /metrics compatible avec Prometheus sur les passerelles auto-hébergées, incluant un catalogue de métriques et un jeu d'étiquettes entièrement documentés, un export de métriques OTel configurable depuis le tableau de bord en OTLP HTTP ou gRPC, ainsi qu'une famille d'API de requête couvrant les métriques de modèles, MCP, guardrails, cache, routage et agents (Prometheus et Grafana, export OpenTelemetry). Le seul aspect où les métriques LLM d'OpenRouter semblent supérieures sur le papier est la ligne de centiles prête à l'emploi ; nos latences sont des séries temporelles par dimension que vous filtrez et agrégiez dans Grafana, ce qui correspond aux mêmes données avec une étape supplémentaire.


Tracé LLM et OpenTelemetry : qui propage le contexte ?
L'exportation OpenTelemetry LLM existe des deux côtés, sous des formes différentes. TrueFoundry est nativement conforme à OTel : les traces de la passerelle sont stockées par TrueFoundry et peuvent être exportées simultanément vers n'importe quel backend OTLP sans impacter le stockage interne. Les spans respectent les conventions sémantiques GenAI d'OpenTelemetry avec une référence d'attributs documentée (attributs de span). OpenRouter supporte OTel de manière native en sortie via Broadcast, avec des correspondances spécifiques selon les destinations : attributs OpenInference pour Arize, attributs interrogables via TraceQL pour Grafana Cloud, NRQL pour New Relic, et OTLP JSON pour les webhooks génériques.
C'est sur la propagation de contexte que les deux solutions divergent, avec une différence d'ordre opérationnel. OpenRouter imbrique son span de génération sous le span de votre application si vous transmettez un objet trace contenant trace_id et parent_span_id dans le corps de la requête. Il s'agit d'une propagation explicite via le payload, ce qui implique de modifier chaque point d'appel ; la prise en compte d'un en-tête W3C traceparent entrant n'est pas documentée. TrueFoundry ne documente pas non plus explicitement la propagation du traceparent entrant. La démarche recommandée reste la même : envoyez un en-tête, inspectez le parent du span exporté, et vous obtiendrez votre réponse en quelques minutes. Le tracé au niveau de la passerelle alimente également notre produit de tracé d'agents, et la latence ajoutée d'environ 3 à 4 ms ainsi que la capacité de plus de 350 requêtes par seconde par vCPU sont maintenues avec le tracé activé, sur plus de 2 500 LLM via une seule API compatible OpenAI.
Attribution : utilisation des tokens OpenRouter par clé et application vs par outil MCP
L'utilisation des tokens OpenRouter s'attribue sur un large éventail de dimensions via l'API Analytics : modèle, variante, fournisseur, clé API, application, utilisateur, espace de travail, origine, pays, région des données, raison de fin, longueur de contexte, session, génération, ID utilisateurs personnalisés et toute dimension de classificateur, groupés par deux au maximum à la fois. Activity Export génère l'utilisation agrégée au format CSV ou PDF par modèle, clé ou membre de l'organisation, avec une réserve d'ordre financier : les dépenses BYOK sont estimées au tarif du marché du fournisseur et non selon les remises négociées, ce qui signifie qu'un export d'un trafic fortement orienté BYOK surévalue le montant réellement payé.
TrueFoundry attribue les tokens, le coût et la latence par requête, utilisateur, équipe, compte virtuel, modèle, compte fournisseur, serveur MCP, outil MCP individuel et clés de métadonnées personnalisées, analysables sans limite de dimension dans le tableau de bord et les API de requête (analytics). L'attribution au niveau de l'outil est l'élément qu'OpenRouter ne peut pas égaler, car il ne se situe pas sur le chemin d'appel des outils ; pour les charges de travail d'agents où le coût réside dans les outils plutôt que dans le modèle, c'est l'indicateur indispensable. Notre guide sur le suivi des coûts LLM montre comment les vues par équipe et par compte virtuel alimentent la facturation interne.






Tableaux de bord et intégrations : 21 destinations Broadcast vs 12 intégrations nativement supportées plus OTLP
Les deux solutions proposent un tableau de bord intégré ainsi qu'une option d'export personnalisée. Le tableau de bord Metrics de TrueFoundry propose des vues par onglets pour les compteurs globaux, les coûts, la répartition LLM et MCP, les erreurs, les guardrails et les classements. Le tableau de bord Activity d'OpenRouter propose des graphiques Explore enregistrables et une vue Logs avec des pages détaillées par génération.
Sur le plan des intégrations, OpenRouter l'emporte nettement. Destinations Broadcast disponibles : Arize AX, Braintrust, ClickHouse, Comet Opik, Datadog, Elastic Observability, Google BigQuery, Grafana Cloud, buckets de stockage Hugging Face, Langfuse, LangSmith, New Relic, OpenTelemetry Collector, PostHog, Raindrop, Ramp, S3 et compatibles S3, Sentry, Snowflake, W&B Weave ainsi qu'un webhook générique, avec des identifiants chiffrés et une configuration validée uniquement si le test de connexion réussit. Les destinations de type entrepôt de données et analyse produit (BigQuery, Snowflake, PostHog) n'ont pas d'équivalent direct dans notre liste native. TrueFoundry documente Datadog, Grafana/Prometheus, New Relic, Langfuse, Arize, Honeycomb, Dynatrace, SigNoz, Coralogix, Traceloop, Middleware et W&B Weave, ainsi que tout backend compatible OTLP via l'exportateur générique (écosystème) ; un entrepôt de données reste accessible directement depuis votre bucket Parquet plutôt qu'à travers un connecteur natif. Point important concernant Broadcast : il exporte les données de tracé vers le tiers de votre choix. Le guide Datadog faisant référence à un mode de confidentialité (Privacy Mode), vérifiez l'impact de ce paramètre sur les contenus que vous avez choisi de ne pas stocker par ailleurs.
Alertes : seuils budgétaires vs notifications par palier
Les alertes natives de TrueFoundry concernent uniquement les dépenses : alertes de seuils budgétaires à 75, 90, 95 et 100 % envoyées par e-mail, webhook Slack ou bot Slack avec des modèles personnalisables par utilisateur, disponibles sur tous les forfaits (limitation budgétaire). Les notifications d'OpenRouter fonctionnent par paliers : e-mails de solde faible, de dépréciation de modèle et de baisse de prix sur tous les comptes ; pour les forfaits Business et Enterprise, alertes de limite budgétaire d'espace de travail déclenchées à un pourcentage du budget, alertes de dépense par clé, et notifications Slack ou webhook. L'alerte préventive avant blocage existe donc des deux côtés, mais constitue une option payante chez OpenRouter. Aucun des deux ne documente de règles d'alerte sur la latence, le taux d'erreur ou le déclenchement de guardrails ; le monitoring LLM dédié à la fiabilité s'effectue en aval dans les deux cas, via l'export de métriques vers AlertManager ou votre APM côté TrueFoundry, et via Broadcast côté OpenRouter. La façon dont les alertes budgétaires se connectent aux limites stricts et au rate limiting est traitée dans notre article sur les limites de débit OpenRouter.

Évaluations LLM et expérimentation : Ori Eval vs API Feedback et répartition de trafic
OpenRouter propose le seul outil d'évaluation propriétaire de ce comparatif, bien qu'il soit indépendant de l'API elle-même. Ori Eval est un CLI qui analyse une base de code à la recherche de chaque appel de modèle, vous questionne, rédige des fichiers d'évaluation, exécute l'agent sur vos propres prompts, vérifie les outils appelés et évalue les réponses ouvertes à l'aide d'un LLM juge. Le harnais de test et le modèle restant fixes, les variations de résultats sont directement imputables au modèle. Il s'appuie sur le catalogue OpenRouter pour effectuer des comparaisons. Ces évaluations étant codées, elles peuvent être automatisées ; OpenRouter mentionne le cas d'un utilisateur bêta dont le test comparatif mensuel génère automatiquement une pull request lorsqu'un modèle plus performant est détecté. Côté API, la solution propose un point de terminaison Report Feedback, ainsi que des variantes de routage, des Routers et des préréglages comme briques d'expérimentation ; aucune répartition native de trafic A/B n'est documentée.
TrueFoundry s'appuie sur trois mécanismes pratiques sans proposer d'interface utilisateur d'évaluation dédiée. Une API Feedback permet de joindre des notes de 1 à 5 à n'importe quelle trace via l'en-tête de réponse x-tfy-feedback-target-id (span racine uniquement pour le moment) (feedback pour les traces). Le trafic de production alimente directement un jeu d'évaluation, car les fichiers Parquet stockés dans votre bucket sont exploitables pour l'évaluation via Spark, DuckDB ou Athena. De plus, la répartition du trafic sur des modèles virtuels constitue un outil d'expérimentation natif : vous pouvez diriger un pourcentage du trafic d'un modèle virtuel vers un candidat et comparer les résultats sur les mêmes métriques. Concernant les évaluations LLM en tant que produit complet, les deux fournisseurs orientent les utilisateurs vers Langfuse, Arize, Braintrust ou Weave via l'export de traces.
Rétention et coût de stockage
TrueFoundry ne fixe pas de plafond strict ; la rétention des traces est configurable par destination d'acheminement des données, les métriques sont envoyées vers la destination par défaut avec une période de rétention configurable, et avec un stockage géré par le client, la seule limite est celle de votre bucket (acheminement des données). Le coût de stockage à grande échelle n'est pas publié ; vous pouvez le calculer à partir d'une mesure d'octets par requête [USER TO FILL]. OpenRouter ne documente aucun plafond de plateforme ni période de rétention définie pour les métadonnées ou le contenu consenti ; la fenêtre de 30 jours du point de terminaison d'activité analytics correspond à une fenêtre de requête et non à un engagement de rétention. Lorsque les données sont transmises vers votre propre bucket S3, ClickHouse, BigQuery ou Snowflake via Broadcast, la rétention et les coûts associés restent sous votre responsabilité.
TrueFoundry vs OpenRouter : comparaison directe de l'observabilité
Les fonctionnalités de TrueFoundry sont issues de notre documentation ; celles d'OpenRouter reflètent ses capacités publiques documentées au moment de la rédaction.
Quand choisir OpenRouter ?
- Votre stack d'observabilité correspond à une destination Broadcast et vous souhaitez y transmettre vos traces via une connexion testée, sans avoir à gérer de collecteur.
- Les centiles et le taux de réussite du cache d'une seule API vous suffisent, et la limitation du groupement à deux dimensions ne bloque pas votre reporting.
- Vous souhaitez que vos générations soient classées automatiquement. Les Classificateurs Personnalisés ajoutent des étiquettes par département ou type de tâche sans modifier les métadonnées de la requête.
- Vous envisagez d'adopter Ori Eval et acceptez que l'outil d'évaluation réside dans une CLI externe plutôt qu'au sein de l'API.
Quand choisir TrueFoundry ?
- Vous utilisez Prometheus et souhaitez que la passerelle constitue une cible supplémentaire dotée d'un catalogue documenté.
- Votre pipeline OTel s'appuie sur les conventions sémantiques GenAI plutôt que sur des correspondances d'attributs propriétaires.
- L'attribution doit descendre jusqu'à l'outil MCP, car le coût des agents réside dans les appels d'outils.
- Vous souhaitez conserver la propriété des logs bruts au format Parquet pour les interroger avec vos propres moteurs et alimenter vos jeux d'évaluation.
- Vous souhaitez recevoir une alerte dès 75 % d'utilisation du budget, quel que soit votre forfait, plutôt d'être bloqué à 100 %.
Lectures complémentaires
- Observabilité dans une passerelle IA — comment s'articulent les politiques de logging, les métriques et les traces au niveau de la passerelle
- Meilleurs outils d'observabilité LLM — les plateformes externes vers lesquelles les deux solutions exportent des données
- Qu'est-ce que l'observabilité LLM ? — les concepts fondamentaux de ce comparatif
- Solution de suivi des coûts LLM — attribution et facturation interne en pratique
- OpenRouter vs AI Gateway — la comparaison globale entre routeurs hébergés et passerelles d'entreprise
Conclusion
Le suivi de l'utilisation d'OpenRouter constitue l'offre d'observabilité hébergée la plus aboutie de cette série : Broadcast, les centiles de l'API Analytics, les Classificateurs Personnalisés et Ori Eval sont de vrais atouts, les entrepôts de données et un outil d'évaluation propriétaire n'étant pas proposés par TrueFoundry. Les avantages de TrueFoundry relèvent de l'infrastructure : un point de terminaison Prometheus, des spans conformes aux conventions GenAI, l'attribution jusqu'à l'outil, des alertes budgétaires sur tous les forfaits et le stockage des fichiers Parquet bruts dans votre propre bucket. Aucune des deux solutions ne propose d'échantillonnage à la capture, d'alertes natives sur la fiabilité ou de documentation sur la propagation des en-têtes traceparent entrants. Choisissez en fonction de l'emplacement de vos données actuelles et de votre besoin de conserver la propriété de vos logs bruts.
Pour découvrir le tableau de bord des métriques, l'exportation OTel et l'attribution au niveau de l'outil, explorez TrueFoundry AI Gateway ou réservez une démonstration afin d'analyser l'intégration avec votre propre stack d'observabilité.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.













.webp)








