Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

TrueFoundry vs OpenRouter: Usage Tracking en Observability — Logs, Metrics, Tracing en Evals Vergeleken (2026)

Gepubliceerd: november 20, 2026

TL;DR

Dit is het meest gelijkopgaande kopje in onze TrueFoundry vs OpenRouter-serie. OpenRouter usage tracking is een sterk gehost verhaal: een Activity-dashboard met opslaanbare grafieken, een Analytics API met P50/P90/P99 latency en cache-hit ratio's, Custom Classifiers die elke generatie automatisch taggen, een Broadcast-export fan-out met 21 bestemmingen, en een first-party eval-CLI (Ori Eval) die TrueFoundry niet heeft. TrueFoundry AI Gateway is het sterkere platformverhaal: volledige request- en response-bodies gelogd onder uw eigen beleid, een Prometheus scrape-endpoint met een gedocumenteerde metric-catalogus, native OpenTelemetry-spans met behulp van de GenAI semantic conventions, attributie tot op de individuele MCP-tool, budgetwaarschuwingen bij 75/90/95/100% op elk pakket, en ruwe logs als Parquet in een bucket die u bezit.

  • Kies OpenRouter wanneer uw observability-stack zich al op een Broadcast-bestemming bevindt, percentielen uit één API voldoende zijn en u wilt dat generaties automatisch worden geclassificeerd in plaats van getagd door request-metadata.
  • Kies TrueFoundry wanneer u Prometheus scrapt, GenAI-conventie spans nodig hebt in een bestaande OTel-pipeline, uitgaven moet toewijzen aan een MCP-tool, eigenaar wilt zijn van de ruwe logs, en liever een waarschuwing ontvangt bij 75% van het budget dan een blokkade bij 100%.
  • Geen van beide samplet op een gedocumenteerde manier op het moment van vastleggen, waarschuwt native op latency of foutpercentage, of documenteert inkomende W3C traceparent-propagatie. Houd rekening met alle drie in uw APM.

Het bijhouden van OpenRouter-gebruik begint bij één ontwerpbeslissing: OpenRouter legt altijd metadata vast (timestamps, model, provider, token-aantallen, latency, kosten) en legt prompt- en completion-inhoud alleen vast wanneer een organisatie-beheerder hier expliciet voor kiest. Alles op dit vlak vloeit hieruit voort, evenals uit de gespiegelde beslissing aan de kant van TrueFoundry, waar volledige bodies standaard worden gelogd onder een door u geschreven logging policy. Dit artikel vergelijkt de twee op het gebied van request-vastlegging en -zoeken, metrics en hun formaten, LLM tracing en context-propagatie, attributie-granulariteit, dashboards en integraties, alarmering, eval-hooks en retentie. Elke bewering is afkomstig uit de openbare documentatie van de twee leveranciers, en waar OpenRouter voorloopt, geven we dat aan, omdat dat op dit vlak soms het geval is.

In één oogopslag

DimensieTrueFoundryOpenRouter
Inhoud vastleggenVolledige bodies standaard, beheerd door logging policy; metadata altijdMetadata altijd; inhoud opt-in (beta, alleen admin, niet op regionale endpoints)
Metrics-oppervlakPrometheus /metrics + OTLP-export + query API'sAnalytics API (beta, management key, limiet van 2 dimensies); geen Prometheus
TracingNative OTel, GenAI semantic conventions, duale exportOTLP via Broadcast; trace-object in request-body
Attributie-ondergrensMCP-server en individuele toolAPI key, app, gebruiker, sessie, classifier-tag
Exportbestemmingen12 gedocumenteerd + elk OTLP-backend21 Broadcast-bestemmingen waaronder BigQuery, Snowflake, S3, PostHog
Native alarmeringBudgetmijpalen (75/90/95/100%) op elk pakketBudgetaandeel- en key-spend-waarschuwingen op Business en Enterprise
EvalsFeedback API + Parquet eval seed + traffic splitting; geen eval UIOri Eval CLI (aangrenzend) + Report Feedback endpoint

OpenRouter usage tracking: wat het Activity-dashboard en de Logs vastleggen

Het OpenRouter dashboard voor gebruik is de Activity-pagina: de metadata van elke request komt daar terecht met optionele workspace-filtering, Explore-grafieken maken gebruik van dezelfde aggregaten die de Analytics API retourneert, en grafiekconfiguraties kunnen worden opgeslagen en gedeeld met "Everyone in my organization". Het inschakelen van Usage Accounting retourneert kosten en token-aantallen in elke response body, zodat een client de uitgaven per call kan bijhouden zonder te pollen. Prompt- en completion-inhoud is een afzonderlijke opt-in-functie: Input & Output Logging bevindt zich in beta, wordt per workspace ingeschakeld, is alleen zichtbaar voor org-admins en wordt overgeslagen voor requests die via de regionale endpoints worden verzonden, dus in-region routing en content logging sluiten elkaar uit. Twee functies maken OpenRouter activity-data nuttiger dan ruwe metadata meestal is. Broadcast bevat een sampling rate per bestemming (deterministisch op basis van session_id, zodat sessies in hun geheel worden geëxporteerd) en API-key filtering per bestemming, waardoor productiekeys met een lagere frequentie kunnen exporteren dan ontwikkelingskeys. Met Custom Classifiers kunt u een taxonomie definiëren (afdeling, taaktype, agent-complexiteit) die een klein model toepast op elke generatie, waarna logs groepen filteren en analyseren op basis van die tags. Het vastleggen zelf is binair per workspace; de sampling vindt plaats bij export, niet bij ingest.

TrueFoundry logt volledige request- en response-bodies als Parquet in blob storage, beheerd door logging-configuraties die matchen op gebruiker, team, model of metadata; kosten, tokens en latency worden vastgelegd, zelfs wanneer een regel bodies onderdrukt (request logging). Zoeken werkt via een span-query API gefilterd op trace ID, subject, model en metadata, met gedocumenteerde span-attributen, plus een Request Traces browser in de UI (fetching request logs). Omdat het Parquet-bestand in uw eigen bucket terechtkomt, kunnen DuckDB, Athena of Spark er rechtstreeks query's op uitvoeren, wat het argument voor het bezit van ruwe data in één zin samenvat. Wat wij niet hebben, en OpenRouter gedeeltelijk wel: percentage-sampling. Onze logging-configuraties loggen wel of loggen niet per matchende regel. Ons overzicht van observability in an AI gateway behandelt het logging-policy-model in meer detail.

Figuur 1: Request traces, logs en spans monitoren in TrueFoundry.
Figuur 2: Overzicht van observability- en monitoring-metrics in TrueFoundry.

Metrics: de OpenRouter usage API vs een Prometheus endpoint

OpenRouter's Analytics API bevindt zich in beta. GET /api/v1/analytics/meta geeft ondersteunde metrics, dimensies, filter-operators en granulariteiten weer; POST /api/v1/analytics/query voert de query uit. Een management key is vereist en reguliere API keys ontvangen een 403. De set metrics is goed: uitgaven onderverdeeld naar credits, OpenRouter, BYOK, BYOK-kosten, upstream, cache en web; aantal requests; tokens als prompt, completion, reasoning of cached; cache-hit ratio; gemiddelde kosten per miljoen tokens; en latency en throughput op P50, P90 en P99, met een granulariteit van minuten, uren, dagen, weken of maanden. Twee beperkingen zijn van belang voor iedereen die er rapporten op bouwt: query's zijn beperkt tot twee dimensies en responses bevatten een truncatie-vlag. Er is geen Prometheus scrape-endpoint, wat logisch is omdat er geen door de klant beheerd proces is om te scrapen; OTLP metrics via Broadcast vormen de tweede route.

TrueFoundry biedt een door Prometheus te scrapen /metrics endpoint op self-hosted gateways met een volledig gedocumenteerde metric-catalogus en label-set, OTel metrics-export geconfigureerd vanuit het dashboard in OTLP HTTP of gRPC, en een query API-familie die model-, MCP-, guardrail-, cache-, routing- en agent-metrics omvat (Prometheus and Grafana, OpenTelemetry export). De enige plek waar OpenRouter's LLM metrics op papier beter overkomen, is de kant-en-klare percentielenrij; de onze zijn latency-reeksen per dimensie die u aggregeert in Grafana, wat dezelfde data is met één stap extra.

Figuur 3: Observability-metrics monitoren in het Grafana-dashboard met TrueFoundry-integratie.
Figuur 4: AI Gateway - OpenTelemetry (OTEL) tracing-export configuratieformulier in TrueFoundry.

LLM tracing en OpenTelemetry: wie converteert de context

OpenTelemetry LLM export bestaat aan beide kanten, met verschillende vormen. TrueFoundry voldoet native aan OTel: gateway-traces worden opgeslagen door TrueFoundry en optioneel dubbel geëxporteerd naar elk OTLP-backend zonder de interne opslag te beïnvloeden, en spans volgen de OpenTelemetry GenAI semantic conventions met een gedocumenteerde attribuut-referentie (span attributes). OpenRouter is native OTLP op de weg naar buiten via Broadcast, met bestemming-specifieke mappings: OpenInference-attributen voor Arize, via TraceQL opvraagbare attributen voor Grafana Cloud, NRQL voor New Relic, OTLP JSON voor generieke webhooks.

Context-propagatie is waar ze uiteenlopen, en het verschil is eerder operationeel dan cosmetisch. OpenRouter nest zijn generatie-span onder uw applicatie-span als u een trace-object met trace_id en parent_span_id meestuurt in de request-body. Dat is expliciete propagatie via de payload, wat betekent dat elk aanroepend punt moet worden aangepast; of een inkomende W3C traceparent-header wordt gerespecteerd, is niet gedocumenteerd. TrueFoundry documenteert inkomende traceparent-propagatie evenmin expliciet. We zeggen hetzelfde over beide: stuur één header, inspecteer de parent van de geëxporteerde span, en u hebt binnen tien minuten uw antwoord. Tracing op gateway-niveau is ook wat ons agent tracing-product voedt, en de ~3–4 ms extra latency en 350+ requests per seconde per vCPU blijven behouden met tracing ingeschakeld, over 2.500+ LLM's via één OpenAI-compatibele API.

Attributie: OpenRouter token-gebruik per key en app vs per MCP-tool

OpenRouter token usage kent attributie toe over een brede set dimensies via de Analytics API: model, variant, provider, API key, app, gebruiker, workspace, herkomst, land, dataregio, finish reason, contextlengte, sessie, generatie, aangepaste gebruikers-ID's en elke classifier-dimensie, gegroepeerd op maximaal twee tegelijk. Activity Export genereert geaggregeerd gebruik als CSV of PDF per model, key of organisatielid, met één kanttekening voor de financiële administratie: BYOK-uitgaven worden geschat op basis van de markttarieven van de provider, niet op basis van eventuele door u uitonderhandelde kortingen, waardoor een export van verkeer met veel BYOK een hoger bedrag aangeeft dan wat u werkelijk hebt betaald.

TrueFoundry kent tokens, kosten en latency toe per request, gebruiker, team, virtueel account, model, provideraccount, MCP-server, individuele MCP-tool en willekeurige metadata-keys, die zonder dimensielimiet kunnen worden opgesplitst in het dashboard en de query API's (analytics). Attributie op tool-niveau is de rij waar OpenRouter niet aan kan tippen, omdat het zich niet in het tool-call-pad bevindt; voor agent-workloads waarbij de kosten in de tools zitten en niet in het model, is dat het getal dat u nodig hebt. Onze gids voor LLM cost tracking laat zien hoe de weergaven per team en per virtueel account doorberekening (chargeback) voeden.

Figuur 5: Tabblad Models met kosten in de loop van de tijd en gebruik per model in het Metrics-dashboard van TrueFoundry.
Figuur 6: Tabblad MCP met aanroepen per server en de tabel met servers en tools in het Metrics-dashboard van TrueFoundry.
Figuur 7: Tabblad Agents met runs in de loop van de tijd en activiteit per agent in het Metrics-dashboard van TrueFoundry.
Figuur 8: Tabblad Guardrails met uitkomsten in de loop van de tijd en resultaten per guardrail in het Metrics-dashboard van TrueFoundry.
Figuur 9: Filteren op gebruiker, team, virtueel account, conversatie of metadata in het Metrics-dashboard van TrueFoundry.
Figuur 10: Detailweergave voor een team, met gebruik per teamlid in het Metrics-dashboard van TrueFoundry.

Dashboards en integraties: 21 Broadcast-bestemmingen vs 12 plus elke OTLP

Beide bieden een ingebouwd dashboard en de mogelijkheid om een eigen oplossing te koppelen. Het Metrics Dashboard van TrueFoundry heeft tabbladen voor overzichtstellers, kosten, LLM- en MCP-opsplitsingen, fouten, guardrails en leaderboards; het Activity-dashboard van OpenRouter beschikt over opslaanbare Explore-grafieken en een Logs-weergave met detailpagina's per generatie.

Op het gebied van integraties wint OpenRouter deze vergelijking, en dat zeggen we liever eerlijk dan dat we het verbergen. Broadcast-bestemmingen: Arize AX, Braintrust, ClickHouse, Comet Opik, Datadog, Elastic Observability, Google BigQuery, Grafana Cloud, Hugging Face storage buckets, Langfuse, LangSmith, New Relic, OpenTelemetry Collector, PostHog, Raindrop, Ramp, S3 en S3-compatibel, Sentry, Snowflake, W&B Weave en een generieke webhook, met versleutelde inloggegevens en een configuratie die alleen wordt opgeslagen als Test Connection slaagt. De data-warehouse en product-analytics bestemmingen (BigQuery, Snowflake, PostHog) hebben geen direct equivalent in onze lijst. TrueFoundry documenteert Datadog, Grafana/Prometheus, New Relic, Langfuse, Arize, Honeycomb, Dynatrace, SigNoz, Coralogix, Traceloop, Middleware en W&B Weave, plus alles wat compatibel is met OTLP via de generieke exporter (ecosystem), en een data-warehouse is bereikbaar via de Parquet-bucket in plaats van via een native connector. Eén wisselwerking om goed te verifiëren voordat u op Broadcast vertrouwt: het exporteert trace-data naar een derde partij van uw keuze, en de Datadog-gids verwijst naar een Privacy Mode, dus controleer hoe dat werkt in combinatie met inhoud die u er elders voor hebt gekozen niet op te slaan.

Alarmering: budgetmijpalen vs gelaagde meldingen

De native alarmering van TrueFoundry is uitsluitend gericht op uitgaven: budgetmijpaal-waarschuwingen bij 75, 90, 95 en 100% via e-mail, Slack-webhook of Slack-bot met sjablonen per gebruiker, op elk pakket (budget limiting). De meldingen van OpenRouter zijn gelaagd: e-mails bij een laag saldo, het vervallen van modellen en prijsverlagingen zijn overal beschikbaar; op Business en Enterprise zijn er waarschuwingen voor workspace-budgetlimieten die afgaan bij een bepaald aandeel van het budget, waarschuwingen voor uitgavelimieten per key, en bezorging via Slack of webhooks. Waarschuwen-vóór-blokkeren bestaat dus bij beide, maar bij OpenRouter is het een betaalde functie. Geen van beide documenteert alarmeringsregels op latency, foutpercentage of guardrail-fouten; LLM monitoring voor betrouwbaarheid vindt bij beide downstream plaats, via geëxporteerde metrics naar AlertManager of uw APM aan onze kant en via Broadcast aan de kant van OpenRouter. Hoe budgetwaarschuwingen zich verhouden tot harde limieten en rate limits wordt behandeld in ons artikel over OpenRouter rate limits.

Figuur 11: Budgetbeperking afdwingen in TrueFoundry.

LLM evals en experimenten: Ori Eval vs Feedback API en traffic splitting

OpenRouter heeft het enige first-party eval-product binnen dit onderwerp, en het bevindt zich naast de API in plaats van er onderdeel van te zijn. Ori Eval is een CLI die een codebase scant op elke modelaanroep, u vragen stelt, eval-bestanden schrijft, de agent uitvoert op uw eigen prompts, de aangeroepen tools controleert en open antwoorden beoordeelt met een LLM-beoordelaar, waarbij de testomgeving en het model vaststaan zodat resultaatveranderingen kunnen worden toegeschreven aan het model. Het loopt via OpenRouter, waardoor vergelijkingen de gehele catalogus beslaan, en omdat evals uit code bestaan, kunnen ze worden ingepland; OpenRouter beschrijft een beta-gebruiker wiens maandelijkse vergelijking een pull request opent wanneer er een beter model beschikbaar is. De API-zijde heeft een Report Feedback endpoint, en routing-varianten, Routers en presets als bouwstenen voor experimenten; er is geen native A/B traffic split gedocumenteerd.

TrueFoundry heeft drie concrete hooks en geen eval UI, wat we even duidelijk stellen als de concessie over Ori Eval hierboven. Een Feedback API koppelt beoordelingen van 1–5 aan elke trace via de x-tfy-feedback-target-id response-header, vooralsnog alleen voor de root-span (feedback for traces). Productieverkeer vormt op een gestructureerde manier de basis voor een eval-set, omdat het Parquet-bestand in uw bucket is gedocumenteerd voor evaluatie via Spark, DuckDB of Athena. En traffic splitting met virtuele modellen is een native bouwsteen voor experimenten: stuur een percentage van het verkeer van een virtueel model naar een kandidaat en vergelijk op basis van dezelfde metrics. Voor LLM evals als product verwijzen beide leveranciers u naar Langfuse, Arize, Braintrust of Weave via trace-export.

Retentie en opslagkosten

TrueFoundry documenteert geen hard plafond; trace-retentie is configureerbaar per data-routing bestemming, metrics gaan altijd naar de standaardbestemming met een configureerbare retentieperiode, en bij door de klant beheerde opslag is het plafond uw eigen bucket (data routing). Opslagkosten op schaal zijn niet gepubliceerd; bereken deze op basis van een gemeten aantal bytes per request [USER TO FILL]. OpenRouter documenteert geen platformplafond en geen vastgestelde retentieperiode voor metadata of gekozen inhoud; het venster van 30 dagen van het analytics activity endpoint is een queryvenster, geen retentieverklaring. Waar data wordt verzonden naar uw eigen S3, ClickHouse, BigQuery of Snowflake, vallen de retentie en kosten onder uw eigen beheer.

TrueFoundry vs OpenRouter: observability rechtstreeks vergeleken

TrueFoundry-functionaliteiten zijn afkomstig uit onze documentatie; OpenRouter-functionaliteiten weerspiegelen de publiek gedocumenteerde functionaliteit op het moment van schrijven.

DimensieTrueFoundry AI GatewayOpenRouter
Inhoud vastleggenVolledige bodies onder logging policy; metadata altijdMetadata altijd; inhoud opt-in beta, alleen admin, niet op regionale endpoints
SamplingNiet gedocumenteerd (binair per regel)Binair bij vastleggen; sampling per bestemming bij Broadcast-export
ZoekenSpan-query API; UI trace-browser; DuckDB / Athena op ParquetLogs-pagina; Analytics API-filters; Custom Classifier-tags
Metrics-oppervlakPrometheus /metrics (self-hosted), OTel-export, query API'sAnalytics API (beta, management key, limiet van 2 dimensies); geen Prometheus
Latency-metricsReeksen per dimensieP50 / P90 / P99 en throughput
TracingNative OTel; GenAI semantic conventions; duale exportOTLP via Broadcast; leveranciersspecifieke mappings
Inkomende trace-contexttraceparent niet gedocumenteerdTrace-object in request-body; traceparent niet gedocumenteerd
AttributieRequest, gebruiker, team, virtueel account, model, provideraccount, MCP-server en tool, metadataModel, variant, provider, key, app, gebruiker, workspace, regio, sessie, classifiers (2 tegelijk)
Ingebouwd dashboardMetrics Dashboard: kosten, LLM / MCP, fouten, guardrails, leaderboardsActivity-dashboard met opslaanbare grafieken; Logs-weergave
Integrations12 gedocumenteerd + elk OTLP-backend21 Broadcast-bestemmingen waaronder BigQuery, Snowflake, S3, PostHog
Native alarmeringBudgetmijpalen naar e-mail / Slack, elk pakketBudgetaandeel- en key-spend-waarschuwingen, Business en Enterprise; basis via e-mail
BetrouwbaarheidsalarmeringBYO via geëxporteerde metricsBYO via Broadcast
FeedbackFeedback API, 1–5, alleen root-spanReport Feedback endpoint
Eval-productGeen native; integraties via exportOri Eval CLI (aangrenzend)
Productieverkeer als eval seedJa; Parquet in uw bucketJa; Broadcast naar eval-platformen en -sinks
ExperimentenVirtual-model traffic splittingRouting-varianten en presets; geen A/B split
RetentieplafondGeen; per bestemming, configureerbaarGeen gedocumenteerd; geen vastgestelde periode
Eigendom van ruwe logsJa (uw bucket)Alleen via Broadcast naar uw eigen sink

Wanneer kiezen voor OpenRouter

  • Uw observability-stack is een Broadcast-bestemming en u wilt dat traces daar naartoe worden gestuurd met een geteste verbinding en zonder dat u een collector hoeft te draaien.
  • Percentielen en cache-hit ratio uit één API zijn voldoende, en een limiet van twee dimensies op groepering staat uw rapportage niet in de weg.
  • U wilt dat generaties voor u worden geclassificeerd. Custom Classifiers taggen op afdeling of taaktype zonder de request-metadata aan te raken.
  • U gaat Ori Eval gebruiken en u vindt het prettig dat evals zich in een CLI naast de API bevinden in plaats van erin.

Wanneer kiezen voor TrueFoundry

  • U scrapt Prometheus en wilt dat de gateway nog een extra target is met een gedocumenteerde catalogus.
  • Uw OTel-pipeline verwacht GenAI semantic conventions, geen leveranciersspecifieke attribuut-mappings.
  • Attributie moet reiken tot de MCP-tool, omdat agent-kosten in tool-calls zitten.
  • U wilt eigenaar zijn van de ruwe logs als Parquet-bestanden waar u query's op kunt uitvoeren met uw eigen engines, en om er evals uit te voeden.
  • U wilt bij 75% gewaarschuwd worden, op elk pakket, in plaats van geblokkeerd worden bij 100%.

Gerelateerde artikelen

Conclusie

OpenRouter usage tracking is het sterkste gehoste observability-verhaal in deze serie: Broadcast, de percentielen van de Analytics API, Custom Classifiers en Ori Eval zijn echte voordelen, en twee daarvan (warehouse-sinks en een first-party eval-tool) zijn zaken die TrueFoundry niet biedt. De voordelen van TrueFoundry zitten in het platform: een Prometheus-endpoint, GenAI-conventie spans, attributie tot op de tool, budgetwaarschuwingen op elk pakket en ruwe Parquet-bestanden in uw bucket. Geen van beide samplet bij het vastleggen, geen van beide alarmeert native op betrouwbaarheid, en geen van beide documenteert inkomende traceparent-propagatie. Maak uw keuze op basis van waar uw data zich al bevindt en of u eigenaar moet zijn van de ruwe logs.

Om het metrics-dashboard, de OTel-export en attributie op tool-niveau samen te zien, kunt u de TrueFoundry AI Gateway verkennen, of book a demo als u uw eigen observability-stack wilt doornemen.

Probeer het nu.

Eén gateway voor al je modellen, MCP-servers en agents. Geen creditcard nodig.

Start gratis
Inhoudsopgave

Eén gateway voor elk LLM, elke agent en elke MCP-server

Boek een gesprek van 30 minuten met onze AI-expert

Demo aanvragen

De snelste manier om je AI te bouwen, beheren en schalen

Demo boeken
Samenvatten met
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Ontdek meer

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Bifrost AI Gateway Review: Performance Benchmarked op 1 vCPU

Geen items gevonden.
november 20, 2026
|
5 min leestijd

OpenRouter rate limits: je gratis tier hangt af van wat je al hebt betaald

Geen items gevonden.
november 20, 2026
|
5 min leestijd

Agent-sandboxes uitgelegd: Waarom TrueForge de sandbox als een tool behandelt

Geen items gevonden.
TrueFoundry AI gateway is an enterprise alternative to Bifrost and Portkey
november 20, 2026
|
5 min leestijd

Bifrost vs Portkey: prijzen, gateway-functies en geschiktheid voor enterprise vergeleken

Geen items gevonden.
Geen items gevonden.

Recente blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Volg een korte producttour
Start producttour
Product Tour