TrueFoundry vs OpenRouter: Usage Tracking en Observability — Logs, Metrics, Tracing en Evals Vergeleken (2026)
.webp)
Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Het bijhouden van OpenRouter-gebruik begint bij één ontwerpbeslissing: OpenRouter legt altijd metadata vast (timestamps, model, provider, token-aantallen, latency, kosten) en legt prompt- en completion-inhoud alleen vast wanneer een organisatie-beheerder hier expliciet voor kiest. Alles op dit vlak vloeit hieruit voort, evenals uit de gespiegelde beslissing aan de kant van TrueFoundry, waar volledige bodies standaard worden gelogd onder een door u geschreven logging policy. Dit artikel vergelijkt de twee op het gebied van request-vastlegging en -zoeken, metrics en hun formaten, LLM tracing en context-propagatie, attributie-granulariteit, dashboards en integraties, alarmering, eval-hooks en retentie. Elke bewering is afkomstig uit de openbare documentatie van de twee leveranciers, en waar OpenRouter voorloopt, geven we dat aan, omdat dat op dit vlak soms het geval is.
In één oogopslag
OpenRouter usage tracking: wat het Activity-dashboard en de Logs vastleggen
Het OpenRouter dashboard voor gebruik is de Activity-pagina: de metadata van elke request komt daar terecht met optionele workspace-filtering, Explore-grafieken maken gebruik van dezelfde aggregaten die de Analytics API retourneert, en grafiekconfiguraties kunnen worden opgeslagen en gedeeld met "Everyone in my organization". Het inschakelen van Usage Accounting retourneert kosten en token-aantallen in elke response body, zodat een client de uitgaven per call kan bijhouden zonder te pollen. Prompt- en completion-inhoud is een afzonderlijke opt-in-functie: Input & Output Logging bevindt zich in beta, wordt per workspace ingeschakeld, is alleen zichtbaar voor org-admins en wordt overgeslagen voor requests die via de regionale endpoints worden verzonden, dus in-region routing en content logging sluiten elkaar uit. Twee functies maken OpenRouter activity-data nuttiger dan ruwe metadata meestal is. Broadcast bevat een sampling rate per bestemming (deterministisch op basis van session_id, zodat sessies in hun geheel worden geëxporteerd) en API-key filtering per bestemming, waardoor productiekeys met een lagere frequentie kunnen exporteren dan ontwikkelingskeys. Met Custom Classifiers kunt u een taxonomie definiëren (afdeling, taaktype, agent-complexiteit) die een klein model toepast op elke generatie, waarna logs groepen filteren en analyseren op basis van die tags. Het vastleggen zelf is binair per workspace; de sampling vindt plaats bij export, niet bij ingest.
TrueFoundry logt volledige request- en response-bodies als Parquet in blob storage, beheerd door logging-configuraties die matchen op gebruiker, team, model of metadata; kosten, tokens en latency worden vastgelegd, zelfs wanneer een regel bodies onderdrukt (request logging). Zoeken werkt via een span-query API gefilterd op trace ID, subject, model en metadata, met gedocumenteerde span-attributen, plus een Request Traces browser in de UI (fetching request logs). Omdat het Parquet-bestand in uw eigen bucket terechtkomt, kunnen DuckDB, Athena of Spark er rechtstreeks query's op uitvoeren, wat het argument voor het bezit van ruwe data in één zin samenvat. Wat wij niet hebben, en OpenRouter gedeeltelijk wel: percentage-sampling. Onze logging-configuraties loggen wel of loggen niet per matchende regel. Ons overzicht van observability in an AI gateway behandelt het logging-policy-model in meer detail.


Metrics: de OpenRouter usage API vs een Prometheus endpoint
OpenRouter's Analytics API bevindt zich in beta. GET /api/v1/analytics/meta geeft ondersteunde metrics, dimensies, filter-operators en granulariteiten weer; POST /api/v1/analytics/query voert de query uit. Een management key is vereist en reguliere API keys ontvangen een 403. De set metrics is goed: uitgaven onderverdeeld naar credits, OpenRouter, BYOK, BYOK-kosten, upstream, cache en web; aantal requests; tokens als prompt, completion, reasoning of cached; cache-hit ratio; gemiddelde kosten per miljoen tokens; en latency en throughput op P50, P90 en P99, met een granulariteit van minuten, uren, dagen, weken of maanden. Twee beperkingen zijn van belang voor iedereen die er rapporten op bouwt: query's zijn beperkt tot twee dimensies en responses bevatten een truncatie-vlag. Er is geen Prometheus scrape-endpoint, wat logisch is omdat er geen door de klant beheerd proces is om te scrapen; OTLP metrics via Broadcast vormen de tweede route.
TrueFoundry biedt een door Prometheus te scrapen /metrics endpoint op self-hosted gateways met een volledig gedocumenteerde metric-catalogus en label-set, OTel metrics-export geconfigureerd vanuit het dashboard in OTLP HTTP of gRPC, en een query API-familie die model-, MCP-, guardrail-, cache-, routing- en agent-metrics omvat (Prometheus and Grafana, OpenTelemetry export). De enige plek waar OpenRouter's LLM metrics op papier beter overkomen, is de kant-en-klare percentielenrij; de onze zijn latency-reeksen per dimensie die u aggregeert in Grafana, wat dezelfde data is met één stap extra.


LLM tracing en OpenTelemetry: wie converteert de context
OpenTelemetry LLM export bestaat aan beide kanten, met verschillende vormen. TrueFoundry voldoet native aan OTel: gateway-traces worden opgeslagen door TrueFoundry en optioneel dubbel geëxporteerd naar elk OTLP-backend zonder de interne opslag te beïnvloeden, en spans volgen de OpenTelemetry GenAI semantic conventions met een gedocumenteerde attribuut-referentie (span attributes). OpenRouter is native OTLP op de weg naar buiten via Broadcast, met bestemming-specifieke mappings: OpenInference-attributen voor Arize, via TraceQL opvraagbare attributen voor Grafana Cloud, NRQL voor New Relic, OTLP JSON voor generieke webhooks.
Context-propagatie is waar ze uiteenlopen, en het verschil is eerder operationeel dan cosmetisch. OpenRouter nest zijn generatie-span onder uw applicatie-span als u een trace-object met trace_id en parent_span_id meestuurt in de request-body. Dat is expliciete propagatie via de payload, wat betekent dat elk aanroepend punt moet worden aangepast; of een inkomende W3C traceparent-header wordt gerespecteerd, is niet gedocumenteerd. TrueFoundry documenteert inkomende traceparent-propagatie evenmin expliciet. We zeggen hetzelfde over beide: stuur één header, inspecteer de parent van de geëxporteerde span, en u hebt binnen tien minuten uw antwoord. Tracing op gateway-niveau is ook wat ons agent tracing-product voedt, en de ~3–4 ms extra latency en 350+ requests per seconde per vCPU blijven behouden met tracing ingeschakeld, over 2.500+ LLM's via één OpenAI-compatibele API.
Attributie: OpenRouter token-gebruik per key en app vs per MCP-tool
OpenRouter token usage kent attributie toe over een brede set dimensies via de Analytics API: model, variant, provider, API key, app, gebruiker, workspace, herkomst, land, dataregio, finish reason, contextlengte, sessie, generatie, aangepaste gebruikers-ID's en elke classifier-dimensie, gegroepeerd op maximaal twee tegelijk. Activity Export genereert geaggregeerd gebruik als CSV of PDF per model, key of organisatielid, met één kanttekening voor de financiële administratie: BYOK-uitgaven worden geschat op basis van de markttarieven van de provider, niet op basis van eventuele door u uitonderhandelde kortingen, waardoor een export van verkeer met veel BYOK een hoger bedrag aangeeft dan wat u werkelijk hebt betaald.
TrueFoundry kent tokens, kosten en latency toe per request, gebruiker, team, virtueel account, model, provideraccount, MCP-server, individuele MCP-tool en willekeurige metadata-keys, die zonder dimensielimiet kunnen worden opgesplitst in het dashboard en de query API's (analytics). Attributie op tool-niveau is de rij waar OpenRouter niet aan kan tippen, omdat het zich niet in het tool-call-pad bevindt; voor agent-workloads waarbij de kosten in de tools zitten en niet in het model, is dat het getal dat u nodig hebt. Onze gids voor LLM cost tracking laat zien hoe de weergaven per team en per virtueel account doorberekening (chargeback) voeden.






Dashboards en integraties: 21 Broadcast-bestemmingen vs 12 plus elke OTLP
Beide bieden een ingebouwd dashboard en de mogelijkheid om een eigen oplossing te koppelen. Het Metrics Dashboard van TrueFoundry heeft tabbladen voor overzichtstellers, kosten, LLM- en MCP-opsplitsingen, fouten, guardrails en leaderboards; het Activity-dashboard van OpenRouter beschikt over opslaanbare Explore-grafieken en een Logs-weergave met detailpagina's per generatie.
Op het gebied van integraties wint OpenRouter deze vergelijking, en dat zeggen we liever eerlijk dan dat we het verbergen. Broadcast-bestemmingen: Arize AX, Braintrust, ClickHouse, Comet Opik, Datadog, Elastic Observability, Google BigQuery, Grafana Cloud, Hugging Face storage buckets, Langfuse, LangSmith, New Relic, OpenTelemetry Collector, PostHog, Raindrop, Ramp, S3 en S3-compatibel, Sentry, Snowflake, W&B Weave en een generieke webhook, met versleutelde inloggegevens en een configuratie die alleen wordt opgeslagen als Test Connection slaagt. De data-warehouse en product-analytics bestemmingen (BigQuery, Snowflake, PostHog) hebben geen direct equivalent in onze lijst. TrueFoundry documenteert Datadog, Grafana/Prometheus, New Relic, Langfuse, Arize, Honeycomb, Dynatrace, SigNoz, Coralogix, Traceloop, Middleware en W&B Weave, plus alles wat compatibel is met OTLP via de generieke exporter (ecosystem), en een data-warehouse is bereikbaar via de Parquet-bucket in plaats van via een native connector. Eén wisselwerking om goed te verifiëren voordat u op Broadcast vertrouwt: het exporteert trace-data naar een derde partij van uw keuze, en de Datadog-gids verwijst naar een Privacy Mode, dus controleer hoe dat werkt in combinatie met inhoud die u er elders voor hebt gekozen niet op te slaan.
Alarmering: budgetmijpalen vs gelaagde meldingen
De native alarmering van TrueFoundry is uitsluitend gericht op uitgaven: budgetmijpaal-waarschuwingen bij 75, 90, 95 en 100% via e-mail, Slack-webhook of Slack-bot met sjablonen per gebruiker, op elk pakket (budget limiting). De meldingen van OpenRouter zijn gelaagd: e-mails bij een laag saldo, het vervallen van modellen en prijsverlagingen zijn overal beschikbaar; op Business en Enterprise zijn er waarschuwingen voor workspace-budgetlimieten die afgaan bij een bepaald aandeel van het budget, waarschuwingen voor uitgavelimieten per key, en bezorging via Slack of webhooks. Waarschuwen-vóór-blokkeren bestaat dus bij beide, maar bij OpenRouter is het een betaalde functie. Geen van beide documenteert alarmeringsregels op latency, foutpercentage of guardrail-fouten; LLM monitoring voor betrouwbaarheid vindt bij beide downstream plaats, via geëxporteerde metrics naar AlertManager of uw APM aan onze kant en via Broadcast aan de kant van OpenRouter. Hoe budgetwaarschuwingen zich verhouden tot harde limieten en rate limits wordt behandeld in ons artikel over OpenRouter rate limits.

LLM evals en experimenten: Ori Eval vs Feedback API en traffic splitting
OpenRouter heeft het enige first-party eval-product binnen dit onderwerp, en het bevindt zich naast de API in plaats van er onderdeel van te zijn. Ori Eval is een CLI die een codebase scant op elke modelaanroep, u vragen stelt, eval-bestanden schrijft, de agent uitvoert op uw eigen prompts, de aangeroepen tools controleert en open antwoorden beoordeelt met een LLM-beoordelaar, waarbij de testomgeving en het model vaststaan zodat resultaatveranderingen kunnen worden toegeschreven aan het model. Het loopt via OpenRouter, waardoor vergelijkingen de gehele catalogus beslaan, en omdat evals uit code bestaan, kunnen ze worden ingepland; OpenRouter beschrijft een beta-gebruiker wiens maandelijkse vergelijking een pull request opent wanneer er een beter model beschikbaar is. De API-zijde heeft een Report Feedback endpoint, en routing-varianten, Routers en presets als bouwstenen voor experimenten; er is geen native A/B traffic split gedocumenteerd.
TrueFoundry heeft drie concrete hooks en geen eval UI, wat we even duidelijk stellen als de concessie over Ori Eval hierboven. Een Feedback API koppelt beoordelingen van 1–5 aan elke trace via de x-tfy-feedback-target-id response-header, vooralsnog alleen voor de root-span (feedback for traces). Productieverkeer vormt op een gestructureerde manier de basis voor een eval-set, omdat het Parquet-bestand in uw bucket is gedocumenteerd voor evaluatie via Spark, DuckDB of Athena. En traffic splitting met virtuele modellen is een native bouwsteen voor experimenten: stuur een percentage van het verkeer van een virtueel model naar een kandidaat en vergelijk op basis van dezelfde metrics. Voor LLM evals als product verwijzen beide leveranciers u naar Langfuse, Arize, Braintrust of Weave via trace-export.
Retentie en opslagkosten
TrueFoundry documenteert geen hard plafond; trace-retentie is configureerbaar per data-routing bestemming, metrics gaan altijd naar de standaardbestemming met een configureerbare retentieperiode, en bij door de klant beheerde opslag is het plafond uw eigen bucket (data routing). Opslagkosten op schaal zijn niet gepubliceerd; bereken deze op basis van een gemeten aantal bytes per request [USER TO FILL]. OpenRouter documenteert geen platformplafond en geen vastgestelde retentieperiode voor metadata of gekozen inhoud; het venster van 30 dagen van het analytics activity endpoint is een queryvenster, geen retentieverklaring. Waar data wordt verzonden naar uw eigen S3, ClickHouse, BigQuery of Snowflake, vallen de retentie en kosten onder uw eigen beheer.
TrueFoundry vs OpenRouter: observability rechtstreeks vergeleken
TrueFoundry-functionaliteiten zijn afkomstig uit onze documentatie; OpenRouter-functionaliteiten weerspiegelen de publiek gedocumenteerde functionaliteit op het moment van schrijven.
Wanneer kiezen voor OpenRouter
- Uw observability-stack is een Broadcast-bestemming en u wilt dat traces daar naartoe worden gestuurd met een geteste verbinding en zonder dat u een collector hoeft te draaien.
- Percentielen en cache-hit ratio uit één API zijn voldoende, en een limiet van twee dimensies op groepering staat uw rapportage niet in de weg.
- U wilt dat generaties voor u worden geclassificeerd. Custom Classifiers taggen op afdeling of taaktype zonder de request-metadata aan te raken.
- U gaat Ori Eval gebruiken en u vindt het prettig dat evals zich in een CLI naast de API bevinden in plaats van erin.
Wanneer kiezen voor TrueFoundry
- U scrapt Prometheus en wilt dat de gateway nog een extra target is met een gedocumenteerde catalogus.
- Uw OTel-pipeline verwacht GenAI semantic conventions, geen leveranciersspecifieke attribuut-mappings.
- Attributie moet reiken tot de MCP-tool, omdat agent-kosten in tool-calls zitten.
- U wilt eigenaar zijn van de ruwe logs als Parquet-bestanden waar u query's op kunt uitvoeren met uw eigen engines, en om er evals uit te voeden.
- U wilt bij 75% gewaarschuwd worden, op elk pakket, in plaats van geblokkeerd worden bij 100%.
Gerelateerde artikelen
- Observability in an AI Gateway — hoe logging policies, metrics en traces samenkomen op de gateway-laag
- Best LLM Observability Tools — de externe platformen waar beide leveranciers naar exporteren
- What is LLM Observability? — de concepten achter deze vergelijking
- LLM Cost Tracking Solution — attributie en doorberekening (chargeback) in de praktijk
- OpenRouter vs AI Gateway — de bredere vergelijking van gehoste routers en enterprise gateways
Conclusie
OpenRouter usage tracking is het sterkste gehoste observability-verhaal in deze serie: Broadcast, de percentielen van de Analytics API, Custom Classifiers en Ori Eval zijn echte voordelen, en twee daarvan (warehouse-sinks en een first-party eval-tool) zijn zaken die TrueFoundry niet biedt. De voordelen van TrueFoundry zitten in het platform: een Prometheus-endpoint, GenAI-conventie spans, attributie tot op de tool, budgetwaarschuwingen op elk pakket en ruwe Parquet-bestanden in uw bucket. Geen van beide samplet bij het vastleggen, geen van beide alarmeert native op betrouwbaarheid, en geen van beide documenteert inkomende traceparent-propagatie. Maak uw keuze op basis van waar uw data zich al bevindt en of u eigenaar moet zijn van de ruwe logs.
Om het metrics-dashboard, de OTel-export en attributie op tool-niveau samen te zien, kunt u de TrueFoundry AI Gateway verkennen, of book a demo als u uw eigen observability-stack wilt doornemen.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.















.webp)

.webp)
.webp)


.webp)
.webp)


.webp)








