TrueFoundry vs OpenRouter: 使用状況のトラッキングと可視性(Observability) — ログ、メトリクス、トレース、評価(Evals)の比較 (2026年版)
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
OpenRouter の使用状況トラッキングは、1つの設計思想に基づいています。OpenRouter はメタデータ(タイムスタンプ、モデル、プロバイダー、トークン数、レイテンシー、コスト)を常に記録し、プロンプトとコンプリーションの内容は組織の管理者がオプトインした場合にのみ記録します。このセクションにおけるその他の仕様はすべてこの設計に起因しています。対照的に TrueFoundry 側では、独自に作成したロギングポリシーに従ってデフォルトでフルボディがログ記録されます。本記事では、リクエストのキャプチャと検索、メトリクスとそのフォーマット、LLM トレースとコンテキスト伝播、属性特定の詳細度、ダッシュボードと統合機能、アラート、評価(eval)フック、および保持期間について両者を比較します。すべての主張は両ベンダーの公開ドキュメントに基づいており、OpenRouter が優れている点については明確にその旨を記載しています。
概要比較
OpenRouter の使用状況トラッキング:Activity ダッシュボードと Logs のキャプチャ機能
OpenRouter の使用状況を確認するためのダッシュボードが Activity ページです。すべてのリクエストのメタデータがここに集約され、オプションでワークスペースごとのフィルタリングが可能です。Explore チャートは Analytics API が返すものと同じ集計データを取得し、チャートの設定は保存して「組織内の全員」と共有できます。Usage Accounting を有効にすると、各レスポンスボディにコストとトークン数が返されるため、クライアントはポーリングを行わずに呼び出しごとの費用を追跡できます。プロンプトとコンプリーションの内容記録は、別途オプトインが必要な機能です。Input & Output Logging はベータ版であり、ワークスペース単位で切り替え可能で、組織の管理者のみが閲覧できます。なお、リージョナルエンドポイント経由で送信されたリクエストではスキップされるため、リージョン内ルーティングとコンテンツログ記録は排他的です。OpenRouter の Activity データを通常の生メタデータ以上に有用にしているのが、2つの機能です。Broadcast は宛先ごとのサンプリングレートを保持し(session_id によって決定論的に決定されるため、セッション全体がエクスポートされます)、宛先ごとの API キーフィルタリングを可能にします。これにより、本番用キーの開発用キーよりも低いレートでのエクスポートが実現します。Custom Classifiers を使用すると、分類体系(部署、タスクタイプ、エージェントの複雑さなど)を定義でき、小規模モデルがすべての生成にそれを適用します。その後、ログはそのタグによってグループごとにフィルタリングおよび分析できます。キャプチャ自体はワークスペース単位でバイナリ(有効/無効)制御され、サンプリングはインジェスト時ではなくエクスポート時に行われます。
TrueFoundry は、ユーザー、チーム、モデル、またはメタデータにマッチするロギング設定によって制御され、リクエストおよびレスポンスのフルボディを Parquet 形式でブロブストレージに記録します。ルールによってボディの記録が抑制されている場合でも、コスト、トークン、レイテンシーは記録されます(リクエストのログ記録)。検索は、トレース ID、サブジェクト、モデル、メタデータでフィルタリングされたスパンクエリ API を介して実行され、ドキュメント化されたスパン属性と UI 上の Request Traces ブラウザを利用できます(リクエストログの取得)。Parquet が自社のバケットに保存されるため、DuckDB、Athena、Spark から直接クエリを実行でき、生のデータ所有権を確保できます。一方、OpenRouter が一部提供しており TrueFoundry にない機能として、パーセンテージ指定のサンプリングが挙げられます。TrueFoundry のロギング設定は、一致するルールごとのログ記録オン/オフのみとなります。AI Gateway における可視性(Observability)の概要では、ロギングポリシーモデルについてより詳しく解説しています。


メトリクス:OpenRouter usage API と Prometheus エンドポイントの比較
OpenRouter の Analytics API はベータ版です。GET /api/v1/analytics/meta でサポートされているメトリクス、ディメンション、フィルター演算子、粒度のリストを取得し、POST /api/v1/analytics/query でクエリを実行します。管理キー(Management key)が必須であり、通常の API キーでは 403 エラーが返されます。メトリクスセットは充実しており、クレジット、OpenRouter、BYOK、BYOK 手数料、アップストリーム、キャッシュ、Web に分類された消費額、リクエスト数、プロンプト/コンプリーション/推論/キャッシュごとのトークン数、キャッシュヒット率、100万トークンあたりのブレンデッドコスト、ならびに分・時・日・週・月単位の粒度での P50、P90、P99 レイテンシーおよびスループットが含まれます。レポートを作成する際の重要な制限として、クエリは最大2つのディメンションに制限され、レスポンスには切り捨てフラグが含まれる点が挙げられます。Prometheus スクレイプエンドポイントは存在しません。これはスクレイプ対象となる顧客管理のプロセスが存在しないためであり、Broadcast 経由の OTLP メトリクスがもう1つの経路となります。
TrueFoundry は、セルフホスト型 Gateway 上で完全なドキュメント付きメトリクス一覧とラベルセットを備えた Prometheus 用 /metrics エンドポイントを公開しています。また、ダッシュボードから OTLP HTTP または gRPC で設定可能な OTel メトリクスエクスポートや、モデル、MCP、ガードレール、キャッシュ、ルーティング、エージェントのメトリクスをカバーするクエリ API ファミリーを提供しています(Prometheus と Grafana、OpenTelemetry エクスポート)。OpenRouter の LLM メトリクス が仕様上で優れている唯一の点は、事前に定義されたパーセンタイル行が用意されていることです。TrueFoundry ではディメンションごとのレイテンシーシリーズを Grafana 側で集計する形式をとっており、手数は1つ増えるものの実質的に同じデータを得ることができます。


LLM トレースと OpenTelemetry:コンテキスト伝播の比較
OpenTelemetry LLM エクスポート機能は両者ともサポートしていますが、その構成が異なります。TrueFoundry はネイティブで OTel に準拠しています。Gateway トレースは TrueFoundry によって保存され、内部ストレージに影響を与えることなく任意の OTLP バックエンドへ追記出力(デュアルエクスポート)が可能です。スパンは、属性リファレンスがドキュメント化された OpenTelemetry GenAI セマンティックコンベンションに従います(スパン属性)。OpenRouter は Broadcast 経由のアウトバウンドで OTLP ネイティブであり、Arize 向けの OpenInference 属性、Grafana Cloud 向けの TraceQL クエリ可能属性、New Relic 向けの NRQL、汎用 Webhook 向けの OTLP JSON など、宛先固有のマッピングを提供します。
両者が異なるのはコンテキストの伝播(Context propagation)であり、その違いは単なる表面的なものではなく運用上の差となります。OpenRouter は、リクエストボディに trace_id と parent_span_id を持つ trace オブジェクトを含めると、生成スパンをアプリケーションスパンの下にネストさせます。これはペイロードを介した明示的な伝播であり、すべての呼び出し箇所を修正する必要があることを意味します。受信した W3C traceparent ヘッダーが尊重されるかどうかはドキュメント化されていません。TrueFoundry も受信 traceparent の伝播について明記していません。両者に対する推奨アプローチは共通しています。ヘッダーを1つ送信し、エクスポートされたスパンの親を検査することで、短時間で挙動を確認できます。また、Gateway レベルのトレースは TrueFoundry のエージェントトレース製品にもデータを供給しており、単一の OpenAI 互換 API 経由で 2,500 以上の LLM を処理する場合でも、トレースを有効にした状態で約 3〜4 ms の追加レイテンシーと vCPU あたり 350 RPS 以上のパフォーマンスを維持します。
属性特定:キーおよびアプリ単位の OpenRouter トークン使用量 vs MCP ツール単位
OpenRouter のトークン使用量は、Analytics API を通じて幅広いディメンションセット(モデル、バリアント、プロバイダー、API キー、アプリ、ユーザー、ワークスペース、オリジン、国、データリージョン、終了理由、コンテキスト長、セッション、生成、カスタムユーザー ID、任意の分類器ディメンション)にわたり、一度に最大2つずつグループ化して属性を特定できます。Activity Export を使用すると、モデル、キー、または組織メンバーごとの集計使用量を CSV または PDF で出力できます。ただし財務上の注意点として、BYOK(Key 持ち込み)の消費額はプロバイダーの標準価格で概算され、個別交渉した割引価格は反映されないため、BYOK トラフィックが多いエクスポートでは実際の支払額よりも過大に表示されます。
TrueFoundry は、リクエスト、ユーザー、チーム、仮想アカウント、モデル、プロバイダーアカウント、MCP サーバー、個別の MCP ツール、および任意のメタデータキー単位で、トークン、コスト、レイテンシーの属性を特定します。これらはダッシュボードおよびクエリ API においてディメンション制限なしで抽出できます(アナリティクス)。ツールレベルでの属性特定は、ツール呼び出しのパス上に位置しない OpenRouter では実現できない機能です。モデル側ではなくツール側に費用が発生するエージェントワークロードにおいて、この機能は不可欠な指標となります。LLM コスト追跡のガイドでは、チーム単位や仮想アカウント単位のビューがどのようにチャージバックに活用できるかを解説しています。






ダッシュボードと統合:21 の Broadcast 宛先 vs 12 + 任意の OTLP
両者とも、組み込みのダッシュボードと外部連携(Bring Your Own)パスの双方を提供しています。TrueFoundry の Metrics Dashboard には、概要カウンター、コスト、LLM および MCP の内訳、エラー、ガードレール、リーダーボード用のタブ付きビューが用意されています。OpenRouter の Activity ダッシュボードには、保存可能な Explore チャートと、生成の詳細ページを備えた Logs ビューが含まれています。
統合機能に関しては OpenRouter が優位に立っています。Broadcast の宛先としては、Arize AX、Braintrust、ClickHouse、Comet Opik、Datadog、Elastic Observability、Google BigQuery、Grafana Cloud、Hugging Face ストレージバケット、Langfuse、LangSmith、New Relic、OpenTelemetry Collector、PostHog、Raindrop、Ramp、S3 および S3 互換ストレージ、Sentry、Snowflake、W&B Weave、および汎用 Webhook がサポートされており、暗号化された認証情報と「Test Connection」が成功した場合のみ保存される設定が提供されています。データウェアハウスやプロダクトアナリティクスのシンク(BigQuery、Snowflake、PostHog)に直接対応するコネクタは、TrueFoundry の標準リストには存在しません。TrueFoundry が公式ドキュメントでサポートしているのは、Datadog、Grafana/Prometheus、New Relic、Langfuse、Arize、Honeycomb、Dynatrace、SigNoz、Coralogix、Traceloop、Middleware、W&B Weave、および汎用エクスポート経由の OTLP 互換システムです(エコシステム)。ウェアハウスへの連携は、ネイティブコネクタではなく Parquet バケットを経由して行います。Broadcast を利用する際の注意点として、サードパーティへトレースデータがエクスポートされる点があります。Datadog のガイドには Privacy Mode に関する記載があるため、保存しないよう選択したコンテンツとどのように連動するか事前に確認してください。
アラート:予算マイルストーン vs 階層型通知
TrueFoundry のネイティブアラート機能はコスト管理に特化しており、すべてのプランにおいて、予算マイルストーン(75%、90%、95%、100%)に達した際にメール、Slack Webhook、または Slack ボット宛てにユーザーごとのテンプレートで通知を送信できます(予算制限)。OpenRouter の通知は階層化されており、残高低下、モデル非推奨、価格引き下げのメール通知は全ユーザーに提供され、Business および Enterprise プランでは、予算シェアに達した際のアラート、キーごとの使用制限アラート、Slack や Webhook への配信がサポートされています。したがって、上限到達前の警告機能は両者に存在しますが、OpenRouter では有料機能となっています。どちらもレイテンシー、エラー率、ガードレール違反に関するアラート規則はドキュメント化されていません。信頼性のための LLM モニタリング は両者ともダウンストリーム側で処理する設計であり、TrueFoundry ではエクスポートされたメトリクスを AlertManager や APM に取り込み、OpenRouter では Broadcast を介して実現します。予算アラートとハード上限およびレート制限との連携については、OpenRouter のレート制限に関する記事で解説しています。

LLM の評価(Evals)と実験:Ori Eval vs Feedback API およびトラフィック分割
OpenRouter は本カテゴリで唯一のファーストパーティ評価製品を提供していますが、これは API 内部ではなく周辺ツールとして位置づけられています。Ori Eval は、コードベース内のすべてのモデル呼び出しをスキャンし、ヒアリングを行い、評価ファイルを書き出し、独自のプロンプトでエージェントを実行し、呼び出されたツールを検証し、LLM ジャッジを用いて自由記述の回答を評価する CLI です。ハーネスとモデルが固定されているため、結果の変化をモデル自身に起因するものとして特定できます。これは OpenRouter 経由でルーティングされるためカタログ全体の比較が可能であり、コードとして評価を行えるためスケジュール実行も容易です。OpenRouter のドキュメントには、より優れたモデルが登場した際に毎月の比較によって自動的にプルリクエストを開くベータユーザーの事例が紹介されています。API 側には Report Feedback エンドポイントが用意されているほか、実験用のプリミティブとしてルーティングバリアント、ルーター、プリセットが提供されていますが、ネイティブな A/B トラフィック分割はドキュメント化されていません。
TrueFoundry は3つの連携フックを提供していますが、評価専用の UI は搭載されていません。Feedback API は、x-tfy-feedback-target-id レスポンスヘッダーを介して任意のトレースに 1〜5 の評価を付与します(現在はルートスパンのみ対応、トレースへのフィードバック)。本番トラフィックは評価セットのシードデータとして活用でき、バケット内の Parquet は Spark、DuckDB、Athena を通じた評価用としてドキュメント化されています。また、仮想モデルのトラフィック分割はネイティブな実験機能であり、仮想モデルのトラフィックの一定割合を候補モデルにルーティングし、同じメトリクス上で比較できます。プロダクトとしての LLM 評価 については、両ベンダーともトレースエクスポートを介して Langfuse、Arize、Braintrust、Weave などの外部ツールの利用を推奨しています。
データ保持期間とストレージコスト
TrueFoundry はハード上限を定めておらず、トレースの保持期間はデータルーティングの宛先ごとに設定可能です。メトリクスは常にデフォルトの宛先に送信され、保持期間を変更できます。顧客管理のストレージを使用する場合、上限は自社バケットの容量に依存します(データルーティング)。大規模運用時のストレージコストは公表されていないため、リクエストあたりのバイト数から算出する必要があります [USER TO FILL]。OpenRouter はプラットフォーム側の上限や、メタデータおよびオプトインされたコンテンツの明確な保持期間を明記していません。Analytics Activity エンドポイントの30日間のウィンドウはクエリ可能な期間であり、データ保持期間の規定ではありません。自身の S3、ClickHouse、BigQuery、Snowflake にデータをブロードキャストする場合、保持期間とコストは自社の管理下に置かれます。
TrueFoundry vs OpenRouter: 可視性(Observability)の直接比較
TrueFoundry の機能は自社ドキュメントに基づき、OpenRouter の機能は執筆時点で公開されているドキュメントの仕様を反映しています。
OpenRouter を選択すべき場合
- 既存の Observability スタックが Broadcast の宛先に対応しており、コレクターを自前で運用することなく検証済みの接続でトレースを送信したい場合。
- 単一 API からのパーセンタイルやキャッシュヒット率で十分であり、2つのディメンション制限が集計レポートの障壁にならない場合。
- 生成結果の分類を自動化したい場合。Custom Classifiers を使用すれば、リクエストのメタデータを変更することなく、部署やタスクタイプごとにタグ付けを行うことができます。
- Ori Eval を採用する予定があり、評価ツールが API 内部ではなく CLI として独立して存在することを受け入れられる場合。
TrueFoundry を選択すべき場合
- Prometheus を使用してスクレイピングを行っており、Gateway をドキュメント化されたメトリクス一覧を持つ追加ターゲットとして扱いたい場合。
- OTel パイプラインが、ベンダー固有のマッピングではなく GenAI セマンティックコンベンションを前提としている場合。
- エージェントの費用がツール呼び出しに依存しているため、MCP ツールレベルでの属性特定が不可欠である場合。
- 生ログを Parquet 形式で自社所有し、独自のクエリエンジンで分析したり評価のシードデータとして活用したい場合。
- 全プランにおいて 100% 到達時のブロックだけでなく、75% 到達時点で事前警告を受け取りたい場合。
関連資料
- AI Gateway における Observability — Gateway レベルでのロギングポリシー、メトリクス、トレースの連携方法
- 最適な LLM Observability ツール — 両ベンダーがデータ出力に対応している外部プラットフォームの紹介
- LLM Observability とは? — 本比較の背景にある概念の解説
- LLM コスト追跡ソリューション — 実務における属性特定とチャージバックの運用手法
- OpenRouter vs AI Gateway — ホスト型ルーターとエンタープライズ向け Gateway の包括的比較
結論
OpenRouter の使用状況トラッキングは、本シリーズの中で最も完成度の高いホスト型 Observability 機能を提供しています。Broadcast、Analytics API のパーセンタイル表示、Custom Classifiers、Ori Eval は強力な強みであり、特にデータウェアハウスへの同期やファーストパーティの評価ツールは TrueFoundry にはない機能です。一方、TrueFoundry の強みはインフラ・プラットフォームとしての完成度にあります。Prometheus エンドポイント、GenAI コンベンション対応スパン、ツール単位の属性特定、全プラン対応の予算アラート、自社バケットへの Parquet 生ログ保存などがそれに該当します。なお、両者ともキャプチャ時のサンプリング、信頼性に関するネイティブアラート、受信 traceparent 伝播のドキュメント化には対応していません。データの保存場所や、生ログの自社所有が必要かどうかに基づいて最適なソリューションを選択してください。
メトリクスダッシュボード、OTel エクスポート、ツールレベルの属性特定機能を実際に確認するには、TrueFoundry AI Gateway を参照してください。自社の Observability スタックに合わせた導入検討については、デモを予約してください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















