OTLP経由でのTrueFoundry AI GatewayトレースのSigNozへのエクスポート

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundry AI Gatewayは、すべてのLLMリクエストに対してOpenTelemetryスパンを生成し、NATS経由で非同期に発行します。SigNoz Cloudは、ワークスペースごとの取り込みキー(ingestion key)で認証されたリージョン取り込みエンドポイントにおいて、OTLP/HTTP経由でこれらのスパンを受け入れます。この2つを接続するには、GatewayのOTELエクスポート設定にSigNozの取り込みURLを設定し、signoz-ingestion-keyヘッダーを追加するだけで済みます。アプリケーションレベルでのインストルメンテーション変更は一切不要です。
本記事では、TrueFoundry AI Gateway内部でのOTELトレース生成パス、SigNoz Cloudが使用する取り込みおよびストレージパイプライン、そして両システムを連動させるための設定インターフェースについて解説します。これはセットアップガイドではなく、アーキテクチャレベルで統合がどのように機能するかを説明するものです。
TrueFoundry AI Gatewayによるトレース生成とエクスポートの仕組み
TrueFoundry AI GatewayはHonoフレームワーク上に構築されており、ステートレスなポッドとして実行されます。1 vCPUおよび1 GB RAM上の単一ポッドで、約3 msの付加レイテンシで毎秒250件以上のリクエストを処理します。Gatewayがリクエストパスにおいて外部呼出しを一切行わないため、このようなスループットが可能になります。認証は、アイデンティティプロバイダーから一度ダウンロードされてキャッシュされた公開鍵に対して実行されます。認可チェックは、NATS経由で同期されたユーザーとモデルのインメモリマップに対して実行されます。モデルルーティングロジックは、ルーティング設定のローカルコピーに対してすべてメモリ内で実行されます。
OTELトレース生成も、同様の「外部呼出しゼロ」原則に従います。リクエストが完了すると、GatewayはスパンデータをNATSに非同期で発行します。OTELエクスポーターはこの非同期パスからデータを読み取り、設定された外部エンドポイントにスパンを転送します。エクスポーターがリクエストパスに触れることはありません。OTELバックエンドの低速化や接続不可が発生しても、リクエストがストールすることはなく、クライアントに視認できるレイテンシが加算されることもありません。
Gatewayは、リクエストライフサイクルの複数のポイントでスパンを生成します。インバウンドHTTP処理、認証、モデル解決、アウトバウンドプロバイダー呼出しのそれぞれがスパンを生成し、これらが組み立てられて1つのトレースになります。スパンには特定の属性セットが含まれます。tfy.input属性には、LLMに送信された完全なリクエストボディが含まれます。tfy.output属性には、完全なレスポンスボディが含まれます。tfy.input_short_hand属性には、ファイル、画像、音声コンテンツのブールフラグを含む入力の要約が含まれます。tfy.span_type属性は、リクエストを処理したGatewayパスに応じて、操作タイプをChatCompletion、AgentResponse、MCPGatewayのいずれかとして識別します。標準のgen_ai.*セマンティックコンベンションも含まれており、プロンプトのトークン数、コンプリーショントークン数、モデル識別子、終了理由などをカバーします。
Gatewayはまた、OTEL設定内にExclude Request Data切り替えトグルを提供しています。これを有効にすると、エクスポーターはスパンを転送する前に、スパンからtfy.input、tfy.output、tfy.input_short_handを削除します。これは、レイテンシやエラーの分析のために完全なトレース可視性が必要であるものの、プロンプトやレスポンスのコンテンツを外部プラットフォームに送信してはならないチームにとって適切な設定です。
エクスポートは追加的(additive)に行われます。SigNoz OTEL送信先を有効にしても、TrueFoundry独自の内部トレースストレージが置き換えられたり中断されたりすることはありません。両方のパスが、同じ非同期NATS発行から同じスパンを受信します。
SigNozによるトレースの処理内容
SigNozは、テレメトリデータを受け入れてClickHouseに書き込むカスタムOpenTelemetry Collectorを中心に構築されています。Collectorは標準のOTLPプロトコル経由でデータを取得するように設定されており、既存の監視ツールとのシームレスな統合のためのプロトコル変換を提供し、ストレージに書き込む前にメタデータエンリッチメントでデータを処理します。
インジェスチョン(取り込み)パイプラインは、Receiver、Processor、Exporterを備えたOpenTelemetry Collectorアーキテクチャに従います。OTLP Receiverは、ポート4317のgRPCおよびポート4318のHTTPの両方でトレーススパンを受け入れます。Batch Processorは、エクスポート前の効率化のためにスパンをグループ化します。signozspanmetricsプロセッサは、スパンデータから直接REDメトリクス(Rate:レート、Error:エラー、Duration:所要時間)を生成するため、別途インストルメンテーションを行わなくても、リクエストレート、エラー率、レイテンシパーセンタイルをクエリ可能なメトリクスとして利用できます。トレーススパンはClickHouseのdistributed_signoz_index_v3テーブルに書き込まれます。生成されたメトリクスはsignoz_metrics.distributed_samples_v4テーブルに送信されます。
SigNoz Cloudはマルチテナントアーキテクチャを採用しています。各テナントには、独自のSigNozインスタンス、テレメトリデータを格納するための独自のClickHouse、取り込み用の独自のOTel Collector、および独自のリージョンエンドポイントが割り当てられます。共有インフラストラクチャが初期取り込みを処理します。OpenTelemetry Gatewayがテレメトリを受信してバッチ処理し、Redpandaストリーミングバッファに転送した後に、テナント固有のSigNozインスタンスがそれを消費してClickHouseに書き込みます。つまり、ingest.<region>.signoz.cloud:443エンドポイントは共有インジェスチョン層です。signoz-ingestion-keyヘッダーにより、取り込み後にデータが適切なテナント専用パイプラインにルーティングされます。
SigNozクエリサービスは、大量のスパンデータに対する集計のためにカラムナ(列指向)ストレージ形式を活用する最適化されたSQLクエリを使用して、ClickHouseから読み取りを行います。Tracesエクスプローラーでは、以下に示すように、サービス名、オペレーション、ステータス、所要時間でフィルタリング可能な個々のスパンが表示されます。

Metricsエクスプローラーは、生成されたREDメトリクスに対してPromQL互換クエリを受け付けます。Gatewayはtfy.*属性と並んで標準のgen_ai.*属性を発行するため、SigNozは一般的なHTTPパフォーマンスデータとLLM固有のデータの両方を同じトレースビューに表示できます。

統合インターフェース
TrueFoundry AI Gatewayは、トレース用とメトリクス用の2つのOTELエクスポーター設定を介してSigNozに接続します。両方ともHTTPとProtoエンコーディングを使用します。両方のエクスポーターでsignoz-ingestion-keyヘッダーが必要です。エンドポイント形式にはサブドメインとしてリージョンが含まれ、HTTPS経由でポート443に接続します。設定は、以下に示すようにTrueFoundryダッシュボードのAI Gateway → Controls → Settings → OTEL Configからアクセスできます。

OTEL Traces エクスポーター設定

OTEL Metrics エクスポーター設定
リージョンは、アカウント設定に表示されるSigNoz Cloudの取り込みURLから派生します。取り込みURLがhttps://ingest.in2.signoz.cloudの場合、リージョンはin2となり、トレースエンドポイントはhttps://ingest.in2.signoz.cloud:443/v1/tracesになります。取り込みキーは、SigNoz CloudダッシュボードのSettings → Ingestion Settingsから入手できるワークスペーススコープのクレデンシャルです。
トラフィックが通常のHTTP経由でクラスター内部にとどまるセルフホスト型の可観測性ターゲットとは異なり、SigNoz Cloudはパブリックインターネット経由で到達可能な外部エンドポイントです。Gatewayエクスポーターはポート443へのTLS接続を確立し、ProtobufエンコードされたOTLP/HTTPバッチでスパンを送信します。GatewayのNATSベースの非同期エクスポートパスにより、SigNoz取り込みエンドポイントに一時的に到達できない場合でも、Gatewayは正常にリクエスト処理を継続します。配信できないスパンはエクスポーターレベルで破棄され、呼び出し元にエラーを表示させることなくログに記録されます。
両方のエクスポーターは個別に有効化できます。トレースエクスポーターのみを有効にすると、メトリクスのエクスポートを無効にしたままSigNozにスパンデータが送信されます。両方を有効にすると、スパンデータがdistributed_signoz_index_v3テーブルに送信され、メトリクスデータがsignoz_metrics.distributed_samples_v4テーブルに送信されます。後者からSigNozはMetricsエクスプローラーにREDメトリクスビューを生成します。
SigNozでのサービス別フィルタリング
Gatewayは、すべてのスパンのリソース属性としてservice.nameをtfy-llm-gatewayに設定します。SigNoz Tracesエクスプローラーでservice.name = tfy-llm-gatewayでフィルタリングすると、すべてのGatewayトラフィックが隔離抽出されます。tfy.span_type = ChatCompletionでさらに絞り込むと、LLM推論リクエストに限定されます。tfy.data_routing.destination属性は、どのモデルまたは仮想モデルがリクエストを処理したかを特定し、モデルごとにレイテンシ分布をグループ化するために使用できます。
アーキテクチャのまとめ
リクエストがTrueFoundry AI Gatewayに入ると、すべてメモリ内で処理されます。GatewayはリクエストをLLMプロバイダーに転送し、レスポンスをクライアントにストリーミング返送します。レスポンスが完了すると、Gatewayは完全なリクエスト・レスポンス属性、トークン数、レイテンシを含むスパンをNATSに発行します。OTELエクスポーターはNATSからスパンを非同期に取得し、signoz-ingestion-keyヘッダーを付与してOTLP/HTTP経由でポート443にあるSigNozのリージョン取り込みエンドポイントに転送します。共有のSigNoz OTel gatewayがスパンを受信してRedpandaにバッチ投入します。テナントごとのSigNoz CollectorがRedpandaから消費し、signozspanmetricsプロセッサを適用してREDメトリクスを生成した上で、テナント専用のClickHouseインスタンス内のdistributed_signoz_index_v3にスパンを、signoz_metrics.distributed_samples_v4にメトリクスを書き込みます。SigNozクエリサービスはClickHouseから読み取りを行い、Tracesエクスプローラーにトレースを、Metricsエクスプローラーに生成されたメトリクスを表示します。
サイドカーは不要です。SDKの変更も不要です。いかなるアプリケーションにもインストルメンテーションコードは追加されません。唯一の設定変更は、TrueFoundry AI GatewayのOTEL Config設定で2つのOTELエクスポーターエンドポイントを追加することだけです。Gatewayはすでにスパンを生成・発行しています。エクスポーター設定と取り込みキーによって、それらの送信先が決定されます。
この統合を機能させているアーキテクチャ上の原則は、リクエストパスとテレメトリエクスポートパスが完全に分離されていることです。Gatewayは、レスポンスがすでにネットワーク上に送信された後にNATSへテレメトリを発行します。SigNozの取り込みエンドポイントが低速であったり、一時的に利用不可能であったり、地理的に離れていたりしても、Gatewayのレイテンシや信頼性には一切影響しません。OTELのポータビリティにより、現在SigNozに流れている同じスパンデータを、エンドポイントURLと認証ヘッダー以外のGateway設定を変更することなく、他の任意のOTLP互換バックエンドに流すことができます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






