Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Gateway TracingとRequest Logs: すべてのLLMコールをデバッグ

By アシシュ・ドゥベイ

Updated: 11月 3, 2026

Published: 10月 9, 2026

Gatewayでトレーシングが必要な理由

LLMコールが遅い、コストが高い、または不正確である場合、実際に何が起こったのかを確認する必要があります。ガードレールがプロンプトをマスキング(redact)したのか?ネットワークと比較してモデルの処理時間はどれくらいかかったのか?Gatewayはプロバイダーに何を送信したのか?AI GatewayのRequest LoggingとTracingは、すべてのコールに対してこれらの疑問に答えます。

すべてのリクエストはすでにGatewayを経由して流れているため、各アプリケーションを手動でインストゥルメンテーションすることなく、この可視性を取得できます。

ログ記録対象の制御

Request Loggingドキュメントを使用すると、ログに記録するリクエストを制御できます。最もシンプルな制御はリクエスト単位であり、JSON値を文字列化したX-TFY-LOGGING-CONFIGヘッダーを使用します。リクエストをログに記録するにはenabledをtrueに設定し、スキップするにはfalseに設定します。

注意すべき重要な点の1つ:ほとんどのSDKはヘッダーを文字列としてシリアル化するため、そのヘッダーの値は生JSONオブジェクトではなく、文字列化されたJSONになります。従来のグローバルログ記録モードは、ルールベースのLogging Configurationに置き換えられており、サブジェクト、モデル、またはメタデータごとにログ記録を制御し、機密データをマスキングできます。

Request Logsの表示

UIでログに記録されたリクエストを表示するには、AI Gatewayに移動し、Monitor、Requestsの順に選択します。これにより、ログに記録されたすべてのコールのリストが表示され、これを開いて単一のリクエストの詳細を検査できます。

AI GatewayのMonitorセクションにおけるRequest Logs。

TracesとSpansの解説

Tracingドキュメントでは、TraceをLLMと対話するサービスを通過するリクエストの完全なライフサイクルとして説明しています。通常、Traceはアプリケーションの単一のAPIコールに対応します。

Spanは、そのTrace内の個別の作業単位(関数呼び出し、HTTPリクエスト、モデル推論など)です。Traceは、親子の関係を持つSpanのツリーであり、子Spanは通常、その親によって発生します。TrueFoundryは、これらのTraceを保存するOpenTelemetryコレクターバックエンドと、それらをクエリおよび分析するためのUIを提供しており、OpenTelemetry互換の任意のSDKからTraceを受信できます。

Traceは親子関係を持つSpanのツリーです。
直近の低速なリクエストがなぜ遅かったのか説明できますか?
お客様のトラフィックでライブTraceを開き、一緒にスパンツリーを確認します。

単一のTraceの読み取り

Trace Inspectionドキュメントでは、実際の例として、PII(個人識別情報)マスキングガードレールを備えたChat Completionが、階層を構成する5つのSpanとしてキャプチャされている様子を説明しています。

  • ChatCompletion span (root)は、クライアントの視点からのリクエストライフサイクル全体を表します。この例では約7秒間継続し、トークンメトリクス、コスト、入力、および出力を保持します。
  • Guardrail spanはルートの子であり、PIIマスキング処理を表し、0.5秒未満で完了します。
  • Guardrail network call spanは、HTTPメソッドとステータスコードを含む、ガードレールサービスへの実際のHTTPコールです。
  • Model spanはガードレールSpanの兄弟であり、モデル推論を表し、リクエスト時間の大部分を占めます。
  • Model network call spanは、プロバイダーへの実際のHTTPコール(プロバイダーのChat CompletionsエンドポイントへのPOSTなど)です。

同じ例で、入力が名前からプレースホルダーへと明らかにマスキングされており、Trace内でPIIガードレールがエンドツーエンドで動作していることが示されています。

ガードレール、モデル、および送信ネットワークSpanを示すChat CompletionのTrace。

単一のTraceからフリート全体のメトリクスへ

個々のTraceはデバッグ用です。トレンドについては、Analytics Dashboardが同じデータを集約します。タブには、Overview、Model Metrics、MCP Metrics、Guardrail Metrics、Routing Metrics、Cache Metricsが含まれます。

Model Metricsは、モデル、バーチャルモデル、ユーザー、バーチャルアカウント、チーム、またはメタデータごとにグループ化でき、レイテンシビューでは、リクエストレイテンシ、Time to First Token、トークン間レイテンシ、および出力トークンごとの時間を詳細に分析できます。リクエストごとのTraceと組み合わせることで、ミクロな視点とマクロなダッシュボードの両方が得られます。

Analytics DashboardのModel Metrics。チーム、ユーザー、モデルなどでグループ化可能。
インストゥルメンテーション作業なしで、すべてのチームにトレーシングを提供
自社のGatewayトラフィックで、Request Logs、SpanレベルのTrace、Analyticsを確認できます。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 18, 2026
|
5 min read

Claude Codeの制限について解説(2026年版)

No items found.
Analyzing how Cloudflare detects MCP traffic
11月 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
11月 18, 2026
|
5 min read

What Is AI Search? How It Works, Architecture, and Enterprise Use Cases

No items found.
Explaining LLM fine-tuning for enterprise AI teams
11月 18, 2026
|
5 min read

A Practical Guide to LLM Fine-Tuning: Methods, Data, Costs, and Deployment

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Frequently asked questions

How do I turn logging on or off for a request?

Send the X-TFY-LOGGING-CONFIG header with a stringified JSON value and set enabled to true or false. Remember that the value is stringified JSON, not a raw object, because most SDKs serialize headers as strings.

Where do I view logs and traces?

Logged requests appear under AI Gateway, then Monitor, then Requests. Opening a request shows its trace, which is the tree of spans covering guardrails, the model, and the outbound provider calls.

‍

What is the difference between a trace and a span?

A trace is the full lifecycle of a single request. A span is one unit of work inside that trace, such as a guardrail check or a model inference. Spans form a parent and child tree within the trace

Can I use my own OpenTelemetry SDK?

Yes. TrueFoundry runs an OpenTelemetry collector backend and can receive traces from any OpenTelemetry compatible SDK. For LLM use cases the docs recommend an LLM focused SDK that captures model specific traces and metrics.

Take a quick product tour
Start Product Tour
Product Tour