TrueFoundry AI ゲートウェイのトレースを OpenTelemetry を使用して Opik にエクスポートする

LLM 呼び出しが遅かったり、費用がかかったり、間違っている場合は、プロンプト、モデル、トークン、ツールコール、レイテンシーなど、リクエスト全体を確認する必要があります。トレースが 1 つのツールにあり、評価が別のツールにある場合、その全体像は 2 つに分かれます。このガイドでは、TrueFoundry AI ゲートウェイのトレースを OpenTelemetry 経由で Comet Opik に送信する方法を示します。これにより、ゲートウェイが処理するすべてのリクエストが、アプリケーションコードを変更せずに完全なトレースとして Opik に表示されます。

ゲートウェイトレースを Opik にエクスポートする理由

ザの トゥルーファウンドリー AI ゲートウェイ すでにすべてのモデルコールの前に配置されており、1,000以上のLLMを1つのOpenAI互換APIを介して約3〜4ミリ秒のオーバーヘッドと1つのvCPUで350以上のRPSでルーティングしています。すべてのリクエストのパス上にあるため、トレースを送信する場所としては当然です。ゲートウェイは最初からOpenTelemetryに準拠しているため、別のバックエンドへのエクスポートはエンジニアリングではなく構成です。

Opikは、Cometによって構築されたLLMのオブザーバビリティおよび評価プラットフォームです。OpenTelemetry のスパンを取り込み、呼び出しごとの入力、出力、トークンの使用状況、レイテンシー、コストを含む LLM トレースとしてレンダリングし、そのトラフィックに対して評価を実行できるようにします。ゲートウェイを Opik に向けると、プロダクションリクエストが同じツールで検査してスコアリングできるトレースになります。トレースはデフォルトでは引き続き TrueFoundry に保存され、エクスポートでは Opik にミラーリングされます。

設定方法は次のとおりです。

前提条件

• AI ゲートウェイが設定された TrueFoundry アカウントと、そのアカウントを通過するトラフィック
• API キー、ワークスペース名、ターゲットプロジェクト名を含む Opik (クラウド、セルフホスト、またはエンタープライズ) の Comet アカウント。
• TrueFoundry ダッシュボードの AI ゲートウェイ設定にアクセスします。

ステップバイステップ統合ガイド

Opik はトレースのみを取り込み、HTTP 経由で OTLP を受け入れるので、3 つのヘッダーを持つ 1 つのエクスポーターという構成になっています。コードを書く必要はありません。

ステップ 1: Opik キーとワークスペースを入手する

Opik でアカウント設定を開き、API キーをコピーします。ワークスペーススイッチャーでワークスペース名をメモし、トレースを格納するプロジェクト名を決めます。プロジェクトが存在しない場合、最初のインジェスト時にプロジェクトが作成されます。

ステップ 2: OTEL トレースエクスポーターの設定

ダッシュボードで、「AI ゲートウェイ」、「設定」、「OTEL 構成」の順に移動します。トレースエクスポーターを有効にし、Opik エンドポイントとヘッダーを入力します。

トレースを Opik にエクスポートするには、OpenTelemetry エクスポーターが、エンドポイントを指す Protobuf (Proto) エンコーディングの HTTP プロトコルを使用するように設定します。 https://www.comet.com/opik/api/v1/private/otel/v1/traces。認証とルーティングは、次の 3 つのリクエストヘッダーによって処理されます。 認可 ヘッダーには Opik API キーを未処理の値として含める必要があります。含まれていないことに注意してください ベアラー プレフィックスを含める必要がありますが、Comet-Workspace と [プロジェクト名] ヘッダーは、それぞれワークスペース名とプロジェクト名に設定する必要があります。これらのヘッダーは、受信したトレースが認証され、Opik 内の正しいワークスペースとプロジェクトに記録されることを保証します。

メトリクスエクスポーターはオフのままにしておきます。Opik は OTP メトリクスではなくトレースを取り込みます。保存すると、新しいリクエストが Opik にミラーリングされ始めます。

ステップ 3: トレースが着地することを確認する

ゲートウェイ経由でリクエストを送信し、プロジェクトの Opik でトレースビューを開きます。入力、出力、トークン数、レイテンシーが入力されたゲートウェイからのスパンが表示されます。モデルコールはチャット完了トレースとして表示され、エージェント実行ではモデルとツールコールスパンのネストツリーが表示されます。

アンロックできること：Opikの完全なLLMオブザーバビリティ

リクエスト全体にわたる分散型トレーシング

エージェントの実行は、モデル呼び出しとツール呼び出しが 1 つのトレースとして処理され、その下にモデル呼び出しとツール呼び出しがネストされるので、接続されていないログ行を読み取る代わりに、複数ステップのリクエストをエンドツーエンドで追跡できます。

実際のプロダクショントラフィックの評価

ライブリクエストは Opik で追跡されるようになったため、合成サンプルではなく、そこからデータセットを構築し、実際に配信するトラフィックに対して評価を実行できます。

コストとレイテンシーの可視化

各トレースにはトークンの使用量、待ち時間、コストが記録されるため、別々のツールからデータをつなぎ合わせることなく、低速または高額な呼び出しを見つけることができます。

アプリケーションコードの変更なし

エクスポートはゲートウェイで 1 回設定されます。ゲートウェイを経由するサービスはすべてトレースされるため、SDK を追加したり、アプリケーションを編集したりしてたどり着く必要はありません。

よくある質問

Q: AI ゲートウェイによる LLM オブザーバビリティとは何ですか? A: つまり、アプリケーションが行うすべてのモデル呼び出しは、リクエストごとにキャプチャされたプロンプト、レスポンス、トークン、レイテンシー、コストとともにゲートウェイで追跡されます。TrueFoundry AI Gateway では OpenTelemetry ベースなので、コードをインストルメントしなくても Comet Opik などのバックエンドにトレースをエクスポートできます。

Q: Opik にエクスポートすると、トレースが TrueFoundry に送られなくなりますか? A: いいえ。トレースはデフォルトでは引き続き TrueFoundry に保存されます。OTEL エクスポートではさらに Opik にミラーリングされるので、両方とも保持できます。

Q: トレースだけでなく、メトリクスも Opik にエクスポートできますか? A: いいえ。Opik はトレースのみを取り込むため、トレースエクスポーターを設定し、メトリクスはオフのままにします。ゲートウェイメトリクスには、Grafana、Datadog、Prometheus などのメトリクスバックエンドを使用します。

Q: TrueFoundryはいくつのLLMをサポートしていますか? A: 1 つの OpenAI 互換 API を通じて 1,000 社を超える合同会社を管理しています。モデルを切り替えるには、リクエスト内のモデル名を、同じ URL と認証情報で変更します。

Q: 既存のオブザーバビリティスタックと統合できますか? A: はい。ゲートウェイは OpenTelemetry に準拠しており、Grafana、Datadog、Prometheus、または、この例のように Comet Opik に接続して、プロンプトからツールやモデルの実行まで、各リクエストをトレースします。

関連読書

• LLM ゲートウェイとは何ですか? -この統合の背後にあるアーキテクチャ
• LLM コスト追跡ソリューション -支出の可視性をさらに深める
• AI ゲートウェイのオブザーバビリティ -ゲートウェイレベルのトレースがより広範なオブザーバビリティストーリーにどのように適合するか

結論

オブザーバビリティは、すべてのサービスを再インストゥルメントする必要はないはずです。TrueFoundry AI Gateway が OpenTelemetry トレースを Comet Opik にエクスポートすると、ゲートウェイが処理するすべてのリクエストが完全なトレースになり、検査と評価が可能になり、一度設定すればどこにでも適用できます。から始めましょう トゥルーファウンドリー AI ゲートウェイ