TrueFoundry AI GatewayとNew Relicの連携

LLMシステムは分散サービスのように振る舞います。複数のモデルプロバイダーを呼び出し、アプリやエージェントを横断して動作します。リリースが早く、頻繁に変更されるため、ユーザーから不正確な回答や応答の遅延が報告された場合、デバッグが困難になります。

欠けているのは、すべてのリクエストが通過する単一の実行境界です。その境界があれば、ポリシーを適用し、ルーティングを標準化し、すべての呼び出しについてクリーンなトレースをキャプチャできます。

TrueFoundry AI Gateway はその境界を提供します。New Relic は、それらのトレースを他のアプリケーションテレメトリーと並行して調査できる場所を提供します。OpenTelemetry を共通フォーマットとして使用することで、ゲートウェイトレースを数分で New Relic にエクスポートできます。

TrueFoundry AI Gateway

TrueFoundry AI Gateway モデルトラフィックの前に位置します。アプリやエージェントはゲートウェイにリクエストを送信し、ゲートウェイは適切なプロバイダーとモデルに転送します。これにより、ルーティングと制御のための単一の管理されたエントリーポイントが作成され、トレースを生成およびエクスポートできる一貫した単一のポイントも作成されます。

New Relic

New Relic は、リアルタイム分析によるフルスタック監視とアプリケーションパフォーマンス監視をサポートするオブザーバビリティプラットフォームです。OpenTelemetry データをインジェストできるため、サービスやインフラストラクチャにすでに使用しているワークフローと同じ方法で、ゲートウェイからのLLMトレースを分析するのに最適な場所となります。

OpenTelemetry

この統合はOpenTelemetryに基づいています。TrueFoundry AI Gateway は標準のOpenTelemetryプロトコルを使用してトレースをエクスポートし、New Relic はOTLPインジェストを受け入れます。これにより、統合がクリーンに保たれ、密結合が回避されます。

統合の概要

TrueFoundry AI Gateway UI で OpenTelemetry トレースエクスポーターを設定します。それを New Relic OTLP トレースエンドポイントに向け、New Relic の OpenTelemetry 統合で生成された New Relic インジェストライセンスキーを使用して、適切な認証ヘッダーを追加します。

有効にすると、ゲートウェイは自身の監視ビューのためにトレースを生成し続けます。エクスポートは追加的なものであり、同じトレースを New Relic に転送するため、New Relic でも分析できます。

統合ガイド

ステップ1. New Relic インジェストライセンスキーの取得

New Relic ダッシュボードを開きます。Integrations and Agents に移動し、OpenTelemetry を検索してその統合を開きます。インストールプランでインジェストクレデンシャル領域を見つけ、ライセンスキーを生成します。

OpenTelemetry 統合ページからインジェストライセンスキーを使用してください。通常の New Relic API キーは OTLP インジェストには機能しません。

ステップ2. TrueFoundry で OpenTelemetry エクスポーターを有効にする

TrueFoundryダッシュボードで、AI Gateway > Controls > Settings に移動します。OTEL Configセクションまでスクロールし、エクスポーター設定を編集してください。

ステップ3. New Relicのトレースエンドポイントとエンコーディングを設定

トレースエクスポーターを有効にし、主要なフィールドを入力します。

設定タイプ

http


米国リージョン向けトレースエンドポイント

https://otlp.nr-data.net:4318/v1/traces


エンコーディング

Json


New Relicはリージョン別のエンドポイントを使用します。アカウントがEUリージョンにある場合は、代わりにこのエンドポイントを使用してください。

https://otlp.eu01.nr-data.net:4318/v1/traces


ステップ4. 必要なヘッダーを追加

このキーと、インジェストライセンスキーを値としてヘッダーを追加します。

api-key: <your New Relic ingest license key>


ステップ5. 保存してリクエストをいくつか送信

設定を保存します。その後、AI Gateway経由でLLMリクエストをいくつか送信してください。これにより、ゲートウェイは自動的にNew Relicにトレースをエクスポートします。

ステップ6. New Relicでトレースを表示

New Relicで「Traces」に移動し、ゲートウェイサービスからのトレースを探します。その後、トレースを開き、モデル呼び出しパスとタイミングのスパンを検査します。

トレースを表示

LLMトレースを他のテレメトリーと並べて表示できます。これにより、LLMの問題が実際にはアップストリームのレイテンシー急増である場合や、モデルプロバイダーの速度低下がより広範なインシデントの一部に過ぎない場合にも役立ちます。

LLMトラフィックのレイテンシーとボリュームを追跡するダッシュボードを構築したり、レイテンシーやエラー率の急増に対するアラートを作成したりできます。インシデント発生時には、トレースの挙動をログやインフラシグナルと関連付けて分析することも可能です。

本番環境で重要な設定に関するいくつかの注意点

New Relicのリージョンに一致するエンドポイントを選択してください。これがトレースが欠落する最も一般的な原因です。New Relicでより詳細なフィルタリングを行いたい場合は、エクスポーター設定にリソース属性を追加してください。これらの属性は、環境やチームレベルでのグループ化に利用できます。

New RelicはOTLPインジェストにHTTPとgRPCの両方をサポートしています。より高いスループットが必要な場合はgRPCを検討できます。セットアップ中に検査を容易にしたい場合は、JSONエンコーディングを使用したHTTPが簡単な出発点となるでしょう。

まとめ

信頼性の高いLLMシステムには、制御を適用し、その挙動を把握するための信頼できる場所が不可欠です。TrueFoundry AI Gatewayは、すべてのモデルトラフィックに対して単一の実行境界を提供します。New Relicは、トレースの探索とインシデント対応のための成熟した可観測性ワークフローを提供し、OpenTelemetryが標準的なエクスポートパスでこれら2つを連携させます。

既にNew Relicをサービスで利用している場合、この連携により、アプリケーションコードへの変更を最小限に抑えつつ、LLMトラフィックを既存の運用ループに組み込むことが可能になります。