TrueFoundry AI GatewayとElasticの連携

本番環境のLLMシステムは分散システムのように振る舞います。1つのユーザーリクエストが、複数のモデル呼び出し、ツール呼び出し、リトライをトリガーすることがあります。単一の実行境界がないと、テレメトリーは断片化し、デバッグは当てずっぽうになります。

この記事では、TrueFoundry AI GatewayとElastic Cloudを接続し、OpenTelemetryを使用してゲートウェイのトレースがElastic Observabilityに流れるようにする方法を説明します。ゲートウェイでOTLPエンドポイントとAPIキーを設定します。

LLMアーキテクチャにおける欠けているコントロールプレーン

アプリケーションがモデルプロバイダーと直接通信する場合、ポリシーを適用し、トレースをキャプチャするための一貫した場所がありません。ゲートウェイはその一貫した接点を作り出すことで、ガバナンス、ルーティング、テレメトリー生成を一元化します。

TrueFoundry AI Gateway

TrueFoundry AI Gateway モデルおよびエージェントのリクエストに対して、単一の管理されたエントリーポイントを確立します。アプリケーションとエージェントは、プロバイダーと直接通信する代わりに、ゲートウェイプロキシと通信します。このアーキテクチャにより、ルーティングの決定とテレメトリー生成がすべてのリクエストで一貫したものになります。

ゲートウェイは標準のOpenTelemetryプロトコルを使用してトレースをエクスポートできるため、チームがすでに使用しているオブザーバビリティプラットフォームに同じトレースストリームを送信できます。

Elastic Cloud

Elastic Cloud Elastic Stackのマネージドサービスであり、検索、オブザーバビリティ、セキュリティのワークフローをサポートします。ログ、メトリクス、トレースを大規模に分析できるため、ゲートウェイのトレースにとって自然な送信先となります。

TrueFoundry AI Gatewayは、OpenTelemetryトレースをElastic Cloudのような外部プラットフォームにエクスポートすることをサポートしているため、TrueFoundryを統合されたLLMアクセスレイヤーとして維持しながら、オブザーバビリティにElasticを使用できます。

統合レイヤーとしてのOpenTelemetry

この統合はOpenTelemetryをエンドツーエンドで使用します。ゲートウェイはOTELトレースをエクスポートし、Elastic CloudはマネージドOTLPエンドポイントを通じてそれらを取り込みます。

Elastic Cloudとの統合

ステップ1 Elastic CloudのエンドポイントとAPIキーを取得する

Elastic Cloudコンソールで、デプロイメントまたはサーバーレスプロジェクトを開き、「データの追加」→「アプリケーション」→「OpenTelemetry」に進みます。マネージドOTLPエンドポイントのURLをコピーし、認証ヘッダーに表示されているAPIキーの値をコピーします。Elastic Cloud Hostedデプロイメントでは、マネージドOTLPエンドポイントにバージョン9.2以降が必要です。

ステップ2 TrueFoundryでAI GatewayのOTEL設定を開く

TrueFoundryダッシュボードで、「AI Gateway」→「コントロール」→「設定」に進みます。OTEL設定セクションまでスクロールし、エクスポーター設定のエディターを開きます。

ステップ3 Elastic Cloudエンドポイントを設定する

OTELトレースエクスポーターを有効にします。設定タイプをhttpに設定します。トレースエンドポイントを、Elastic CloudからコピーしたマネージドOTLPエンドポイントに設定します。JsonまたはProtoエンコーディングを選択します。

最小限の設定は次のようになります。

設定タイプ: http
トレースエンドポイント: https://<your motlp endpoint>
エンコーディング: JsonまたはProto


ステップ4 必要なヘッダーを追加する

Authorizationという名前のHTTPヘッダーを追加し、値はApiKey形式で指定します。ApiKeyプレフィックスは必須です。

Authorization: ApiKey <your api key>


ステップ5 設定を保存する

OTELエクスポート設定を保存します。これにより、すべてのゲートウェイトレースが自動的にElastic Cloudにエクスポートされます。

ステップ6 Elasticでトレースを表示する

ゲートウェイ経由でいくつかのリクエストを送信します。その後、Kibanaを開き、Observability、APM、Servicesの順に進み、次の名前のサービスを探します。 tfy-llm-gateway。そこから、各リクエストのトレースとトランザクションを検査できます。

運用上の注意点

エンコーディングの選択

Elastic CloudマネージドOTLPエンドポイントはJsonとProtoをサポートしています。Jsonはデバッグ時に読みやすく、Protoは大量のデータに対してより効率的です。

リソース属性の追加

エクスポーター設定で追加のリソース属性を設定すると、エクスポートされるすべてのトレースに一貫したタグを付与できます。これは、Elasticでの環境およびテナントレベルのフィルタリングに役立ちます。

トラブルシューティング

ApiKeyプレフィックスに言及する認証エラーが表示される場合、Authorizationヘッダーの形式が正しくなく、ApiKeyで始まる必要があります。HTTP 429が表示される場合、デプロイが取り込みレート制限に達している可能性があり、プランの変更またはサンプリング調整を検討する必要があります。

この連携でできること

AI GatewayがトレースをElastic Cloudにエクスポートすると、スタックの他の部分ですでに使用しているのと同じ可観測性ワークフローでゲートウェイトレースを分析するための一元的な場所が得られます。Elasticはログ、メトリクス、トレース、APMビューを1つのプラットフォームに統合するため、LLMトラフィックがアプリケーションやインフラストラクチャのシグナルから分離されることはありません。

Elasticでトレースを開くことで、単一のユーザーリクエストをエンドツーエンドでデバッグできます。トレースUIは分散トレーシングを表示するため、実行の完全なパスを確認できます。サービスマップはサービス間の依存関係を理解するのに役立ちます。トランザクションの詳細にはタイミングとリクエストのメタデータが含まれており、遅いステップを素早く特定できます。

単一のインシデントではなくトレンドを監視することで、より早期にリグレッションを検出できます。Elastic Observabilityは、チームが生のテレメトリからインサイトを得るのに役立つダッシュボードと分析機能を提供します。また、シグナル全体にわたる異常なパターンを浮上させることができる異常検出スタイルの機能も含まれています。

Elastic内でLLMに特化した監視ワークフローを実行できます。Elasticは、レイテンシー、エラー、プロンプト、応答、使用量、コストの追跡など、LLMの可観測性ユースケースを強調しています。AI Gatewayを実行境界とすることで、ゲートウェイを通過するすべてのモデル呼び出しでこのカバレッジを一貫させることができます。

ゲートウェイエクスポーター設定にリソース属性を追加することで、トレースのフィルタリングとグループ化を容易にできます。これは環境メタデータやテナントタグに役立ち、チームはElastic内で本番環境、ステージング環境、または事業単位でトレースを分割できます。

まとめ

TrueFoundry AI Gatewayは、すべてのLLMトラフィックに対して一貫した実行境界を提供します。Elastic Cloudは、トレースとサービスレベルのワークフローに対して成熟した可観測性サーフェスを提供します。OpenTelemetryでこれらを接続することで、あらゆる本番分散システムに期待されるのと同じ厳密さでLLMシステムをデバッグおよび運用できます。