TrueFoundry AI GatewayとのCoralogix統合

チームがAI実験から本番環境レベルのアプリケーションへと移行するにつれて、あるテーマが至るところで浮上します。それは、可観測性が不可欠であるということです。リクエストが成功したか失敗したかを知るだけではもはや十分ではありません。理解する必要があるのは、 なぜ モデルが特定の方法で動作したのか、どのプロンプトやツールが関与したのか、そしてそれがコスト、レイテンシ、ユーザーエクスペリエンスにどのような影響を与えるのか、ということです。

それこそが、 TrueFoundry AI Gateway と Coralogix の連携が目指すものです。TrueFoundry AI Gatewayは、プロバイダーや環境を問わず、LLMとエージェントのための単一のコントロールプレーンをチームに提供し、リクエストパス上でルーティング、レート制限、ガードレール、リトライ、コスト管理を備えています。Coralogixは、ログ、メトリクス、トレース、セキュリティデータを統合するフルスタックの可観測性プラットフォームであり、リアルタイム分析により、問題の調査や大規模なパフォーマンス監視を容易にします。

両者を組み合わせることで、ゲートウェイに入ってくるユーザーリクエストから、ダウンストリームで発生するモデルやツール呼び出し、そしてダッシュボードやアラートに流れるトレースやメトリクスに至るまで、エンドツーエンドのAI可観測性が実現します。

CoralogixとTrueFoundryが選ばれる理由

現代のAIシステムは、もはや「1つのモデルと1つのエンドポイント」ではありません。実際のデプロイメントは、複数のモデルプロバイダー、ローカルモデルとホスト型モデル、検索システム、ツール呼び出し、エージェントフレームワークにまたがります。また、開発、ステージング、本番環境にわたって実行され、多くの場合、複数のリージョンにまたがり、同じユーザーエクスペリエンスが複数のサービスや依存関係を横断する可能性があります。

この複雑さにより、従来の監視はすぐに破綻します。散在するログしかない場合、遅延の原因はモデルプロバイダー、検索、ツール実行、それとも自社サービスだったのかと推測するしかありません。リリースによってトークン使用量が急増した場合、どのルートや機能が変更をもたらしたのか？本番環境でインシデントが発生した場合、症状から正確なリクエストパスを数分で特定できる能力が必要です。

それを行うためのクリーンな方法は、AIトラフィックをファーストクラスのアプリケーショントラフィックのように扱い、完全なリクエストライフサイクルを示すトレースと、モデル、ルート、環境、レイテンシ、結果でフィルタリングするのに役立つメタデータを使用することです。

TrueFoundry AI Gatewayの強み

TrueFoundry AI Gatewayは、LLMおよびエージェントトラフィックの前に単一の統制されたレイヤーとして位置します。ベンダーやデプロイメントを横断するモデルアクセスを一元化し、ルーティングルール、レート制限、ガードレールを適用し、チームが本番環境でAIを確実に運用するのに役立つリクエストレベルの制御を提供します。主な利点は一貫性です。すべてのリクエストは同じ制御されたパスをたどり、ゲートウェイは可観測性のためのテレメトリを計測およびエクスポートする自然な場所となります。

本番環境の可観測性にはCoralogix

Coralogixは、大量のテレメトリを取り込み、リアルタイムで探索可能にするように構築されています。トレースがログやメトリクスと同じシステムで利用可能になると、調査はより迅速かつ根拠のあるものになります。分散されたログから状況を再構築しようとする代わりに、トレースをたどり、ボトルネックとなっているスパンを特定し、それをインフラストラクチャのメトリクスや依存関係の動作と関連付けることができます。

組み合わせることでさらに良く：OpenTelemetryによるエンドツーエンドのAI可観測性

この統合はOpenTelemetryに基づいており、標準に準拠し、保守が容易です。TrueFoundry AI Gatewayは、OpenTelemetryを使用してLLMおよびエージェントのリクエストを計測し、各トレースに豊富なメタデータ（モデル、ルート、アプリケーション/サブシステム識別子、レイテンシー、ステータスなど）を付加して、gRPC経由でCoralogixにトレースをエクスポートします。Coralogixは、このデータを取り込んで分析し、チームがダッシュボードを構築し、アラートを設定し、特定のリクエストをエンドツーエンドで調査できるようにします。

Coralogixは、gRPC経由でそのイングレスエンドポイントを介してOpenTelemetry互換のトレースを受信することをサポートしており、これにより、維持管理が必要なカスタムパイプラインではなく、エクスポーターからプラットフォームへの直接統合が可能になります。

統合の仕組み

大まかに言うと、ユーザーリクエストがTrueFoundry AI Gatewayに到達すると、ゲートウェイはリクエストとダウンストリームのモデル/ツールアクティビティに対してOpenTelemetryスパンを作成し、エクスポーターはそれらのスパンをgRPC経由でCoralogixのOpenTelemetry取り込みエンドポイントに送信します。トレースはCoralogixに構造化された状態で届くため、チームはアプリケーションやサブシステムでフィルタリングし、特定のリクエストを深く掘り下げて、レイテンシー、エラー、または予期せぬ動作がどこで発生したかを迅速に確認できます。

ステップバイステップ：TrueFoundry AI GatewayでCoralogixをセットアップする

Coralogixで、お使いのリージョンのOpenTelemetry gRPCエンドポイント、Coralogix APIキーを収集し、 アプリケーション と サブシステム トレースを整理するために使用する名前を決定します。安定した分かりやすい名前を選ぶことで、後でクエリやダッシュボードを構築する際に、それらのラベルでAI Gatewayのトレースをきれいにフィルタリングできるようになり、役立ちます。

TrueFoundry AI Gatewayダッシュボードで、ゲートウェイのOTEL設定を開き、トレースエクスポーターを有効にします。プロトコルをgRPCに設定し、エンドポイントをアカウントリージョンのCoralogix OpenTelemetry取り込みエンドポイントを指すように構成します。これが保存されると、ゲートウェイは設定されたエクスポーターパスを通じてLLMおよびエージェントのリクエストのトレースのエクスポートを開始します。

Coralogixは、リクエストを認証し、トレースを適切なアプリケーションとサブシステムに紐付けるのに役立つヘッダーを期待しています。AI Gateway OTELエクスポーター設定で、APIキーと選択したアプリケーション/サブシステム識別子を含むヘッダーを設定します。一般的な設定は次のようになります。

Authorization: Bearer <coralogix-api-key>
CX-Application-Name: <application-name>
CX-Subsystem-Name: <subsystem-name>


設定が完了したら、ゲートウェイを通じてテストトラフィックを送信します（例えば、いくつかのチャット補完やエージェントの実行など）。TrueFoundryで、リクエストのトレースが作成されていることを確認し、その後Coralogixに切り替えてトレーシングエクスペリエンスを開きます。設定したアプリケーション/サブシステム名でフィルタリングし、ルート、モデル、レイテンシー、ステータスなどの属性を含むAI Gatewayアクティビティに対応するスパンが表示されることを確認します。

トレースが流れ始めたらチームができること

Coralogixでゲートウェイトレースを使用すると、チームは本番環境で実際にアクション可能な方法で、ルートやモデル全体のレイテンシーを測定できます。単一の「APIレイテンシー」の数値ではなく、異なるモデルが負荷の下でどのように動作するか、どのルートが劣化しているか、障害が特定のプロバイダーや依存関係に集中しているかどうかを確認できます。トレースは他のテレメトリーと自然に相関するため、AIのレイテンシーを基盤となるインフラストラクチャやダウンストリームサービスの問題に結びつけることもできます。

AIのコスト問題は、新しい機能やリリースに関連するトークン使用量の急増、会話の長期化、または呼び出し頻度の増加として現れることがよくあります。トレース内のリクエストレベルのメタデータを使用すると、チームはどのルートやテナントが使用量の変化を引き起こしているかを特定し、コストの挙動が予期せず変化した場合にアラートを設定できます。この洞察は、ルーティングルール、レート制限、予算などのAI Gatewayコントロールと組み合わせることでさらに有用になります。なぜなら、可観測性が是正措置を直接推進できるからです。

エージェントが「遅い」または「間違っている」と感じる理由は多岐にわたります。ツールのタイムアウト、検索の問題、プロンプトの回帰、モデル/プロバイダーの変更などです。トレースを使用すると、チームは呼び出しの完全なチェーン全体でリクエストを追跡し、遅いスパンを深く掘り下げて、ボトルネックがモデル、ツール、検索、または独自のアプリケーションロジックのいずれであるかを特定できます。これは、推測と知ることの違いです。

AIに特化したダッシュボードとアラートを構築

構造化されたトレースがあれば、AIが製品で実際にどのように使用されているかを反映するダッシュボードを簡単に構築できます。例えば、ルートとモデルごとのゲートウェイのトラフィック、プロバイダーごとのエラー率とタイムアウトの傾向、主要なユーザー体験におけるレイテンシーのパーセンタイル、そして単一のプロバイダーまたはルートのパフォーマンスが低下し始めたときにトリガーされるアラートなどです。これによりインシデント対応が迅速化され、AI機能を迅速に提供する際の運用リスクが軽減されます。

適切なCoralogixリージョンの選択

パフォーマンスとコンプライアンスのために、アカウントのリージョンに一致するCoralogixエンドポイントにトレースをエクスポートすることが重要です。CoralogixはOpenTelemetry互換のイングレスエンドポイント（gRPC経由）を提供しており、正しいリージョンエンドポイントは、Coralogixアカウントがホストされている場所によって異なります。(Coralogix)

まとめ

AIアプリケーションは急速にミッションクリティカルになりつつあり、信頼性、パフォーマンス、コスト管理の基準は高まり続けています。TrueFoundry AI GatewayとCoralogixの統合により、チームはAIトラフィックのエンドツーエンドの可視性を得るための実用的で標準ベースの方法を手に入れることができます。ゲートウェイでLLMとエージェントのリクエストの制御を一元化し、Coralogixでリアルタイムトレースによる可観測性を一元化することで、監視とデバッグが劇的に容易になります。