TrueFoundryとBraintrustの統合

フルスタックLLM可観測性：BraintrustとTrueFoundry AI Gateway

企業がAI搭載アプリケーションの導入を急ぐにつれて、課題はすぐに「LLMを呼び出せるか？」から「このシステムを自信を持って運用できるか？」へと変化します。複数のプロバイダー、複数のモデルバージョン、ツールを呼び出すエージェント、そしてあらゆるリクエストを囲むビジネスロジックが存在するようになると、本番環境で真のリスクが顕在化します。それは、明確な帰属のない支出の増加、特定が困難なレイテンシーの劣化、そしてデータで証明される前にユーザーが感じる品質の変化などです。

ここで、TrueFoundry AI GatewayとBraintrustの組み合わせが自然に適合します。 TrueFoundry AI Gateway は、アプリケーションとモデルプロバイダーの間のプロキシレイヤーであり、チームにエンタープライズグレードのガバナンスと可観測性を備えた統合インターフェースを提供するために構築されています。 Braintrust は、チームが実際のLLMの挙動を時系列で追跡、評価、反復するのを支援するために設計された可観測性プラットフォームです。両者を組み合わせることで、実用的なループが生まれます。すべてのモデルトラフィックを単一の制御点経由でルーティングし、豊富なトレースを自動的にエクスポートし、そのトレースを使用して、推測ではなく証拠に基づいて品質と信頼性を向上させます。

TrueFoundry AI Gatewayの概要

TrueFoundry AI Gateway は、アプリケーションとLLMプロバイダーおよびMCPサーバーの間に位置するプロキシレイヤーです。これは、統合インターフェースを使用して1000以上のLLMにアクセスできるエンタープライズグレードのプラットフォームであり、可観測性とガバナンスを管理します。AI GatewayはOpenTelemetryに準拠しており、OTELトレースのエクスポートをサポートしています。これにより、アプリケーションのコードパスを変更することなく、リクエストレベルのトレースを外部の可観測性またはLLMエンジニアリングバックエンドにストリーミングできます。

Braintrustの概要

Braintrust は、OpenTelemetryバックエンドとして使用することをサポートしています。トレースをBraintrustにルーティングし、APIキーで認証し、「親」（プロジェクトや実験など）をアタッチすることで、トレースが適切な組織スコープに着地するようにします。トレースがBraintrustに取り込まれると、それらは日々のエンジニアリングワークフローの基盤となります。具体的には、レイテンシーと障害パターンの調査、トークン使用量とコスト要因の理解、そして逸話的なフィードバックに頼るのではなく、時間の経過とともにアウトプット品質を定量化する評価の実行などです。

組み合わせることでより良く：本番環境の可視性とより迅速な反復のためのシームレスな統合

真のレバレッジは、ゲートウェイがテレメトリーの唯一の信頼できる情報源となり、Braintrustがそのテレメトリーをエンジニアリングの洞察に変える場所となることで生まれます。TrueFoundry AI GatewayでOTELエクスポートが有効になっている場合、ゲートウェイを通過するすべてのLLMリクエストは、各サービスでのカスタム計測なしに、重要なコンテキスト（リクエストメタデータ、モデル/プロバイダー選択、タイミング）をキャプチャするトレースを自動的に生成できます。Braintrustがそれらのトレースを取り込むことで、「このプロンプト変更は役立ったと思う」から「実際のトラフィックへの影響を証明でき、早期にリグレッションを検出できる」へと移行できます。

BraintrustとTrueFoundryの連携の仕組み

大まかに言うと、アプリケーションはLLMトラフィックをTrueFoundry AI Gatewayに送信し、ゲートウェイは選択されたモデルプロバイダーにリクエストを転送します。並行して、ゲートウェイはこれらのインタラクションのOpenTelemetryトレースを発行し、OTEL互換のバックエンドにエクスポートします。Braintrustは、認証と親スコープ（プロジェクトまたは実験）を提供すると、これらのトレースを受け入れるOTEL互換の取り込みパスを公開しています。

これは、ゲートウェイレイヤーでエクスポートを一度設定するだけで、トレースストリームがチーム間で共有される資産となり、LLMを呼び出すすべてのアプリケーションを改修することなく、デバッグ、支出の帰属、パフォーマンス監視、品質評価に役立つことを意味します。

利用開始: TrueFoundry AI GatewayからBraintrustへのOTELトレースのエクスポート

これを連携させるには、AI GatewayのOpenTelemetryエクスポートを、Braintrustのトレース取り込みエンドポイントを指すように設定します。TrueFoundryのAI Gatewayは、OTELトレースのエクスポート機能を主要な機能として備えており、HTTP/gRPCエクスポートオプションや、バックエンドで必要となるカスタムヘッダーを渡すためのサポートが含まれます。ドキュメント こちら

TrueFoundryダッシュボードで、AI GatewayのOTEL設定を開き、トレースのエクスポートを有効にします。次に、Braintrustのトレースエンドポイントを次のように設定します。

https://api.braintrust.dev/otel/v1/traces

認証とルーティングのために、 Authorization ヘッダーにBraintrust APIキーを使用し、 x-bt-parent ヘッダーを追加して、トレースが送られるBraintrustプロジェクトを指定します。例:

x-bt-parent: project_id:<YOUR_PROJECT_ID>

BraintrustとTrueFoundryはどちらも、この「親」の概念についてドキュメントで説明しています。また、TrueFoundryは、次のような他のプレフィックスも使用できると述べています。 project_name: または experiment_id: トレースをどのように整理したいかに応じて。

設定を保存すると、TrueFoundry AI Gatewayを経由するLLMリクエストはすべて、自動的にトレースのエクスポートを開始し、Braintrust内でプロジェクトのログの下でそれらを表示できます。

まとめ

本番環境のLLMシステムは本質的に動的です。プロバイダーは変化し、プロンプトは進化し、エージェントグラフは成長し、ユーザーの行動は変化します。成功するチームは、決して何も壊さないチームではありません。何が起こったかを素早く把握し、影響を自信を持って測定し、安全に反復できるチームです。

TrueFoundry AI Gatewayは、一元化された制御点と標準ベースのテレメトリーエクスポートを提供します。Braintrustは、そのテレメトリーを、トレース、評価、継続的な改善のためのエンジニアリングワークフローへと変換します。