BifrostによるLLMモニタリング:PrometheusとOpenTelemetryの実践
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Maxim AIのオープンソースゲートウェイであるBifrostは、無料利用枠において、リクエストログ、Prometheus /metrics エンドポイント、OpenTelemetryトレースエクスポートといった、驚くほど充実したLLMモニタリングスタックを提供しています。「メトリクスが公開されている」状態から、信頼できるダッシュボードやアラートの運用に至るまでには、ドキュメントの複数ページに分散しているいくつかの判断を行う必要があります。本ガイドでは、有効化すべき項目、スクレイプ方法、重要なラベル、保存価値のあるクエリ、そしてプロンプト内容を意図せず漏洩させたりカウンターを破損させたりする設定など、必要な情報を1つにまとめて解説します。
本ガイドはBifrostのドキュメントと、私たちがBifrost OSS v2.0.0を直接運用して得た知見(該当箇所で言及)をもとに作成されています。
なお、ゲートウェイのレイテンシーについてはここでは扱いません。パフォーマンスについてはBifrostのレビュー記事をご参照ください。
1つのリクエスト、3つのプレーン
Bifrostを経由する単一のチャットリクエストは、OSSで提供されている3つの場所(ビルトインの可観測性)へ同時に記録されます。
-
Log(ログ):常時オンのロギングプラグインが非同期で1行のレコードを書き込みます。入力・出力メッセージ、モデル、トークン数、計算されたUSDコスト、レイテンシー、ステータス、ロギングヘッダーが含まれます。ドキュメントによると、そのオーバーヘッドは0.1ミリ秒未満です。ポート8080のダッシュボードで確認できるほか、GET /api/logsを介してクエリすることも可能です。 - Metric(メトリクス):
bifrost_upstream_requests_total、bifrost_input_tokens_total、bifrost_cost_totalなどのカウンターが、プロバイダー、モデル、バーチャルキー、およびディメンションヘッダーからのenvironment="production"ラベルとともにインクリメントされます。 - Trace(トレース):OTelプラグインが有効な場合、選択したトレース形式でスパンがコレクターに送信され、同じディメンションが引き継がれるため、アプリケーションのトレースと並べて確認できます。
本ガイドの以降のセクションでは、それぞれのプレーンを本番環境で運用可能な状態(プロダクションレディ)にする方法について説明します。
PrometheusによるLLMメトリクス
有効化とスクレイプの設定
テレメトリプラグインはデフォルトで有効になっており、ゲートウェイポートの/metricsでPrometheusの公開フォーマットを提供します(Prometheus参照)。単一ノードの場合、次のようなシンプルなスクレイプジョブで十分です:
ここで注意すべき点が2つあります。
認証設定によるスクレイプへの影響:auth_config.is_enabledがtrueの場合、/metricsはBasic認証を要求するため、一致する認証情報のないスクレイプジョブは401エラーで失敗します。Prometheusではターゲットがダウン状態として表示されるため、ターゲットの正常性を監視していれば気づくことができます。しかし、より深刻なのは逆のケースであり、私たちのテストでも遭遇しました。OSSの新規インストール時には認証が設定されていないため、管理者とセットアップトークンを設定するまで、/metrics、ダッシュボード、管理APIが、そのポートにアクセスできるすべての人に対してオープンな状態になります。スクレイパーのネットワーク外にポート8080を公開しないでください。
ロードバランサー経由でスクレイプを行わない:各レプリカは独自のカウンターを保持します。Prometheusがロードバランスされたアドレスをスクレイプすると、各スクレイプが異なるポッドに到達し、カウンターの値が前後に跳ね上がってしまいます。各ポッドを直接スクレイプするか(ポッドIPでのKubernetesサービスディスカバリを使用)、Bifrostのドキュメントがロードバランサー背後のマルチノードクラスター向けに推奨しているPush Gatewayモードを使用してください。これは、レプリカ間で状態が共有されないOSSで特に重要です。予算とカウンターはポッドごとに存在するため、ポッドごとのメトリクスのみが正確なデータを提供します。
Bifrostが公開する情報
用途別に分類したメトリクス一覧は以下のとおりです。
HTTPメトリクスは、生のURLではなく一致したルートテンプレートでpathにラベル付けされるため、カーディナリティの上限が保たれます。bifrost_cost_totalに関して注意すべき点は、これがBifrostの価格カタログとプロバイダーが返す使用状況フィールドから計算されたコストであるということです。予算管理やショーバックには適していますが、請求書そのものではなく、交渉による割引やクレジットは反映されません。
メトリクスを有用にするラベル
デフォルトのラベルには、Bifrostがガバナンスに使用するものと同じ識別用バックボーンが含まれており、生データのカウンターを意味のある回答に変換します。
provider、model、aliasvirtual_key_id/virtual_key_name、team_id/team_name、customer_id/customer_name(ガバナンスを使用しない場合は空になります)- リクエストが特定のアドレスに転送された理由を示す
routing_engine_used、routing_rule_id/routing_rule_name、selected_key_id/selected_key_name、fallback_index
ユーザーごとの属性特定は、デフォルトのメトリクスラベルには含まれません。これは、リクエストログに記録されるロギングヘッダー(X-User-IDまたは任意のx-bf-lh-*ヘッダー)、あるいはディメンションを通じて取得できます。
カスタムディメンションとカーディナリティの罠
x-bf-dim-で始まるリクエストヘッダーは、リクエストログ、OTelスパン、Prometheusのカスタムラベルとして同時に書き込まれるディメンションとなります(共有可観測性ディメンション)。これは、新しいバーチャルキーを作成することなく、環境、機能、テナントごとにトラフィックをタグ付けする最もクリーンな方法です。
しかし同時に、Prometheusを破損させる最も簡単な要因でもあります。ラベルの個別の値ごとに、それを保持するすべてのメトリクスに対して新しい時系列が作成されます。3つの値を持つenvironmentのようなディメンションは問題ありません。しかし、request_id、session_id、user_idのようなディメンションは、多数のメトリクスにわたって値ごとに時系列を作成してしまいます。カーディナリティが高い識別子はリクエストログにのみ送信されるロギングヘッダー(x-bf-lh-*)に保持し、x-bf-dim-*はダッシュボードのドロップダウンに表示したい値のみに使用してください。
保存価値のあるPromQL
以下のクエリは、ドキュメントに記載されているメトリクス名とラベル名を使用しています。TTFTクエリはレイテンシーメトリクスがヒストグラムであることを前提としているため、事前にご使用のビルドの/metrics出力とメトリクスタイプを照合してください。
独自で構築が必要なアラート機能
Bifrostに組み込まれているアラートエンジンはEnterprise版限定であり、エラー率やレイテンシーではなく、予算およびレート制限のメトリクス(予算使用率、支出、リクエストおよびトークン使用量)のみを評価します(アラート)。いずれの階層でも信頼性に関するアラートを設定するには、Alertmanagerを上記のメトリクスに向けて設定してください。
私たちが確認したドキュメントの範囲では、BifrostはGrafanaダッシュボードやアラートルールパックをバンドルして提供していないため、これらは運用チーム側で準備・所有する必要があります。
OpenTelemetryによるLLMトレース
OTelプラグインの有効化
トレースのエクスポート機能は、OSSの一部であるotelプラグイン内に存在します(プラグイン設定)。Helmチャートではデフォルトでオフになっていますが、追加するとトレースのエクスポートがデフォルトで有効になります。設定する項目は以下のとおりです。
受信側では、両方のプロトコルを受け取りトレースバックエンドに転送する最小限のOpenTelemetry Collectorの設定は次のようになります。
バックエンドがOTLPを直接受け取ることができる場合でも、BifrostとSaaSバックエンドの間にコレクターを配置してください。これにより、ゲートウェイ設定を変更することなく、バッチ処理、属性のフィルタリング、ベンダーの切り替えを1箇所で行うことができます。
トレース形式の選択:OTel GenAI、OpenInference、またはVercel
trace_typeは、ダウンストリームツールがBifrostのスパンをどのように解釈するかを決定します。選択のための簡易ガイドは以下のとおりです。
genai_extensionはOpenTelemetry GenAIセマンティックコンベンション(gen_ai.*属性、略してOTel GenAIと呼ばれることもあります)に従います。Grafana Tempo、Honeycomb、Jaeger、Datadog(OTLP経由)などの汎用バックエンドで使用する場合はこれを選択します。open_inferenceはArizeのOpenInferenceコンベンションに従います。Arize Phoenixなど、OpenInferenceを中心に構築されたトレースビューアを使用する場合はこれを選択します。BifrostはネイティブのLangfuseまたはArizeコネクターを文書化していないため、サポートされている統合機能というよりは、OTLPとOpenInferenceの組み合わせを標準的なルートとして扱ってください。vercelはVercel AI SDKのコンベンションに一致します。トレースの残りの部分がすでにVercel AI SDKから送信されている場合はこれを選択します。
どれを選択した場合でも、ダッシュボードを構築する前にテストリクエストを1つ送信し、バックエンドの属性名を確認してください。
トレース内のプロンプト内容に関する注意点
これは、セキュリティ担当者が最も見落としやすい設定です。Bifrostのクライアントレベルのdisable_content_logging設定は、独自のログストアからプロンプトとレスポンスを削除しますが、可観測性コネクターには適用されません。OpenTelemetry、Datadog、BigQuery、Kafka、Pub/Subにはそれぞれ固有のdisable_content_loggingフラグがあり、それぞれデフォルトでfalseになっています(クライアント設定参照)。そのため、クライアントでコンテンツロギングをオフにしてOTelプラグインを追加したチームは、デフォルトで完全なプロンプトをトレースバックエンドにエクスポートし続けることになります。
メタデータのみを記録する運用を行うには、クライアントおよび有効化するすべてのコネクターでフラグを設定してください。取得されたリクエストヘッダーはコンテンツフラグに関係なくエクスポートされるため、取得するヘッダーも確認してください。デバッグのために一部のコンテンツが必要な場合は、コレクター内の属性削除プロセッサーが2番目の防御線となりますが、選択したトレースフォーマットが実際に割り当てる属性名と一致させてください。
Bifrostスパンとアプリケーションのトレースとの結合
エンドツーエンドのW3Cトレースコンテキスト伝播は、dd-trace-goを使用するネイティブのDatadogプラグインについてドキュメント化されています。汎用のOTelプラグインについては、受信したtraceparentヘッダーがBifrostのスパンをアプリケーションスパンの子にするかどうかはドキュメントに明記されていません。フロントエンドからモデルまでの単一のウォーターフォール表示を前提とする前に、これをテストしてください。結合しない場合は、共有のx-bf-dim-*ディメンションが両者を関連付けるための代替手段となります。
リクエストログ:すでに手元にあるプレーン
ロギングプラグインは、設定を行う必要のない唯一のプレーンです。実践において有用なポイントは以下のとおりです。
GET /api/logsは、プロバイダー、モデル、ステータス、時間範囲、レイテンシー、トークン、コストによるフィルタリングをサポートし、全文content_searchにも対応しています。WebSocketストリームにより、リアルタイムでログを追跡できます。- v1.5.0以降、各行には選択されたキー、リトライ回数、およびすべての試行、そのキー、失敗理由、キーローテーションがトリガーされたかどうかを示す順序付きの
attempt_trailが記録されます。プロバイダーに障害が発生した際、これはどのダッシュボードよりも迅速に状態を把握できます。 - ストレージはデフォルトでSQLite、本番環境用にはPostgreSQLが使用されます。保持期間は
log_retention_daysを介してデフォルトで365日に設定されており、24時間ごとにクリーンアップが実行されます。 - v2.0.0では、生のプロバイダーリクエストおよびレスポンスのキャプチャが、ダッシュボードの「Observability」>「Logs Settings」にあるトグルで設定可能です。Bifrostが各プロバイダーに送信した内容を正確に検査するためにこれを有効化しましたが、必要になる前に存在を知っておく価値があります。
ログのレートベースのサンプリング機能はありません。最も近いスイッチであるdrop_excess_requestsは、キューが満杯になったときに負荷を軽減するものであり、サンプラーではありません。大容量トラフィックの場合は、すべてのリクエストに対するストレージ計画を立てるか、コンテンツロギングをオフにしてください。
注意点一覧
- クライアントのコンテンツロギングスイッチはコネクターをカバーしません。コネクターごとに設定してください。
- 認証を有効にすると、
/metricsでBasic認証が必要になります。認証を有効にするまでは、すべてが公開状態になります。 - ロードバランサー経由のスクレイプはポッドごとのカウンターを混同させます。ポッドを直接スクレイプするか、Push Gatewayを使用してください。
x-bf-dim-*の値はPrometheusのラベルになります。IDを含めないようにしてください。- OTelプラグインは無料ですが、Helmではデフォルトでオフになっています。
- コストメトリクスは、24時間ごとにMaximから同期される価格カタログに基づいて計算されます。エアギャップ環境でのインストールでは、価格ファイルを自前で提供する必要があります。
- ネイティブのアラート機能はEnterprise限定であり、支出とレート制限のみをカバーします。レイテンシーやエラーのアラートは独自に構築する必要があります。
- ログをS3またはGCSにオフロード(Enterprise)する場合、ログ保持クリーンアップ機能はそれらのオブジェクトを削除しません。バケットのライフサイクルルールを設定してください。
OSS版とEnterprise版の違い
Enterprise版に関する検討項目が可観測性にとどまらない場合は、Bifrost Enterprise vs OSSの比較記事で、アイデンティティ、監査、クラスタリングの詳細をご確認ください。
Bifrostモニタリングの適用限界
Bifrostは何が起きたかを通知しますが、その回答が適切であったかどうかまでは判断できません。評価、ドリフト、ハルシネーションチェックなどの品質シグナルは、無料のMaximプラグインがトラフィックを転送するMaximの個別のプラットフォームに存在するか、エクスポートされたログから独自に構築するツール内に存在します。また、ゲートウェイは、ダッシュボードのデザイン、アラートルール、ログストレージのサイジング、チームごとのログポリシーの設定をユーザー側に委ねています。コンテンツロギングは全体、リクエストごと、またはコネクターごとにオン/オフを切り替えるものであり、「財務チームのプロンプトは絶対にログに記録しない」といった細かなルール設定はできません。
TrueFoundryという選択肢
TrueFoundry AI Gatewayは、上記の3つのプレーンをより少ない構築手順でカバーします。上記の注意点を踏まえた主な違いは以下のとおりです。
- 構築不要のダッシュボード:メトリクスダッシュボードは、コスト、LLMおよびMCP呼び出し、エラー内訳、ガードレール結果、ルーティング、キャッシュ、コスト削減をカバーし、モデル、ユーザー、バーチャルアカウント、チームごとにフィルタリングできます(メトリクスダッシュボード)。
- UIからのOTelエクスポート:トレースとメトリクスは、設定ファイルではなくゲートウェイ設定から構成され、HTTPまたはgRPC経由で任意のOTLPバックエンドにエクスポートできます。カスタムヘッダーやデルタテンポラリティのオプションもサポートされています(OpenTelemetryデータのエクスポート)。
- セルフホスト時のPrometheus対応:セルフホストされたゲートウェイは、モデル、テナント、ユーザーラベルを備えた
/metricsを公開します。どのリクエストメタデータキーをラベルにするかを選択できるため、カーディナリティを管理下に置くことができます(PrometheusとGrafana)。 - 対象や内容に応じたロギングルール:ロギング構成は、ユーザー、チーム、バーチャルアカウント、モデル、またはリクエストメタデータに基づいて一致を判定し、拒否優先(deny-wins)のセマンティクスでボディを記録するかどうかを決定し、保存されたコピーからパターンをマスキング( redaction)します(ロギング設定)。これは、Bifrostにはない「財務チームのプロンプトはログに記録しない」というルールを実現するものです。
メトリクスの連携設定よりも、メトリクスが示す内容の分析に時間を費やしたい場合は、TrueFoundry AI GatewayがLLMモニタリングをどのように処理するかをご覧ください。
関連資料
- AIゲートウェイにおける可観測性
- LLM可観測性とは何か?
- 最適なLLM可観測性ツール
- AIエージェントの可観測性:なぜその行動をとったのか?
- Bifrostの価格設定:OSS、Enterpriseのコスト、およびチームが知っておくべきこと
まとめ
Bifrostは、リクエストごとのログ、ガバナンスを意識したラベルを持つPrometheusメトリクス、任意のコンベンションによるOpenTelemetryトレースなど、LLMモニタリングのための優れた基礎を無料で提供します。ただし、それをプロダクションレディにする責任は運用側にあります。ポッドごとにスクレイプを行い、ディメンションラベルからIDを排除し、すべてのコネクターでコンテンツフラグを設定し、提供されていないアラートやダッシュボードを構築する必要があります。これらの作業の手間を省きたい場合は、TrueFoundryのデモを予約して、両方のセットアップを比較検討してみてください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















