Bifrostからの移行:セルフホスト型AIゲートウェイからマネージド型への移行
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Bifrostは優れたオープンソースのAIゲートウェイであり、無料、高速、どこでも動作するという利点から、多くのチームが最初に採用する選択肢となっています。しかし、セルフホスト型のAIゲートウェイから移行する理由は、機能面よりも運用面にあることがほとんどです。クラスターの運用、PostgreSQLの高可用性維持、破壊的変更を伴うアップグレードへの対応、セキュリティレビューへの回答といった作業を誰かが担わなければなりません。こうした作業のコストがメリットを上回ったとき、ゲートウェイを呼び出すあらゆるアプリケーションを停止させることなく、いかに移行するかが課題となります。
本ガイドは、私たちが推奨する移行計画です。Bifrostの概念をマネージドゲートウェイ(移行先としてTrueFoundry AI Gatewayを使用)にマッピングし、クライアント側の変更点をリストアップした上で、ロールバック経路を確保した切り替え手順を提示します。また、移行できない機能についても触れているため、作業範囲を正確に見積もることができます。
Bifrost OSS v2.0.0の運用経験や、2026年10月に自社クラスターへTrueFoundryゲートウェイプレーンを導入した際の知見に基づいている箇所には、その旨を明記しています。
セルフホスト型AIゲートウェイの運用コストが限界に達するとき
Bifrostの無料版はゲートウェイとして完結しているため、機能不足が移行の引き金になることは稀です。主な理由は以下の通りです。
- 複数のノードが必要になる場合。 OSSのレプリカは状態を共有しません。各レプリカは同じ静的な
config.jsonを参照しますが、変更のたびに再起動が必要となり、予算管理、レート制限カウンター、キーの無効化といった設定もポッド単位で管理されます。ライブ同期はエンタープライズ版のみの機能です。 - セキュリティレビュー。 SSO、RBAC、監査ログ、Vaultによるシークレット管理、ガードレールはエンタープライズ版の機能であり、個別見積もりが必要です。サービスIDはどちらのプランにも存在せず、サービスは長期有効な仮想キーを保持する必要があります。
- アップグレード。 v1.5.0リリースには16件の破壊的変更と、ロールバック不可能なデータベース移行が含まれていました。アップグレードのたびに、誰かがすべてのリリースノートを確認し、PostgreSQLのバックアップを取る必要があります。
- オンコール対応。 ゲートウェイはすべてのモデル呼び出しの経路上に位置しています。深夜2時にダウンすれば、あなたの呼び出し(ページ)が鳴ることになります。
これらのうち2つ以上が当てはまる場合、マネージドゲートウェイを利用する方がエンジニアリングコストを抑えられることが一般的です。以下の記事も参考にしてください。 Bifrostの価格設定 および Bifrost EnterpriseとOSSの比較 「購入」と「自社運用」のコスト計算について詳しく解説します。
まずはデプロイモデルを選択する
「マネージド」には複数の形態があり、どれを選ぶかによって移行作業におけるインフラ構築の範囲が決まります。TrueFoundryでは3つの(デプロイオプション):
今回の評価では中間のオプションを使用しました。ゲートウェイプレーンはHelmチャートからインストールし、ゲートウェイ・トークンを使用してコントロールプレーンに対して認証を行います。モデル、ルーティング、アクセスルールはコントロールプレーンで設定され、ゲートウェイに同期されます。また、このチャートはゲートウェイの横にRedisポッドをデプロイします。前提条件として、Kubernetes 1.27以降、ブロックストレージボリューム、ゲートウェイエンドポイント用のドメインと証明書、TrueFoundryからのイメージプルシークレット、そしてクラスターからコントロールプレーンURLへのエグレス通信が必要です(ゲートウェイプレーンのデプロイ)。ゲートウェイプレーンのセルフホストは、TrueFoundryのEnterpriseプランで提供されています。
ステップ1:現在のBifrostの運用状況を棚卸しする
移行時のトラブルの多くは、誰も存在を覚えていない設定に起因します。新しいゲートウェイで何かを作成する前に、以下をリストアップしてください。
- プロバイダーとキー: すべてのプロバイダー、すべてのキー、キーの重み付け、およびvLLMやOllamaなどのカスタムエンドポイント。
- 仮想キー: 所有者(チーム、顧客、またはなし)、許可されたプロバイダーとモデル、予算、レート制限、MCPツールへのアクセス権、有効期限。
- ルーティング: 重み付けされたプロバイダー設定、フォールバックチェーン、リトライ設定、およびすべてのCELルーティングルール(スコープと優先順位を含む)。
- MCP: 接続されているMCPサーバー、ツールグループ、およびそれらの認証モード。
- オブザーバビリティ: コンテンツログ設定、OTelおよびその他のコネクタ、保持期間、および構築済みのダッシュボードやアラート。
bifrost_*メトリクス。 - プラグイン: カスタムGoプラグイン、セマンティックキャッシング、Maximプラグイン。
- 呼び出し元: すべてのアプリケーション、使用しているSDK、呼び出しているBifrostルート(OpenAI互換またはプロバイダーネイティブルート)、およびどの
x-bf-*ヘッダーを送信しているか。
ファイルベースの設定でBifrostを実行している場合、 config.json このリストの大部分が該当します。データベースバックエンドの設定ストアを使用している場合は、UIではなく管理API経由で読み取ることで、情報の漏れを防ぐことができます。
ステップ2:Bifrostの概念を新しいゲートウェイにマッピングする
以下のマッピングは移行の核心部分です。Bifrostの動作はBifrostのドキュメントに、TrueFoundryの動作は各行にリンクされているTrueFoundryのドキュメントに基づいています。
CELルーティングルールの書き換え
CELルールは、Bifrost設定の中で機械的に変換できない部分です。各ルールが実際に行っていることに基づいて分類してください:
- トラフィックの分割またはフェイルオーバー (重み付けされたターゲット、フォールバック):仮想モデルになります。
- チームまたは環境によるルーティング (例:次のようなヘッダー
x-environment):環境ごとに個別の仮想モデルを作成し、適切なチームにアクセス権を付与するか、メタデータスコープのポリシーを設定します。 - 予算使用量への対応 (しきい値を超えた場合にトラフィックを安価なモデルへ移行する):予算ルールとフォールバック、あるいはアプリケーション側での判断となります。
- その他の項目:書き出し、それがそもそもゲートウェイで処理すべきものかどうかを判断してください。
ステップ3:クライアントの変更
OpenAI SDKを使用するアプリケーションの場合、変更が必要なのはベースURL、APIキー、モデル名の3つの値です。
呼び出し元ごとに確認すべき事項:
- 認証が必須となります。 私たちのテストでは、Bifrost OSSのデフォルトインストール環境は認証情報なしのリクエストを受け入れていたため、一部の内部呼び出し元は認証情報を送信していなかった可能性があります。TrueFoundryへのリクエストにはすべてベアラートークンが必要です。切り替え時ではなく、切り替え前にそれらの呼び出し元を特定してください。
- プロバイダー固有のルート。 呼び出し元がBifrostのAnthropic、Gemini、またはBedrock互換ルートを各プロバイダー独自のSDKで使用している場合は、宛先となるプロバイダーのネイティブSDKサポートを確認してください。TrueFoundryはOpenAI、Anthropic、Google Gen AI、Azure OpenAI、およびboto3 SDKをサポートしていますが、ルーティング設定の対応状況はプロバイダーによって異なります(ネイティブSDKサポート).
- レスポンスの形式。 OpenAI Python SDKをBifrost v2.0.0に向けた際、6つのシナリオのうち4つはOpenAIと完全に一致しましたが、ストリーミングの役割、logprobs、エラー形式が異なっていました。Bifrostのエラーボディを解析したり、ストリーミングの癖を回避したりするコードは、別のゲートウェイと通信する際に調整が必要になる場合があります。正常系だけでなく、エラーハンドリングもテストしてください。
- プロバイダー間の差異は解消されません。 Bifrostのテストでは、同じリクエスト形式であっても、プロバイダーによってツールスキーマの厳密さ、推論パラメータ、モデル廃止時のエラーが異なりました。これはどのゲートウェイの背後でも同様ですので、プロバイダーごとの契約テストをCIに残しておいてください。
ステップ4:段階的な切り替えと切り戻し手段の確保
- Bifrostと並行して新しいゲートウェイを立ち上げます。 プロバイダー、モデル、仮想アカウント、監査モードでの予算、レート制限、ガードレール、ログ設定を再作成します。Bifrostには手を加えないでください。
- 契約テストの実行 非ストリーミングおよびストリーミングチャット、ツール呼び出し、構造化出力、埋め込み、エラーケース、そして利用する各プロバイダー固有のルートなど、両方のゲートウェイに対してテストを行います。
- まずはリスクの低いサービスから移行してください。 ベースURL、トークン、モデル名を構成ファイルやフィーチャーフラグ経由で切り替えられるようにします。これにより、切り戻しが必要になった際もコード変更ではなくデプロイで対応可能になります。
- 1週間かけて比較します。 サービスごとのトークン数と算出コストが、Bifrostのログと新しいゲートウェイのダッシュボードの間で一致していることを確認してください。差異がある場合は、通常、価格設定やモデル名のマッピングに誤りがあることを示しています。
- 残りのサービスをバッチ単位で移行します。 最もトラフィックの多いサービスは最後に移行してください。数値が一致したら、予算設定を「監査」から「強制」に切り替えます。
- Bifrostを読み取り専用で稼働させ続けます。 ロールバック期間が終了するまで維持し、その後仮想キーを無効化します。マルチレプリカのOSS環境では、キーの無効化がポッド間で即座に反映されないため、無効化後にすべてのレプリカを再起動するか、単にBifrostをシャットダウンしてください。
引き継がれないもの
- リクエスト履歴。 BifrostのSQLiteまたはPostgreSQLスキーマは、安定した交換フォーマットではありません。監査や評価のために履歴が必要な場合は、廃止前にログAPIや既存のコネクタを通じてエクスポートし、ゲートウェイの外で保管してください。
- カスタムGoプラグイン。 これらは特定のBifrostコアおよびGoバージョンに合わせてコンパイルされているため、移行には書き直しが必要です。
- CEL式。 上記と同様。
- キャッシュの内容。 セマンティックキャッシュおよび完全一致キャッシュは、新しいゲートウェイ上ではコールドスタートとなります。
- ダッシュボードとアラート は、
bifrost_*メトリック名およびラベルに基づいて構築されています。 - Bifrost固有のヘッダー (例:
x-bf-vk,x-bf-dim-*,x-bf-lh-*およびリクエストごとのログ記録オーバーライドなど)。 - MCP OAuthの同意 (ユーザーごとの接続用。ユーザーは再度承認を行う必要があります)。
独自のセットアップで注意すべき点
これらは、当社のクラスターにTrueFoundryゲートウェイプレーンをインストールし、テストトラフィックを向けた際に判明したものです。
- テナント全体のガードレールルールは、新しい呼び出し元に対して即座に適用されます。 当社のテナントには既にPIIガードレールルールが設定されていたため、テスト用の仮想アカウントを除外するまで、最初のテストリクエストはHTTP 400で拒否されました。本番トラフィックを移行する前に、既存のガードレールルールを確認し、新しいルールは監査モードで実行してください。
- リクエストログはデフォルトで有効になっています。 ホステッドコントロールプレーンを使用する場合、ゲートウェイはリクエストログをそこに送信します。リクエストおよびレスポンスのデータは、代わりに自社のクラウド内のバケットに保存することも可能です。また、ログ設定により、チーム、モデル、またはメタデータごとにボディログを無効化したり、情報を伏せたりすることができます。これについては、本番環境での最初のリクエストが発生する前に、セキュリティチームと決定しておいてください。
- セルフホスト型のモデルは、他のプロバイダーと同様に登録します。 私たちは、クラスター内で実行されているOpenAI互換エンドポイントをセルフホスト型モデルとして登録し、次のように呼び出しました。
<account>/<model>。現在Bifrost経由でアクセスしている内部のvLLMや同様のエンドポイントも、同じ方法で移行できます。 - 追加ポッドのサイズ設定。 gateway-planeチャートは、ゲートウェイと並行してRedisを実行します。キャパシティおよびコスト計画にこれを含めてください。
マネージドゲートウェイは適していますか?
セルフホスト型Bifrostを継続する 単一ノードで運用しており、プラットフォームエンジニアが管理を担当し、SSO、監査、サービスIDが不要な場合に適しています。
Bifrost Enterpriseへ移行する Bifrostを使い続け、ゲートウェイの運用を自社で行いたいものの、クラスタリングやセキュリティ機能が必要な場合に適しています。クラスター、HA PostgreSQL、およびアップグレードの管理は引き続き自社で行う必要があります。
マネージドゲートウェイへ移行する 運用負荷が課題である場合に適しています。データポリシーが許容する場合はSaaSを選択するか、モデルのトラフィックをネットワーク内に留める必要がある場合は、自社クラスター内にゲートウェイプレーンを構築してください。
TrueFoundryを選ぶ理由
- 管理方法を選択できます。 SaaS、ホステッドコントロールプレーンを備えた自社クラスター内のゲートウェイプレーン、あるいはエアギャップ環境を含む完全なセルフホスト型から選択可能です。
- 設定同期がアーキテクチャの核です。 ゲートウェイポッドはステートレスであり、コントロールプレーンから設定、ユーザー、仮想アカウント、認証ルールをリアルタイムで受信します。完全な設定は10分ごとに再配布されるため、更新の取りこぼしによる設定の乖離は発生しません。また、コントロールプレーンに到達できない場合でも、ゲートウェイは最後に受信した設定でサービスを継続します(ゲートウェイプレーンのアーキテクチャ)。これは、OSSにおけるBifrostの「ポッドごとの再起動」モデルに代わるものです。
- サービスIDを標準装備。 仮想アカウントにより、各アプリケーションは独自のトークンを持ち、定期的なローテーション、猶予期間、シークレットストアとの同期が可能になります。
- ルールとしてのポリシー。 予算、レート制限、ガードレール、ログ記録は個別のルールセットとして管理され、誰が、どのモデルで、どのようなリクエストメタデータを使用しているかに基づいて照合されます。安全なロールアウトのための監査モードも備えています。
セルフホスト型のAIゲートウェイからの移行を検討されている場合は、 デモを予約 して、Bifrostの設定をお持ちください。マッピングの手順を一緒に確認いたします。まずは製品をご覧になりたい場合は、 TrueFoundry AI Gateway ページから始めてください。
関連資料
- Bifrostの料金体系:OSS、エンタープライズ版のコスト、およびチームが知っておくべきこと
- BifrostとLiteLLMの比較
- LLMゲートウェイとは何か?
- オンプレミスでのAIゲートウェイ:知っておくべきすべてのこと
- LiteLLMの代替製品
結論
セルフホスト型のAIゲートウェイからの移行において重要なのは、クライアント側の変更(これはわずかなものです)よりも、キー、ポリシー、ルーティングを忠実に再現し、いつでも切り戻しができる状態でサービスを一つずつ移行することです。まずはインベントリを作成し、すべての仮想キーを実際のIDにマッピングし、CELルールを単なる翻訳ではなく意図を持って書き直し、数値が一致するまでBifrostを稼働させ続けてください。マッピングについて第三者の視点が必要な場合は、 TrueFoundryのデモを予約.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.





















