Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

LiteLLMからガバナンスを備えたAI Gatewaysに移行する方法

Published: 11月 20, 2026

要約
  • LiteLLMは優れたスタータープロキシです。MITライセンスで100以上のプロバイダーに対応し、迅速に立ち上げられます。チームが移行するのはLiteLLMが優れていないからではなく、利用規模、チーム数、コンプライアンス要件が拡大する中で、単一プロセスのPythonプロキシの許容量を超えるためです。
  • 具体的な移行のきっかけ:PythonのGILが高並列下でのスループットとレイテンシを制限する、プロキシに全プロバイダーのシークレットが集中する(影響範囲が大きい)、ラップトップ・CI・本番環境へのデプロイの分散によりパッチ適用が困難になる、セルフホストでの高可用性の維持が完全に自己責任となる、などが挙げられます。
  • 2026年のサプライチェーンインシデントはガバナンス再考の機運となりました。恐れる必要はありませんが、悪意のあるPyPIリリースやCVE(CISAのKEVカタログに掲載されたものを含む)により、シークレットの集中やバージョンの分散が中央管理すべき運用リスクであることが明確になりました。
  • どちらもOpenAI互換のAPIに対応しているため、移行リスクは低いです。ほとんどの場合、クライアント側の変更はベースURLのみです。両方のGatewayを並行して運用し、チームごとに切り替えることができます。
  • 再構築するのではなく、概念をマッピングします:LiteLLMのバーチャルキーはRBACと予算へ、モデルリストは管理されたカタログへ、プロキシ設定はポリシーへ、ログはコスト帰属を伴うリクエストごとの可視性へと対応付けられます。

LiteLLMが人気を博したのには正当な理由があります。MITライセンスで提供され、1つのOpenAI互換APIの裏で100以上のプロバイダーをサポートし、数分でインストールでき、小さなチームがほぼ労力をかけずに「3つのSDKで3つのプロバイダーを呼び出す」状態から「1つのエンドポイントを呼び出す」状態へと移行できます。多くのプロジェクトにとって、これは最初の選択肢として適切であり、本記事の内容もそれを否定するものではありません。

チームがそこから移行する理由は構造的なものであり、予測可能なスケールで表面化します。数十人のエンジニアが百人に増え、1つのアプリが30個に増え、「念のため支出を把握しておこう」という段階から「財務部門がチームごとのコストを必要とし」「セキュリティ部門が監査ログを必要とする」段階へ変化したとき、単一プロセスのPythonプロキシは本来想定されていない役割に対して過剰な負担を抱えるようになります。さらに2026年にLiteLLMの配布チェーンで発生したサプライチェーンインシデントも加わり、「動けばいい」という議論から「モデルへのアクセス権は誰が管理し、それをどのように証明するか?」という議論へとシフトしています。

本記事はLiteLLMの欠点を批判するものではなく、実用的な移行プレイブックです。LiteLLMの許容量を超えたことを示す具体的なサインを特定し、すべてのLiteLLMの概念をガバナンスを備えたGatewayの同等機能にマッピングし、双方ともOpenAI互換APIに対応しているという特性を生かしたリスクの低い段階的な切り替え手順を解説します。ほとんどの場合、アプリケーションコードの変更はベースURLの1行のみです。

LiteLLMの限界を感じていますか?ベースURLの変更だけでガバナンスを備えたGatewayへ移行する方法をご覧ください。デモを予約する。

チームがLiteLLMから移行する理由

移行のきっかけを正確に把握しましょう。曖昧な「スケールしなかった」という話は計画の役に立ちません。具体的な障害モードを知ることが重要です。

観察される症状根本的な原因
並列負荷が高くなると、CPUを追加してもレイテンシが上昇しスループットが頭打ちになるPythonのグローバルインタプリタロック(GIL)により、単一プロセス内のCPU集約型タスクがシリアル化され、プロキシがボトルネックになる
1つの資格情報が漏洩すると、すべてのプロバイダーアカウントが公開されてしまうプロキシがすべてのプロバイダーシークレットを1箇所に集中して保持しているため、爆発半径(被害影響範囲)が大きい
脆弱性の修正にあたり、ラップトップ、CIランナー、本番環境のコピーを個別に追跡する必要があるデプロイの分散:プロキシが多数の場所で実行されており、中央でのバージョン管理が存在しない
プロキシの高可用性(フェイルオーバー、ダウンタイムなしのアップグレード)の維持にプラットフォーム管理の時間が奪われるセルフホストでのHA(高可用性)構築は完全に自己責任であり、管理されたコントロールプレーンが存在しない
財務部門がチームごとの支出を取得できず、セキュリティ部門が監査ログを取得できないガバナンス(RBAC、コストの割り当て、監査)が軽量プロキシのコア設計の中心になっていない

GILによるスループットの天井。 LiteLLMのプロキシはPythonで作られています。Pythonのグローバルインタプリタロック(GIL)は、1つのプロセスが一度に1つのスレッドでのみPythonバイトコードを実行することを意味します。主にプロバイダーからの応答を待つI/O集中型のプロキシでは、並列度が低い場合にはこれで十分ですが、並列リクエストが増加すると、リクエスト処理、シリアライズ、ロギング、ポリシーチェックがその単一のロックを奪い合うことになり、どれだけハードウェアを追加してもレイテンシが上昇しスループットが伸び悩みます。多数のプロセスやインスタンスに分散(シャード)させることは可能ですが、今度はそのオーケストレーションや共有状態の管理という課題が発生します。

シークレットの集中と被害影響範囲(爆発半径)。 プロキシは前段に配置されたすべてのプロバイダーのAPIキーを保持します。これがプロキシの本来の役割ですが、1つのプロキシが侵害されたり、1つの設定ファイルが漏洩したりするだけで、OpenAI、Anthropic、クラウドモデルのエンドポイントなど、すべてが一度に露出することを意味します。中央集中型のシークレット管理、ローテーション、スコープ設定されたアクセスがない場合、インシデント発生時の被害影響範囲は「すべて」に及びます。

デプロイの分散とパッチ適用。 実行が非常に簡単なため、LiteLLMはあらゆる場所で実行されることになります。各開発者のラップトップに1つ、CIに1つ、本番環境にいくつか、といった形です。脆弱性が発見された場合、すべてのインスタンスを見つけてパッチを適用しなければなりません。「すべての呼び出し元が1つの管理されたエンドポイントを経由する」という単一のコントロールプレーンが存在しないため、「プロキシへのパッチ適用」が宝探しのような作業になってしまいます。

セルフホストHA(高可用性)の負担。 1つのプロキシを実行するのは簡単です。しかし、フェイルオーバー、ダウンタイムなしのアップグレード、ヘルスチェック、SLAに基づく水平スケーリングを備えて運用することは、完全に自社で負担しなければならないプラットフォーム運用作業となります。多くのチームが、このような差別化につながらない煩雑な作業は労力に見合わないと感じる段階に達します。

2026年のサプライチェーンインシデントについての冷静な分析

2026年に発生した2つのイベントにより、これらの構造的な懸念は緊急の課題へと変化しました。恐れることなく、事実を明確に整理しておきましょう。

2026年3月、CIの侵害により悪意のあるLiteLLMのリリース(バージョン1.82.7および1.82.8)がPyPIに公開されました。この悪意のあるパッケージは、それらをインストールしたシステムから資格情報を窃取しました(公式のDockerイメージは影響を受けませんでした)。2026年10月には、2つ目のインシデントとして、窃取されたGitHubトークンを使用して悪意のあるリリース(1.107.0)がPyPIとDockerの両方にプッシュされました。これとは別に、LiteLLMでは複数のCVEが報告されており、これにはCISAのKnown Exploited Vulnerabilities(既知の悪用された脆弱性)カタログに掲載されたもの(APIキー保持者が悪用可能なリモートコード実行のパス)や、任意のベアリートークンでMCPセッションを確立できてしまう問題が含まれていました。

いずれのケースにおいても修復手順は同じでした。バージョンの固定、信頼できる正常なリリースからの再構築、およびすべてのシークレットのローテーションです。ここでの教訓は「LiteLLMが安全ではない」ということではありません。オープンソースプロジェクトはその利用者の多さゆえにターゲットにされやすいのです。重要な教訓は、シークレットの集中とバージョンの分散が組み合わさると、単一のサプライチェーンイベントが組織全体のインシデントへと拡大するということであり、これこそがバージョン、シークレット、アクセスを中央で一元管理し監査可能にするガバナンスを備えたコントロールプレーンが必要とされる理由です。すべての呼び出し元があらかじめ、ローテーションされスコープの絞られた資格情報と完全な監査ログを持つ単一の管理されたエンドポイントを経由していれば、依存関係が侵害された場合でも影響の封じ込めははるかに容易になります。

「ガバナンスを備えたAI Gateway」がもたらす価値

ガバナンスを備えたAI Gatewayは、LiteLLMが提供していた価値(複数プロバイダーを跨ぐ1つのOpenAI互換エンドポイント)をそのまま維持しながら、軽量プロキシが重視していなかったレイヤーを追加します:

  • アイデンティティとアクセス制御: RBAC、SSO、SCIMに対応し、アクセス権がアイデンティティプロバイダーと連動するため、手動でのキー削除ではなく自動的なプロビジョニング解除が可能になります。
  • 中央集中型でスコープ設定されたシークレット: プロバイダーの資格情報は1つの管理された場所で保持・ローテーションされ、すべての情報を1つの設定ファイルに保持するのではなく、権限がスコープ化されます。
  • コストガバナンス:ユーザー、チーム、モデルごとに予算とレート制限を設定し、超過時にはHTTP 429を返し、FinOpsを機能させるためにチーム別にタグ付けされたコスト割り当てを提供します。
  • 可視性(Observability): トークン、レイテンシ、モデル、コストを含むリクエストごとのトレースが、ユーザーやチームごとにタグ付けされた状態で最初から利用可能です。
  • ガードレールと高可用性(HA): リクエストパスにインラインのガードレール(PII、プロンプトインジェクション、シークレットの検出)を配置し、フェイルオーバーやアップグレードを管理するフルマネージドまたはセルフマネージドのコントロールプレーンを提供します。

TrueFoundryはこれを単一のコントロールプレーンとして提供します。重要な点として、SaaS、VPC内、オンプレミス、あるいはエアギャップ環境にもデプロイ可能であり、データプレーンは自社ネットワーク内に留まるため、「ガバナンス」のために「トラフィックをサードパーティに引き渡す」必要はありません。全般的な選定基準についてはAI Gatewayの選び方を、アーキテクチャの概要についてはLLMプロキシの役割と機能を参照してください。

TrueFoundryがLiteLLMのキー、予算、モデルをガバナンスポリシーにどのようにマッピングするかをご覧ください。デモを予約する。

移行パス

移行は意図的に段階的に進められます。組織全体を一度に切り替えることはありません。

The migration path: inventory current usage, map LiteLLM concepts to the governed gateway, run both in parallel with a base-URL swap, cut over team by team, then decommission.
移行パス:現在の利用状況をインベントリ化し、LiteLLMの概念をガバナンスを備えたGatewayへマッピングし、ベースURLの変更により両者を並行運用し、チームごとに順次切り替えた後、旧環境を廃止します。

ステップ1:インベントリ(現状把握)

作業に着手する前に、現在LiteLLMが担っている役割をリストアップします:

  • すべてのバーチャルキーと、それを使用しているユーザーまたはシステム。
  • モデルリスト:どのプロバイダーモデルがどのエイリアスで公開されているか。
  • 現在設定されている予算とレート制限。
  • 設定ファイル内のプロバイダー資格情報(プロキシが保持しているすべてのシークレット)。
  • ルーティングとフォールバックのルール、およびキャッシュの設定。
  • すべての呼び出し元:プロキシを指しているアプリ、サービス、Notebook、CIジョブ、および使用しているベースURL。

呼び出し元のインベントリ化は、多くのチームがスキップして後悔するステップです。存在を把握していないトラフィックを切り替えることはできません。コードベースやインフラ全体でプロキシのホスト名を検索(grep)してください。

ステップ2:概念のマッピング

ゼロから再構築するのではなく、置き換えを行います。LiteLLMのすべての概念には、ガバナンスを備えたGatewayにおける同等の機能が存在します。

Concept mapping: LiteLLM virtual keys become RBAC and budgets, the model list becomes a governed catalog, proxy config becomes policy, and logs become per-request observability.
概念のマッピング:LiteLLMのバーチャルキーはRBACと予算へ、モデルリストは管理されたカタログへ、プロキシ設定はポリシーへ、ログはリクエストごとの可視性へと変換されます。
LiteLLMの概念ガバナンスを備えたGatewayの同等機能
バーチャルキー(制限付きのAPIキー)RBACによるアイデンティティ連携アクセス + キー/チームごとの予算とレート制限
モデルリスト / エイリアス管理されたモデルカタログ(チームごとにスコープを設定したアクセス)
プロキシ設定ファイル(config.yaml)バージョン管理と監査に対応した宣言型ポリシー(ルーティング、フォールバック、キャッシュ、制限)
分散したプロバイダーAPIキー中央で一元保持・スコープ化・ローテーションされるシークレット
リクエストログリクエストごとの可視性:トークン、レイテンシ、コスト(ユーザー/チーム/モデルでタグ付け)
フォールバック設定リクエスト内リトライ付きフォールバックとポリシー駆動型ルーティング
手動でのキー共有SSO + SCIMによるプロビジョニング/プロビジョニング解除

この変換は主に考え方の転換です。LiteLLMはキーと設定ファイル単位で思考しますが、ガバナンスを備えたGatewayはアイデンティティ、チーム、カタログ、ポリシー単位で思考します。機能面の重複が非常に大きいため、移行リスクを低く抑えることができます。

ステップ3:並行運用

このステップにより、移行全体の安全性が担保されます。LiteLLMとガバナンスを備えたGatewayは、どちらもOpenAI互換のAPIを提供します。そのため、クライアント側で必要な変更は、ベースURLをLiteLLMプロキシのURLからGatewayのエンドポイントに変更することだけです。SDKの差し替えも、リクエストフォーマットの書き換えも、レスポンス解析の変更も必要ありません。

LiteLLMと並行してガバナンスを備えたGatewayを立ち上げます。まずリスクの低い1つのサービスを選択し、新しいベースURLを指すように変更します。レスポンスが同一であること、可視性ツールで正確なコスト割り当てとともにトラフィックが表示されること、予算やガードレールが設定通りに機能することを確認します。両方のエンドポイントが稼働しているため、直接比較することができ、問題が発生した場合でも数秒で旧ベースURLにロールバックできます。

具体例として、インファレンスサービスが環境変数からOPENAI_API_BASEを読み込んでいるとします。このサービスの移行作業は、環境変数を1つ変更して再起動するだけであり、元に戻す場合も値を戻すだけです。両者が同じAPIをサポートしている場合、クライアント側の影響範囲はこれだけに留まります。

ステップ4:チームごとの段階的な切り替え

すべてのトラフィックを一度に切り替えるのではなく、チームやアプリケーションごとにグループ化して波状に移行を進めます。

  1. チームを1つ選択します。旧バーチャルキーの制限を反映する形で、Gateway上にそのチームのアクセス権(RBACロール、予算、モデルカタログのスコープ)を作成します。
  2. そのチームの呼び出し元のベースURLをGatewayへ変更します。
  3. 定められた検証期間中に可視性データを監視し、コスト割り当て、レイテンシ、エラー率、ガードレールの動作が正しいことを確認します。
  4. 次のチームの移行に進みます。

チームごとに切り替えることで、明確なロールバック境界が確保され、一度にリスクを冒して複雑な共有キーを移行するのではなく、進行に合わせて各チームに合わせた予算とアクセス権を正確に定義できます。また、レビュー作業も分散され、次のチームに進む前に各チームが自社のトラフィックが正常であることを確認できます。

ステップ5:旧環境の廃止

すべての呼び出し元がGatewayを指すようになり、十分な運用期間を経て問題がないことを確認できたら、LiteLLMを廃止します。プロキシインスタンスを停止し、設定ファイルからプロバイダーシークレットを削除し、重要な手順としてそれらのプロバイダー資格情報をローテーションして、旧プロキシに存在したコピーを無効化します。デプロイの分散が再び発生しないよう、CIや開発環境からもプロキシを削除します。すべてのモデルへの管理されたパスが正確に1つになり、有効なキーを持つ孤立したプロキシが存在しなくなった時点で、移行は完了です。

陥りがちな失敗パターン

チームごとのアクセス再定義を行わず、共有キーをそのまま移行してしまう。 LiteLLM運用時には、複数のチームで共有されるバーチャルキーが蓄積されがちです。これらをそのまま移植すると、移行によって解消しようとしていた「ガバナンスのない分散状態」を再現することになります。切り替えの機会を利用して、アイデンティティプロバイダーに基づいてチームごとにアクセス権を再定義してください。それこそが移行の目的の半分を占めています。

呼び出し元のインベントリ作成を省略してしまう。 記憶にあるアプリだけを移行し、Notebook、Cronジョブ、CIステップが旧プロキシを指したまま放置されるケースがあります。そのままLiteLLMを廃止すると、気づかないところでシステムが破損します。プロキシを停止する前に、旧ホスト名で全環境を検索(grep)してください。

廃止時にシークレットのローテーションを忘れてしまう。 LiteLLMを停止しても、保持されていたプロバイダーキーをローテーションしない場合、それらの資格情報は有効なまま、監視されていない廃止済みシステム内に残ることになります。これはまさに2026年のインシデントで悪用された「古いシークレット」の状態そのものです。旧プロキシが保持していたすべての資格情報をローテーションしてください。

ベースURLの変更だけで移行が完了したと勘違いしてしまう。 ベースURLの変更はクライアント側の作業を極めてシンプルにしますが、移行の本来の目的はガバナンス、RBAC、予算、カタログスコープ、監査ログの導入です。ガバナンス設定を適切に行わずにURLだけを変更すると、新しいプロキシを用意しても古い課題がそのまま残ることになります。

一括切り替え(ビッグバン切り替え)を行ってしまう。 組織全体を一度に変更すると、ロールバックの境界が失われます。並行運用とチームごとの段階的な切り替えを行うのは、問題が発生した場合でも影響を1つのチームに限定し、ベースURLを1箇所戻すだけで復旧できるようにするためです。障害対応の呼び出しを楽しみたい場合を除き、一括切り替えは避けてください。

まとめ

LiteLLMの許容量を超えることは成功の証であり、製品の選定ミスではありません。移行のきっかけは極めて具体的かつ構造的なものです。高並列下におけるPythonプロキシのスループットの限界、1箇所に集中する全プロバイダーのシークレット、環境間に広がるデプロイの分散、セルフホストHAの重圧、そしてシークレットの集中やバージョンの分散リスクを現実のものとした2026年のサプライチェーン問題などが挙げられます。

双方ともOpenAI互換のAPIに対応しているため、クライアント側の変更は通常ベースURLの1行のみであり、移行自体のリスクは非常に低いです。現状をインベントリ化し、キーをRBACと予算へ、モデルリストをカタログへ、設定をポリシーへマッピングし、並行運用を行い、チームごとに順次切り替え、最後に完全なシークレットローテーションを行って旧環境を廃止します。この手順を踏むことで、コードの書き換えを行うことなく利便性の高いプロキシからガバナンスを備えたコントロールプレーンへと移行でき、アクセス、コスト、監査が完全に管理された状態を実現できます。

最小限のアプリケーション変更でLiteLLMから移行しましょう。デモを予約する。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 20, 2026
|
5 min read

GPT-6.1 Terra: API、ベンチマーク、料金体系、使い方ガイド

No items found.
11月 20, 2026
|
5 min read

Machine Learningの進化:Savinの歩みを深く掘り下げる

True MLトーク
11月 20, 2026
|
5 min read

CrewAI vs LangGraph: 違いを知る

比較
11月 20, 2026
|
5 min read

すべてのリクエストを評価:Confident AIとTrueFoundry AI Gateway

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour