Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

LiteLLM vs agentgateway: 2つのオープンソースAI Gatewayの比較

Published: 11月 20, 2026

要約
  • LiteLLM vs agentgatewayの比較は「多機能性 vs 高効率」の比較です。どちらもオープンソースかつセルフホスト可能で、LLM、MCP、エージェントのトラフィックを処理できます。LiteLLMは、最も多くの機能リストと最大規模のコミュニティを持つPythonプロキシですが、PostgresとRedisを必要とします。agentgatewayはデータベース不要の軽量なRustプロキシであり、大幅に低いレイテンシーとメモリ使用量を実現し、エージェント制御機能が組み込まれています。
  • 無料のキャッシング機能、最も幅広いプロバイダー対応、および無料プランでインスタンス間で共有される制限機能を求める場合は、PostgresとRedisの運用が可能であればLiteLLMを選択してください。
  • レイテンシー、メモリ、フットプリントが重要である場合、データベースを運用したくない場合、またはエンタープライズライセンスなしでJWT検証やPIIマスキングが必要な場合は、agentgatewayを選択してください。
  • 注意点:LiteLLMはスタックが重く、2026年にサプライチェーンインシデントが発生しています(バージョンの固定と定期的なパッチ適用が必要)。agentgatewayには組み込みキャッシュがなく、複数インスタンス間で共有される機能は有料となります。

LiteLLM vs agentgatewayは、一見すると互角の戦いに見えます。どちらもオープンソースでセルフホスト可能であり、多数のモデルプロバイダーの前にOpenAI互換のエンドポイントを配置します。そして現在では、モデル呼び出しだけでなく、MCPツール呼び出しやエージェント間(A2A)のトラフィックも処理できます。ただし、両者の生い立ちは大きく異なります。LiteLLMはBerriAIによるPythonプロキシで、人気のあるSDKから発展したものであり、このカテゴリーで最も多くの機能と最大のコミュニティを誇ります。agentgatewayは、Solo.ioがゼロから構築し、Linux Foundationに寄贈したRustプロキシであり、よりコンパクトで高速、焦点を絞った設計となっています。LiteLLMの代替手段を検討している場合、agentgatewayはエージェント機能においてLiteLLMに対抗できる数少ない選択肢の1つです。

TrueFoundryでは両方を実際に稼働させました。当社のチームは、オープンソースのagentgatewayビルド(v1.5.0。主な検証結果はv1.6.0で再確認)を実機でテストし、同じベンチマーク環境でLiteLLMを実行しました。その後、本記事の記述内容を、2026年11月時点の最新リリース(agentgateway v1.7.0、LiteLLM v1.106.6)のドキュメントと照合・確認しました。

LiteLLMagentgateway (Solo.io)
概要100以上のLLMプロバイダーに対応するPythonプロキシおよびSDK(MCPおよびエージェントGateway機能を追加)LLM、MCP、エージェント間トラフィックに対応するRustプロキシ
ライセンスと管理体制コア機能はMIT、エンタープライズフォルダはプロプライエタリ。BerriAIが運営Apache 2.0。Linux Foundation傘下のAgentic AI Foundationがホスト
有料版LiteLLM Enterprise(営業経由でリクエストボリュームに応じた価格設定)Solo Enterprise for agentgateway(営業経由の価格設定)
最適なユースケース最も幅広いプロバイダーと機能のカバー率を求め、PostgresとRedisの運用に問題がないチームエージェントおよびMCP制御機能が組み込まれた、軽量で高速なGatewayを求めるプラットフォームチーム

LiteLLM: 概要

LiteLLMは、Y Combinatorファミリー企業であるBerriAI内部で開発が始まり、2023年8月にオープンソース化されました。多くの場合、最初はPython SDKとして導入され、その後共有GatewayとしてLiteLLMプロキシを運用する形が取られます。現在、GitHubのスター数は61,000を超え、Netflix、Okta、NVIDIAなどのパブリックユーザーを抱えています。ドキュメントには100以上のプロバイダーが記載されており(ホームページでは140以上と表記)、商用APIと並行してvLLMやOllamaのようなセルフホストモデルにもルーティングできます。

無料版でも多くの機能をカバーしています。仮想キー、キー/ユーザー/チーム/組織/エンドユーザー/タグレベルでの予算設定とレート制限、完全一致およびセマンティックキャッシング、6種類のルーティング戦略、フォールバック、Prometheusメトリクス、そして多数のロギング連携が用意されています。LiteLLM MCP gatewayは、個々のツールやそのパラメータ単位までアクセスを制限でき、v1.80.8からはA2AエージェントGateway機能も提供されています。

コストは運用面で発生します。このプロキシはPython (FastAPI) アプリケーションであり、キー、管理UI、利用額トラッキングのためにPostgresを必要とします。また、複数インスタンスを運用する場合はRedisが必要となります。LiteLLMはホットパスをRustへ移行中であり、ホームページではRust Gatewayがアピールされていますが、ドキュメントではRustコアはまだ一部のルートをカバーするベータ版とされており、完全なAnthropic Messagesパスの対応は2026年12月を目標としています。5ユーザーを超えるSSO、SCIM、監査ログ、ワークロード向けJWT認証などのエンタープライズ機能には、有料ライセンスが必要です。

agentgateway: 概要

agentgatewayは、Solo.ioが旧製品のGloo AI Gatewayを置き換えるために、EnvoyベースではなくRustでゼロから構築した製品です。Apache 2.0ライセンスで、Linux Foundation傘下のAgentic AI Foundationによってホストされており、Solo.ioはSolo Enterprise for agentgatewayという有料版を販売しています。単一のバイナリ(1つのYAMLファイルを読み込む)、コンテナ、または独自のコントローラーを備えたKubernetes上で動作し、Gateway APIを実装しています。トラフィックのルーティングにデータベースは不要です。当社のテスト環境では、コールドスタートから11秒未満でリクエストの処理を開始し、アイドル時のメモリ使用量は約18 MBでした。

LLM呼び出し、MCPトラフィック、A2A呼び出しを単一のポリシーモデルで制御します。MCP認可は本製品の最も強力な機能であり、CELルールによって各呼び出し元が使用できるツールを決定し、Gatewayがツールリストをフィルタリングするため、エージェントには呼び出しを許可されたツールのみが表示されます。無料版でも、IDプロバイダーに対するJWT検証、キーごとのモデル制限、スタンドアロンビルドにおけるキーごとの予算強制、およびプロンプトがプロバイダーに到達する前の電子メールアドレスやカード番号などの機密データのマスキングが可能です。フリート全体のレート制限、共有予算リソース、コスト管理UIはエンタープライズ機能となっています。詳細は当社のagentgatewayレビューで解説しています。

直接対決の比較

LiteLLMの列は、LiteLLMのドキュメントおよび当社によるベンチマーク結果を反映しています。agentgatewayの列は、当社の実機テストおよびv1.7.0に関するSolo.ioのドキュメントを反映しています。どちらも2026年11月に検証を行いました。

機能LiteLLM (オープンソース)agentgateway (オープンソース)
言語およびランタイムPython (FastAPI)。一部ルート向けのRustコアはベータ版Rust、単一バイナリ
依存関係キー、UI、コスト追跡用のPostgres。複数インスタンス運用時はRedisトラフィックルーティングには不要。リクエストログは組み込みSQLiteまたはPostgresに保存
Kubernetes対応2つのHelmチャート。オペレーターやCRDはなし独自のCRDとHelmチャートを備えたGateway API実装
対応プロバイダー100以上のプロバイダー、および任意のOpenAI互換エンドポイント23の指定プロバイダー、および任意のOpenAI互換エンドポイント
ガバナンス対象トラフィックLLM、MCP、A2ALLM、MCP、A2A、および一般的なHTTP/gRPC
MCPアクセス制御6つのレベル(キー、チーム、エンドユーザー、エージェント、内部ユーザー、組織)での権限設定。ツールおよびパラメータ単位まで設定可能ツールごとのCELルール。呼び出し元ごとにツールリストをフィルタリング
ワークロードアイデンティティ仮想キー。JWTおよびOIDC認証はEnterprise機能APIキー、またはIDプロバイダーに対して検証される無料のJWT
ルーティング重み付け、最小負荷、レイテンシーベース、使用量ベース、コストベース。フォールバック、リトライ、クールダウン機能付き重み付け、優先度フェイルオーバー、条件付きルーティング、リトライ、外れ値除外
予算管理キー、ユーザー、チーム、組織、エンドユーザー、エージェント、タグ単位。PostgresとRedis経由でインスタンス間共有スタンドアロンビルドではキーごと・インスタンスごとに設定。共有予算はEnterprise機能
レート制限複数のスコープにおけるRPM、TPM、並行性制御。Redis経由で共有各インスタンスにローカル。フリート全体の制限はEnterprise機能
レスポンスキャッシュ完全一致およびセマンティックキャッシングを無料で提供組み込みのレスポンスキャッシュ機能なし
プロバイダー転送前のPIIマスキング組み込みの正規表現コンテンツフィルター、または別コンテナとしてのMicrosoft Presidio標準組み込み
チームごとのガードレールEnterprise機能無料版でルートごとに設定可能
オブザーバビリティPrometheus、OpenTelemetry、多数のサードパーティ連携(Langfuse、Datadogなど)Prometheus、OpenTelemetry、SQLでクエリ可能なリクエストログ
管理SSO最大5ユーザーまで無料、それ以上はEnterprise機能。SCIMはEnterprise機能スタンドアロンUI向けOIDCログイン(v1.6.0以降)
コンプライアンス (企業)SOC 2 Type II。エンタープライズページでISO 27001を表明Solo.ioはSOC 2 Type IIを掲載

LiteLLMが優れている点

レスポンスをキャッシュできる点です。完全一致キャッシュおよびセマンティックキャッシュが無料で利用でき、Redis、Valkey、Qdrant、S3などのバックエンドをサポートしています。agentgatewayには組み込みのレスポンスキャッシュがないため、サポートボットのような反復的なワークロードでは、自身でキャッシュを追加しない限り、すべてのリクエストで全額の利用料が発生します。

機能リストがほぼすべての領域でより豊富です。LiteLLMはagentgatewayよりも多くのプロバイダー、ルーティング戦略(コストベースやレイテンシーベースのルーティングを含む)、予算スコープ、オブザーバビリティ連携をサポートしています。このカテゴリに存在する機能であれば、LiteLLMにはおそらくその設定が存在します。

制限を無料で複数インスタンス間に適用できます。LiteLLMはステートをPostgresとRedisで保持するため、有料プランを契約しなくても、すべてのレプリカにわたって予算やレート制限が適用されます。agentgatewayの無料制御機能は単一インスタンス内に限定されます。

MCPの権限設定がより詳細です。LiteLLMでは、ツールを許可しつつ特定のパラメータをブロックすることができ、6つのアイデンティティレベルにわたって権限を重ね合わせることができます。agentgatewayのルールはツール単位で機能します。

コミュニティがより大規模です。61,000以上のスター、毎週のリリース、著名なユーザー企業が存在するため、遭遇する問題のほとんどはすでに誰かが解決しています。また、営業担当者と話すことなく30日間のEnterprise試用キーを取得できますが、Solo.ioはこれを提供していません。

agentgatewayが優れている点

圧倒的に高速で軽量です。同じ1 vCPUのテスト環境において、agentgatewayが追加したレイテンシーはリクエストあたり約2〜5 msでしたが、LiteLLMは低負荷時でも12〜15 msを追加し、50 req/sに達するかなり前の段階でキューイングを開始しました。agentgatewayのアイドル時のメモリ使用量は約18 MBですが、LiteLLMは10 req/sで約1.2 GBを使用しました。

運用に必要なコンポーネントが少なくて済みます。単一のバイナリのみで、データベースもRedisも不要で、機能するGatewayとして十分稼働します。LiteLLMの本番環境セットアップには、ロードバランサー、Postgres、Redis、シークレットストアが必要となり、これは一般的なクラウド構成ではあるものの、単一コンテナと比較するとかなりの運用コストになります。

より多くのセキュリティ制御が無料で提供されます。IDプロバイダーに対するJWT検証やPIIマスキングがオープンソースビルドに含まれています。LiteLLMでは、JWT認証やチームごとのガードレール機能にはEnterpriseライセンスが必要です。

中立的な財団に所属するプロジェクトです。agentgatewayのコードはLinux Foundationのプロジェクト傘下でApache 2.0としてライセンスされているため、単一企業の意向に左右されません。LiteLLMはMITライセンスですが、メンテナーのほとんどはBerriAIのスタッフであり、エンタープライズフォルダはプロプライエタリです。

Kubernetesにネイティブに適合します。agentgatewayは独自のコントローラーとCRDを備えてGateway APIを実装しているため、ルーティング構成は他のクラスターリソースと同様に記述できます。LiteLLMはHelmチャートを提供していますが、オペレーターやCRDは提供していません。

パフォーマンス

両方のGatewayを同じ検証環境で実行しました。1 vCPUおよび2 GBに制限された1つのコンテナ、固定50 msレスポンスを返すローカルモックプロバイダーを使用し、すべての測定値はモックへの直接呼び出しと比較しました。なお、LiteLLMにとって公平を期すための補足として、ドキュメントでは本番インスタンスのサイズを4 vCPU / 8 GBと推奨しているため、1 vCPUはPythonプロキシにとって厳しい条件となります。

測定項目 (1 vCPU, 2 GB)LiteLLMagentgateway
追加レイテンシー (非ストリーミング、低負荷)10 req/s時で約12〜15 ms約2〜5 ms
非ストリーミングのスループットキューイング発生前で約40〜50 req/s。200 req/sではリクエストの半分がタイムアウト少なくとも3,200 req/s (負荷ジェネレーター側が先に上限に達した)
ストリーミング10 req/s時で最初のトークン前に約65 ms追加。50 req/sで飽和あらゆる負荷で短いストリームは正常。長文ドキュメントは約30 req/sで低下
メモリ使用量10 req/s時で約1.2 GBアイドル時約18 MB、5,000リクエスト処理後で約31 MB

両ベンダーとも独自の測定結果を公開しています。LiteLLMのベンチマークページでは、4つの4 vCPUインスタンス全体で、8 msのp95オーバーヘッドにて1,170 req/sを記録したと報告しています。Solo.ioは、3,000 req/sの固定負荷において、p99の遅延が30.6 msに対して0.44 ms、メモリ使用量が11.7 GiBに対して13 MiBであったとするLiteLLMとの直接比較ベンチマークを公開しています。これらはモックバックエンドに対してベンダーが実施したテストであるため、絶対的な証明としてではなく傾向として捉えてください。当社の測定結果も同様の傾向を示しています。

このパフォーマンス差は重要でしょうか?毎秒数回のリクエストしか処理しないチャットアプリの場合、モデル呼び出し自体に数百ミリ秒かかるため、Gatewayによる10 msの遅延は問題にならないかもしれません。しかし、ループ内で多数の呼び出しを行うエージェントを運用する場合や、LiteLLMで同じ負荷を処理するために必要な追加インスタンスのコストを支払う場合には、大きな違いとなります。

価格設定

どちらもセルフホストは無料です。LiteLLMのオープンソース版には使用上限がありません。5ユーザーを超える管理者のSSO、SCIM、監査ログ、JWT認証、チームごとのガードレール、または管理者とワーカーの分離が必要になった段階で有料となります。LiteLLM Enterpriseは、Gatewayのリクエストボリュームに基づいた年間契約であり、公表価格はなく、即時発行されるキーで30日間のトライアルを開始できます。

agentgatewayの無料版は、単一インスタンスでのキーごとの予算設定、PIIマスキング、JWT検証、MCP認可をカバーしています。Solo Enterprise for agentgatewayでは、フリート全体のレート制限、共有予算リソース、コスト管理UI、On-Behalf-Ofアイデンティティ、FIPS対応ビルド、およびサポートが追加されます。こちらも営業経由での価格設定となり、セルフサービスのトライアルはありません。詳細は当社のSolo AI gatewayの価格破壊に関する分析をご覧ください。

多くのケースにおいて、ライセンス費用よりも運用コストの方が大きくなります。LiteLLMを使用する場合は、マネージドPostgresおよびRedisの費用と、Pythonプロキシが大規模環境で必要とする追加インスタンスの費用を見込む必要があります。agentgatewayを使用する場合は、複数インスタンス間で制限を共有する必要が生じた段階でのエンタープライズ版の費用を見込む必要があります。

知っておくべき注意点

LiteLLMのバージョンを固定し、イメージを検証してください。LiteLLMでは2026年に2件のサプライチェーン侵害が発生しました。3月24日、悪意のあるPyPIリリース1.82.7および1.82.8に資格情報窃盗コードが含まれていました。10月21日には、侵害されたv1.107.0が約2時間にわたってPyPIおよびDocker Hubに流通し、そのイメージには有効な署名が付与されていました。LiteLLMは詳細なレポートを公開し、署名キーを失効させ、リリースプロセスを変更しましたが、正確なバージョンを固定することは現在の基本的な衛生管理となっています。

LiteLLMのパッチを継続的に適用してください。深刻なSQLインジェクション脆弱性(CVE-2026-42208)がv1.81.16からv1.83.6に影響し、v1.83.7で修正されました。毎週リリースが行われるため、頻繁なアップグレードを計画してください。2026年11月、LiteLLMは1.108ラインで長期サポート(LTS)パイロットも開始しました。

LiteLLMの設定の所有者を明確に決めてください。モデルがデータベースに保存されている場合、管理UIで行われた変更はYAMLファイルを上書きするため、実行中のGatewayとGit上の構成が乖離する可能性があります。

RedisはLiteLLMの速度だけでなく、動作の正確性にも関わります。Redisがない場合、各インスタンスは指定された全体制限ではなく、個別のレート制限を適用します。

agentgatewayは、ドキュメントの記載より1回多くリトライを行います。リトライ設定を「1」にすると、バックオフを追加しない限り、プロバイダー呼び出しが2回実行されます。

agentgatewayのストリームはタイムアウトなしでハングする可能性があります。ストリーミングルートにはresponseIdleTimeout(v1.6.0以降)を設定してください。設定しない場合、ストリームの途中で応答を停止したプロバイダーによって接続が開いたままになります。

LiteLLMを選択すべき場合

  • 費用をかけずに、キャッシング、コストベースルーティング、または最も広範なプロバイダー対応を求める場合。
  • 無料プランで、多数のインスタンスにわたって維持される予算制限やレート制限が必要な場合。
  • チームがPostgresやRedisの運用、およびPythonプラグインの記述に慣れている場合。
  • 大規模なコミュニティとセルフサービスのエンタープライズトライアルを重視する場合。

agentgatewayを選択すべき場合

  • 多数の呼び出しを行うエージェントのように、レイテンシー、メモリ、またはインスタンス数が極めて重要である場合。
  • データベースなしで動作するGatewayを好み、理想的にはKubernetes上でGateway APIを使用したい場合。
  • エンタープライズライセンスなしで、JWT検証およびPIIマスキングが必要な場合。
  • Apache 2.0ライセンスで中立的な財団が管理するプロジェクトを好む場合。

TrueFoundryという選択肢

どちらのオープンソースGatewayも、自社で構築・運用しなければならない部分が残ります。LiteLLMは豊富な機能を提供しますが、Postgres、Redis、パッチ適用、そしてSSOや監査ログのためのエンタープライズライセンスの管理をユーザーに委ねます。agentgatewayは軽量ですが、インスタンス間で共有される機能にはSolo.ioへの支払いが必要であり、キャッシュ機能もありません。TrueFoundry AI Gatewayは、マネージドSaaSとして、あるいはTrueFoundryがコントロールプレーンをホストするVPC内のGatewayとして、さらには自社VPC内、オンプレミス、エアギャップ環境でのセルフホスト構成として動作します。Gatewayポッドはコントロールプレーンからリアルタイムで構成とアクセスルールを受け取り、集約されたレート制限および予算カウンターも一元管理されるため、有料アップグレードなしで複数レプリカ間にわたって制限が適用されます。

1つのOpenAI互換APIを通じて1,000以上のLLMを公開し、同じコントロールプレーンからセルフホストモデルへルーティングし、ツールレベルのアクセス制御や破壊的なツール呼び出し前の人間による承認機能によってLLM、MCP、エージェントのトラフィックをガバナンスします。予算はチーム、モデル、またはプロバイダーアカウント単位で設定でき、SSO、RBAC、監査ロギングが標準で組み込まれています。コスト管理とエージェントガバナンスの両方が必要なためにオープンソースGatewayを比較検討している方は、TrueFoundry AI Gatewayがその両方をどのように処理するかをご確認いただくか、デモをご予約ください。

関連資料

まとめ

LiteLLM vs agentgatewayの選択は、何を最も重視するか(多機能性か、それとも高効率か)に集約されます。LiteLLMは、キャッシングや共有制限を含む最も多くの機能を無料で提供しますが、スタックが重くなり頻繁なパッチ適用が必要となります。agentgatewayは、強力なエージェントおよびMCP制御機能を備えた高速かつ軽量なGatewayを提供しますが、インスタンス間で共有される機能は有料となります。自社でどちらも運用することなく両方のメリットを得たい場合は、TrueFoundryのデモをご予約ください。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 20, 2026
|
5 min read

GPT-6.1 Terra: API、ベンチマーク、料金体系、使い方ガイド

No items found.
11月 20, 2026
|
5 min read

Machine Learningの進化:Savinの歩みを深く掘り下げる

True MLトーク
11月 20, 2026
|
5 min read

CrewAI vs LangGraph: 違いを知る

比較
11月 20, 2026
|
5 min read

すべてのリクエストを評価:Confident AIとTrueFoundry AI Gateway

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour