LiteLLM vs agentgateway: 2つのオープンソースAI Gatewayの比較
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
LiteLLM vs agentgatewayは、一見すると互角の戦いに見えます。どちらもオープンソースでセルフホスト可能であり、多数のモデルプロバイダーの前にOpenAI互換のエンドポイントを配置します。そして現在では、モデル呼び出しだけでなく、MCPツール呼び出しやエージェント間(A2A)のトラフィックも処理できます。ただし、両者の生い立ちは大きく異なります。LiteLLMはBerriAIによるPythonプロキシで、人気のあるSDKから発展したものであり、このカテゴリーで最も多くの機能と最大のコミュニティを誇ります。agentgatewayは、Solo.ioがゼロから構築し、Linux Foundationに寄贈したRustプロキシであり、よりコンパクトで高速、焦点を絞った設計となっています。LiteLLMの代替手段を検討している場合、agentgatewayはエージェント機能においてLiteLLMに対抗できる数少ない選択肢の1つです。
TrueFoundryでは両方を実際に稼働させました。当社のチームは、オープンソースのagentgatewayビルド(v1.5.0。主な検証結果はv1.6.0で再確認)を実機でテストし、同じベンチマーク環境でLiteLLMを実行しました。その後、本記事の記述内容を、2026年11月時点の最新リリース(agentgateway v1.7.0、LiteLLM v1.106.6)のドキュメントと照合・確認しました。
LiteLLM: 概要
LiteLLMは、Y Combinatorファミリー企業であるBerriAI内部で開発が始まり、2023年8月にオープンソース化されました。多くの場合、最初はPython SDKとして導入され、その後共有GatewayとしてLiteLLMプロキシを運用する形が取られます。現在、GitHubのスター数は61,000を超え、Netflix、Okta、NVIDIAなどのパブリックユーザーを抱えています。ドキュメントには100以上のプロバイダーが記載されており(ホームページでは140以上と表記)、商用APIと並行してvLLMやOllamaのようなセルフホストモデルにもルーティングできます。
無料版でも多くの機能をカバーしています。仮想キー、キー/ユーザー/チーム/組織/エンドユーザー/タグレベルでの予算設定とレート制限、完全一致およびセマンティックキャッシング、6種類のルーティング戦略、フォールバック、Prometheusメトリクス、そして多数のロギング連携が用意されています。LiteLLM MCP gatewayは、個々のツールやそのパラメータ単位までアクセスを制限でき、v1.80.8からはA2AエージェントGateway機能も提供されています。
コストは運用面で発生します。このプロキシはPython (FastAPI) アプリケーションであり、キー、管理UI、利用額トラッキングのためにPostgresを必要とします。また、複数インスタンスを運用する場合はRedisが必要となります。LiteLLMはホットパスをRustへ移行中であり、ホームページではRust Gatewayがアピールされていますが、ドキュメントではRustコアはまだ一部のルートをカバーするベータ版とされており、完全なAnthropic Messagesパスの対応は2026年12月を目標としています。5ユーザーを超えるSSO、SCIM、監査ログ、ワークロード向けJWT認証などのエンタープライズ機能には、有料ライセンスが必要です。
agentgateway: 概要
agentgatewayは、Solo.ioが旧製品のGloo AI Gatewayを置き換えるために、EnvoyベースではなくRustでゼロから構築した製品です。Apache 2.0ライセンスで、Linux Foundation傘下のAgentic AI Foundationによってホストされており、Solo.ioはSolo Enterprise for agentgatewayという有料版を販売しています。単一のバイナリ(1つのYAMLファイルを読み込む)、コンテナ、または独自のコントローラーを備えたKubernetes上で動作し、Gateway APIを実装しています。トラフィックのルーティングにデータベースは不要です。当社のテスト環境では、コールドスタートから11秒未満でリクエストの処理を開始し、アイドル時のメモリ使用量は約18 MBでした。
LLM呼び出し、MCPトラフィック、A2A呼び出しを単一のポリシーモデルで制御します。MCP認可は本製品の最も強力な機能であり、CELルールによって各呼び出し元が使用できるツールを決定し、Gatewayがツールリストをフィルタリングするため、エージェントには呼び出しを許可されたツールのみが表示されます。無料版でも、IDプロバイダーに対するJWT検証、キーごとのモデル制限、スタンドアロンビルドにおけるキーごとの予算強制、およびプロンプトがプロバイダーに到達する前の電子メールアドレスやカード番号などの機密データのマスキングが可能です。フリート全体のレート制限、共有予算リソース、コスト管理UIはエンタープライズ機能となっています。詳細は当社のagentgatewayレビューで解説しています。
直接対決の比較
LiteLLMの列は、LiteLLMのドキュメントおよび当社によるベンチマーク結果を反映しています。agentgatewayの列は、当社の実機テストおよびv1.7.0に関するSolo.ioのドキュメントを反映しています。どちらも2026年11月に検証を行いました。
LiteLLMが優れている点
レスポンスをキャッシュできる点です。完全一致キャッシュおよびセマンティックキャッシュが無料で利用でき、Redis、Valkey、Qdrant、S3などのバックエンドをサポートしています。agentgatewayには組み込みのレスポンスキャッシュがないため、サポートボットのような反復的なワークロードでは、自身でキャッシュを追加しない限り、すべてのリクエストで全額の利用料が発生します。
機能リストがほぼすべての領域でより豊富です。LiteLLMはagentgatewayよりも多くのプロバイダー、ルーティング戦略(コストベースやレイテンシーベースのルーティングを含む)、予算スコープ、オブザーバビリティ連携をサポートしています。このカテゴリに存在する機能であれば、LiteLLMにはおそらくその設定が存在します。
制限を無料で複数インスタンス間に適用できます。LiteLLMはステートをPostgresとRedisで保持するため、有料プランを契約しなくても、すべてのレプリカにわたって予算やレート制限が適用されます。agentgatewayの無料制御機能は単一インスタンス内に限定されます。
MCPの権限設定がより詳細です。LiteLLMでは、ツールを許可しつつ特定のパラメータをブロックすることができ、6つのアイデンティティレベルにわたって権限を重ね合わせることができます。agentgatewayのルールはツール単位で機能します。
コミュニティがより大規模です。61,000以上のスター、毎週のリリース、著名なユーザー企業が存在するため、遭遇する問題のほとんどはすでに誰かが解決しています。また、営業担当者と話すことなく30日間のEnterprise試用キーを取得できますが、Solo.ioはこれを提供していません。
agentgatewayが優れている点
圧倒的に高速で軽量です。同じ1 vCPUのテスト環境において、agentgatewayが追加したレイテンシーはリクエストあたり約2〜5 msでしたが、LiteLLMは低負荷時でも12〜15 msを追加し、50 req/sに達するかなり前の段階でキューイングを開始しました。agentgatewayのアイドル時のメモリ使用量は約18 MBですが、LiteLLMは10 req/sで約1.2 GBを使用しました。
運用に必要なコンポーネントが少なくて済みます。単一のバイナリのみで、データベースもRedisも不要で、機能するGatewayとして十分稼働します。LiteLLMの本番環境セットアップには、ロードバランサー、Postgres、Redis、シークレットストアが必要となり、これは一般的なクラウド構成ではあるものの、単一コンテナと比較するとかなりの運用コストになります。
より多くのセキュリティ制御が無料で提供されます。IDプロバイダーに対するJWT検証やPIIマスキングがオープンソースビルドに含まれています。LiteLLMでは、JWT認証やチームごとのガードレール機能にはEnterpriseライセンスが必要です。
中立的な財団に所属するプロジェクトです。agentgatewayのコードはLinux Foundationのプロジェクト傘下でApache 2.0としてライセンスされているため、単一企業の意向に左右されません。LiteLLMはMITライセンスですが、メンテナーのほとんどはBerriAIのスタッフであり、エンタープライズフォルダはプロプライエタリです。
Kubernetesにネイティブに適合します。agentgatewayは独自のコントローラーとCRDを備えてGateway APIを実装しているため、ルーティング構成は他のクラスターリソースと同様に記述できます。LiteLLMはHelmチャートを提供していますが、オペレーターやCRDは提供していません。
パフォーマンス
両方のGatewayを同じ検証環境で実行しました。1 vCPUおよび2 GBに制限された1つのコンテナ、固定50 msレスポンスを返すローカルモックプロバイダーを使用し、すべての測定値はモックへの直接呼び出しと比較しました。なお、LiteLLMにとって公平を期すための補足として、ドキュメントでは本番インスタンスのサイズを4 vCPU / 8 GBと推奨しているため、1 vCPUはPythonプロキシにとって厳しい条件となります。
両ベンダーとも独自の測定結果を公開しています。LiteLLMのベンチマークページでは、4つの4 vCPUインスタンス全体で、8 msのp95オーバーヘッドにて1,170 req/sを記録したと報告しています。Solo.ioは、3,000 req/sの固定負荷において、p99の遅延が30.6 msに対して0.44 ms、メモリ使用量が11.7 GiBに対して13 MiBであったとするLiteLLMとの直接比較ベンチマークを公開しています。これらはモックバックエンドに対してベンダーが実施したテストであるため、絶対的な証明としてではなく傾向として捉えてください。当社の測定結果も同様の傾向を示しています。
このパフォーマンス差は重要でしょうか?毎秒数回のリクエストしか処理しないチャットアプリの場合、モデル呼び出し自体に数百ミリ秒かかるため、Gatewayによる10 msの遅延は問題にならないかもしれません。しかし、ループ内で多数の呼び出しを行うエージェントを運用する場合や、LiteLLMで同じ負荷を処理するために必要な追加インスタンスのコストを支払う場合には、大きな違いとなります。
価格設定
どちらもセルフホストは無料です。LiteLLMのオープンソース版には使用上限がありません。5ユーザーを超える管理者のSSO、SCIM、監査ログ、JWT認証、チームごとのガードレール、または管理者とワーカーの分離が必要になった段階で有料となります。LiteLLM Enterpriseは、Gatewayのリクエストボリュームに基づいた年間契約であり、公表価格はなく、即時発行されるキーで30日間のトライアルを開始できます。
agentgatewayの無料版は、単一インスタンスでのキーごとの予算設定、PIIマスキング、JWT検証、MCP認可をカバーしています。Solo Enterprise for agentgatewayでは、フリート全体のレート制限、共有予算リソース、コスト管理UI、On-Behalf-Ofアイデンティティ、FIPS対応ビルド、およびサポートが追加されます。こちらも営業経由での価格設定となり、セルフサービスのトライアルはありません。詳細は当社のSolo AI gatewayの価格破壊に関する分析をご覧ください。
多くのケースにおいて、ライセンス費用よりも運用コストの方が大きくなります。LiteLLMを使用する場合は、マネージドPostgresおよびRedisの費用と、Pythonプロキシが大規模環境で必要とする追加インスタンスの費用を見込む必要があります。agentgatewayを使用する場合は、複数インスタンス間で制限を共有する必要が生じた段階でのエンタープライズ版の費用を見込む必要があります。
知っておくべき注意点
LiteLLMのバージョンを固定し、イメージを検証してください。LiteLLMでは2026年に2件のサプライチェーン侵害が発生しました。3月24日、悪意のあるPyPIリリース1.82.7および1.82.8に資格情報窃盗コードが含まれていました。10月21日には、侵害されたv1.107.0が約2時間にわたってPyPIおよびDocker Hubに流通し、そのイメージには有効な署名が付与されていました。LiteLLMは詳細なレポートを公開し、署名キーを失効させ、リリースプロセスを変更しましたが、正確なバージョンを固定することは現在の基本的な衛生管理となっています。
LiteLLMのパッチを継続的に適用してください。深刻なSQLインジェクション脆弱性(CVE-2026-42208)がv1.81.16からv1.83.6に影響し、v1.83.7で修正されました。毎週リリースが行われるため、頻繁なアップグレードを計画してください。2026年11月、LiteLLMは1.108ラインで長期サポート(LTS)パイロットも開始しました。
LiteLLMの設定の所有者を明確に決めてください。モデルがデータベースに保存されている場合、管理UIで行われた変更はYAMLファイルを上書きするため、実行中のGatewayとGit上の構成が乖離する可能性があります。
RedisはLiteLLMの速度だけでなく、動作の正確性にも関わります。Redisがない場合、各インスタンスは指定された全体制限ではなく、個別のレート制限を適用します。
agentgatewayは、ドキュメントの記載より1回多くリトライを行います。リトライ設定を「1」にすると、バックオフを追加しない限り、プロバイダー呼び出しが2回実行されます。
agentgatewayのストリームはタイムアウトなしでハングする可能性があります。ストリーミングルートにはresponseIdleTimeout(v1.6.0以降)を設定してください。設定しない場合、ストリームの途中で応答を停止したプロバイダーによって接続が開いたままになります。
LiteLLMを選択すべき場合
- 費用をかけずに、キャッシング、コストベースルーティング、または最も広範なプロバイダー対応を求める場合。
- 無料プランで、多数のインスタンスにわたって維持される予算制限やレート制限が必要な場合。
- チームがPostgresやRedisの運用、およびPythonプラグインの記述に慣れている場合。
- 大規模なコミュニティとセルフサービスのエンタープライズトライアルを重視する場合。
agentgatewayを選択すべき場合
- 多数の呼び出しを行うエージェントのように、レイテンシー、メモリ、またはインスタンス数が極めて重要である場合。
- データベースなしで動作するGatewayを好み、理想的にはKubernetes上でGateway APIを使用したい場合。
- エンタープライズライセンスなしで、JWT検証およびPIIマスキングが必要な場合。
- Apache 2.0ライセンスで中立的な財団が管理するプロジェクトを好む場合。
TrueFoundryという選択肢
どちらのオープンソースGatewayも、自社で構築・運用しなければならない部分が残ります。LiteLLMは豊富な機能を提供しますが、Postgres、Redis、パッチ適用、そしてSSOや監査ログのためのエンタープライズライセンスの管理をユーザーに委ねます。agentgatewayは軽量ですが、インスタンス間で共有される機能にはSolo.ioへの支払いが必要であり、キャッシュ機能もありません。TrueFoundry AI Gatewayは、マネージドSaaSとして、あるいはTrueFoundryがコントロールプレーンをホストするVPC内のGatewayとして、さらには自社VPC内、オンプレミス、エアギャップ環境でのセルフホスト構成として動作します。Gatewayポッドはコントロールプレーンからリアルタイムで構成とアクセスルールを受け取り、集約されたレート制限および予算カウンターも一元管理されるため、有料アップグレードなしで複数レプリカ間にわたって制限が適用されます。
1つのOpenAI互換APIを通じて1,000以上のLLMを公開し、同じコントロールプレーンからセルフホストモデルへルーティングし、ツールレベルのアクセス制御や破壊的なツール呼び出し前の人間による承認機能によってLLM、MCP、エージェントのトラフィックをガバナンスします。予算はチーム、モデル、またはプロバイダーアカウント単位で設定でき、SSO、RBAC、監査ロギングが標準で組み込まれています。コスト管理とエージェントガバナンスの両方が必要なためにオープンソースGatewayを比較検討している方は、TrueFoundry AI Gatewayがその両方をどのように処理するかをご確認いただくか、デモをご予約ください。
関連資料
- agentgateway(旧Gloo AI Gateway)の率直なレビュー
- LiteLLMの代替手段
- Solo AI gatewayの価格設定:詳細な分析
- Solo.ioの競合と代替手段
- 優れたMCP Gatewayの比較
- LLM Gatewayとは何か?
まとめ
LiteLLM vs agentgatewayの選択は、何を最も重視するか(多機能性か、それとも高効率か)に集約されます。LiteLLMは、キャッシングや共有制限を含む最も多くの機能を無料で提供しますが、スタックが重くなり頻繁なパッチ適用が必要となります。agentgatewayは、強力なエージェントおよびMCP制御機能を備えた高速かつ軽量なGatewayを提供しますが、インスタンス間で共有される機能は有料となります。自社でどちらも運用することなく両方のメリットを得たい場合は、TrueFoundryのデモをご予約ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















