Envoy AI Gateway（現 Agent Router）：正直なレビュー

1段落でわかる名称変更

「Envoy AI Gateway」を検索してここにたどり着いた方：正しい場所にいます。製品は引き続き存在しています。現在は Agent Router という名称になり、theagentrouter.ai で公開されており、CNCF 傘下の Envoy サブプロジェクトではなく、Agentic AI Foundation（LF Projects, LLC のシリーズ）のスタンドアロンプロジェクトとなっています。アナウンスは 2026年9月9日付で、移行は翌日に完了しました。

技術的な不具合は一切発生していません。ネームスペースは envoy-ai-gateway-system のまま、API グループは aigateway.envoyproxy.io のまま、CLI は aigw のまま、ライセンスは Apache 2.0 のままです。リポジトリ内のマニフェストは機能し続けます。変更されたのは、ガバナンスの本拠地、ドキュメントのドメイン、リポジトリパス、そして名称です。本稿ではこれ以降「Agent Router」を使用します。

Agent Router の実態

Agent Router は、Envoy に LLM を理解させるための Envoy Gateway 上の付加レイヤー（フォークではありません）です。このカテゴリーの中で最も明確なワンライナーとして、自身を次のように表現しています：「Agent Router が設定し、Envoy がトラフィックを処理する。」

メンテナは 1.0 のアナウンスによると、Tetrate、Bloomberg、Tencent、Netflix、AMD、Nutanix の出身者で構成されています。Tetrate は商用ドライバーであり、ホスト型サービスとセルフマネージド型エンタープライズ製品の両方をその上で運用しています。週次のコミュニティミーティング、公開デザインプロポーザル、Discord が存在します。

バージョン履歴

四半期に約1回のマイナーリリースという、健全なペースで開発が進んでいます。v1.0 には、当プロジェクトのドキュメントの中で最も力強い一文が含まれています：

「重大なセキュリティ問題がない限り API を破綻させることはありません。また、やむを得ず破綻させる場合は、常にリリースノートで移行パスを提供します。」

これは明文化された本物のコミットメントであり、商業系 Gateway の多くが文書化する以上の約束です。

アーキテクチャ

Agent Router はコントロールプレーンとデータプレーンに明確に分かれています。

コントロールプレーン： Kubernetes API Server が設定インターフェースとなります。AI Gateway Controller が AI 特有のリソースを管理し、Envoy Gateway 拡張サーバーの仕組みを通じて xDS を微調整することで External Processor を設定します。Envoy Gateway Controller はコアプロキシ設定を処理します。

データプレーン： Envoy Proxy、AI 特有の変換と検証を行う External Processor（ext-proc）、およびトークンベースの制限を行う Rate Limit Service で構成されます。MCP Gateway は Agent Router サイドカー内の軽量プロキシです。

5つの CRD はすべて v1beta1 で提供され、1.0 の安定性保証の対象となっています：AIGatewayRoute（LLM トラフィックのルーティングとバックエンドの選択）、AIServiceBackend（アップストリームプロバイダーまたはセルフホストモデルの宣言）、BackendSecurityPolicy（アップストリーム認証情報の集約）、GatewayConfig（Gateway レベルの設定）、MCPRoute（MCP マルチプレクシング、ツールフィルタリング、認可）。

設定は kubectl で適用される YAML です。ドキュメント化されているフィールド名は構造の雰囲気を伝えています — モデルの仮想化を行うバックエンド上の modelNameOverride、リクエストごとのアップストリーム認証情報を行う credentialOverride、境界付きストリーミング待機を行う streamIdleTimeout、そして MCPRoute 上の設定項目などがあります：

また、バージョンマトリックスの管理も必要となります。v1.1.0 のベースラインは、Go 1.26.4、Envoy Gateway v1.8.1、Envoy Proxy v1.38.1、Gateway API v1.5.1、Inference Extension v1.0.2、MCP Go SDK v1.7.0 です。Envoy Gateway のアップグレードが依存関係となります。

[SCREENSHOT: Agent Router — コントロールプレーン（AI Gateway Controller + Envoy Gateway Controller）とデータプレーン（Envoy Proxy + External Processor + Rate Limit Service）を示すドキュメントサイトのアーキテクチャ図]

ドキュメントに記載された機能一覧

プロバイダー — デフォルトで 16 種に対応： OpenAI、Azure OpenAI、Gemini、Vertex AI、Bedrock、Anthropic、Mistral、Cohere、Groq、Together AI、DeepInfra、DeepSeek、Hunyuan、SambaNova、Grok、Tetrate Agent Router Service。セルフホストの vLLM および Ollama には CLI からアクセス可能です。

統合 API： OpenAI 互換：chat、completions、embeddings、画像生成、audio、Responses API に加え、Anthropic ネイティブな /anthropic/v1/messages に対応。プロバイダー間の変換機能により、Anthropic Messages から Bedrock Converse への変換などが可能です。

トラフィック処理： トークンを意識したレート制限。時間ウィンドウを跨いだトークン予算を設定する QuotaPolicy。プロバイダーのフォールバックと自動フェイルオーバー。modelNameOverride によるモデル名の仮想化により、プロバイダーの変更はコードの変更ではなく設定の変更で済みます。ヘッダーとボディのミューテーション。v1.1 ではフェイルオーバー付き streamIdleTimeout が追加され、最初のトークンの前にタイムアウトが発火した場合、リトライにより次のバックエンドへ移動します。

推論ルーティングと認証情報： HTTPRoute + InferencePool および AIGatewayRoute + InferencePool の両方を通じた InferencePool と Endpoint Picker のサポート — 自社で GPU を運用している場合に非常に便利です。BackendSecurityPolicy はアップストリーム認証を集約します：API キー、AWS SigV4、Azure、GCP クラウドネイティブアイデンティティ（Workload Identity および GKE ADC を含む）。

MCP サポートが充実： バックエンドごとにツールの接頭辞が自動付与される単一エンドポイント配下のサーバーマルチプレクシング（github__issue_read）、ツールフィルタリング、MCP 認可仕様に準拠した PKCE 付き OAuth、Last-Event-ID 再接続付きストリーマブル HTTP。最大の特長は JWT クレームと MCP コンテキスト上の CEL を使用した細粒度の認可（request.mcp.method、request.mcp.tool、request.mcp.params、request.auth.jwt）であり、tools/list は呼び出し元が使用を許可されたもののみを返します。この深さに匹敵するプロジェクトは稀です。

オブザーバビリティ： OpenTelemetry GenAI セマンティックコンベンションに従った Prometheus メトリクス（分離された思考トークンの会計機能付き）。OpenInference 互換性を備えた OTel トレース。AI メタデータを含むアクセスログ。v1.1 では gen_ai.* スパン属性と、リポジトリ内のサンプル Grafana ダッシュボードが追加されました。

ガードレールはファーストパーティ機能ではありません： ドキュメントにガードレールのページはありません。Security 機能のページは、主に Envoy Gateway 自体のセキュリティドキュメントへのリンクです。Tetrate の比較表では OSS の行を「guardrail hooks」と記載しており、実際の AI ガードレールはエンタープライズ製品として扱われています。

真の強み

信頼できるプロジェクトには、評価される理由の客観的な説明が必要です。

データプレーンが Envoy であること： Python や Node で書かれた新しいプロキシではなく、大規模な本番トラフィックを既に処理しているプロキシです。データプレーンの運用リスクはこれ以上ないほど低いです。

安定性保証が稀有であること： 文書化された約束と移行パスのコミットメントを備えた、安定運用を約束された v1beta1 コントロールプレーン API は、多くのベンダーが提供するものよりも優れています。

業界を跨いだメンテナ体制： Tetrate、Bloomberg、Netflix、AMD、Nutanix、Tencent のすべてにメンテナが存在します。OSS のバッジをつけた単一ベンダーのプロジェクトではなく、バス係数（bus factor）による本物の保護が存在します。

機能制限されたコミュニティビルドではないこと： Tetrate は明確に述べています：「独自のデータプレーンも、機能制限されたコミュニティビルドも、買い戻させるためにプロジェクトから除外されたものも存在しない。」 エンタープライズ向けの付加価値はフリート管理であり、ゲートされたデータプレーン機能ではありません — 誠実なオープンコアの境界線です。また、プロジェクト全体を通して標準規格ネイティブ（Gateway API、Inference Extension、OTel GenAI コンベンション、OpenInference、MCP）であるため、ロックインされる独自の領域はほとんどありません。

簡単に試せること： Linux または macOS 上で、Kubernetes も Docker も使わずに 1 コマンドで実行可能です：

OPENAI_API_KEY=sk-... aigw run

これにより、localhost:1975 で OpenAI 互換のルーターが立ち上がります。これほど迅速に動作するエンドポイントに到達できるオープンソース AI Gateway プロジェクトはごく少数です。

公表されている採用企業： ホームページには Alan by Comma Soft、Bloomberg、LINEヤフー（LY Corporation）、National Research Platform、Nutanix、Paper Compute Co.、Simplifai、Stacklok、Tencent Cloud、Tetrate、Unwrap が掲載されており、1.0 の記事では最初の3社に指名で感謝が述べられています。数値メトリクスを含む正式な事例研究は見つかりませんでしたが（ロゴと感謝リストは事例研究ではありません）、3つの商用製品がこれをベースに構築されています（Tetrate Agent Router Service and Enterprise、Nutanix Agent Gateway）。これは本番グレードのコードであることの十分な証拠です。

[SCREENSHOT: Agent Router — 公表されている11社の企業ロゴが並ぶホームページの採用企業一覧]

チームが直面する課題

以下の内容はコードを批判するものではありません。オープンソースプロジェクトに含まれていない機能の一覧であり、ドキュメントに記載がないこと、または 2026年9月25日時点で確認された Tetrate の有料版比較表に記載されている内容に基づいています。

1. UI が存在しない： ドキュメントのナビゲーションには管理コンソールのページがありません。モデルのオンボーディング、キーのローテーション、クォータの変更はすべて、GitOps パイプラインを通じた Kubernetes マニフェストで行う必要があります。Tetrate は「The Management Console」をエンタープライズコンポーネントとして販売しています。プラットフォームチームにとっては問題ありませんが、木曜日に新しいモデルを試したい12のアプリケーションチームにとっては、チケットの発行が必要になります。

2. Gateway 管理用のプラットフォーム RBAC や SSO がない： CRD に対する Kubernetes RBAC は、モデル、MCP サーバー、チームに対するロールベースの制御ではありません。データプレーンのリクエスト認証（JWT、OIDC）は Envoy Gateway から提供されますが、これは呼び出し元の認証であり、管理用のアクセス制御ではありません。Tetrate は Okta/Entra/OIDC/SAML を使用した SSO やスコープ付きコンソールをエンタープライズの機能として掲載しています。

3. コスト属性がチャージバックではなくメトリクスにとどまる： トークンメトリクスは Prometheus に送信されます。それを価格カタログ、ショウバック、チャージバックを備えたチームごとの支出に変換する作業（カタログを最新に保つことを含む）は自作する必要があります。Tetrate は素直に認めています：セルフホストの GPU とトークンごとの API が混在する場合、「属性判定で両方を正規化しなければ、財務部門に渡す数字はでたらめなものになる。」

4. 予算がフリート全体ではなく Gateway ごとである： QuotaPolicy は時間ウィンドウを跨いだトークン予算を提供しますが、Tetrate の比較表では OSS の挙動を「Gateway ごと」と定めています。3つのリージョンで Gateway を運用している場合、あるリージョンで拒否されたエージェントが別のリージョンで成功する可能性があります。

5. プロンプトやレスポンスのロギングがない： アクセスログにはモデル名とトークン数が含まれますが、プロンプト/コンプレッションのキャプチャ、保持、検索、リプレイに関するドキュメント化された機能はありません。v0.6 でボディのマスキング（redaction）が追加されました — 開発の方向性はボディの保存ではなく削除に向かっています。

6. ヒューマン・イン・ザ・ループの承認がなく、ガードレールは自前で持ち込む必要がある： MCP 認可はリクエスト時点での許可/拒否のみであり、破滅的なツール呼び出しを承認の後ろに控える仕組みはありません。Tetrate はエージェントのキルスイッチを販売していますが、呼び出しごとの承認ワークフローは存在しません。また、OSS プロジェクトには PII 検知、プロンプトインジェクションフィルタリング、コンテンツモデレーション、シークレットスキャンも含まれていません。

7. 本番環境の前提条件が Kubernetes であること： aigw run はラップトップ向けです。本番環境は、クラスタ、Envoy Gateway、AI Gateway controller、Rate Limit Service の構築を意味します。現在 Gateway API を備えた Kubernetes を運用していない場合、最初のトークンをルーティングする前に相当な規模のプロジェクトが必要になります。

8. 午前3時に責任を負うのは誰か： コミュニティサポートは GitHub、Discord、Slack、月曜日のミーティングです。Tetrate Enterprise は、SLA 付き 24/7 サポート、専任のアカウントチーム、メンテナ制限されたリリースラインでの CVE パッチ適用済みビルド、エアギャップ配信、および最新のモデルカタログを販売しています。彼らの比較表は OSS の列を「自身で保守」と分類しています — このレビュー全体を4文字で表現しています。

構築作業なしでコントロールポイントを導入したいですか？

コスト属性、予算、RBAC を備えた状態で、1,000 以上のモデルへルーティングできます。

無料で始める

自作 vs 購入の明瞭な比較

プラットフォームチームが Envoy Gateway を運用しており、リソースに余力がある場合、右側の列は実行可能なロードマップとなります。そうでない場合、それは意図せず構築することになるプロダクトです。あらゆる自作 vs 購入の決定と同様に、ライセンス料ではなく人月（ headcount-months ）でコストを試算してください。

TrueFoundry の位置付け

Agent Router が悪いプロダクトであるかのように装うつもりはありません。違いはスコープと、運用の負荷を誰が担うかにあります。

TrueFoundry の AI Gateway は同じアーキテクチャ思想に基づいています — モデルおよびツールトラフィックの前に立つ1つのコントロールポイント — ただし周辺プラットフォームが割り当てられるのではなく最初から含まれています。オーバーヘッドはわずか 3-4 ms、1 vCPU で 350+ RPS を処理し、1つの OpenAI 互換 API を通じて 1,000 以上の LLM のフロントに立ちます。

コンソールと、実質的な意味を持つ RBAC： モデルのオンボーディング、キーのローテーション、クォータの変更は監査ログ付きの UI で行われるため、チームはプラットフォームのチケットを発行することなく迅速に動けます。対象となるサブジェクトはユーザー、チーム、仮想アカウント、エージェントです。リソースはプロバイダーアカウント、MCP サーバー、エージェント、クラスタ、ワークスペースに及び、それぞれに独自のロールファミリーが存在します。SCIM を備えた OIDC または SAML 2.0 経由の SSO に対応しています。

財務部門が許容できるコスト属性と予算： テナントおよびチームスコープの予算を備えた Budget Limiting V2 を提供し、サブジェクト、モデル、プロバイダーアカウント、またはメタデータによってスコープを設定可能で、警告専用モードも備えています。コストトラッキングはオープンソースの価格カタログ（github.com/truefoundry/models）を使用してリージョン別・階層別の料金で動作し、属性判定は X-TFY-METADATA を通じて流れます。これは自前で埋めるのに最も時間がかかるギャップです — コスト属性とチーム予算を参照してください。

フックではなくカタログとしてのガードレール： 9つの組み込み機能（シークレット、コードセーフティ、SQL サニタイザー、正規表現、プロンプトインジェクション、PII、コンテンツモデレーション、Cedar、OPA）に加え、17の外部プロバイダーに4つのポイント（LLM 入力、LLM 出力、MCP ツール実行前、MCP ツール実行後）で対応しています。

1つの正直な注意点：コンテンツモデレーション、PII、プロンプトインジェクションのガードレールは、TrueFoundry が Gateway をホストしている場合にのみ機能し、お客様自身のインフラ上では機能しません。それ以外のガードレールはいずれの環境でも機能します。

承認ゲートを備えた MCP ガバナンス： ツールごとの有効化/無効化、読み取り専用および破滅的な操作のアノテーション、名前指定/破滅的操作/すべてのスコープに対応したヒューマン・イン・ザ・ループの承認、アクセス権の期限切れ設定、および Email/Slack/PagerDuty/Teams 通知。Agent Router のドキュメントにはこれに相当するものが存在しません。

2つの追加プロジェクトを必要としないオブザーバビリティとデプロイ： HTTP または gRPC 経由の OTEL トレースとメトリクス、セルフホストの Prometheus スクラッピング、モデル・MCP・ガードレール・キャッシュ・ルーティング用のメトリクス API。12 以上のリージョンと 3 つのクラウドに跨る SaaS として動作するほか、自社の VPC 内、オンプレミス、またはエアギャップ環境でのセルフホストにも対応しています — トラフィックはお客様のインフラ内に留まり、TrueFoundry はライブパスから外れます。

自社のトラフィックで直接比較してみましょう。

1つのワークロードを Gateway に向け、コストとレイテンシーの数値を自身で確認してください。

無料で始める

直接比較

付記：Agent Router の CEL による MCP 認可 は非常に優れており、データプレーンの機能制限がない Apache 2.0 ライセンスは、いかなる商用製品も提供できない永久的な特性です。

関連情報

• LLM Gateway とは何か — カテゴリーの定義
• 2026 年における最高の AI Gateway — より広い分野の比較
• Envoy Proxy の代替手段 — 下層のレイヤーについて
• GenAI インフラストラクチャの総所有コスト（TCO） — 自作列のコスト見積もり
• MCP Gateway とは何か — ツールトラフィックに関する解説

結論

Agent Router（まだ Envoy AI Gateway として認識されているかもしれないプロジェクト）は、オープンソース AI インフラにとって最も素晴らしい成果の1つです。データプレーンは Envoy であり、API は安定しており、メンテナはそれを書面で約束しています。6つの企業が開発を維持しています。MCP 認可モデルは多くの商用同等品を凌駕しています。そして、オープンコアとしての境界線は誠実です。

他の製品を選択する理由は品質ではありません。責任の分担です。Agent Router はルーティングレイヤーを提供します。コンソール、プラットフォーム RBAC、チームごとのコスト属性、フリート全体の予算、プロンプトのログ、承認ワークフロー、ガードレールカタログ、そして午前3時の呼び出し対応はすべて自社の責任となり、これらが作業の大部分を占めます。高度な Kubernetes ケーパビリティとそのスタックを所有するための人員を備えたプラットフォームチームであれば、自前で運用すべきです。それは正当な選択であり、本稿はその選択を否定するものではありません。

それが自社で始めたいプロジェクトでない場合は、構築作業が既に完了している Gateway を購入してください。

最初のワークロードを TrueFoundry 経由でルーティングする

無料から開始可能