Agent Gatewayの導入:本番環境におけるエージェントのための統合制御層

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
AIエージェントの実験を行っているすべての企業が、同じ壁に突き当たっています。エージェントをツールに接続することは簡単ですが、それらの相互作用を大規模に制御、セキュリティ保護、および観測することは、今日のインフラストラクチャではほぼ不可能です。
優れたエージェントを構築することはできます。
強力なツールを公開することもできます。
MCPやA2Aベースのシステムを連携させることもできます。
しかし、エージェントがマルチステップのワークフローのオーケストレーションを開始したり、外部APIを呼び出したり、他のエージェントを生成したり、長時間のタスクを実行したりし始めると、従来のAPI gatewayやリバースプロキシでは処理できるように設計されていない問題が突然発生します。
- エージェントが呼び出しているものをどのように信頼すればよいか?
- ツールのアクセス権限は誰が承認するのか?
- 50のエージェントが同時に同じツールを使用するとどうなるか?
- エージェントの推論、ツール呼び出し、結果をエンドツーエンドでどのように追跡(トレース)するか?
- ポイズニングや不正なツール応答をどのように防ぐか?
- エージェント間トラフィックがコンプライアンスを満たし、認証され、可観測かつ監査可能であることをどのように保証するか?
これが、AIにおける新しい分散システムのフロンティアです。
そしてそれこそが、私たちが Truefoundry AI Agent Gateway をローンチした理由です。
なぜ従来のAPI Gatewayでは不十分なのか
API gatewayは、サービス間のRESTトラフィック(ステートレス、リクエスト/レスポンス、呼び出しごとのルーティング)向けに構築されました。
Agenticシステムはその正反対です。
1. エージェントはステートフルなプロトコル(MCP、A2A、JSON-RPC)を話す
エージェントはセッション、コンテキスト、長時間のストリームを維持します。REST gatewayはセッションアイデンティティを追跡したり、マルチエージェント会話をマルチプレックス/デマルチプレックスしたりすることができません。
2. ツールはエージェントに対してイベントを逆発火できる
エージェントにはプッシュメッセージ(SSE、ストリーミング更新)が必要です。リバースプロキシは双方向フローを理解できないため、正常に機能しません。
3. エージェントのワークロードは大規模に「ファンアウト」する
「顧客リスクを分析できるすべてのツールを見つける」といった単一のリクエストでは、10または20のバックエンドMCPツールサーバーにクエリを送信し、統一された結果を返す必要がありますが、これは商用のgatewayでは不可能です。
4. エージェントには動的な資格情報とガードレールが必要である
各エージェントペルソナ(ComplianceAgent、PaymentsAgent、FraudAgent)には、それぞれ異なるアクセススコープが必要です。API gatewayは、マシン推論システムに対してツールレベルのRBACを適用できません。
5. エージェントには単なるメトリクスだけでなく、セマンティックレベルの可観測性が必要である
開発者や監査人は、以下の質問に答える必要があります。
- どのツールが呼び出されたか?
- どの推論ステップがそれをトリガーしたか?
- システムをどのようなデータが通過したか?
- ツールの応答は改ざんされていないか?
API gatewayには、単純にこのようなコンテキストがありません。
Agenticシステムには、新しいカテゴリーのインフラストラクチャが必要です。
それが、ステートフルで、プロトコルを認識し、LLMを認識するgatewayです。
これこそが、Truefoundryが構築したものです。
Agenticシステムのためのコントロールプレーン:

AI gatewayに組み込まれた TruefoundryのAgent Gateway は、エージェント、ツール、LLMの間に位置するドロップイン可能なエンタープライズグレードのデータプレーンです。
その使命はシンプルですが強力です。
エージェントのフレームワークや環境に関わらず、すべてのエージェントをすべてのツールに、安全かつ可観測で予測可能な方法で接続します。この基盤により、数十あるいは数千のエージェントが共有ツールや管理されたプロトコルフローを通じて協調する Multi agent MCP デプロイメントを、運用上の混乱を引き起こすことなく実現できます。
これは、すべてのAgenticコミュニケーションのための結合組織となります。
- Agent → Tool
- Agent → Agent
- Agent → LLM
- Agent → External APIs
- Agent → Internal Systems
これを AI agents のためのIstioのように考えてみてください。ただし、MCPおよびA2Aトラフィックの実態に合わせて専用設計されています。
AI Agent Gatewayの3つの役割
1. 接続(Connect):エージェントとツールの間でのユニバーサルな相互運用性
企業が単一のエージェントフレームワークのみに標準化することはありません。
Truefoundryは以下を通じてこれを解決します。
- MCPおよびA2Aのネイティブな接続性
- 既存のREST/OpenAPIツールからMCPツールへの自動変換
- 特定の内部エージェントの呼び出しが許可されているツールのみを公開する連携ツールレジストリ
- プロトコルを認識するセッション管理とルーティング
これは一般的なAPIルーティングではなく、最高のagent gatewayに期待される、エージェントを意識した接続オーケストレーションです。
2. セキュリティ保護(Secure):ガードレール、認証、認可、およびポリシー

ここでTruefoundryは、Agentic AI security にとってミッションクリティカルな存在となります。
以下を提供します。
- エージェントごとの、ツールごとのエンタイトルメント(アクセス権限)
- 「誰が何を呼び出せるか」についての厳格なポリシー適用
- ツールのポイズニング/シャドーイング攻撃に対する保護
- 事業部門(LOB)のセグメンテーションのためのマルチテナンシー
- エンタープライズアイデンティティのサポート(OIDC、OAuth、JWT、ワークロードアイデンティティ)
エージェントが制御されていない方法でツールを「発見」することを許可してはなりません。
Truefoundryは以下を保証します。
- 適切なエージェントが適切なツールを参照する
- すべての呼び出しが認証されている
- すべての応答が信頼できる
- すべての相互作用が監査可能である
これこそが、AIエージェントが本番環境に移行する前に企業が求めているものです。
3. 観測と制御(Observe & Control):Agenticワークフローのフルライフサイクル可視性
最高のagentic AIプラットフォーム全体で稼働するAgenticシステムは、動的で予測不能です。
見えないものをガバナンス(統制)することはできません。

Truefoundryは以下を追加します。
- Agent → Tool → Agent の相互作用のエンドツーエンドのトレース
- MCP/A2Aストリーム全体のセッションイントロスペクション
- クロスエージェントのトポロジー可視化
- デバッグ用のリプレイ機能
- 組み込みのレイテンシ、エラー率、リトライ、タイムアウト制御
- セーフティフィルターと実行時ポリシーの注入
この可観測性レイヤーは、以下の基盤となります。
- コンプライアンス
- 監査
- パフォーマンスの最適化
- 開発者のデバッグ
- エージェントの評価と信頼性テスト
開発者にとっては、エージェントシステムの「頭の中」をステップバイステップでのぞき込んでいるかのように感じられます。

Truefoundryのアーキテクチャが機能する理由
Truefoundryは、再利用されたプロキシではなく、ステートフルなRustベースのデータプレーンとしてGatewayを構築しました。
これにはいくつかの重要な理由があります。
1. 高スループット + メモリ安全性 = 大規模環境での高い信頼性
Agent gatewayは、何千もの並行ツールセッションを維持します。
Rustの非同期ランタイムにより、セキュリティ脆弱性のクラス全体を排除しながら、予測可能なメモリ使用量を実現します。
2. ステートフルなマルチプレクシング
Truefoundryは以下を追跡します。
- セッション
- ツールの機能
- MCPプロトコルバージョン
- 処理中のリクエスト
- エージェントアイデンティティ
- アクセススコープ
これにより、1つのエージェントリクエストを多くのバックエンドツールにファンアウトし、結果をきれいに再構築できます。
3. 双方向メッセージ処理
MCP/A2Aは、サーバー開始メッセージをサポートしています。
Truefoundryは、分散システム全体であっても、これらを正しいエージェントセッションに正確にルーティングします。
4. プロトコルインテリジェンス
Gatewayは以下を深く理解しています。
- JSON-RPC
- MCPセマンティクス
- A2Aタスク委任パターン
- ツールメタデータ
- プロトコルアップグレード交渉
これにより、エージェントプロトコルが進化しても、gatewayは将来にわたって対応可能(Future-proof)となります。

開発者にとっての意味
開発者が得られるメリット:
- 1つの接続で → すべてのツールへアクセス
- ツールごとにカスタムアダプターを構築する必要がない
- REST APIからMCPツールへの自動変換
- 組み込みのリトライ、バックオフ、タイムアウト
- デバッグ用のフル・トレース・ログ
- 接着コード(グルーコード)やラッパーの記述からの解放
Truefoundryは、開発者がエージェントシステムを構築する際に現在支払っている「インフラ税」の70%を削減します。
経営リーダーにとっての意味
経営陣が得られるメリット:
1. セキュリティとガバナンスの組み込み
制御不能なエージェントのアクションを排除。
不透明なブラックボックスを排除。
2. 本番環境導入までの時間短縮(Faster time-to-production)
エンジニアリングチームは、セッションルーティング、認証、トレース、ガバナンスを再発明する必要がありません。
3. 全社的な標準化
マルチテナンシーときめ細かな制御により、すべての事業部門が安全にエージェントを採用できます。
4. 運用リスクの低減
Truefoundryは、以下から企業を保護するガードレールレイヤーとなります。
- データ漏洩
- 不安全なエージェントアクション
- 不正なツール挙動
- コンプライアンス違反
5. AIシステムのスケーラブルな運用モデル
Gatewayは、銀行や企業全体で何百ものエージェントが協調して動作するためのバックボーンとなります。
なぜAgent GatewayがAI時代の新しい「API Gateway」になるのか
マイクロサービスが急増したときにAPI gatewayが不可欠になったのと同様に、企業が以下を展開するにつれてAI agent gatewayも不可欠な基盤となります。
- AI SRE エージェント
- AI QA エージェント
- AI データキュレーション エージェント
- AI 決済オーケストレーション エージェント
- AI カスタマーサービス エージェント
- 組織全体にわたるマルチエージェントワークフロー
エージェント間およびエージェント-ツール間の接続性は、新しい「サービスメッシュ」の課題です。Truefoundryは、目的別、安全、ガバナンスが機能した、ステートフルなgatewayでこれを解決します。
戦略的結論
AIエージェントは、飛躍的なスピード、自律性、インテリジェンスを約束します。
しかし、適切な結合組織(安全で、可観測で、ポリシーが適用されたコミュニケーション)がなければ、それらはプロトタイプのままにとどまります。
Truefoundry’s AI Agent Gateway は、Agenticシステムを実験からエンタープライズプラットフォームへと変革する、ミッシングリンク(欠けていたレイヤー)です。
これは、大規模なAIエージェントに秩序、信頼、信頼性、ガバナンスをもたらすコントロールプレーンです。
そして企業は初めて、ミッションクリティカルなマイクロサービスを実行するのと同じ確信を持って、Agenticアプリケーションを実行できるようになります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






