エージェントゲートウェイのご紹介:本番環境のエージェント向け統合制御レイヤー

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
AIエージェントを試しているすべての企業は、同じ壁にぶつかっています。 接続 エージェントとツールを接続するのは簡単ですが、それらのやり取りを大規模に制御、保護、監視することは、今日のインフラではほぼ不可能です。
優れたエージェントを構築できます。
強力なツールを公開できます。
MCPベースまたはA2Aベースのシステムを連携させることができます。
しかし、エージェントが多段階のワークフローをオーケストレーションし始めたり、外部APIを呼び出したり、他のエージェントを生成したり、あるいは時間のかかるタスクをトリガーしたりすると、APIゲートウェイやリバースプロキシでは対応できない問題に突然直面します。
- エージェントが何を呼び出しているのか、どうすれば信頼できますか?
- ツールのアクセスは誰が承認しますか?
- 50個のエージェントが同時に同じツールを使用するとどうなりますか?
- エージェントの推論、ツール呼び出し、結果をエンドツーエンドでどのように追跡すればよいですか?
- ポイズニングや不正なツール応答をどのように防げばよいですか?
- エージェント間のトラフィックが、コンプライアンスに準拠し、認証され、可観測性があり、監査可能であることをどのように保証すればよいですか?
これはAIにおける分散システムの新たな最前線です。
だからこそ、私たちはTruefoundry AI エージェントゲートウェイ が重要になります。
従来のAPIゲートウェイでは不十分な理由
APIゲートウェイは、サービス間のRESTトラフィックのために構築されました。ステートレス、 リクエスト/レスポンス、 コールごとのルーティング。
エージェントシステムは、これらとは対照的です。
1. エージェントはステートフルプロトコル(MCP、A2A、JSON-RPC)を使用します。
これらはセッション、コンテキスト、および長時間実行されるストリームを維持します。RESTゲートウェイでは、セッションIDを追跡したり、マルチエージェントの会話を多重化/逆多重化したりすることはできません。
2. ツールはエージェントにイベントを送信できます。
エージェントはプッシュメッセージ(SSE、ストリーミング更新)を必要とします。リバースプロキシは双方向フローを理解できないため、機能しません。
3. エージェントのワークロードは大規模に「ファンアウト」します。
「〜」のような単一のリクエスト 「顧客リスクを分析できるすべてのツールを見つける」 は、10または20のバックエンドMCPツールサーバーにクエリを実行し、統合された結果を返す必要がある場合があります。これは一般的なゲートウェイでは不可能です。
4. エージェントは動的なエンタイトルメントとガードレールを必要とします。
各エージェントペルソナ(ComplianceAgent、PaymentsAgent、FraudAgent)には異なるアクセススコープが必要です。APIゲートウェイは、機械推論システムに対してツールレベルのRBACを強制できません。
5. エージェントには、メトリクスだけでなくセマンティックレベルでの可観測性が必要です
開発者と監査担当者は、以下の質問に答える必要があります。
- どのツールが呼び出されたか?
- どの推論ステップがトリガーとなったのか?
- どのようなデータがシステムを通過したか?
- ツールからの応答は改ざんされたか?
APIゲートウェイは、単純にこのコンテキストを持っていません。
エージェントシステムには、新しいカテゴリのインフラが必要です。
ステートフルで、プロトコルとLLMを認識するゲートウェイ。
それこそがTruefoundryが構築したものです
エージェントシステムのコントロールプレーン:

Truefoundryのエージェントゲートウェイ AIゲートウェイに組み込まれた、エージェント、ツール、LLMの間に位置するドロップイン型のエンタープライズグレードのデータプレーンです。
その使命はシンプルでありながら強力です。
すべてのエージェントをすべてのツールに、エージェントのフレームワークや環境に関わらず、安全に、可観測に、そして予測可能に接続します。この基盤が実現するのは マルチエージェントMCP デプロイメントにおいて、数十、あるいは数百のエージェントが共有ツールと統制されたプロトコルフローを通じて連携し、運用上の混乱を生じさせません。
それは、あらゆるエージェント間通信のつなぎ役となります。
- エージェント → ツール
- エージェント → エージェント
- エージェント → LLM
- エージェント → 外部API
- エージェント → 内部システム
例えるなら、 AIエージェント版Istioですが、MCPとA2Aトラフィックの現実に合わせて特別に構築されています。
AIエージェントゲートウェイの3つの役割
1. 接続: エージェントとツール間の普遍的な相互運用性
企業が単一のエージェントフレームワークに標準化することはありません。
Truefoundryはこれを以下の方法で解決します。
- MCPおよびA2Aネイティブ接続
- 既存のREST/OpenAPIツールからMCPツールへの自動変換
- 特定のエージェントが呼び出しを許可されているツールのみを公開するフェデレーテッドツールレジストリ
- プロトコル対応のセッション管理とルーティング
これは一般的なAPIルーティングではなく、エージェントを認識した接続オーケストレーションであり、 最適なAIエージェントゲートウェイ.
2. セキュリティ:ガードレール、認証、認可、ポリシー

ここでTruefoundryが不可欠となるのは、 エージェント型AIのセキュリティです。.
提供される機能は以下の通りです。
- エージェントごと、ツールごとの権限
- 誰が何を呼び出せるかに対する厳格なポリシー適用
- ツールポイズニング/シャドーイング攻撃からの保護
- LOBセグメンテーションのためのマルチテナンシー
- エンタープライズID(OIDC、OAuth、JWT、ワークロードID)への対応
エージェントが制御されていない方法でツールを「発見」することは許されません。
Truefoundryは以下を保証します。
- 適切なエージェントが適切なツールを認識すること
- すべての呼び出しが認証されること
- すべての応答が信頼されること
- すべてのインタラクションが監査可能であること
これは、AIエージェントが本番環境に移行する前に企業が要求するものです。
3. 監視と制御:エージェント型ワークフローのライフサイクル全体の可視性
全体で稼働するエージェントシステムは 最高のAIエージェントプラットフォーム 動的で予測不可能です。
見えないものは管理できません。

Truefoundryが提供するもの:
- エージェント → ツール → エージェント間のインタラクションのエンドツーエンド追跡
- MCP/A2Aストリーム全体にわたるセッションの内部検査
- エージェント間のトポロジー可視化
- デバッグのためのリプレイ機能
- レイテンシー、エラー率、リトライ、タイムアウトの組み込み機能
- セーフティフィルターとランタイムポリシーの適用
この可観測性レイヤーは、以下の基盤となります:
- コンプライアンス
- 監査
- パフォーマンス最適化
- 開発者によるデバッグ
- エージェントの評価と信頼性テスト
開発者にとって、それはエージェントシステムの「頭の中」をステップバイステップで覗き見ているような感覚です。

Truefoundryのアーキテクチャが機能する理由
Truefoundryは、用途変更されたプロキシではなく、ステートフルなRustベースのデータプレーンとしてゲートウェイを構築しました。
それにはいくつかの理由があります。
1. 高スループット + メモリ安全性 = 大規模での信頼性
エージェントゲートウェイは 数千もの同時ツールセッションを維持します。。
Rustの非同期ランタイムは、予測可能なメモリ使用量を可能にし、同時に多くの種類のセキュリティ脆弱性を排除します。
2. ステートフル多重化
Truefoundryは以下を追跡します。
- セッション
- ツール機能
- MCPプロトコルバージョン
- 処理中のリクエスト
- エージェントID
- アクセススコープ
これにより、1つのエージェントリクエストを複数のバックエンドツールに分散させ、その結果を正確に再構成することが可能になります。
3. 双方向メッセージ処理
MCP/A2Aはサーバーからのメッセージに対応しています。
Truefoundryは、分散システム全体にわたっても、これらを適切なエージェントセッションに正しくルーティングします。
4. プロトコルインテリジェンス
ゲートウェイは以下を深く理解しています。
- JSON-RPC
- MCPセマンティクス
- A2Aタスク委譲パターン
- ツールメタデータ
- プロトコルアップグレードネゴシエーション
これにより、ゲートウェイは 将来にわたって通用する エージェントプロトコルが進化しても対応できます。

開発者にとっての意味
開発者は以下を得られます。
- 1つの接続 → すべてのツールへのアクセス
- すべてのツールに対してカスタムアダプターを構築する必要はありません
- REST APIをMCPツールに自動変換
- 組み込みのリトライ、バックオフ、タイムアウト
- デバッグ用の完全なトレースログ
- グルーコードやラッパーの記述は不要です
Truefoundryは、開発者がエージェントシステム構築時に現在負担している「インフラ税」の70%を削減します。
経営層にとっての意味
経営層が得られるもの:
1. セキュリティとガバナンスが組み込まれています
制御不能なエージェントの動作は発生しません。
不透明なブラックボックスはありません。
2. より迅速な本番稼働
エンジニアリングチームは、セッションルーティング、認証、トレーシング、ガバナンスをゼロから再構築する必要がありません。
3. 全社的な標準化
各事業部門は、マルチテナンシーときめ細やかな制御により、エージェントを安全に導入できます。
4. 運用リスクの低減
Truefoundryは、企業を以下から保護するガードレール層となります。
- データ漏洩
- 安全でないエージェントの動作
- 不正なツールの動作
- コンプライアンス違反
5. AIシステム向けの拡張可能な運用モデル
このゲートウェイは、銀行や企業全体で連携する何百ものエージェントの基盤となります。
エージェントゲートウェイがAI時代の「APIゲートウェイ」となる理由
マイクロサービスが爆発的に普及した際にAPIゲートウェイが不可欠になったのと同様に、企業が以下を展開するにつれてAIエージェントゲートウェイが基盤となります。
- AI SREエージェント
- AI QAエージェント
- AIデータキュレーションエージェント
- AI決済オーケストレーションエージェント
- AIカスタマーサービスエージェント
- 組織全体にわたるマルチエージェントワークフロー
エージェント間およびエージェントとツール間の接続性は、新たな「サービスメッシュ」問題です。Truefoundryは、専用に構築された、セキュアで、統制され、ステートフルなゲートウェイによってこれを解決します。
戦略的な要点
AIエージェントは、飛躍的なスピード、自律性、そして知能をもたらします。
しかし、セキュアで、可観測性があり、ポリシーが適用された適切な通信という連携基盤がなければ、それらはプロトタイプのままです。
TruefoundryのAIエージェントゲートウェイ は、エージェントシステムを 実験段階 からエンタープライズプラットフォームへと変革する、欠けていたレイヤーです。
それは、大規模なAIエージェントに秩序、信頼、信頼性、そしてガバナンスをもたらすコントロールプレーンです。
そして今回初めて、企業はミッションクリティカルなマイクロサービスを運用するのと同じ安心感で、エージェントアプリケーションを運用できるようになります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
The fastest way to build, govern and scale your AI
















.webp)




.png)








.webp)
.webp)








