Agent Gatewayのご紹介: エンタープライズAI Agentのための統合コントロールプレーン

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
AI agentは、多くの組織が予想していたよりも早いスピードでエンタープライズに浸透しつつあります。
チームは、Bedrock、Vertex AI、LangGraph、Google ADK、カスタムHTTPサービス、さらには会社のワークフローに特化して構築された内部agentフレームワークなど、考えられるあらゆるスタックにわたってagentを構築しています。
しかし、agentの構築が容易になった一方で、規模に応じた管理は著しく困難になっています。
問題はもはやagentを作成することではありません。その後に起こるすべての事象が問題なのです。
- agentの所有者は誰か?
- 誰がそれを呼び出すことができるか?
- チームは、新しいagentを構築する前に既存のagentをどのように発見するか?
- セキュリティチームはagent間の通信をどのようにガバナンスするか?
- 自律的なtoolの使用状況をどのように監査するか?
- マルチagentワークフロー全体での障害をどのようにトレースするか?
ほとんどの組織は、これらの質問に対する回答をまだ持っていません。
だからこそ、私たちはTrueFoundry Agent Gatewayを構築しました。
Agent Gatewayとは?
Agent Gatewayは、統合コントロールプレーンであり、組織内のすべてのAI agentに対応します。
agentがどのようなフレームワークで構築されているか、どこで実行されているかにかかわらず、agentを登録、発見、ガバナンス、観測するための単一の層を提供します。
Bedrock上で実行されているagentは、LangGraph上で構築されたagentと並んで存在できます。カスタムHTTP agentは、TrueFoundryネイティブのagentと同居できます。すべてが、中央集権的なガバナンス、可観測性(observability)、アクセス制御を備えた1つの共有レジストリ内に表示されます。
目標はシンプルです。エンタープライズは、導入するagentフレームワークごとに個別の運用インフラストラクチャを必要とすべきではありません。
Agent Gatewayにagentが登録されると、すぐに以下の状態になります:
- 組織全体で発見可能(discoverable)になる、
- 中央集権的なRBACを通じてアクセス可能になる、
- 統合されたメトリクスとトレースを通じて観測可能(observable)になる、
- 一貫したポリシー層を通じてガバナンス可能になる。
チームやクラウド間で分散していたagentのデプロイメントの代わりに、組織はagentエコシステム全体に対して単一の運用サーフェスを得ることができます。
Agent Gatewayの重要なアーキテクチャの柱を深掘りする7パートのシリーズであるAgent Gatewayシリーズもあわせてご覧ください。
モデルインフラストラクチャからAgentインフラストラクチャへの移行
エンタープライズAIインフラストラクチャの第1波は、モデルに焦点を当てていました。
リクエストのルーティング、APIキーの管理、トークン使用量の追跡、フォールバックの処理などです。
しかし、agentは運用モデルを根本的に変化させます。
agentはもはや単なる隔離された推論コールではありません。toolを呼び出し、状態(state)を保持し、他のagentと協調し、長時間のワークフローを自律的に実行します。複数のagentが社内システムや相互にやり取りを始めると、ガバナンスは飛躍的に複雑になります。
ここで、既存のインフラストラクチャのほとんどが破綻し始めます。
従来のLLM gatewayは、ステートレスなモデルトラフィック向けに構築されていました。agent間の通信をガバナンスしたり、自律的なワークフローを検査したり、tool呼び出しにセキュリティポリシーを適用したりするように設計されてはいませんでした。
Agent Gatewayは、この新しいエージェンティック(agentic)アーキテクチャ専用に構築されています。
すべてのAgentのための単一レジストリ

Agent Gatewayの中心にあるのがAgent Registryです。
レジストリは、組織全体のすべてのagentのための中央カタログとして機能します。
属人化された知識や社内ドキュメントページに頼る代わりに、チームは単一のインターフェースから利用可能なagentを発見できます。これにより、重複作業が減り、シャドーデプロイメントが減少し、チーム間での再利用性が向上します。
レジストリを特に重要なものにしているのは、それがフレームワークに依存しない(framework-agnostic)ことです。
組織は以下を登録できます:
- TrueFoundryネイティブのagent、
- A2A互換のagent、
- BedrockやVertex AI上で実行されているagent、
- LangGraphアプリケーション、
- または完全にカスタムのHTTPベースのサービス。
基礎となるインフラストラクチャは完全に異なる場合がありますが、運用層は一貫性を保ちます。
マルチAgentの未来のために設計
現在起きている最も大きなアーキテクチャ上の転換の1つは、agent間通信の台頭です。
エンタープライズが相互接続されたagentシステムに向かうにつれて、GoogleのA2A(Agent-to-Agent)プロトコルのような相互運用性標準がますます重要になっています。
Agent Gatewayは、A2A agentを標準でネイティブサポートしています。
これは、エンタープライズのagentワークロードがステートフルで協調的なものになりつつあるため重要です。agentはもはや独立して動作するのではなく、他のagentと連携してシステム全体のワークフローを完了させます。
複数のエンタープライズによる評価において、ネイティブのA2Aサポートはすでに必須要件となっています。RESTのみのgatewayは、これらのワークロードを適切にサポートできないため、すぐに除外されることがよくあります。
A2Aと一般的なHTTP agentの両方をサポートすることで、Agent Gatewayは基礎となるagentエコシステムが進化しても、エンタープライズがガバナンスを標準化することを可能にします。
モデル層を超えて拡張されるガバナンス

今日のほとんどのAIガバナンスシステムは、モデルAPIの段階で停止しています。
しかし、エンタープライズのリスクは、その層の上により多く存在しています。
重要な質問は、もはや単に以下ではありません:
「どのモデルが呼び出されたか?」
次のような質問です:
- どのagentがこのワークフローを開始したか?
- ダウンストリームのどのagentと通信したか?
- どのtoolを呼び出したか?
- システム間でどのようなデータが移動したか?
- それらのアクションをトリガーする権限を持っていたのは誰か?
Agent Gatewayは、agent層自体にガバナンスを導入します。
組織は、登録されたすべてのagentに対して、RBAC、ガードレール、監査ログ、ポリシー適用を一貫して適用できます。
これにはMCP対応のtoolアクセスに対するガバナンスが含まれており、セキュリティポリシーをユーザーのトラフィックだけでなく、自律的なtool呼び出しにも直接適用できるようになります。
規制の厳しい業界にとって、これは特に極めて重要になります。多くのエンタープライズは、ユーザーのアクションだけでなく、自律的なagentの動作に対しても監査可能性(auditability)を必要としています。
ワークフロー全体にわたる統合された可観測性(Observability)

agentのデバッグは、単純な推論コールのデバッグよりも根本的に困難です。
障害は、複数のモデル呼び出し、toolコール、外部API、またはダウンストリームのagentにわたって発生する可能性があります。中央集権的な可視性がなければ、問題のトレースはほぼ不可能になります。
Agent Gatewayは、実行チェーン全体にわたって統合された可観測性(observability)を提供します。
チームは以下を検査できます:
- リクエストトレース、
- レイテンシ分布、
- エラー率、
- 使用量メトリクス、
- および完全なA2A JSONRPCリクエスト/レスポンスペイロード
単一のモニタリング層から確認できます。
インフラストラクチャスタック全体に散在する孤立したログの代わりに、組織はプロダクション環境でagentがどのように動作しているかについての整合性のあるビューを取得できます。
エンタープライズデプロイメントの現実に合わせて構築
ほとんどのエンタープライズは、単一のクラウドやフレームワークに標準化していません。
また、規制の厳しい組織の多くは、agentが社内システム、MCPサーバー、プライベートデータソースへの安全なアクセスを必要とするため、SaaSのみのagentインフラストラクチャを採用することができません。
Agent Gatewayは、これらの現実を考慮して設計されています。
SaaS、セルフホスト、VPC、およびエアギャップ(air-gapped)デプロイメントをサポートしており、組織は自社のセキュリティ境界内にガバナンスと実行を保持できます。
この柔軟性は、agentが機密性の高い運用ワークフローに近づくにつれて、ますます重要になります。
エンタープライズAIインフラストラクチャの次のレイヤー
業界は急速にモデル中心のシステムからagent中心のシステムへと移行しています。
その移行が進む中で、エンタープライズには単なる推論コールだけでなく、自律型ワークフロー、agent間の協調、および安全なtool実行をガバナンスできるインフラストラクチャが必要です。
Agent Gatewayは、その層となるように設計されています。
フレームワーク、クラウド、ランタイムに関係なく、すべてのエンタープライズagentを大規模に登録、ガバナンス、観測、および安全に運用できる統合コントロールプレーンです。
TrueFoundry Agent Gatewayについての詳細はこちらをご覧ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






