What is an agent gateway?

An agent gateway is the specialized control plane for modern agentic AI. Unlike traditional gateways that only manage stateless API calls, an agent gateway is aware of the machine learning context. It acts as a dedicated software layer that governs agent interactions, managing the complex data movement between LLM models, data sources, and external tools. It serves as the critical AI infrastructure that turns isolated prompts into agentic workflows.

How does an agent gateway work?

Agent Gateway functions as an intelligent reverse proxy specifically for agentic systems. When an agent initiates an action, the gateway intercepts the request, validates it against policy enforcement rules, and routes it to the appropriate backend MCP servers or REST APIs. By utilizing the Model Context Protocol (MCP), it standardizes how agents talk to tools, essentially creating an agent mesh that manages authentication, traffic management, and logging for every MCP-endpoint interaction.

How is an Agent Gateway different from an AI Gateway?

While an AI gateway manages prompts and tokens for Large Language Models (LLMs), an agent gateway serves as the data plane for agentic AI. It goes beyond simple inference to manage complex agent Interactions, stateful sessions, and data movement between agents and tools. Think of it as a service mesh specifically designed for agentic systems. It addresses the key differences in traffic patterns, where AI gateways handle stateless requests, the agent gateway provides a layer of security and orchestration for long-running agentic workflows.

Can I use the Agent Gateway with any agent framework?

Yes. The agent gateway project is a Linux Foundation Project, ensuring open-source governance and compatibility. It acts as a software layer that works with any open-source framework (like LangChain, CrewAI, or AutoGen). This foundation ensures you aren't locked into a specific vendor, allowing you to orchestrate Agentic workloads across diverse AI systems and backend services regardless of the underlying framework.

How does the Agent Gateway handle observability and cost tracking?

The gateway provides deep visibility into the agent mesh. It tracks traffic management not just at the API level, but at the intent level. You get granular metrics on Model Context Protocol (MCP) usage, token consumption across LLM Models, and interaction costs with external tools. This intelligent routing and tracking capability allows you to audit data sources and attribute costs accurately, solving a lot of problems related to "black box" agent behavior in production.

Can I control and audit autonomous agents?

Absolutely. The Agent Gateway enforces RBAC, quotas, and guardrails at the agent level. All agent actions including model calls and tool invocations are logged and auditable, ensuring full traceability for security and compliance needs.

Is the Agent Gateway suitable for regulated or enterprise environments?

Yes. The Agent Gateway is designed for enterprise use cases and supports secure deployments in private VPCs, on-premise environments, and air-gapped setups. It integrates with existing compliance controls and provides centralized governance required for regulated industries.

How can I get started with the TrueFoundry Agent Gateway?

You can get started by signing in to TrueFoundry and deploying your first agent through the Agent Gateway. For teams with advanced or enterprise requirements, you can also book a demo to explore a customized deployment and governance strategy.

What is an MCP Gateway?

An MCP Gateway is a centralized control plane that securely manages access, discovery, and orchestration of MCP Servers across an enterprise. It acts as the operational backbone for agentic AI systems by enabling AI agents and applications to interface with enterprise tools via a standardized protocol. With support for authentication, RBAC, observability, and workflow execution, the MCP Gateway makes connecting and scaling intelligent systems seamless and secure.

What is an MCP Server and how does it work with the MCP Gateway?

An MCP Server (Model Context Protocol Server) is a standardized interface layer that wraps around enterprise APIs or tools, making them easily discoverable and callable by AI agents. When integrated with an MCP Gateway, each MCP Server registers itself, becomes accessible through a unified endpoint, and inherits enterprise-grade features like RBAC, federated authentication (via Okta, Azure AD), and observability—making orchestration across tools like Slack, Jira, or internal APIs effortless.

How do I build and deploy an MCP Server?

You can build an MCP Server using TrueFoundry’s SDK or your preferred backend stack. MCP Servers are containerized and typically deployed on Kubernetes or cloud-native infrastructure. Once live, they register with the MCP Gateway and are made available for secure discovery and task execution via agents or users—streamlining the AI integration pipeline.

What are the key features of an MCP Gateway?

The MCP Gateway provides unified access to all registered MCP Servers, instant discovery via a central registry, and secure access control with OAuth 2.0 and federated identity providers. It enables agentic task execution across tools, offers enterprise-grade observability with request-level tracing and audit logs, supports out-of-the-box and custom integrations (e.g., Slack, Datadog, internal APIs), and ensures high-performance operation across cloud, on-prem, and hybrid environments.

What are the benefits of using an MCP Gateway in enterprise environments?

There are various benefits of using an MCP Gateway in enterprise environments. It dramatically simplifies tool integrations, accelerates onboarding via prebuilt MCP Servers, and unifies security and compliance controls. It enables plug-and-play agentic workflows, supports distributed environments, and provides deep observability for cost and performance. The result is a scalable, secure, and maintainable AI system capable of handling real-time enterprise workloads with minimal engineering effort.

How does the MCP Gateway handle authorization and access control?

Authorization is enforced through Role-Based Access Control (RBAC) policies integrated with enterprise Identity Providers such as Okta or Azure AD. Each MCP Server, endpoint, or tool function can be governed by specific access rules, ensuring only authorized users or agents can trigger actions or retrieve sensitive data.

Can I use my existing SSO or IdP with the MCP Gateway?

Yes, the MCP Gateway and all MCP Servers fully support existing enterprise identity providers. Federated login via Okta, Azure AD, or custom SSO setups is supported out-of-the-box, enabling seamless integration into your organization's existing authentication and compliance stack.

What enterprise tools can I connect using MCP Servers?

You can integrate both standard and proprietary tools. MCP Gateway offers prebuilt MCP Servers for platforms like Slack, Confluence, Datadog, and Sentry. Additionally, you can create custom MCP Servers to connect any internal service, REST API, or data platform—extending orchestration across your unique tech stack.

How does MCP Gateway enable agentic task execution?

Through the MCP Gateway, AI agents can autonomously discover, authenticate, and call MCP Servers. This enables them to execute multi-step workflows (e.g., “create a Jira ticket from Slack messages”), generate and run code, or orchestrate tools—all governed by standardized interactions and enterprise policies.

What kind of observability does the MCP Gateway offer?

The MCP Gateway provides full visibility into every interaction with MCP Servers. It supports end-to-end tracing, metadata tagging (e.g., team, user, tool), and audit logging for compliance. Enterprises can monitor latency, usage, errors, and cost attribution in real-time—ensuring traceability and control across AI workloads.

Is the MCP Gateway secure and scalable for enterprise deployment?

Absolutely. The MCP Gateway is designed for production-grade deployments. It supports federated SSO, OAuth 2.0, dynamic discovery, multi-region failover, and role-based security—all while operating at high throughput under real-time enterprise load. It’s built to power large-scale, AI-first systems with confidence.

Prochain webinaire : La sécurité d'entreprise pour Claude Code | 21 avril · 11 h PST. Inscrivez-vous ici →

Déploiement sécurisé : VPC, sur site, Air-Gapped

Agent Gateway : une couche de contrôle unifiée pour les agents IA en production

Exécution, observabilité et contrôle unifiés pour les agents IA via une passerelle d'agents de niveau entreprise

Inscrivez-vous sur la liste d'attente

Merci ! Votre candidature a été reçue !

Oups ! Une erreur s'est produite lors de l'envoi du formulaire.

Enterprise Agent Gateway pour des flux de travail sécurisés et évolutifs

Contrôle unifié des agents

Gérez tous les agents d'IA via une seule couche d'exécution gouvernée avec des politiques et des contrôles centralisés.

Observabilité des agents

Suivez chaque action, étape et décision de chaque agent grâce à une traçabilité complète entre les modèles et les outils.

Application des politiques et du RBAC

Appliquez un contrôle d'accès et des politiques basés sur les rôles pour déterminer qui peut déployer, exécuter ou modifier des agents.

Exécution des tâches de l'agent

Exécutez les flux de travail des agents en plusieurs étapes de manière fiable avec de nouvelles tentatives, des délais d'attente et des chemins d'exécution contrôlés.

Évolutif et fiable

Adaptez automatiquement la charge de travail des agents tout en maintenant un comportement prévisible en cas de charge.

Framework agnostic

Compatible avec n'importe quel framework d'agent ou implémentation personnalisée, optimisé pour une utilisation en production.

Registre d'agents centralisé

Gérez et gérez des agents d'IA via une passerelle d'agents unique de niveau entreprise.

Exécutez tous les flux de travail des agents via une passerelle d'agent unique au lieu d'intégrer la logique à toutes les applications
Supportez des agents indépendants du framework, notamment LangChain, CrewAI et des implémentations d'agents entièrement personnalisées
Standardisez la façon dont les agents invoquent les LLM et les outils à l'aide de règles de routage, de politiques et d'exécution cohérentes
Centralisez la gestion de l'authentification, de l'identité et des comptes de service pour les agents au niveau de la passerelle

Passerelle d'agents pour AI Agent Registry

Observabilité et traçage des agents

Comprenez le comportement des agents grâce à une observabilité complète au niveau des étapes.

Surveillez la latence des agents, les taux d'erreur, les nouvelles tentatives et les appels d'outils dans tous les flux de travail
Capturez des traces d'exécution de bout en bout couvrant les étapes des agents, les appels de modèles et les interactions entre les outils
Attribuez l'utilisation et le coût des jetons à des agents, des flux de travail, des équipes ou des environnements spécifiques
Inspectez les journaux d'exécution détaillés pour diagnostiquer rapidement les défaillances et les problèmes de performances

Passerelle d'agents pour l'observabilité et le suivi des agents d'IA

Quotas d'agents, budgets et contrôle d'accès

Protégez les budgets, renforcez la gouvernance et réduisez les risques pour les agents autonomes

Appliquez des quotas basés sur des jetons ou des coûts par agent, flux de travail ou environnement
Appliquez le contrôle d'accès basé sur les rôles (RBAC) pour limiter les personnes autorisées à déployer, exécuter ou modifier des agents
Gérez les comptes de service et les agents autonomes à l'aide de règles d'identité et de politique centralisées
Isolez les charges de travail des agents de développement, de préparation et de production grâce à des limites d'accès claires

Passerelle d'agents pour le budget et le contrôle d'accès des agents IA

Exécution fiable des agents, nouvelles tentatives et solutions de repli

Assurez-vous que les flux de travail des agents restent résilients en cas de défaillances réelles.

Réessayez automatiquement les étapes de l'agent qui ont échoué grâce à des politiques de nouvelle tentative configurables
Définissez des chemins de repli pour les appels de modèles ou les exécutions d'outils
Appliquez des délais d'attente et des mesures de protection pour éviter les boucles infinies ou le blocage des agents
Maintenez un comportement cohérent en cas de panne de modèle, de panne d'outil ou de pic de trafic

Configuration de la limite de débit d'agent Gateway pour les agents AI

Exécution d'outils optimisée par MCP pour les agents

Sécurisez et gérez tous les appels aux outils des agents grâce à l'intégration native du MCP.

Acheminez tous les appels à l'outil de l'agent via des serveurs MCP enregistrés
Connectez les agents aux outils d'entreprise tels que Slack, GitHub, les bases de données et les services internes
Appliquez des politiques OAuth2, RBAC et basées sur les métadonnées à chaque appel d'outil
Auditez et enregistrez toutes les actions des outils initiées par l'agent pour des raisons de sécurité et de conformité

Passerelle d'agents pour l'exécution d'outils MCP pour les agents IA

Garde-corps pour agents autonomes

Appliquez des contrôles de sécurité, de conformité et de comportement pour les flux de travail des agents.

Contrôlez les outils et fonctionnalités auxquels chaque agent est autorisé à accéder
Appliquez des politiques de sécurité telles que le filtrage des informations personnelles ou les actions restreintes
Appliquez des garde-corps personnalisés conformes aux exigences de conformité de l'organisation
Conservez des pistes d'audit complètes pour les décisions et les actions des agents

Agent Gateway conçu pour l'IA du monde réel à grande échelle

99,99 %

uptime

Les basculements, le routage et les garde-corps centralisés garantissent que vos applications d'IA restent en ligne, même lorsque les fournisseurs de modèles ne le font pas.

PLUS DE 10 MILLIARDS

Demandes traitées/mois

Inférence évolutive à haut débit pour l'IA de production.

30 %

Optimisation des coûts moyens

Les contrôles intelligents de routage, de traitement par lots et de budget réduisent le gaspillage de jetons.

Passerelle d'agents prête pour les entreprises

Vos données et modèles sont hébergés en toute sécurité au sein de votre infrastructure cloud ou sur site

Conformité et sécurité
Normes SOC 2, HIPAA et GDPR pour garantir une protection robuste des données
Gouvernance et contrôle d'accès
SSO + Contrôle d'accès basé sur les rôles (RBAC) et journalisation des audits
Support et fiabilité pour les entreprises
Assistance 24 h/24 et 7 j/7 avec support SLA SLA de réponse

Déployez TrueFoundry dans n'importe quel environnement

VPC, sur site, en espace isolé ou sur plusieurs clouds.

Aucune donnée ne quitte votre domaine. Profitez d'une souveraineté totale, d'un isolement et d'une conformité de niveau professionnel partout où TrueFoundry fonctionne

Commencez

Des résultats concrets chez TrueFoundry

Pourquoi les entreprises choisissent TrueFoundry

3 fois

rentabilisation plus rapide grâce à des agents LLM autonomes

80 %

utilisation accrue du cluster GPU après optimisation automatique des agents

Aaron Erickson

Fondateur d'Applied AI Lab

TrueFoundry a transformé notre parc de processeurs graphiques en un moteur autonome à optimisation automatique, ce qui nous a permis d'augmenter de 80 % le taux d'utilisation et d'économiser des millions de dollars en temps de calcul inactif.

5x

accélération de la mise en production de la plateforme interne d'IA/ML

50 %

réduire les dépenses liées au cloud après la migration des charges de travail vers TrueFoundry

Pratik Agrawal

Directeur principal de la science des données et de l'innovation en matière d'IA

TrueFoundry nous a aidés à passer de l'expérimentation à la production en un temps record. Ce qui aurait pris plus d'un an a été réalisé en quelques mois, avec une meilleure adoption par les développeurs.

80 %

réduction des délais de production des modèles

35 %

économies sur les coûts liés au cloud par rapport à la configuration précédente de SageMaker

Vibhas Gejji

Ingénieur ML du personnel

Nous avons allégé la charge DevOps et simplifié les déploiements de production entre les équipes. TrueFoundry a accéléré la diffusion du machine learning grâce à une infrastructure qui s'adapte aussi bien aux expériences qu'à des services robustes.

50 %

déploiement plus rapide de la pile RAG/agent

60 %

réduction des frais de maintenance pour les pipelines RAG/agent

Indronel G.

Leader intelligent des processus

TrueFoundry nous a aidés à déployer une pile RAG complète, y compris des pipelines, des bases de données vectorielles, des API et une interface utilisateur, deux fois plus rapidement, tout en contrôlant totalement l'infrastructure auto-hébergée.

60 %

des déploiements d'IA plus rapides

~ 40 à 50 %

Réduction efficace des coûts dans tous les environnements de développement

Nilav Ghosh

Directeur principal, IA

Grâce à TrueFoundry, nous avons réduit les délais de déploiement de plus de moitié et réduit les frais d'infrastructure grâce à une interface MLOps unifiée, ce qui a accéléré la création de valeur.

<2

semaines pour migrer tous les modèles de production

75 %

réduction du temps de coordination de la science des données, accélération des mises à jour des modèles et du déploiement des fonctionnalités

Rajat Bansal

CTO

Nous avons réalisé d'importantes économies sur les coûts d'infrastructure et avons réduit le temps de coordination du DS de 75 %. TrueFoundry a accéléré la vitesse de déploiement de nos modèles au sein des équipes.

Questions fréquemment posées

Qu'est-ce qu'une passerelle pour agents ?

Une passerelle d'agent est le plan de contrôle spécialisé pour l'IA agentique moderne. Contrairement aux passerelles traditionnelles qui gèrent uniquement les appels d'API sans état, une passerelle d'agent est consciente du contexte de l'apprentissage automatique. Il agit comme une couche logicielle dédiée qui régit les interactions entre les agents et gère le mouvement complexe des données entre les modèles LLM, les sources de données et les outils externes. Il s'agit de l'infrastructure d'IA critique qui transforme les demandes isolées en flux de travail agentiques.

Comment fonctionne une passerelle pour agents ?

Agent Gateway fonctionne comme un proxy inverse intelligent spécifiquement pour les systèmes agentic. Lorsqu'un agent lance une action, la passerelle intercepte la demande, la valide par rapport aux règles d'application des politiques et l'achemine vers les serveurs MCP principaux ou les API REST appropriés. En utilisant le protocole MCP (Model Context Protocol), il normalise la façon dont les agents communiquent avec les outils, en créant essentiellement un maillage d'agents qui gère l'authentification, la gestion du trafic et la journalisation pour chaque interaction MCP-Endpoint.

En quoi une passerelle d'agent diffère-t-elle d'une passerelle d'IA ?

Alors qu'une passerelle IA gère les invites et les jetons pour les grands modèles linguistiques (LLM), une passerelle d'agent sert de plan de données pour l'IA agentique. Il va au-delà de la simple inférence pour gérer les interactions complexes entre les agents, les sessions avec état et les mouvements de données entre les agents et les outils. Considérez-le comme un maillage de services spécialement conçu pour les systèmes agentiques. Il aborde les principales différences entre les modèles de trafic : les passerelles IA gèrent les demandes sans état, tandis que la passerelle agent fournit une couche de sécurité et d'orchestration pour les flux de travail agentiques de longue durée.

Puis-je utiliser l'Agent Gateway avec n'importe quel framework d'agent ?

Oui Le projet de passerelle d'agent est un projet de la Linux Foundation, garantissant une gouvernance et une compatibilité open source. Il agit comme une couche logicielle qui fonctionne avec n'importe quel framework open source (comme LangChain, CrewAI ou AutoGen). Cette base garantit que vous n'êtes pas lié à un fournisseur spécifique, ce qui vous permet d'orchestrer les charges de travail Agentic sur divers systèmes d'IA et services backend, quel que soit le framework sous-jacent.

Comment l'Agent Gateway gère-t-il l'observabilité et le suivi des coûts ?

La passerelle fournit une visibilité approfondie sur le maillage des agents. Il suit la gestion du trafic non seulement au niveau de l'API, mais aussi au niveau de l'intention. Vous obtenez des mesures granulaires sur l'utilisation du Model Context Protocol (MCP), la consommation de jetons sur les modèles LLM et les coûts d'interaction avec des outils externes. Cette fonctionnalité intelligente de routage et de suivi vous permet d'auditer les sources de données et d'attribuer les coûts avec précision, résolvant ainsi de nombreux problèmes liés au comportement des agents « boîte noire » en production.

Puis-je contrôler et auditer des agents autonomes ?

Absolument. L'Agent Gateway applique le RBAC, les quotas et les garde-fous au niveau de l'agent. Toutes les actions des agents, y compris les appels de modèles et les appels d'outils, sont enregistrées et vérifiables, garantissant ainsi une traçabilité complète pour les besoins de sécurité et de conformité.

L'Agent Gateway convient-il aux environnements réglementés ou aux environnements d'entreprise ?

Oui L'Agent Gateway est conçu pour les cas d'utilisation en entreprise et prend en charge les déploiements sécurisés dans des VPC privés, des environnements sur site et des configurations isolées. Il s'intègre aux contrôles de conformité existants et fournit la gouvernance centralisée requise pour les secteurs réglementés.

Comment puis-je commencer à utiliser TrueFoundry Agent Gateway ?

Vous pouvez commencer par en vous connectant à TrueFoundry et déployez votre premier agent via l'Agent Gateway. Pour les équipes ayant des exigences avancées ou professionnelles, vous pouvez également réservez une démo pour explorer une stratégie de déploiement et de gouvernance personnalisée.