What is an agent gateway?

An agent gateway is the specialized control plane for modern agentic AI. Unlike traditional gateways that only manage stateless API calls, an agent gateway is aware of the machine learning context. It acts as a dedicated software layer that governs agent interactions, managing the complex data movement between LLM models, data sources, and external tools. It serves as the critical AI infrastructure that turns isolated prompts into agentic workflows.

How does an agent gateway work?

Agent Gateway functions as an intelligent reverse proxy specifically for agentic systems. When an agent initiates an action, the gateway intercepts the request, validates it against policy enforcement rules, and routes it to the appropriate backend MCP servers or REST APIs. By utilizing the Model Context Protocol (MCP), it standardizes how agents talk to tools, essentially creating an agent mesh that manages authentication, traffic management, and logging for every MCP-endpoint interaction.

How is an Agent Gateway different from an AI Gateway?

While an AI gateway manages prompts and tokens for Large Language Models (LLMs), an agent gateway serves as the data plane for agentic AI. It goes beyond simple inference to manage complex agent Interactions, stateful sessions, and data movement between agents and tools. Think of it as a service mesh specifically designed for agentic systems. It addresses the key differences in traffic patterns, where AI gateways handle stateless requests, the agent gateway provides a layer of security and orchestration for long-running agentic workflows.

Can I use the Agent Gateway with any agent framework?

Yes. The agent gateway project is a Linux Foundation Project, ensuring open-source governance and compatibility. It acts as a software layer that works with any open-source framework (like LangChain, CrewAI, or AutoGen). This foundation ensures you aren't locked into a specific vendor, allowing you to orchestrate Agentic workloads across diverse AI systems and backend services regardless of the underlying framework.

How does the Agent Gateway handle observability and cost tracking?

The gateway provides deep visibility into the agent mesh. It tracks traffic management not just at the API level, but at the intent level. You get granular metrics on Model Context Protocol (MCP) usage, token consumption across LLM Models, and interaction costs with external tools. This intelligent routing and tracking capability allows you to audit data sources and attribute costs accurately, solving a lot of problems related to "black box" agent behavior in production.

Can I control and audit autonomous agents?

Absolutely. The Agent Gateway enforces RBAC, quotas, and guardrails at the agent level. All agent actions including model calls and tool invocations are logged and auditable, ensuring full traceability for security and compliance needs.

Is the Agent Gateway suitable for regulated or enterprise environments?

Yes. The Agent Gateway is designed for enterprise use cases and supports secure deployments in private VPCs, on-premise environments, and air-gapped setups. It integrates with existing compliance controls and provides centralized governance required for regulated industries.

How can I get started with the TrueFoundry Agent Gateway?

You can get started by signing in to TrueFoundry and deploying your first agent through the Agent Gateway. For teams with advanced or enterprise requirements, you can also book a demo to explore a customized deployment and governance strategy.

What is an MCP Gateway?

An MCP Gateway is a centralized control plane that securely manages access, discovery, and orchestration of MCP Servers across an enterprise. It acts as the operational backbone for agentic AI systems by enabling AI agents and applications to interface with enterprise tools via a standardized protocol. With support for authentication, RBAC, observability, and workflow execution, the MCP Gateway makes connecting and scaling intelligent systems seamless and secure.

What is an MCP Server and how does it work with the MCP Gateway?

An MCP Server (Model Context Protocol Server) is a standardized interface layer that wraps around enterprise APIs or tools, making them easily discoverable and callable by AI agents. When integrated with an MCP Gateway, each MCP Server registers itself, becomes accessible through a unified endpoint, and inherits enterprise-grade features like RBAC, federated authentication (via Okta, Azure AD), and observability—making orchestration across tools like Slack, Jira, or internal APIs effortless.

How do I build and deploy an MCP Server?

You can build an MCP Server using TrueFoundry’s SDK or your preferred backend stack. MCP Servers are containerized and typically deployed on Kubernetes or cloud-native infrastructure. Once live, they register with the MCP Gateway and are made available for secure discovery and task execution via agents or users—streamlining the AI integration pipeline.

What are the key features of an MCP Gateway?

The MCP Gateway provides unified access to all registered MCP Servers, instant discovery via a central registry, and secure access control with OAuth 2.0 and federated identity providers. It enables agentic task execution across tools, offers enterprise-grade observability with request-level tracing and audit logs, supports out-of-the-box and custom integrations (e.g., Slack, Datadog, internal APIs), and ensures high-performance operation across cloud, on-prem, and hybrid environments.

What are the benefits of using an MCP Gateway in enterprise environments?

There are various benefits of using an MCP Gateway in enterprise environments. It dramatically simplifies tool integrations, accelerates onboarding via prebuilt MCP Servers, and unifies security and compliance controls. It enables plug-and-play agentic workflows, supports distributed environments, and provides deep observability for cost and performance. The result is a scalable, secure, and maintainable AI system capable of handling real-time enterprise workloads with minimal engineering effort.

How does the MCP Gateway handle authorization and access control?

Authorization is enforced through Role-Based Access Control (RBAC) policies integrated with enterprise Identity Providers such as Okta or Azure AD. Each MCP Server, endpoint, or tool function can be governed by specific access rules, ensuring only authorized users or agents can trigger actions or retrieve sensitive data.

Can I use my existing SSO or IdP with the MCP Gateway?

Yes, the MCP Gateway and all MCP Servers fully support existing enterprise identity providers. Federated login via Okta, Azure AD, or custom SSO setups is supported out-of-the-box, enabling seamless integration into your organization's existing authentication and compliance stack.

What enterprise tools can I connect using MCP Servers?

You can integrate both standard and proprietary tools. MCP Gateway offers prebuilt MCP Servers for platforms like Slack, Confluence, Datadog, and Sentry. Additionally, you can create custom MCP Servers to connect any internal service, REST API, or data platform—extending orchestration across your unique tech stack.

How does MCP Gateway enable agentic task execution?

Through the MCP Gateway, AI agents can autonomously discover, authenticate, and call MCP Servers. This enables them to execute multi-step workflows (e.g., “create a Jira ticket from Slack messages”), generate and run code, or orchestrate tools—all governed by standardized interactions and enterprise policies.

What kind of observability does the MCP Gateway offer?

The MCP Gateway provides full visibility into every interaction with MCP Servers. It supports end-to-end tracing, metadata tagging (e.g., team, user, tool), and audit logging for compliance. Enterprises can monitor latency, usage, errors, and cost attribution in real-time—ensuring traceability and control across AI workloads.

Is the MCP Gateway secure and scalable for enterprise deployment?

Absolutely. The MCP Gateway is designed for production-grade deployments. It supports federated SSO, OAuth 2.0, dynamic discovery, multi-region failover, and role-based security—all while operating at high throughput under real-time enterprise load. It’s built to power large-scale, AI-first systems with confidence.

Agent Gateway: A Unified Control Plane For AI Workflows

NOVA PESQUISA: 80% dos custos de IA são invisíveis na fatura. Mais de 200 líderes revelam para onde o dinheiro vai. Leia→

Gateway de Agentes Empresarial para Fluxos de Trabalho Seguros e Escaláveis

Controle Unificado de Agentes

Execute todos os agentes de IA através de uma única camada de execução governada com políticas e controles centralizados.

Observabilidade de Agentes

Rastreie cada ação, passo e decisão do agente com rastreabilidade completa entre modelos e ferramentas.

Aplicação de Políticas e RBAC

Aplique controle de acesso baseado em função e políticas para governar quem pode implantar, executar ou modificar agentes.

Execução de Tarefas de Agentes

Execute fluxos de trabalho de agentes multi-passos de forma confiável com retentativas, tempos limite e caminhos de execução controlados.

Escalável e Confiável

Escale as cargas de trabalho dos agentes automaticamente, mantendo um comportamento previsível sob carga.

Agnóstico de Framework

Compatível com qualquer framework de agente ou implementação personalizada, otimizado para uso em produção.

Registro Centralizado de Agentes

Execute e governe agentes de IA através de um único Gateway de Agentes de nível empresarial.

Execute todos os fluxos de trabalho de agentes através de um único Gateway de Agentes em vez de incorporar a lógica em várias aplicações
Suporte a agentes agnósticos de framework, incluindo LangChain, CrewAI e implementações de agentes totalmente personalizadas
Padronize como os agentes invocam LLMs e ferramentas usando roteamento, políticas e regras de execução consistentes
Centralize a autenticação, identidade e gerenciamento de contas de serviço para agentes na camada do Gateway

Gateway de Agentes para Registro de Agentes de IA

Observabilidade e Rastreamento de Agentes

Compreenda como os agentes se comportam com observabilidade completa, a nível de passo.

Monitorar a latência do agente, taxas de erro, repetições e invocações de ferramentas em todos os fluxos de trabalho
Capturar rastreamentos de execução de ponta a ponta abrangendo etapas de agente, chamadas de modelo e interações de ferramentas
Atribuir uso de token e custo a agentes, fluxos de trabalho, equipes ou ambientes específicos
Inspecionar logs de execução detalhados para diagnosticar rapidamente falhas e gargalos de desempenho

Gateway de Agentes para Observabilidade e Rastreamento de Agentes de IA

Cotas de Agentes, Orçamentos e Controle de Acesso

Proteger orçamentos, impor governança e reduzir riscos para agentes autônomos

Impor cotas baseadas em token ou em custo por agente, fluxo de trabalho ou ambiente
Aplicar controle de acesso baseado em função (RBAC) para restringir quem pode implantar, executar ou modificar agentes
Governar contas de serviço e agentes autônomos usando identidade centralizada e regras de política
Isolar cargas de trabalho de agentes de desenvolvimento, staging e produção com limites de acesso claros

Gateway de Agentes para Orçamento e Controle de Acesso de Agentes de IA

Execução Confiável de Agentes, Repetições e Fallbacks

Garantir que os fluxos de trabalho do agente permaneçam resilientes sob falhas do mundo real.

Repetir automaticamente etapas de agente com falha com políticas de repetição configuráveis
Definir caminhos de fallback para chamadas de modelo ou execuções de ferramentas
Aplicar tempos limite e salvaguardas para evitar loops infinitos ou agentes travados
Manter um comportamento consistente durante interrupções do modelo, falhas de ferramentas ou picos de tráfego

Gateway de Agentes para Configuração de Limite de Taxa de Agentes de IA

Execução de Ferramentas com Tecnologia MCP para Agentes

Proteja e governe todas as chamadas de ferramentas de agentes usando a integração nativa MCP.

Direcione todas as chamadas de ferramentas de agentes através de Servidores MCP registrados
Conecte agentes a ferramentas corporativas como Slack, GitHub, bancos de dados e serviços internos
Aplique políticas baseadas em OAuth2, RBAC e metadados a cada invocação de ferramenta
Audite e registre todas as ações de ferramentas iniciadas por agentes para segurança e conformidade

Gateway de Agente para Execução de Ferramentas MCP para Agentes de IA

Controles de Segurança para Agentes Autônomos

Imponha controles de segurança, conformidade e comportamento para fluxos de trabalho de agentes.

Controle quais ferramentas e capacidades cada agente pode acessar
Imponha políticas de segurança como filtragem de PII ou ações restritas
Aplique controles de segurança personalizados alinhados com os requisitos de conformidade organizacional
Mantenha trilhas de auditoria completas para decisões e ações do agente

Gateway de Agente para Controles de Segurança de Agentes de IA

Gateway de Agente Feito para IA do Mundo Real em Escala

99.99%

disponibilidade

Failovers centralizados, roteamento e controles de segurança garantem que seus aplicativos de IA permaneçam online, mesmo quando os provedores de modelo falham.

10B+

Solicitações processadas/mês

Inferência escalável e de alto rendimento para IA em produção.

30%

Otimização média de custos

Roteamento inteligente, agrupamento e controles de orçamento reduzem o desperdício de tokens.

Gateway de Agente Pronto para Empresas

Seus dados e modelos são armazenados com segurança dentro da sua infraestrutura de nuvem / no local

HIPAA, GDPR, and AICPA SOC compliance badges for data security and privacy regulations standards.

Conformidade e Segurança
Padrões SOC 2, HIPAA e GDPR para garantir uma proteção de dados robusta
Governança e Controle de Acesso
SSO + Controle de Acesso Baseado em Função (RBAC) e Registro de Auditoria
Suporte e Confiabilidade Empresarial
Suporte 24/7 com garantia de SLA SLAs de resposta

Implante o TrueFoundry em qualquer ambiente

VPC, no local, com isolamento de rede ou em várias nuvens.

Nenhum dado sai do seu domínio. Desfrute de soberania completa, isolamento e conformidade de nível empresarial onde quer que o TrueFoundry seja executado

Começar

Cloud deployment options including On-Prem, Multi-Cloud, Air-gapped, and AWS, Google Cloud Platform.

Resultados Reais na TrueFoundry

Por que as Empresas Escolhem a TrueFoundry

3x

tempo mais rápido para gerar valor com agentes LLM autônomos

80%

maior utilização do cluster de GPUs após otimização automatizada de agentes

Aaron Erickson

Fundador, Laboratório de IA Aplicada

A TrueFoundry transformou nossa frota de GPUs em um motor autônomo e auto-otimizável – impulsionando 80% mais utilização e nos poupando milhões em computação ociosa.

5x

tempo mais rápido para colocar em produção a plataforma interna de IA/ML

50%

menor gasto na nuvem após migrar cargas de trabalho para a TrueFoundry

Pratik Agrawal

Diretor Sênior, Ciência de Dados e Inovação em IA

A TrueFoundry nos ajudou a passar da experimentação para a produção em tempo recorde. O que levaria mais de um ano foi feito em meses – com melhor adoção pelos desenvolvedores.

80%

redução no tempo de colocação em produção de modelos

35%

economia de custos na nuvem em comparação com a configuração anterior do SageMaker

Vibhas Gejji

Engenheiro de ML da Equipe

Reduzimos a carga de DevOps e simplificamos as implantações em produção entre as equipes. O TrueFoundry acelerou a entrega de ML com uma infraestrutura que escala de experimentos a serviços robustos.

50%

implantação mais rápida da pilha RAG/Agente

60%

redução na sobrecarga de manutenção para pipelines RAG/agente

Indroneel G.

Líder de Processos Inteligentes

O TrueFoundry nos ajudou a implantar uma pilha RAG completa — incluindo pipelines, DBs vetoriais, APIs e UI — duas vezes mais rápido, com controle total sobre a infraestrutura auto-hospedada.

60%

implantações de IA mais rápidas

~40-50%

Redução eficaz de custos em todos os ambientes de desenvolvimento

Nilav Ghosh

Diretor Sênior de IA

Com o TrueFoundry, reduzimos os prazos de implantação em mais da metade e diminuímos a sobrecarga de infraestrutura por meio de uma interface MLOps unificada — acelerando a entrega de valor.

<2

semanas para migrar todos os modelos de produção

75%

redução no tempo de coordenação de ciência de dados, acelerando atualizações de modelos e lançamentos de recursos

Rajat Bansal

CTO

Economizamos muito nos custos de infraestrutura e reduzimos o tempo de coordenação de DS em 75%. A TrueFoundry impulsionou nossa velocidade de implantação de modelos entre as equipes.

Perguntas frequentes

O que é um gateway de agente?

Um gateway de agente é o plano de controle especializado para IA agentic moderna. Ao contrário dos gateways tradicionais que apenas gerenciam chamadas de API sem estado, um gateway de agente está ciente do contexto de machine learning. Ele atua como uma camada de software dedicada que governa as interações dos agentes, gerenciando a movimentação complexa de dados entre modelos LLM, fontes de dados e ferramentas externas. Ele serve como a infraestrutura de IA crítica que transforma prompts isolados em fluxos de trabalho agentic.

Como funciona um gateway de agente?

O Agent Gateway funciona como um proxy reverso inteligente especificamente para sistemas agentic. Quando um agente inicia uma ação, o gateway intercepta a requisição, a valida contra as regras de aplicação de políticas e a roteia para os servidores MCP de backend ou APIs REST apropriados. Ao utilizar o Protocolo de Contexto de Modelo (MCP), ele padroniza como os agentes se comunicam com as ferramentas, essencialmente criando uma malha de agentes que gerencia autenticação, gerenciamento de tráfego e registro para cada interação de endpoint MCP.

Como um Agent Gateway é diferente de um AI Gateway?

Enquanto um gateway de IA gerencia prompts e tokens para Modelos de Linguagem Grandes (LLMs), um gateway de agente serve como o plano de dados para IA agentic. Ele vai além da inferência simples para gerenciar interações complexas de agentes, sessões com estado e movimentação de dados entre agentes e ferramentas. Pense nele como uma malha de serviços projetada especificamente para sistemas agentic. Ele aborda as principais diferenças nos padrões de tráfego: enquanto os gateways de IA lidam com requisições sem estado, o gateway de agente oferece uma camada de segurança e orquestração para fluxos de trabalho agentic de longa duração.

Posso usar o Agent Gateway com qualquer framework de agente?

Sim. O projeto do gateway de agente é um Projeto da Linux Foundation, garantindo governança de código aberto e compatibilidade. Ele atua como uma camada de software que funciona com qualquer framework de código aberto (como LangChain, CrewAI ou AutoGen). Essa base garante que você não fique preso a um fornecedor específico, permitindo orquestrar cargas de trabalho Agentic em diversos sistemas de IA e serviços de backend, independentemente do framework subjacente.

Como o Agent Gateway lida com a observabilidade e o rastreamento de custos?

O gateway oferece visibilidade profunda da malha de agentes. Ele rastreia o gerenciamento de tráfego não apenas no nível da API, mas no nível da intenção. Você obtém métricas granulares sobre o uso do Protocolo de Contexto de Modelo (MCP), consumo de tokens em Modelos LLM e custos de interação com ferramentas externas. Essa capacidade inteligente de roteamento e rastreamento permite auditar fontes de dados e atribuir custos com precisão, resolvendo muitos problemas relacionados ao comportamento de agentes de "caixa preta" em produção.

Posso controlar e auditar agentes autônomos?

Com certeza. O Agent Gateway aplica RBAC, cotas e guardrails no nível do agente. Todas as ações do agente, incluindo chamadas de modelo e invocações de ferramentas, são registradas e auditáveis, garantindo rastreabilidade completa para necessidades de segurança e conformidade.

O Agent Gateway é adequado para ambientes regulamentados ou empresariais?

Sim. O Agent Gateway é projetado para casos de uso empresariais e suporta implantações seguras em VPCs privadas, ambientes on-premise e configurações air-gapped. Ele se integra com os controles de conformidade existentes e oferece governança centralizada necessária para indústrias regulamentadas.

Como posso começar a usar o TrueFoundry Agent Gateway?

Você pode começar por fazer login para a TrueFoundry e implementando seu primeiro agente através do Agent Gateway. Para equipes com requisitos avançados ou empresariais, você também pode agende uma demonstração para explorar uma estratégia personalizada de implementação e governança.