TrueFoundry AI Gateway no VMware Cloud Foundation
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Governança de IA Empresarial — Na Sua Infraestrutura, Sob o Seu Controle
O Desafio
A inteligência artificial está avançando rapidamente. Unidades de negócios estão experimentando modelos de linguagem de grande porte (LLMs) de múltiplos fornecedores, criando assinaturas de forma independente e roteando dados corporativos sensíveis por meio de APIs de public cloud — muitas vezes sem visibilidade, sem controles de gastos e sem trilha de auditoria. Ao mesmo tempo, indústrias reguladas não podem enviar dados proprietários para fora do perímetro corporativo. As equipes de TI e segurança acabam tendo que gerenciar uma superfície de IA em expansão e sem governança, sem uma maneira prática de aplicar políticas, rastrear custos ou garantir a conformidade. O resultado: proliferação descontrolada de IA (AI sprawl), risco orçamentário e exposição inaceitável de dados.
A Solução
O TrueFoundry AI Gateway oferece um ponto de acesso único e centralmente governado para todas as interações com modelos de IA na empresa. Quer uma equipe use um modelo on-premises para cargas de trabalho sensíveis ou um cloud provider para produtividade geral, cada requisição flui por um endpoint unificado — monitorado, atribuído e controlado por políticas.
O VMware Cloud Foundation (VCF) fornece a plataforma de private cloud de nível empresarial que torna a IA soberana possível. Construído sobre vSphere, vSAN e NSX, o VCF executa cargas de trabalho de produção totalmente on-premises com a consistência operacional que as empresas esperam. O serviço de Kubernetes do VCF (VKS) fornece a base de computação sobre a qual o TrueFoundry AI Gateway é implantado e gerenciado.
Juntos, eles entregam uma plataforma de IA auditável e pronta para produção, que mantém cada interação de modelo dentro da própria infraestrutura do cliente — sem dependência de serviços de nuvem externos para governança, registro de logs ou aplicação de políticas.
Principais Recursos
Todos os recursos listados abaixo foram validados no VMware Cloud Foundation com vSphere Kubernetes Service.
- Acesso Unificado a Modelos — Um único endpoint de API roteia requisições para qualquer combinação de modelos de IA on-premises e em nuvem. As equipes usam uma interface padrão, independentemente de qual modelo esteja implantado por trás dela, hoje ou no futuro.
- Visibilidade Completa de Uso — Cada requisição e resposta é registrada na íntegra, armazenada on-premises e consultável em tempo real. Painéis de AI Monitoring exibem tendências de uso, desempenho dos modelos e detalhamento de custos por equipe, projeto ou indivíduo.
- Controles de Orçamento e Limite de Taxa (Rate Controls) — Limites de gastos por equipe e por modelo são aplicados no gateway antes que uma requisição chegue ao modelo. Quando um limite de orçamento é atingido, o acesso é bloqueado automaticamente — sem necessidade de intervenção manual.
- Guardrails de Conteúdo — Filtros baseados em políticas inspecionam cada prompt antes que ele alcance um modelo. As regras podem bloquear tópicos específicos, palavras-chave ou categorias de conteúdo, dando às equipes jurídica e de conformidade controle direto sobre o que a camada de IA processará ou não.
- Caching Inteligente de Respostas — Consultas repetidas são respondidas a partir do cache com custo zero de tokens, reduzindo tanto os gastos com API quanto a latência de resposta em até 67 vezes em comparação com uma chamada direta (cold call) ao modelo.
Benefícios para o Negócio
Soberania de Dados O tráfego de IA nunca sai do perímetro corporativo. Todas as interações com modelos, logs e políticas de governança executam dentro do VCF. Para serviços financeiros, saúde, defesa e outros setores regulados, este é o único caminho viável para a adoção de IA em nível empresarial.
Responsabilização de Custos (Cost Accountability) O uso de tokens é rastreado no nível de cada requisição individual e atribuído à equipe ou projeto que o gerou. As equipes de plataforma podem gerar relatórios precisos de chargeback para todas as unidades de negócios — usando sua própria infraestrutura, sem dependência de APIs de faturamento de fornecedores de nuvem.
Simplicidade Operacional O TrueFoundry AI Gateway é implantado na infraestrutura VCF existente sem necessidade de novas contas de nuvem, fornecedores SaaS adicionais ou planos de gerenciamento separados. Uma plataforma unificada governa todo o acesso à IA a partir de um painel baseado na web, reduzindo a carga operacional para as equipes de TI que já gerenciam o VCF.
Casos de Uso
Por que VCF e TrueFoundry
O VMware Cloud Foundation é a base comprovada para a private cloud empresarial — entregando a consistência de infraestrutura, segurança e escala operacional das quais as grandes organizações dependem. O TrueFoundry traz a camada de governança de IA que faltava para a TI empresarial: uma plataforma de nível de produção para controlar, observar e atribuir cada interação de IA em toda a organização.
A combinação reduz a lacuna entre a ambição em IA e a realidade empresarial. As organizações podem avançar rapidamente com IA — roteando para modelos em nuvem buscando agilidade e para modelos on-premises buscando confidencialidade — enquanto mantêm o controle de dados, a disciplina de custos e as capacidades de auditoria que os ambientes regulados exigem.
Validado no VMware Cloud Foundation
Todos os recursos descritos neste documento foram implantados e validados no VMware Cloud Foundation com vSphere Kubernetes Service. Uma arquitetura de referência técnica detalhada e um guia de implantação estão em desenvolvimento como parte desta iniciativa conjunta.
Comece Agora
Para saber mais sobre como implantar o TrueFoundry AI Gateway no VMware Cloud Foundation, entre em contato com a equipe de Broadcom AI Platform Solutions ou fale diretamente com a TrueFoundry em www.truefoundry.com.
© 2026 Broadcom Inc. Todos os direitos reservados. VMware Cloud Foundation e vSphere são marcas registradas da Broadcom Inc. TrueFoundry é uma marca registrada da TrueFoundry, Inc.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.












.png)
.png)
.png)
.png)

.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.webp)
.webp)

.png)
.png)





