Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Segurança Leve sem o Taxa do LLM: Guardrails AI e TrueFoundry AI Gateway

By Praharshit Gorripaty

Updated: novembro 5, 2026

Published: maio 25, 2026

Chats de suporte ao cliente vazam SSNs em prompts. Desenvolvedores internos colem chaves de acesso AWS em um assistente de código. Uma resposta tóxica chega ao usuário final. Cada um desses cenários é uma falha real de operações de LLM — e cada um deles pode ser capturado por um pequeno classificador local em poucos milissegundos, sem a necessidade de um round-trip para o LLM. A questão mais complexa é como conectar essas verificações em centenas de aplicações e dezenas de provedores de modelos, em tempo de execução para cada requisição, sem reinventar uma pilha de validação diferente para cada app. A integração entre o Guardrails AI e o TrueFoundry AI Gateway coloca essa resposta em um único lugar.

O Poder do TrueFoundry AI Gateway

Toda aplicação impulsionada por LLM dentro de uma organização eventualmente se depara com a mesma pergunta: onde as verificações de segurança devem residir? Quando inseridas diretamente em cada app, elas se fragmentam a cada deploy e divergem entre as equipes. Quando colocadas à frente de cada provedor de modelos, elas se multiplicam entre os fornecedores e perdem as aplicações que contornam o fluxo. O TrueFoundry AI Gateway resolve a questão ao atuar como a camada de execução única por onde todo o tráfego de LLM passa — ele oferece uma API compatível com a OpenAI na ponta de entrada, distribui o tráfego para qualquer provedor de modelos na ponta de saída e executa todas as preocupações transversais (autenticação, limites de taxa, observabilidade, políticas) no meio. Um único pod suporta mais de 250 RPS em 1 vCPU com cerca de 3 ms de latência adicional, de forma stateless e limitada pela CPU, com a configuração sincronizada via NATS para que o caminho da requisição não faça chamadas externas.

Centralizar o caminho da requisição é o que torna o uso de guardrails algo natural. O gateway expõe quatro hooks — llm_input, llm_output, mcp_pre_tool, mcp_post_tool — e qualquer número de guardrails pode ser anexado a cada um deles. O gateway os executa em paralelo na mesma requisição, de modo que um detector de PII, um scanner de segredos e um classificador de toxicidade avaliem o mesmo prompt simultaneamente sem acumular latência serial. Os rails de entrada rodam concorrentemente com a chamada ao modelo e, se algum deles bloquear, a chamada ao modelo em andamento é cancelada antes que os tokens sejam cobrados — uma economia real de custos quando os validadores capturam violações legítimas de política no tráfego dos clientes. Um plugin HTTP personalizado permite que qualquer fornecedor ou serviço interno participe, desde que atenda ao contrato de veredito do gateway, que é exatamente a interface onde o Guardrails AI se conecta.

Guardrails AI: Validadores Componíveis a partir do Hub

O Guardrails AI é um framework Python open-source para validar entradas e saídas de LLM. Sua principal abstração é o Guard — um wrapper em torno de um ou mais validadores obtidos do Guardrails Hub, um repositório de implementações de verificações pré-construídas. O catálogo do Hub abrange detecção de PII, detecção de segredos, classificação de toxicidade, filtros de profanidade, restrição de tópicos, groundedness de alucinações e muito mais. A maioria dos validadores consiste em heurísticas locais ou pequenos classificadores; um subconjunto faz chamadas a um LLM externo no momento da validação.

O pacote v1 para esta integração utiliza quatro validadores locais: DetectPII (um wrapper do Microsoft Presidio para e-mails, números de telefone, SSN dos EUA, cartões de crédito, IBAN, passaporte / carteira de motorista / ITIN dos EUA), SecretsPresent (o detect-secrets da Yelp para chaves AWS, tokens OpenAI, tokens GitHub, JWTs, chaves privadas), ToxicLanguage (o classificador Detoxify da Unitary via Hugging Face) e ProfanityFree (um filtro baseado em lista de palavras para respostas do assistente). Nenhum deles exige uma chamada a um LLM. A latência mediana de validação em um pod aquecido é inferior a 100 ms por validador.

Melhores Juntos: Proteção em Camadas sem a Latência do LLM

A integração trata o Guardrails AI como uma biblioteca, envolvendo-o em um serviço FastAPI e registrando o serviço como um guardrail HTTP personalizado no TrueFoundry. Para evitar um comportamento conhecido da v0.9.3, onde chamadas encadeadas de Guard.use() sobrescrevem umas às outras, o wrapper expõe um endpoint POST por validador por direção — /detect-pii-input, /secrets-present-output, /toxic-language-input, e assim por diante — e executa cada Guard isoladamente. Os operadores escolhem quais validadores anexar a qual modelo por meio do dashboard.

‍

Arquitetura do sistema: o gateway faz uma chamada HTTP paralela por validador anexado; o wrapper executa cada Guard isoladamente contra seu validador empacotado do Hub.

‍

Os validadores do Hub são instalados no momento do build do Docker por meio de um argumento de build que carrega o token do Hub. O token é consumido na camada de build e não fica presente no ambiente de execução. As versões dos validadores ficam fixadas àquelas fornecidas pelo Hub durante o build; atualizar o pacote requer apenas editar o Dockerfile e fazer um novo deploy.

O formato de resposta do wrapper é:

Resposta do WrapperInterpretação do GatewayHTTP 200 + {"verdict": true}Permitir — o validador não foi acionadoHTTP 200 + {"verdict": false, "message": "<validator>: ..."}Bloquear — o gateway propaga a mensagemHTTP 5xxFalha real — roteada através da política de Fail on error do dashboard

O status HTTP sinaliza "concluído vs erro"; o veredito reside no JSON. Bloqueios de rails e interrupções temporárias são distinguíveis, tornando o Fail on error: false a opção padrão mais segura.

Como Funciona a Validação Local

‍

Fluxo de requisição: os rails de entrada avaliam em paralelo com a chamada ao modelo; a chamada ao modelo é cancelada se qualquer rail bloquear; os rails de saída avaliam a resposta antes que ela atinja o cliente.

‍

  1. Um cliente envia uma requisição de chat completion compatível com a OpenAI para o gateway com um ou mais rails do Guardrails AI anexados ao modelo (ou selecionados por requisição através do cabeçalho X-TFY-GUARDRAILS).
  2. O gateway dispara a chamada de cada rail de entrada anexado para o wrapper e a chamada ao modelo para o provedor em paralelo.
  3. Cada endpoint do wrapper extrai a mensagem do usuário e executa seu validador único. O primeiro validador que identificar uma violação retorna {"verdict": false, "message": "<validator>: <reason>"}; qualquer um que aprovar retorna {"verdict": true}.
  4. Se qualquer rail de entrada bloquear, o gateway cancela a chamada ao modelo em andamento e retorna a recusa ao cliente. Se todos os rails de entrada passarem, o gateway encaminha a resposta do assistente para os rails de saída anexados.
  5. Cada rail de saída executa seu validador no texto do assistente e retorna um veredito da mesma forma. O gateway respeita o veredito e envia a resposta ou a bloqueia.
  6. Cada decisão é registrada como um span no trace da requisição ao lado da chamada ao LLM, permitindo que um revisor de SOC veja posteriormente qual validador sinalizou qual mensagem.

Como nenhum validador faz chamadas externas para um LLM, a latência adicional por rail é dominada pela execução do Python e pela inferência do classificador — tipicamente bem abaixo de 100 ms em um pod aquecido, sem dependências externas sujeitas a falhas.

Comece Agora com Filtragem de PII e Toxicidade em Produção

O wrapper é distribuído como um serviço FastAPI único, implantável por meio do SDK padrão em Python do TrueFoundry. Configure a URL do wrapper e a chave bearer como um Custom Guardrail por validador no dashboard, anexe os rails a um modelo ou selecione-os por requisição, e os validadores serão executados em tempo de execução em todas as chamadas. A implementação de referência está localizada no diretório integrations/guardrails-ai/ dentro do repositório integrations-custom-guardrails; consulte a documentação de guardrails personalizados do TrueFoundry para o fluxo no dashboard e o catálogo do Guardrails Hub para validadores adicionais.

O princípio arquitetural baseia-se na separação clara entre a complexidade do validador e a execução do gateway. O gateway permanece stateless, limitado pela CPU e livre de dependências externas no caminho da requisição. Analisadores do Presidio, plugins do detect-secrets e inferências do Hugging Face residem todos atrás de uma única fronteira HTTP. Substituir por um motor de validação diferente no futuro será apenas uma alteração no wrapper — a configuração do dashboard, o contrato e as aplicações consumidoras permanecerão exatamente como estão.

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 21, 2026
|
5 min read

Identidade de Agente de IA com Microsoft Entra Agent ID: Emissão e Governança de Identidades de Agentes

No items found.
novembro 21, 2026
|
5 min read

Identidade do Agente e Delegação On-Behalf-Of (OBO): Quem Está Realmente Chamando Suas Ferramentas?

No items found.
novembro 21, 2026
|
5 min read

Agent Skills para Linear MCP: Benchmark de Precisão de 62% → 90%

No items found.
novembro 21, 2026
|
5 min read

agentgateway vs Vercel AI Gateway: gateway de agentes self-hosted ou roteador de modelos gerenciado?

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour