Como configurar mecanismos de proteção no AI Gateway

Por que os guardrails devem estar no gateway

Um endpoint de modelo bruto retornará prontamente dados pessoais, aceitará um payload de injeção de prompt ou fornecerá uma resposta insegura. Os guardrails corrigem isso inspecionando e, quando necessário, reescrevendo o tráfego antes que ele chegue ao modelo e antes que a resposta chegue ao usuário.

Colocar guardrails no AI Gateway significa que cada aplicação recebe a mesma proteção automaticamente, sem que cada equipe precise reimplementar a segurança. O TrueFoundry oferece guardrails integrados para redação de PII e detecção de injeção de prompt, ambos totalmente gerenciados e sem a necessidade de configurar chaves de terceiros.

O modelo de duas etapas: registrar e, em seguida, definir a política

Como o documentação de guardrails explica, aplicar guardrails no AI Gateway é um processo de duas etapas.

• Registrar guardrails. Vá para AI Gateway, depois Guardrails, crie um grupo de guardrails e adicione as integrações de guardrail que desejar, sejam elas nativas do TrueFoundry, provedores externos ou guardrails personalizados.
  

• Configurar políticas. Vá para AI Gateway, depois Policies, em seguida Guardrails, e crie regras que determinam quando aplicar quais guardrails e em quais hooks eles serão executados.

Criando uma regra de guardrail

Em Policies, depois Guardrails, clique em Add Rule. Cada regra possui um ID de regra exclusivo e algumas seções que determinam a quem ela se aplica e onde ela é executada.

• Quando a solicitação vai para (alvos). Combine com um ou mais modelos, ou com servidores MCP e até mesmo ferramentas específicas. Múltiplas condições de alvo são combinadas com OU, portanto, a regra corresponde se a solicitação for enviada para qualquer modelo ou servidor MCP listado. Nenhum alvo significa que ela corresponde a qualquer modelo.
  

• De assuntos. Filtre por usuários, equipes ou contas virtuais com condições IN ou NOT IN. Nenhum filtro de assunto significa que a regra se aplica a todos os chamadores.
  

• Com metadados. Corresponda a pares de chave-valor enviados no cabeçalho X-TFY-METADATA, por exemplo, environment production.
  

• Aplique em hooks. Escolha o hook e selecione as guardrails para executar nele. Você pode anexar várias guardrails ao mesmo hook, e todas elas serão executadas para as solicitações correspondentes.

Os quatro hooks

• Entrada de LLM executado antes que o prompt seja enviado ao modelo.
  

• Saída de LLM executado após o modelo responder, antes que a resposta seja retornada.
  

• Pré-invocação de ferramenta MCP executado antes que uma ferramenta MCP seja executada.
  

• Pós-invocação de ferramenta MCP executado após uma ferramenta MCP retornar, antes que o resultado chegue ao modelo.

Todas as regras são avaliadas para cada solicitação, e as guardrails de todas as regras correspondentes são combinadas e aplicadas em conjunto. Se uma regra aplica detecção de PII na entrada de LLM e outra aplica detecção de injeção de prompt na entrada de LLM, ambas são executadas.

Want the same safety on every LLM and tool call?

We will configure PII redaction and prompt-injection defense on your gateway, live.

Book a demo

Configurando a redação de PII e PHI

OGuardrail de detecção de PII e PHI é uma guardrail nativa do TrueFoundry que identifica e redige informações de identificação pessoal (PII) e informações protegidas de saúde (PHI). Ela é alimentada pela detecção de PII do Azure AI Language e é totalmente gerenciada, portanto, não há necessidade de chaves de API de terceiros.

Ela suporta apenas o modo de mutação, o que significa que sempre redige as entidades detectadas. No formulário de configuração, você define um nome, escolhe as categorias de PII ou mantém o padrão de todas as categorias e escolhe uma estratégia de imposição. Os valores detectados são substituídos por asteriscos, de modo que um número de telefone e um e-mail em uma mensagem são mascarados antes mesmo que o modelo os veja.

Uma configuração comum aplica a redação de PII na entrada do LLM para limpar as mensagens do usuário, na saída do LLM para limpar as respostas e nos hooks do MCP para remover PII dos parâmetros e resultados das ferramentas, como linhas de banco de dados.

Configurando a defesa contra injeção de prompt

Omecanismo de proteção contra injeção de prompt é um mecanismo de proteção integrado, potencializado pelo Azure Prompt Shield. Ele detecta injeção direta de prompt, ataques de jailbreak, como o padrão "do anything now", e injeções indiretas ocultas em documentos ou conteúdos de contexto. Ele analisa o prompt do usuário e o conteúdo do documento separadamente.

Ele suporta apenas o modo de validação, o que significa que detecta e bloqueia ataques, mas não modifica o conteúdo. A configuração solicita apenas um nome e uma estratégia de aplicação. A documentação recomenda começar com a estratégia de auditoria para monitorar detecções nos rastreamentos de solicitação e, em seguida, mudar para a aplicação (enforce) assim que você confiar no sistema.

Como o gateway executa mecanismos de proteção em uma solicitação

Em uma solicitação de LLM, os mecanismos de proteção de mutação de entrada são executados primeiro e bloqueiam o processo até serem concluídos, como, por exemplo, ao redigir PII do prompt. A validação de entrada, como a de injeção de prompt, é executada em segundo plano enquanto a solicitação do modelo está em andamento. Se a validação de entrada falhar enquanto o modelo ainda estiver processando, o gateway cancela a solicitação do modelo imediatamente para que você não pague por ela.

Após o modelo responder, a mutação de saída pode remover segredos, e a validação de saída verifica o resultado final antes que ele chegue ao cliente. Para ferramentas MCP, todos os mecanismos de proteção pré-ferramenta são executados antes que a ferramenta seja chamada e, se algum falhar, a ferramenta nunca é executada. Os mecanismos de proteção são executados em cada chamada de ferramenta separadamente.

Make guardrails standard across every team

See centralized PII and injection policies applied to all apps, with full tracing, on your infrastructure.

Talk to an Expert