Proteção de runtime Onyx agora no TrueFoundry AI Gateway: guardrails de política para cada chamada de LLM

Se a sua equipe roteia o tráfego de LLM através de um gateway de IA, cada prompt e cada resposta são pontos onde algo pode dar errado. O TrueFoundry AI Gateway oferece acesso unificado a mais de 1.000 LLMs por trás de uma única API compatível com OpenAI. O Onyx agora está disponível como um guardrail personalizado nesse gateway, permitindo que os clientes da TrueFoundry adicionem proteção em tempo de execução sem alterar o código da aplicação.

A proteção em tempo de execução deve estar no ponto de aplicação, não em cada aplicação individual. O Onyx executa as mesmas verificações em cada prompt e resposta que cruza essa fronteira. Suas aplicações recebem a defesa contra injeção de prompt, detecção de jailbreak, verificações de exfiltração de dados e políticas de conteúdo do Onyx, tudo avaliado antes que o modelo ou o usuário veja a saída.

A configuração é feita apenas por ajustes. Não há wrapper para implantar nem código de aplicação para alterar.

Pré-requisitos

• Um TrueFoundry AI Gateway com pelo menos um provedor de modelo configurado, que respeite verdict: false em HTTP 200.
• Uma política de Onyx AI Guard e seu Guard Token, com pelo menos uma regra de Bloqueio (Block) verificando a direção de Entrada (Input) e/ou Saída (Output) que você deseja aplicar.
• HTTPS de saída do seu gateway TrueFoundry para o host do seu tenant Onyx.
• Permissão para adicionar e anexar grupos de guardrails no painel da TrueFoundry.

Integração passo a passo

O Onyx expõe um endpoint de avaliação nativo da TrueFoundry que fala diretamente o contrato de guardrail personalizado do gateway. A TrueFoundry chama o Onyx, e o Onyx retorna um veredito. Nenhum wrapper ou adaptador fica no meio do caminho.

Passo 1: Obtenha seu Guard Token e crie a URL

O Guard Token na URL da sua política de AI Guard identifica qual política deve ser avaliada e serve como autenticação para a chamada. Não é uma chave de API nem um Token de Gateway MCP. No Onyx, vá em Policies, depois em Runtime Policies, selecione a aba AI Guard, abra a AI Guard URL da política e copie o Guard Token e o hostname do seu tenant.

Crie a URL do guardrail:

https://<routing-id>.ai-guard.onyx.security/guard/evaluate/v1/<guard-token>/truefoundry

Use o host do seu próprio tenant. O endereço base https://ai-guard.onyx.security não roteia para um tenant e retornará 404.

Passo 2: Registre as configurações do guardrail personalizado

No painel da TrueFoundry, vá em AI Gateway, depois em Guardrails e em New Guardrails Group. Escolha Custom e nomeie como onyx-security. Adicione duas configurações, uma para cada direção, ambas apontando para a mesma URL do Onyx.

Para a configuração de entrada, defina o nome como onyx-input, a operação como Validate e o destino como Request. Cole a URL do guardrail que você criou no Passo 1, deixe Auth Data como None, defina Config como {} e escolha Enforce But Ignore On Error como a estratégia de aplicação.

Para a configuração de saída, defina o nome como onyx-output, a operação como Validate e o destino como Response. Use a mesma URL do guardrail, deixe Auth Data como None, defina Config como {} e escolha Enforce But Ignore On Error como a estratégia de aplicação.

As únicas diferenças entre as duas configurações são o nome e o destino. Deixe Auth Data vazio. O Guard Token no caminho da URL é a autenticação, portanto, nenhum token Bearer é necessário.

Passo 3: Anexe o guardrail ao tráfego

Vincule o grupo a um modelo nas configurações de guardrail do modelo, aplique-o em todo o gateway por meio de Políticas e depois Guardrails, ou selecione-o por solicitação com um cabeçalho para que você possa testar sem alterar um modelo:

{

  "llm_input_guardrails": ["onyx-security/onyx-input"],

  "llm_output_guardrails": ["onyx-security/onyx-output"]

}

Envie um prompt benigno e ele passará para o modelo. Envie um que acione uma regra do Onyx e o gateway o bloqueará, retornando a mensagem da política em vez de uma resposta do modelo, como HTTP 400 com error.type: guardrail_checks_failed. Para proteção de resposta, defina "stream": false; os rails de saída não funcionam em respostas transmitidas (streamed).

O que você ganha

Validação de entrada e saída. O rail de entrada analisa os prompts antes que o modelo seja executado. O rail de saída analisa as respostas antes que cheguem ao usuário, em solicitações que não sejam de streaming. O Onyx avalia cada uma delas em relação às regras de direção de Entrada e Saída da sua política.

Bloqueio orientado por políticas. Os bloqueios exibem a mensagem que você configurou no Onyx, para que o solicitante veja o seu texto, e não um erro genérico. Você altera a aplicação editando a política no console do Onyx, sem precisar fazer alterações no lado da TrueFoundry.

Uma única política para todos os aplicativos. Como a verificação é executada no gateway, todas as equipes e todos os aplicativos que passam por ele herdam os mesmos guardrails. Não há integração por aplicativo para manter e nenhuma lacuna de cobertura quando um novo serviço é lançado.

Observabilidade centralizada. As decisões dos guardrails são rastreadas juntamente com o restante da solicitação. O gateway é compatível com OpenTelemetry, portanto, você pode ver quais solicitações foram bloqueadas e por quê, na mesma ferramenta que já utiliza para monitorar latência e custos.

Perguntas frequentes

O que são guardrails de LLM em um gateway de IA?

Guardrails são verificações que o gateway executa em prompts e respostas antes que eles cheguem ao modelo ou ao usuário. No TrueFoundry AI Gateway, eles funcionam como políticas configuráveis, permitindo que você bloqueie injeção de prompt, jailbreaks ou vazamento de dados de forma centralizada, em vez de fazer isso em cada aplicativo.

Preciso implantar algo para adicionar o guardrail do Onyx?

Não. A TrueFoundry chama o endpoint de avaliação do Onyx diretamente. Você registra duas configurações de guardrail que apontam para a sua URL do Onyx. Não há wrapper ou adaptador para hospedar.

O guardrail do Onyx funciona tanto em prompts quanto em respostas?

Sim. A integração registra dois rails, um na requisição e outro na resposta. Se uma frase será bloqueada na saída depende de sua política Onyx ter uma regra de direção de saída; Entrada e Saída são configuradas separadamente no Onyx, e a proteção de saída requer requisições que não sejam de streaming.

Preciso alterar o código da minha aplicação para adicionar guardrails?

Não. O guardrail é executado no gateway. Você o anexa a um modelo ou passa um cabeçalho na requisição, e o código da sua aplicação continua funcionando normalmente.

Por que minha requisição está retornando um erro de validação?

O endpoint /truefoundry requer context.user.subjectSlug na requisição. O gateway fornece isso no tráfego normal; se você chamar o endpoint diretamente para testes, inclua o subjectSlug ou o Onyx retornará um veredito de bloqueio com "could not validate the request."

Posso executar o TrueFoundry AI Gateway na minha própria VPC?

Sim. O TrueFoundry oferece suporte a implantação em VPC, on-premise, ambientes isolados (air-gapped) e configurações multi-cloud, sem que nenhum dado saia do seu domínio.

Ele se integra à minha stack de observabilidade existente?

Sim. O gateway é compatível com OpenTelemetry e se conecta ao Grafana, Datadog ou Prometheus, rastreando cada requisição desde o prompt até o modelo, incluindo as decisões dos guardrails.

Onyx e TrueFoundry colaboraram nesta integração. Entre em contato com seu representante da TrueFoundry ou da Onyx para começar.