Aproveitando o AI Gateway da TrueFoundry para Conformidade com FIPS

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Velocidade, Segurança, Soberania: O AI Gateway em Conformidade com FIPS
No setor público atual, testemunhamos uma colisão. De um lado, temos a Força Incontrolável da IA Generativa. Os líderes das agências sabem que os Grandes Modelos de Linguagem (LLMs) podem reduzir o tempo de processamento de documentos de dias para segundos. Eles veem o potencial para enormes ganhos de eficiência.
Do outro lado está o Objeto Inamovível: Conformidade. Especificamente, os requisitos dos Padrões Federais de Processamento de Informações (FIPS). Estes não são apenas burocracia; são as leis invioláveis da física para os dados governamentais.
A crença comum é de que você precisa escolher: Velocidade ou Segurança. Você pode ter uma pilha de IA moderna e ágil que viola as regras, ou uma pilha em conformidade e "segura" que está anos atrasada.
Nós discordamos. Você não precisa escolher. Você só precisa da arquitetura certa, que oferecemos por meio do Truefoundry AI Gateway. Chamamos isso de Estratégia de "Nuvem On-Prem".
Por que a Conformidade Não É Opcional
Antes de falarmos sobre a solução, sejamos diplomáticos, mas diretos sobre o problema. Por que precisamos do FIPS? Por que não podemos simplesmente usar as chaves de API padrão para OpenAI ou Anthropic?
Resumo Executivo: O Mandato FIPS e o Problema dos "Segredos"
Antes de discutir a solução, devemos definir claramente a restrição.
O FIPS (Federal Information Processing Standards), especificamente o FIPS 140-3 (https://csrc.nist.gov/pubs/fips/140-3/final), é o padrão oficial do governo dos EUA para módulos criptográficos. Ele não pergunta apenas: "Seus dados estão criptografados?" Ele faz uma pergunta muito mais rigorosa: "O módulo matemático específico que executa a criptografia é validado por um laboratório credenciado pelo NIST?"
Para agências governamentais, isso é inegociável. Se os dados — ou os segredos que protegem esses dados — forem manipulados por um módulo não validado (como o OpenSSL padrão encontrado na maioria dos softwares comerciais), eles são efetivamente considerados "texto simples" aos olhos de um auditor.
O Conflito com a IA Moderna: Custódia de Segredos A interseção do FIPS e da IA Generativa cria uma vulnerabilidade crítica em relação às Chaves de API. Os LLMs modernos (como GPT-4 ou Claude 3.5) funcionam trocando segredos de longo prazo — chaves de API — que concedem acesso aos dados e ao orçamento da sua agência.
- O Risco do SaaS: Em uma implantação SaaS padrão, você faz o upload dessas chaves de API de alto valor para a nuvem de um provedor. Você perde a custódia. Se esse provedor as armazenar em um banco de dados padrão que depende de criptografia não validada, você expôs efetivamente suas credenciais a um ambiente sem credenciamento de segurança.
- A Vantagem do On-Prem: Ao implantar o Truefoundry "On-Prem", você recupera a soberania. Suas chaves de API são armazenadas no seu próprio AWS Secrets Manager ou Azure Key Vault (que são serviços validados pelo FIPS). O AI Gateway as recupera programaticamente apenas pelo milissegundo em que são necessárias para assinar uma requisição. As chaves nunca saem do seu limite validado pelo FIPS e nunca ficam visíveis para o provedor de software.
A Consequência da IA Involuntária (Shadow AI): Quando as agências não fornecem uma arquitetura em conformidade para essas chaves, as equipes são forçadas a agir por conta própria.
- O Incidente da Samsung: Em 2023, engenheiros bem-intencionados da Samsung colaram código proprietário na versão pública do ChatGPT para otimizá-lo. Eles não "hackearam" nada; apenas tentaram ser eficientes. O resultado? Essa propriedade intelectual confidencial vazou para o domínio público.
- A Lição da Equifax: Grandes violações frequentemente acontecem não porque a criptografia estava ausente, mas porque foi mal implementada (chaves fracas, certificados expirados). O FIPS previne isso ao exigir módulos criptográficos validados.
A lição principal: Se você não der às suas equipes uma maneira segura e em conformidade de usar IA, elas encontrarão uma maneira insegura de fazer isso.
A Solução: Truefoundry "On-Prem" na Nuvem
O Truefoundry é um AI Gateway — um plano de controle que gerencia suas interações com LLM. Ele traz Recursos de Classe Avançada, como roteamento de modelos, caching e rastreamento de custos.
Agora, vamos abordar o ponto central: o próprio software do Truefoundry não é validado pelo FIPS 140-2. Ele possui certificações comerciais robustas, como SOC 2 Type II e HIPAA, o que prova que é maduro e seguro para uso empresarial. Mas não possui o selo específico FedRAMP High exigido para cargas de trabalho de defesa.
Então, como o usamos em um ambiente governamental?
Usamos a "Estratégia da Fortaleza".
Implantamos o Plano de Dados do Truefoundry como uma carga de trabalho auto-hospedada ("On-Prem") dentro do seu ambiente existente do AWS GovCloud ou Azure Government da Microsoft Azure ou Google Public Sector do GCP (no restante do blog, usamos o AWS GovCloud para ilustrar, mas o mesmo princípio se aplica ao Azure e GCP).
- O Tanque (Infraestrutura): O AWS GovCloud fornece a blindagem validada pelo FIPS. Ele cuida da segurança física e do trabalho pesado de criptografia.
- O Motor (Truefoundry): O AI Gateway fornece velocidade e inteligência.
Ao aninhar a aplicação dentro da infraestrutura segura, alcançamos a conformidade por meio da herança.
Detalhamento da Arquitetura: A Fortaleza
Como isolamos o software não-FIPS dentro de uma estrutura em conformidade com o FIPS? Tratamos o Gateway do Truefoundry como uma "Caixa Preta" protegida pelos serviços da AWS.

Fig 1: Modelo Conceitual Geral
O Decodificador de Siglas (Por que construímos dessa forma)
- ALB (Application Load Balancer) Habilitado para FIPS: Este é o nosso "Segurança". Configuramos este ALB para usar suítes de criptografia validadas pelo FIPS 140-3 ou anteriormente pelo FIPS 140-2. Ele encerra a conexão TLS aqui. Isso significa que o "handshake criptográfico" é gerenciado pelo hardware validado da AWS, não pelo contêiner do Truefoundry. A aplicação efetivamente "herda" essa conformidade para o tráfego de entrada (ingress).
- VPC Isolada (Air-Gapped): O Gateway reside em uma sub-rede privada sem rota direta para a internet. Ele só pode "falar" quando acionado pelo ALB, ou "sussurrar" para provedores específicos de LLM por meio de um firewall rigoroso de NAT Gateway.
- Armazenamento WORM (Write Once, Read Many): Roteamos os logs de auditoria para o Amazon S3 com o Object Lock ativado. Isso cria uma trilha de auditoria legalmente defensável que satisfaz os oficiais de conformidade — uma vez que um log é gravado, ele não pode ser excluído.
Jornada do Usuário: "Velocidade Segura" com Alex
Diagramas de arquitetura são ótimos para engenheiros, mas vamos ver como isso muda a realidade diária de Alex, um Analista Sênior. Este fluxo de trabalho demonstra como a "Fortaleza" lida com uma tarefa do mundo real enquanto protege a agência de erros.
A Missão: Alex tem uma proposta de fornecedor contendo Informações Não Classificadas Controladas (CUI) e potenciais PII. Ele precisa de um resumo em 20 minutos.

Fig 2: Fluxo de trabalho do usuário com Merits da TrueFoundry
Fase 1: Proteção Ativa (A "Rede de Segurança")
Alex cola o texto na UI do Truefoundry. Ele não percebe que a página 4 contém o Tax ID de um fornecedor.
- A Interceptação: Assim que Alex pressiona enter, os Guardrails do Truefoundry escaneiam a entrada instantaneamente.
- A Ação: O sistema detecta o padrão do Tax ID. Ele não apenas bloqueia a requisição; ele faz a ocultação (redaction) cirúrgica dos números sensíveis.
- O Resultado: O prompt que realmente viaja para o LLM está seguro. Alex recebe uma notificação: "Tax ID Encontrado! Ocultando..." Ele está protegido contra um vazamento acidental.
Fase 2: Agnosticismo de Modelo (O "Pivô")
O sistema roteia o prompt ocultado para o Llama 3 no Bedrock. O resumo retornado é "medíocre".
- A Mudança: Alex não precisa ligar para a TI. Ele seleciona "Claude 3.5 (Azure)" no menu suspenso e clica em "Regenerar".
- O Roteamento: O Truefoundry redireciona automaticamente a requisição para um provedor de nuvem completamente diferente. A complexidade de se autenticar com Azure vs. AWS fica oculta para o Alex. Ele simplesmente obtém uma resposta melhor.
Fase 3: Custo e Auditoria (A "Trilha de Documentos")
Assim que Alex obtém seu "Resumo Perfeito", dois processos em segundo plano são acionados:
- Caching: A resposta é salva. Se um colega fizer a mesma pergunta amanhã, ele receberá a resposta instantaneamente a um custo de $0,00.
- Log de Auditoria: O sistema registra toda a interação — incluindo o evento de ocultação e o custo ($0,42) — e envia para o Gerente via armazenamento S3 WORM para manutenção de registro permanente.
Conclusão: Um Multiplicador de Força
A abordagem "On-Prem" do Truefoundry permite que as agências governamentais aproveitem o melhor dos dois mundos.
Ao aninhar o Plano de Dados do Truefoundry dentro do AWS GovCloud, você cria um sistema que é:
- Soberano: Seus dados nunca saem do seu controle sem permissão.
- Ágil: Você pode alternar modelos (OpenAI, Anthropic, Llama) instantaneamente conforme a tecnologia evolui.
- Em conformidade: Você aproveita as validações FIPS existentes da AWS para proteger a aplicação.
Isso não se trata apenas de marcar uma caixa em um formulário de conformidade. Trata-se de capacitar pessoas como Alex a realizarem seus trabalhos com segurança, eficiência e sem o medo de se tornarem a próxima manchete nos jornais.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)






