É com entusiasmo que anunciamos uma integração estratégica entre a TrueFoundry e a TrojAI, unindo duas camadas críticas da pilha de IA moderna:

• TrueFoundry AI Gateway, um plano de controle empresarial para acesso a LLMs, observabilidade, roteamento de tráfego e otimização de latência
• TrojAI Defend AI Firewall, que oferece segurança em tempo real, aplicação de políticas e proteção contra ameaças de IA em tempo de execução

Juntos, esta parceria oferece uma base segura, observável e escalável para a implantação de IA generativa em produção.

Lacunas de Visibilidade e Controle de IA 

As empresas estão rapidamente construindo e implantando GenAI em produção, mas a infraestrutura subjacente não acompanhou o ritmo. As equipes estão enfrentando dificuldades com acesso fragmentado a múltiplos provedores de LLM; falta de visibilidade sobre o uso, latência e falhas de LLMs; e tráfego de IA complexo e matizado que pode desencadear ameaças como injeções de prompt, vazamentos de dados sensíveis e toxicidade. Isso torna cada vez mais desafiador para as empresas que buscam construir e implantar IA de forma consistente, segura e escalável. E é exatamente essa lacuna que a TrueFoundry e a TrojAI estão resolvendo juntas.

Um Novo Padrão: Gateway de IA + Defesa de IA

Esta integração introduz uma clara separação de responsabilidades que ajuda as empresas a abordar a infraestrutura de LLM e o gerenciamento de tráfego, bem como a segurança de IA. 

TrueFoundry: O Gateway de IA

A TrueFoundry fornece um plano de controle unificado para todo o tráfego de IA, permitindo que as equipes centralizem o acesso em mais de 250 modelos através de uma única API; apliquem autenticação, limites de taxa e cotas; e observem tudo. Isso inclui latência, tokens, custos e falhas. Em última análise, isso permite que as empresas otimizem o desempenho e a visibilidade de seus agentes e aplicativos de IA empresariais através de um único painel de controle. 

TrojAI: O Firewall de IA

A TrojAI é uma plataforma de segurança de IA que ajuda as empresas a avaliar seus riscos de IA através de red teaming automatizado e proteger contra ameaças ativas em tempo de execução. O TrojAI Defend opera em linha como um proxy de aplicação em tempo de execução, garantindo que cada solicitação e resposta seja segura e esteja em conformidade, com capacidades para bloquear, redigir ou permitir o tráfego. Com um motor de políticas abrangente, a TrojAI oferece uma série de conjuntos de regras baseados em IA, tais como:

• Proteção adversarial cobrindo injeção de prompt, jailbreak e vazamento de prompt do sistema
• Prevenção de vazamento de dados (PII, segredos, IP)
• Moderação de conteúdo tóxico e inseguro, incluindo regras personalizadas

A TrojAI funciona em tempo real, em escala, ajudando empresas globais a proteger seus ativos de IA à medida que o cenário de ameaças evolui.

Juntos, somos melhores: Escalável e Seguro

Individualmente, cada plataforma resolve um problema crítico. A TrueFoundry ajuda as empresas a controlar e monitorar seu tráfego de IA, com capacidades essenciais que abrangem controle de acesso, observabilidade e roteamento inteligente de tráfego. À medida que a TrueFoundry observa o tráfego, ela se integra nativamente com a TrojAI para monitorar e proteger contra ameaças suspeitas e maliciosas. Juntas, elas criam um plano de gerenciamento de IA unificado que abrange desde o controle até a aplicação. Enquanto a TrueFoundry governa como o tráfego flui, a TrojAI governa qual tráfego é permitido.

“Ao integrar com o AI Gateway da TrueFoundry, estamos trazendo a aplicação em tempo real diretamente para o tráfego de produção, para que as equipes possam avançar rapidamente sem se expor a injeção de prompt, vazamento de dados e conteúdo de IA indesejado”, disse Lee Weiner, CEO da TrojAI. “Juntos, estamos definindo como deve ser uma pilha de IA segura e pronta para produção.” 

“As empresas precisam de uma infraestrutura de IA onde governança e segurança não sejam conversas separadas”, disse Anuraag Gutgutia, CEO da TrueFoundry. “Ao integrar o TrojAI Defend diretamente no AI Gateway da TrueFoundry, estamos oferecendo às equipes uma única pilha de produção onde cada solicitação é governada e protegida. Essa é a base para implantar agentes de IA com confiança em escala.” 

Primeiros passos com TrueFoundry × TrojAI

A TrojAI está nativamente disponível na TrueFoundry, tornando a integração rápida e direta.

No console da TrojAI, os usuários primeiro criam uma política e selecionam os conjuntos de regras relevantes para inspecionar o tráfego de suas aplicações (por exemplo, injeção de prompt, vazamento de dados). Uma vez que a política é criada, os usuários podem habilitar a integração da TrojAI dentro da TrueFoundry, fornecendo o ID do cliente e o URL do serviço aplicáveis.

Uma vez configurada na TrueFoundry, aplicações e agentes de IA enviam solicitações para o AI Gateway. A TrueFoundry pode ser configurada para autenticar e aplicar controles de acesso; rotear o tráfego com base em latência, custo ou política; e capturar logs, métricas e rastreamentos.

A TrojAI pode ser implantada como uma camada de proxy para aplicação de tráfego em tempo real ou como um serviço de proteção (guardrail) para monitoramento de tráfego baseado em API. À medida que as solicitações são encaminhadas para a TrojAI, a TrojAI inspeciona os prompts em busca de intenção maliciosa e aplica as políticas de segurança e conformidade relevantes. 

As solicitações aprovadas chegam ao provedor do modelo. As respostas são passadas de volta pela TrojAI e re-filtradas para toxicidade, saídas adversárias ou vazamento de dados sensíveis. Os eventos são passados de volta para a TrojAI para visibilidade e monitoramento.

A TrueFoundry registra todo o ciclo de vida da interação através de suas capacidades integradas para permitir observabilidade e roteamento. Isso inclui registro de solicitações/respostas, rastreamento de latência, monitoramento de tokens e custos, e failover e balanceamento de carga.

O Futuro da Infraestrutura de IA

O futuro dos sistemas de IA será construído sobre pilhas de infraestrutura de IA abrangentes que unem gateways para controle e escalabilidade e proteção em tempo de execução para segurança e aplicação. Com TrueFoundry × TrojAI, esse futuro já chegou. 

Esta integração permite uma implantação de produção mais rápida, permitindo que as equipes implementem aplicativos GenAI sem reconstruir a infraestrutura ou a segurança do zero. Também oferece visibilidade completa, proporcionando às equipes uma visão unificada de cada solicitação, juntamente com os custos associados e métricas de latência, tudo em um só lugar. Com segurança integrada por design, as organizações podem se proteger contra ameaças emergentes, como injeção de prompt e exfiltração de dados. Ao mesmo tempo, preserva a liberdade multi-modelo, facilitando o roteamento entre provedores sem sacrificar a governança ou a segurança.

Começar

• Saiba mais sobre o TrueFoundry AI Gateway: https://www.truefoundry.com/ai-gateway
• Saiba mais sobre a integração TrojAI: https://www.truefoundry.com/docs/ai-gateway/trojai 
• Entre em contato com a TrojAI para ativar a proteção do Defend AI Firewall em sua pilha: https://troj.ai/contact-us