A TrueFoundry lança o TrueFailover para redirecionar automaticamente o tráfego de IA corporativa durante interrupções de modelos

Quando a OpenAI ficou fora do ar em dezembro, um dos clientes da TrueFoundry enfrentou uma crise que nada tinha a ver com chatbots ou geração de conteúdo. A empresa utiliza grandes modelos de linguagem para ajudar na renovação de receitas médicas. Cada segundo de inatividade significava milhares de dólares em perda de receita — e pacientes que não conseguiam acessar seus medicamentos a tempo.

A TrueFoundry, uma empresa de infraestrutura de IA para empresas, anunciou na quarta-feira um novo produto chamado TrueFailover, projetado exatamente para evitar esse cenário. O sistema detecta automaticamente quando provedores de IA sofrem interrupções, lentidão ou degradação de qualidade, redirecionando o tráfego de forma transparente para modelos e regiões de backup antes que os usuários percebam qualquer problema.

"O desafio é que, no mundo da IA, o failover não é mais tão simples", disse Nikunj Bajaj, cofundador e CEO da TrueFoundry, em uma entrevista exclusiva ao VentureBeat. "Ao mudar de um modelo para outro, você também precisa considerar fatores como qualidade de saída, latência e se o prompt funciona da mesma maneira. Em muitos casos, o prompt precisa ser ajustado em tempo real para evitar que os resultados sejam prejudicados. Isso não é algo que a maioria das equipes esteja preparada para gerenciar manualmente."

O anúncio chega em um momento crucial para a adoção de IA nas empresas. As organizações já superaram a fase de experimentação. A IA agora impulsiona a renovação de receitas em farmácias, gera propostas de vendas, auxilia desenvolvedores de software e lida com solicitações de suporte ao cliente. Quando esses sistemas falham, as consequências se espalham por toda a organização.

Por que os sistemas de IA corporativos permanecem perigosamente dependentes de provedores únicos

Grandes modelos de linguagem da OpenAI, Anthropic, Google e outros provedores tornaram-se infraestrutura essencial para milhares de empresas. Mas, ao contrário dos serviços de nuvem tradicionais da Amazon Web Services ou Microsoft Azure — que oferecem garantias robustas de tempo de atividade respaldadas por décadas de experiência operacional —, os provedores de IA operam sistemas complexos e intensivos em recursos que permanecem sujeitos a falhas inesperadas.

"Os principais provedores de LLM sofrem interrupções, lentidão ou picos de latência a cada poucas semanas ou meses, e vemos regularmente o impacto cascata em empresas que dependem de um único provedor", disse Bajaj ao VentureBeat.

A interrupção da OpenAI em dezembro, que afetou o cliente de farmácia da TrueFoundry, ilustra os riscos. "Na escala deles, até segundos de inatividade podem se traduzir em milhares de dólares em perda de receita", explicou Bajaj. "Além do impacto econômico, há também uma consequência humana quando os pacientes não conseguem acessar as receitas a tempo. Como esse cliente tinha nossa solução de failover implementada, eles conseguiram redirecionar as solicitações para outro provedor de modelo minutos após detectar a falha. Sem essa configuração, a recuperação provavelmente teria levado horas."

O problema vai além de interrupções completas. Falhas parciais — onde um modelo fica lento ou produz respostas de qualidade inferior sem ficar totalmente offline — podem destruir silenciosamente a experiência do usuário e violar acordos de nível de serviço. Esses cenários de "lento, mas tecnicamente ativo" costumam ser mais prejudiciais do que quedas drásticas, pois escapam dos sistemas de monitoramento tradicionais enquanto corroem o desempenho de forma constante.

Por dentro da tecnologia que mantém as aplicações de IA online quando os provedores falham

O TrueFailover opera como uma camada de resiliência sobre o AI Gateway da TrueFoundry, que já processa mais de 10 bilhões de solicitações por mês para empresas da Fortune 1000. O sistema entrelaça várias capacidades interconectadas em uma rede de segurança unificada para a IA corporativa.

Em sua essência, o produto permite o failover entre múltiplos modelos, permitindo que as empresas definam modelos primários e de backup entre diferentes provedores. Se a OpenAI ficar indisponível, o tráfego muda automaticamente para Anthropic, Gemini do Google, Mistral ou alternativas auto-hospedadas. O roteamento ocorre de forma transparente, sem exigir que as equipes de aplicação reescrevam código ou intervenham manualmente.

O sistema estende essa proteção através de fronteiras geográficas por meio de resiliência multirregião e multinuvem. Ao distribuir endpoints de IA entre zonas e provedores de nuvem, o roteamento baseado em integridade pode detectar problemas em regiões específicas e desviar o tráfego para alternativas saudáveis. O que de outra forma se tornaria um incidente global transforma-se em um ajuste de infraestrutura invisível que os usuários nunca percebem.

Talvez o mais importante, o TrueFailover emprega roteamento sensível à degradação que monitora continuamente a latência, taxas de erro e sinais de qualidade. "Analisamos uma combinação de sinais que, juntos, indicam quando o desempenho de um modelo começa a cair", explicou Bajaj. "Grandes modelos de linguagem são recursos compartilhados. Os provedores executam a mesma instância de modelo para muitos clientes, então, quando a demanda aumenta para um usuário ou carga de trabalho, isso pode afetar todos os outros que usam aquele modelo."

O sistema monitora tempos de resposta crescentes, aumento nas taxas de erro e padrões que sugerem instabilidade. "Individualmente, nenhum desses sinais conta a história completa", disse Bajaj. "Mas, juntos, eles nos permitem detectar sinais precoces de que um modelo está ficando lento ou se tornando instável. Esses sinais alimentam um sistema orientado por IA que pode decidir quando e como redirecionar o tráfego antes que os usuários experimentem uma queda perceptível na qualidade."

O cache estratégico completa a proteção, protegendo os provedores de picos repentinos de tráfego e evitando cascatas de limite de taxa durante períodos de alta demanda. Isso permite que os sistemas absorvam picos de demanda e limites de provedores sem quedas de energia ou surpresas de limitação.

A abordagem representa uma mudança fundamental na forma como as empresas devem pensar sobre a confiabilidade da IA. "O TrueFailover foi projetado para lidar com essa complexidade automaticamente", disse Bajaj. "Ele monitora continuamente como os modelos se comportam entre muitos clientes e casos de uso, busca sinais de alerta precoce, como aumento de latência, e toma medidas antes que as coisas quebrem. A maioria das empresas individuais não tem esse tipo de visibilidade porque só conseguem ver seus próprios sistemas."

O desafio de engenharia de trocar modelos sem sacrificar a qualidade da saída

Um dos desafios mais espinhosos no failover de IA envolve manter uma qualidade de saída consistente ao alternar entre modelos. Um prompt otimizado para o GPT-5 pode produzir resultados diferentes no Claude ou no Gemini. A TrueFoundry aborda isso por meio de vários mecanismos que equilibram velocidade e precisão.

"Algumas equipes confiam no fato de que os grandes modelos se tornaram bons o suficiente para que pequenas diferenças nos prompts não afetem materialmente a saída", explicou Bajaj. "Nesses casos, a mudança de um provedor para outro pode ocorrer com algum impacto visível — não é o ideal, mas algumas equipes optam por fazer isso."

Implementações mais sofisticadas mantêm prompts específicos para cada provedor dentro da mesma aplicação. "Quando o tráfego muda de um modelo para outro, o prompt muda junto", explica Bajaj. "Nesse caso, o failover não é apenas trocar de modelo. É mudar para uma configuração que já foi testada."

O TrueFailover automatiza esse processo. O sistema roteia solicitações dinamicamente e ajusta os prompts com base no modelo que processa a consulta, mantendo a qualidade dentro de níveis aceitáveis sem intervenção manual. O segredo, enfatiza Bajaj, é que "o failover é planejado, não reativo. A lógica, os prompts e as travas de segurança são definidos com antecedência, e é por isso que os usuários finais geralmente nem percebem quando ocorre uma troca."

É importante notar que muitos cenários de failover nem sequer exigem a troca de provedor. "Pode ser apenas o roteamento de tráfego do mesmo modelo de uma região para outra, como da Costa Leste para a Costa Oeste, onde não são necessárias alterações nos prompts", observa Bajaj. Essa flexibilidade geográfica oferece uma primeira linha de defesa antes que trocas mais complexas entre provedores se tornem necessárias.

Como setores regulamentados podem usar o failover de IA sem comprometer a conformidade

Para empresas de saúde, serviços financeiros e outros setores regulamentados, a perspectiva de o tráfego de IA ser roteado automaticamente para diferentes provedores levanta preocupações imediatas de conformidade. Dados de pacientes não podem simplesmente fluir para qualquer modelo que esteja disponível. Registros financeiros exigem controles rígidos sobre seu tráfego. A TrueFoundry criou travas de segurança explícitas para lidar com essas restrições.

"O TrueFailover nunca roteará dados para um modelo ou provedor que a empresa não tenha aprovado explicitamente", afirma Bajaj. "Tudo é controlado por meio de uma camada de configuração administrativa, onde as equipes definem travas de segurança claras desde o início."

As empresas definem exatamente quais modelos se qualificam para failover, quais provedores podem receber tráfego e até mesmo quais regiões ou categorias de modelos — como código fechado versus código aberto — são aceitáveis. Uma vez que essas regras entram em vigor, o TrueFailover opera estritamente dentro delas.

"Se um modelo não estiver na lista de aprovados, ele simplesmente não é uma opção para roteamento", enfatiza Bajaj. "Não existe cenário em que o tráfego seja enviado automaticamente para um local inesperado. A ideia é dar às equipes controle total sobre a conformidade e as fronteiras de dados, permitindo que o sistema responda rapidamente quando algo der errado. Dessa forma, a confiabilidade aumenta sem comprometer a segurança ou os requisitos regulatórios."

Esse design reflete as lições aprendidas com as implementações corporativas existentes da TrueFoundry. Uma empresa da Fortune 50 na área de saúde já utiliza a plataforma para processar mais de 500 milhões de chamadas de URA anualmente por meio de um sistema de IA agente. Esse cliente precisava da capacidade de executar cargas de trabalho tanto em nuvem quanto em infraestrutura local (on-premise), mantendo controles rígidos de residência de dados — exatamente o tipo de ambiente híbrido onde as políticas de failover devem ser definidas com precisão.

Onde o failover automático não pode ajudar e o que as empresas precisam planejar

A TrueFoundry reconhece que o TrueFailover não resolve todos os problemas de confiabilidade. O sistema opera dentro das travas de segurança configuradas pelas empresas, e são essas configurações que determinam qual proteção é possível.

"Se uma equipe permite o failover de um modelo grande e de alta capacidade para um modelo muito menor sem ajustar os prompts ou as expectativas, o TrueFailover não pode garantir a mesma qualidade de saída", explica Bajaj. "O sistema consegue rotear o tráfego, mas não pode fazer um modelo menor se comportar como um maior sem a configuração apropriada."

Restrições de infraestrutura também limitam a proteção. Se uma empresa hospeda seus próprios modelos e todos eles rodam no mesmo cluster de GPU, o TrueFailover não pode ajudar quando essa infraestrutura falha. "Quando não há infraestrutura alternativa disponível, não há para onde fazer o failover", diz Bajaj.

A questão de falhas simultâneas em vários provedores surge ocasionalmente em discussões de risco corporativo. Bajaj argumenta que esse cenário, embora teoricamente possível, raramente condiz com a realidade. "Na prática, 'ficar fora do ar' geralmente não significa que um provedor inteiro esteja offline em todos os modelos e regiões", explica ele. "O que acontece com muito mais frequência é uma lentidão ou interrupção em um modelo ou região específica devido a picos de tráfego ou problemas de capacidade."

Quando isso ocorre, o failover pode acontecer em vários níveis — de local para nuvem, de nuvem para local, de uma região para outra, de um modelo para outro ou até mesmo dentro do mesmo provedor antes de trocar de provedor completamente. "Só isso já torna muito improvável que tudo falhe ao mesmo tempo", diz Bajaj. "O ponto principal é que a confiabilidade é construída sobre camadas de redundância. Quanto mais provedores, regiões e modelos incluídos nas travas de segurança, menor a chance de os usuários sofrerem uma interrupção completa."

Uma startup que construiu sua plataforma dentro de implementações de IA da Fortune 500

A TrueFoundry consolidou-se como infraestrutura para algumas das maiores implementações de IA do mundo, fornecendo um contexto crucial para suas ambições de failover. A empresa captou US$ 19 milhões em uma rodada Série A em fevereiro de 2025, liderada pela Intel Capital com a participação da Eniac Ventures, Peak XV Partners e Jump Capital. Investidores anjo, incluindo Gokul Rajaram e Mohit Aron, também participaram da rodada, elevando o financiamento total para US$ 21 milhões.

A empresa, sediada em São Francisco, foi fundada em 2021 por Bajaj e pelos cofundadores Abhishek Choudhary e Anuraag Gutgutia, todos ex-engenheiros da Meta que se conheceram como colegas de classe no IIT Kharagpur. Inicialmente focada em acelerar implementações de aprendizado de máquina, a TrueFoundry mudou seu foco para oferecer suporte a recursos de IA generativa à medida que a tecnologia se tornou popular em 2023.

A lista de clientes da empresa demonstra uma adoção em escala corporativa que poucas startups de infraestrutura de IA conseguem igualar. A Nvidia utiliza a TrueFoundry para construir sistemas multiagentes que otimizam a utilização de clusters de GPU em data centers ao redor do mundo — um caso de uso onde até pequenas melhorias na utilização se traduzem em um impacto comercial substancial, dada a demanda insaciável por capacidade de GPU. A Adopt AI roteia mais de 15 milhões de solicitações e 40 bilhões de tokens de entrada por meio do AI Gateway da TrueFoundry para impulsionar seus fluxos de trabalho corporativos baseados em agentes.

A empresa de jogos Games 24x7 atende modelos de aprendizado de máquina para mais de 100 milhões de usuários por meio da plataforma, em escalas que excedem 200 solicitações por segundo. A plataforma de adoção digital Whatfix migrou para uma arquitetura de microsserviços na TrueFoundry, reduzindo seu ciclo de lançamento em seis vezes e diminuindo o tempo de teste em 40%.

A TrueFoundry relata atualmente mais de 30 clientes pagantes em todo o mundo e indicou que superou US$ 1,5 milhão em receita recorrente anual no ano passado, quadruplicando sua base de clientes. A empresa gerencia mais de 1.000 clusters para cargas de trabalho de aprendizado de máquina em toda a sua base de clientes.

O TrueFailover será oferecido como um módulo adicional ao TrueFoundry AI Gateway e à plataforma existentes, com preços seguindo um modelo baseado no uso, atrelado ao volume de tráfego, bem como ao número de usuários, modelos, provedores e regiões envolvidos. Um programa de acesso antecipado para parceiros de design será aberto nas próximas semanas.

Por que as garantias tradicionais de tempo de atividade na nuvem podem nunca se aplicar aos provedores de IA

Os compradores de tecnologia corporativa exigem há muito tempo compromissos de tempo de atividade dos provedores de infraestrutura. Amazon Web Services, Microsoft Azure e Google Cloud oferecem acordos de nível de serviço com penalidades financeiras em caso de falhas. Será que os provedores de IA enfrentarão expectativas semelhantes no futuro?

Bajaj vê restrições fundamentais que tornam os SLAs tradicionais difíceis de alcançar na geração atual de infraestrutura de IA. "A maioria dos LLMs fundamentais hoje opera como recursos compartilhados, o que é o que permite o preço padrão que você vê anunciado publicamente", explicou ele. "Os provedores oferecem compromissos de tempo de atividade mais altos, mas isso geralmente significa capacidade dedicada ou infraestrutura reservada, e o custo aumenta significativamente."

Mesmo com orçamentos substanciais, as empresas enfrentam cotas de uso que criam uma exposição inesperada. "Se o tráfego ultrapassar esses limites, as solicitações ainda podem transbordar para a infraestrutura compartilhada", disse Bajaj. "Isso torna difícil alcançar o tipo de garantia rígida a que as empresas estão acostumadas com os provedores de nuvem."

A economia da execução de grandes modelos de linguagem cria barreiras adicionais que podem persistir por anos. "Os LLMs ainda são extremamente complexos e caros de executar. Eles exigem infraestrutura e energia massivas, e não esperamos um futuro próximo em que a maioria das empresas execute múltiplas instâncias de modelos totalmente dedicadas apenas para garantir o tempo de atividade."

Essa realidade impulsiona a demanda por soluções como o TrueFailover, que proporcionam resiliência independentemente do que os provedores individuais possam prometer. "As empresas estão percebendo que a confiabilidade não pode vir apenas do provedor do modelo", disse Bajaj. "São necessárias camadas adicionais de proteção para lidar com as realidades de como esses sistemas operam hoje."

O novo cálculo para empresas que integraram a IA em processos de negócios críticos

O momento do anúncio da TrueFoundry reflete uma mudança fundamental na forma como as empresas usam a IA — e no que elas podem perder quando ela falha. O que começou como experimentação interna evoluiu para aplicações voltadas ao cliente, onde as interrupções afetam diretamente a receita e a reputação.

"Muitas empresas experimentaram IA generativa e sistemas de agentes no passado, e os casos de uso em produção eram amplamente voltados para o público interno", observou Bajaj. "Não houve impacto imediato em seu faturamento ou na percepção pública da empresa."

Essa era acabou. "Agora que essas empresas lançaram aplicações voltadas ao público, onde tanto o faturamento quanto a percepção pública podem ser impactados se ocorrer uma interrupção, os riscos são muito maiores do que eram há seis meses. É por isso que estamos vendo cada vez mais atenção a isso agora."

Para empresas que integraram a IA em processos de negócios críticos — desde a renovação de receitas até o suporte ao cliente e operações de vendas — o cálculo mudou completamente. A questão não é mais qual modelo tem o melhor desempenho em benchmarks ou qual provedor oferece os recursos mais atraentes. A pergunta que agora tira o sono dos líderes de tecnologia é muito mais simples e urgente: o que acontece quando a IA desaparece no pior momento possível?

Em algum lugar, um farmacêutico está aviando uma receita. Um agente de suporte ao cliente está resolvendo uma reclamação. Uma equipe de vendas está gerando uma proposta para um negócio que será fechado amanhã. Todos eles dependem de sistemas de IA que dependem de provedores que, apesar de sua escala e sofisticação, ainda ficam fora do ar sem aviso prévio.

A TrueFoundry aposta que as empresas pagarão caro para garantir que esses momentos de escuridão nunca cheguem às pessoas que mais importam — seus clientes.

Publicado originalmente em VentureBeat

Sobre a TrueFoundry:

A TrueFoundry fornece um AI Gateway de nível empresarial que engloba um LLM Gateway, MCP Gateway e Agent Gateway, permitindo que as empresas conectem, observem e governem com segurança o acesso a modelos, ferramentas, guardrails e agentes a partir de um único plano de controle. O AI Gateway possibilita cargas de trabalho de agentes que são seguras, eficientes e preparadas para o futuro por meio de conexões unificadas e combináveis entre provedores.

Além da camada de gateway, a TrueFoundry permite que as organizações implantem e treinem LLMs personalizados em GPUs, hospedem servidores MCP e executem agentes personalizados — tudo por meio de uma interface nativa do Kubernetes. Ela oferece suporte a instalações locais e em VPC tanto para o AI Gateway quanto para ambientes de implantação. A TrueFoundry garante conformidade de nível empresarial com os padrões SOC 2, HIPAA e ITAR. Com autoscaling, cache e otimização de recursos integrados, a TrueFoundry capacita as organizações a construir, implantar e governar sistemas de IA de forma segura, eficiente e em uma pilha preparada para o futuro. Para saber mais, visite truefoundry.com