Blank white background with no objects or features visible.

Estamos disponibilizando acesso gratuito ao Gartner Hype Cycle for AI Governance 2026 completo. Obtenha sua cópia →

97.8M
AI requests routed through the Gateway in July 2026
99.995%
model request success rate in production

A Staffbase é a primeira plataforma de experiência do colaborador nativa em IA. Ela integra comunicações, TI e RH para alcançar todos os colaboradores — incluindo os trabalhadores da linha de frente, que costumam ser os mais difíceis de conectar — por meio de um aplicativo de marca, intranet, e-mail, SMS, sinalização digital, integrações com o Microsoft 365 e novas experiências com agentes, como podcasts personalizados e um assistente conversacional. Mais de 1.500 clientes corporativos, incluindo Adidas, Alaska Airlines, DHL, MAN Truck & Bus e Whataburger, utilizam a Staffbase para se conectar com suas equipes. Nomeada como Líder no Gartner® Magic Quadrant™ de 2025 para Soluções de Intranet Empacotadas pelo terceiro ano consecutivo e reconhecida pelo G2 como Líder em Intranets para Colaboradores, a empresa está sediada em Nova York e em Chemnitz, na Alemanha.

Ser nativa em IA significa que a IA não é um recurso adicional na Staffbase — é a base sobre a qual o produto foi construído. Cada nova experiência, desde a busca semântica na intranet até o assistente conversacional e os podcasts personalizados, depende da execução de inferência de modelos de linguagem e embeddings de forma confiável, global e em escala corporativa. Este estudo de caso analisa como a Staffbase utilizou o TrueFoundry AI Gateway para unificar essa inferência em uma ampla infraestrutura de nuvem multirregional e transformá-la em uma plataforma única e confiável.

O desafio: IA em escala corporativa em uma infraestrutura de nuvem dispersa

À medida que a Staffbase incorporou a IA ao núcleo de sua plataforma, o maior desafio não foi chamar um modelo, mas sim executar a inferência de forma confiável na escala e na abrangência geográfica que uma plataforma de experiência do colaborador exige.

Três pressões se destacaram. Primeiro, escala bruta: uma plataforma nativa em IA que atende a mais de 1.500 clientes corporativos gera um volume contínuo e enorme de inferência, dominado pelas chamadas de embedding que impulsionam a busca e a recuperação de conteúdo de cada cliente. Segundo, uma infraestrutura fragmentada de provedores e regiões: a capacidade estava distribuída entre várias assinaturas e contas cognitivas do Azure — implantações separadas em regiões como Suécia e França, cada uma com suas próprias chaves de API, cotas e limites de taxa — além do AWS Bedrock. Equilibrar o tráfego manualmente entre todas elas, mantendo-se dentro dos limites de taxa de cada conta, seria inviável. Terceiro, residência de dados e confiabilidade: com sede na Europa e clientes globais, a Staffbase precisava que a inferência fosse roteada pelas regiões corretas e — como as comunicações dos colaboradores são essenciais — precisava de um tempo de atividade comprovável.

"Managing AI resources across multiple regions and subscriptions had become too complex to handle manually. We didn't want our engineers thinking about which cognitive account had quota left, or which region a request should land in — we needed one endpoint that just handled it. We were able to manage that with TrueFoundry."

Stefan Staude, Senior Site Reliability Engineer

A solução: um gateway único para todas as assinaturas, regiões e modelos

A Staffbase padronizou o TrueFoundry AI Gateway como o plano de controle único para todo o seu tráfego de IA. Por trás de um único endpoint, o Gateway agora gerencia um backend deliberadamente complexo — e oculta essa complexidade de todas as equipes que desenvolvem sobre ele. 

1. Um proxy unificado para 141 implantações e 19 modelos

O Gateway oferece à Staffbase uma interface única para um backend que abrange 5 assinaturas do Azure, além do AWS Bedrock, 28 contas cognitivas do Azure e 141 implantações individuais de modelos em 9 regiões. As equipes chamam uma única API e obtêm acesso a 19 modelos — desde os modelos de fronteira mais recentes até modelos especializados de embedding e reranking — sem precisar configurar SDKs, chaves ou endpoints de provedores por conta própria. 

Gateway Azure subs Cognitive accounts Regions Routing targets Models
de1 / prod 1 6 4 32 18
us1 / prod 1 5 3 27 18
au1 / prod 1 6 5 23 17
de1 / stage 1 6 4 31 18
de1 / dev 1 + AWS 5 + Bedrock 3 + 1 28 19
Total 5 Azure + 1 AWS 28 Azure accounts 9 regions 141 —

Modelos disponíveis (19): gpt-5.6-luna, gpt-5.6-sol, gpt-5.6-terra, gpt-5.5, gpt-5.4, gpt-5.1, gpt-5-mini, gpt-5-nano, gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, gpt-4o, claude-sonnet-5, claude-sonnet-4-6, claude-haiku-4-5, Mistral-Large-3, text-embedding-3-large, text-embedding-3-small, cohere-rerank-v3-5.

2. Balanceamento de carga inteligente entre assinaturas e regiões

É aqui que o Gateway mostra o seu valor. A capacidade do Azure da Staffbase é dividida entre contas cognitivas separadas — Suécia e França, por exemplo, estão na mesma assinatura, mas possuem suas próprias chaves de API, cotas e limites de taxa. O Gateway agrupa todos os 141 destinos de implantação em uma capacidade lógica e roteia cada solicitação para uma implantação com margem disponível, contornando automaticamente os limites de taxa por conta e realizando failover quando um endpoint está saturado. Apenas o gateway de produção de1 faz o balanceamento entre 32 destinos de roteamento; em todos os ambientes, o Gateway gerencia 141. O que costumava ser um problema manual de planejamento de capacidade agora é algo com que os engenheiros nunca precisam se preocupar.

“The routing and load balancing across our Azure accounts is the single biggest thing the Gateway does for us. Sweden, France, every deployment gets pooled into one endpoint, and traffic just flows to wherever there’s quota. We prevented hitting rate limits and stopped babysitting capacity.”

Stefan Staude, Senior Site Reliability Engineer

3. Roteamento multirregional para residência de dados e latência

A produção é executada como gateways regionais distintos — prod-de1 (Europa), prod-us1 (EUA) e prod-au1 (Austrália) — para que as solicitações sejam atendidas a partir da geografia correta, tanto para residência de dados quanto para latência. Para uma plataforma com sede na Europa e clientes corporativos em todo o mundo, rotear a inferência por meio de gateways específicos da região mantém os dados onde devem estar, ao mesmo tempo em que oferece a cada região seu próprio pool de capacidade confiável.

4. Embeddings em escala massiva

O mix de tráfego conta a história de um produto nativo de IA: os embeddings representam mais de 97% de todo o tráfego do Gateway, impulsionando a recuperação e a busca semântica por trás das experiências de IA da Staffbase. Desde o lançamento em fevereiro, o Gateway processou cerca de 108,2 milhões de solicitações para text-embedding-3-small e 29,3 milhões para text-embedding-3-large, além de 2,5 milhões de solicitações de geração para gpt-5-mini, com um volume crescente nos modelos de fronteira.

Model (since Feb, ~177 days) Total requests
text-embedding-3-small ~108.2M
text-embedding-3-large ~29.3M
gpt-5-mini ~2.5M

5. Confiabilidade que você pode medir

Como a comunicação com os funcionários não pode sofrer interrupções, a Staffbase monitora o Gateway com base em SLOs formais. Em uma janela móvel de 28 dias, a disponibilidade chega a 99,99998% — superando confortavelmente os cinco noves — em todos os ambientes de produção, e as taxas de sucesso das solicitações de modelo permanecem em 99,99%+ ou mais, uma vez excluídos os erros de configuração esperados (respostas de limite de taxa e autenticação).

Environment Availability (28d) Success rate (30d)
prod-de1 99.99998% 99.995%
prod-us1 99.99987% 99.995%
prod-au1 99.99674% 99.990%
dev 99.99981% 99.990%
stage-de1 99.99976% 99.984%

6. Visibilidade de custos por recurso e por equipe

Cerca de 22 recursos de produto e equipes distintos roteiam seu tráfego pelo Gateway hoje, e cada um dos 12 recursos que a Staffbase lançou entre fevereiro e maio de 2026 depende dele. Como todo esse tráfego flui por uma superfície governada, a Staffbase obtém uma visão única e atribuível do uso e dos gastos — por uma fração do que o volume sugere. 

Suporte que acompanha um roteiro de ritmo acelerado

Adotar uma plataforma tão profundamente só funciona se o fornecedor acompanhar a velocidade da equipe. A Staffbase destacou a capacidade de resposta da TrueFoundry — particularmente a rapidez com que as solicitações de recursos são atendidas — como uma vantagem real à medida que escala sua adoção de IA.

Resultados: mais de 140 milhões de solicitações governadas com 99,99%+ de confiabilidade

Ao centralizar na TrueFoundry, a Staffbase transformou uma infraestrutura de IA fragmentada, com múltiplas assinaturas e regiões, em uma plataforma única e governada na qual suas equipes podem construir sem atritos.

Desde o lançamento em fevereiro, o Gateway gerenciou mais de 141 milhões de solicitações — atualmente cerca de 97,8 milhões em um mês típico — e processou 29,2 bilhões de tokens (27,3 bilhões de entrada e 1,9 bilhão de saída). Ele manteve a disponibilidade em até 99,99998% e taxas de sucesso acima de 99,99%, equilibrando a carga entre 141 implantações em 9 regiões, tudo por trás de um único endpoint. Cerca de 22 funcionalidades e equipes dependem dele, e todos os recursos de IA que a Staffbase lançou em 2026 rodam sobre ele.

“The Gateway became the layer every AI feature is built on. It gave us one place to run inference at scale, across every region and provider, with the reliability our customers expect — and it did it without our teams having to become infrastructure experts.”

Luca Ghersi, Director of Engineering @ Staffbase

Principais aprendizados para equipes que adotam um gateway de IA

  • Centralize sua capacidade, não a gerencie manualmente. Quando a inferência é distribuída entre várias assinaturas, contas e regiões, um gateway que as agrupa em uma capacidade lógica única e contorna limites de taxa elimina uma categoria inteira de trabalho operacional.
  • Projete para a carga de trabalho que você realmente tem. Para um produto nativo em IA, os embeddings podem dominar o tráfego — aqui, representam mais de 97%. Um gateway que roteia chamadas de alto volume e baixo custo de forma eficiente mantém os gastos muito abaixo do que a contagem bruta de solicitações sugere.
  • Torne a confiabilidade mensurável. Monitorar o gateway com base em SLOs formais transformou o tempo de atividade de uma expectativa em um número que a Staffbase pode garantir para comunicações de missão crítica.
  • Centralize primeiro, atribua depois. Um endpoint governado para cerca de 22 funcionalidades proporcionou à Staffbase uma visão única de uso e custo, atribuível por funcionalidade e equipe, em vez de reconciliar gastos entre diferentes provedores.

Conclusão

A experiência da Staffbase mostra que ser nativo em IA em escala empresarial não exige a construção de uma infraestrutura de inferência do zero. Ao padronizar o uso do AI Gateway da TrueFoundry para inferência unificada, balanceamento de carga inteligente entre várias regiões e visibilidade de custos — abrangendo 5 assinaturas Azure, AWS Bedrock, 28 contas cognitivas e 141 implantações — a Staffbase escalou para mais de 140 milhões de solicitações gerenciadas com confiabilidade de cinco noves, oferecendo a cada equipe um local confiável para construir a próxima geração de experiências para funcionários.

The fastest way to build, govern and scale your AI

Opere seu Pipeline de ML desde o Dia 0

pipeline