Hoe Staffbase 141M+ AI-verzoeken en 29B+ tokens verwerkt met 99,99%+ betrouwbaarheid dankzij TrueFoundry

Staffbase is het eerste AI-native Employee Experience Platform. Het brengt communicatie, IT en HR samen om elke medewerker te bereiken — inclusief de medewerkers op de werkvloer die vaak het moeilijkst te bereiken zijn — via een eigen gebrande medewerkersapp, intranet, e-mail, sms, digitale signage, Microsoft 365-integraties en nieuwe agentische ervaringen zoals gepersonaliseerde podcasts en een conversationele assistent. Meer dan 1.500 zakelijke klanten, waaronder Adidas, Alaska Airlines, DHL, MAN Truck & Bus en Whataburger, gebruiken Staffbase om hun mensen te bereiken. Staffbase werd voor het derde jaar op rij uitgeroepen tot Leader in het 2025 Gartner® Magic Quadrant™ voor Intranet Packaged Solutions en wordt door G2 erkend als Leader voor Employee Intranets. Het bedrijf heeft hoofdkantoren in New York City en Chemnitz, Duitsland.

AI-native zijn betekent dat AI bij Staffbase geen toegevoegde functie is — het is het fundament waarop het product is gebouwd. Elke nieuwe ervaring, van semantisch zoeken binnen het intranet tot de conversationele assistent en gepersonaliseerde podcasts, is afhankelijk van betrouwbare, wereldwijde inferentie van taalmodellen en embeddings op enterprise-schaal. Deze casestudy beschrijft hoe Staffbase de TrueFoundry AI Gateway gebruikte om die inferentie te uniformeren over een uitgestrekte multi-regio cloud-footprint en deze om te zetten in één betrouwbaar platform.

De uitdaging: AI op enterprise-schaal over een uitgestrekte cloud-footprint

Terwijl Staffbase AI tot de kern van zijn platform maakte, lag het echte probleem niet bij het aanroepen van een model — maar bij het betrouwbaar draaien van inferentie op de schaal en over de geografie die een enterprise employee-experience platform vereist.

Drie knelpunten vielen op. Ten eerste, pure schaal: een AI-native platform dat meer dan 1.500 zakelijke klanten bedient, genereert een enorm, continu inferentievolume, gedomineerd door de embedding-aanroepen die zoeken en retrieval aandrijven over de content van elke klant. Ten tweede, een versnipperde leveranciers- en regiofootprint: capaciteit was verspreid over meerdere Azure-abonnementen en cognitive accounts — afzonderlijke implementaties in regio's als Zweden en Frankrijk, elk met eigen API-sleutels, quota en rate limits — plus AWS Bedrock. Het verkeer handmatig over al deze accounts balanceren, en binnen de rate limits van elk account blijven, zou onhoudbaar zijn geweest. Ten derde, data-residentie en betrouwbaarheid: met een Europees hoofdkantoor en wereldwijde klanten had Staffbase inferentie nodig die via de juiste regio's werd gerouteerd, en — omdat medewerkerscommunicatie bedrijfskritisch is — had het bewijsbare uptime nodig.

De oplossing: één gateway over elk abonnement, elke regio en elk model

Staffbase standaardiseerde op de TrueFoundry AI Gateway als het enige control plane voor al zijn AI-verkeer. Achter één endpoint staat de Gateway nu voor een bewust complexe backend — en verbergt die complexiteit voor elk team dat erop bouwt. 

1. Eén geünificeerde proxy over 141 implementaties en 19 modellen

De Gateway geeft Staffbase één interface naar een backend die zich uitstrekt over 5 Azure-abonnementen plus AWS Bedrock, 28 Azure cognitive accounts en 141 individuele model-implementaties over 9 regio's. Teams roepen één API aan en krijgen toegang tot 19 modellen — van de nieuwste topmodellen tot gespecialiseerde embedding- en reranking-modellen — zonder zelf provider-SDK's, sleutels of endpoints te hoeven koppelen. 

Beschikbare modellen (19): gpt-5.6-luna, gpt-5.6-sol, gpt-5.6-terra, gpt-5.5, gpt-5.4, gpt-5.1, gpt-5-mini, gpt-5-nano, gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, gpt-4o, claude-sonnet-5, claude-sonnet-4-6, claude-haiku-4-5, Mistral-Large-3, text-embedding-3-large, text-embedding-3-small, cohere-rerank-v3-5.

2. Intelligente load balancing over abonnementen en regio's

Hier bewijst de Gateway zijn waarde. De Azure-capaciteit van Staffbase is verdeeld over afzonderlijke cognitive accounts — Zweden en Frankrijk zitten bijvoorbeeld in hetzelfde abonnement maar hebben hun eigen API-sleutels, quota en rate limits. De Gateway bundelt alle 141 implementatiedoelen tot één logische capaciteit en routeert elk verzoek naar een implementatie met ruimte, waarbij automatisch rekening wordt gehouden met rate limits per account en wordt uitgeweken wanneer een endpoint verzadigd is. Alleen al de de1-productiegateway balanceert over 32 routeringsdoelen; over alle omgevingen heen beheert de Gateway er 141. Wat ooit een handmatig capaciteitsplanningsprobleem was, is nu iets waar engineers nooit meer bij hoeven stil te staan.

3. Multi-regio routering voor data-residentie en latentie

Productie draait als afzonderlijke regionale gateways — prod-de1 (Europa), prod-us1 (VS) en prod-au1 (Australië) — zodat verzoeken worden bediend vanuit de juiste geografie voor zowel data-residentie als latentie. Voor een platform met een Europees hoofdkantoor en zakelijke klanten over de hele wereld zorgt routering van inferentie via regiospecifieke gateways ervoor dat data blijft waar deze hoort, terwijl elke regio zijn eigen betrouwbare capaciteitspool krijgt.

4. Embeddings op enorme schaal

De mix van verkeer vertelt het verhaal van een AI-native product: embeddings zijn goed voor meer dan 97% van al het Gateway-verkeer, en drijven de retrieval en semantische zoekfunctie achter de AI-ervaringen van Staffbase aan. Sinds de livegang in februari heeft de Gateway ongeveer 108,2M verzoeken naar text-embedding-3-small en 29,3M naar text-embedding-3-large verwerkt, naast 2,5M generatieverzoeken naar gpt-5-mini en een groeiend volume over de topmodellen.

5. Meetbare betrouwbaarheid

Omdat medewerkerscommunicatie zich geen downtime kan veroorloven, houdt Staffbase de Gateway bij aan de hand van formele SLO's. Over een voortschrijdend venster van 28 dagen ligt de beschikbaarheid tot 99,99998% — ruim voorbij vijf negens — in elke productieomgeving, en de slagingspercentages van modelverzoeken blijven op 99,99%+ en hoger zodra verwachte opstartfouten (rate-limit- en authenticatieresponsen) buiten beschouwing worden gelaten.

6. Kostenzichtbaarheid per functie en per team

Ongeveer 22 verschillende productfuncties en teams routeren hun verkeer vandaag via de Gateway, en elk van de 12 functies die Staffbase tussen februari en mei 2026 uitbracht, is er afhankelijk van. Omdat al dat verkeer via één beheerd oppervlak loopt, krijgt Staffbase één toewijsbaar overzicht van gebruik en uitgaven — voor een fractie van wat het volume zou doen vermoeden. 

Ondersteuning die gelijke tred houdt met een snel bewegende roadmap

Een platform zo diep adopteren werkt alleen als de leverancier meebeweegt op het tempo van het team. Staffbase benadrukte de reactiesnelheid van TrueFoundry — met name hoe snel functieverzoeken worden afgehandeld — als een echt voordeel terwijl het zijn AI-adoptie opschaalt.

Resultaten: 140M+ beheerde verzoeken met 99,99%+ betrouwbaarheid

Door te centraliseren op TrueFoundry veranderde Staffbase een versnipperde, multi-abonnement, multi-regio AI-footprint in één beheerd platform waarop zijn teams zonder wrijving kunnen bouwen.

Sinds de livegang in februari heeft de Gateway meer dan 141 miljoen verzoeken beheerd — nu ongeveer 97,8M per gemiddelde maand — en 29,2 miljard tokens verwerkt (27,3 miljard input en 1,9 miljard output). De beschikbaarheid bleef tot 99,99998% en de slagingspercentages tot 99,99%+ terwijl er werd gebalanceerd over 141 implementaties in 9 regio's, allemaal achter één endpoint. Ongeveer 22 functies en teams vertrouwen erop, en elke AI-functie die Staffbase in 2026 uitbracht, draait erbovenop.

Belangrijkste inzichten voor teams die een AI-gateway adopteren

• Bundel je capaciteit, beheer deze niet handmatig. Wanneer inferentie verspreid is over veel abonnementen, accounts en regio's, elimineert een gateway die deze bundelt tot één logische capaciteit en rate limits omzeilt een hele categorie operationele rompslomp.
• Ontwerp voor de workload die je daadwerkelijk hebt. Bij een AI-native product kunnen embeddings het verkeer domineren — hier meer dan 97%. Een gateway die hoogvolume, lage-kosten aanroepen efficient routeert, houdt de uitgaven ver onder wat de ruwe aantallen verzoeken zouden doen vermoeden.
• Maak betrouwbaarheid meetbaar. Door de gateway te volgen aan de hand van formele SLO's werd uptime een getal waar Staffbase voor bedrijfskritische communicatie achter kan staan, in plaats van een hoop.
• Centraliseer eerst, ken daarna toe. Één beheerd endpoint voor ~22 functies gaf Staffbase één overzicht van gebruik en kosten, toewijsbaar per functie en team, in plaats van uitgaven te moeten verzoenen over leveranciers heen.

Conclusie

De ervaring van Staffbase laat zien dat AI-native zijn op enterprise-schaal niet vereist dat je inferentie-infrastructuur vanaf nul bouwt. Door te standaardiseren op de AI Gateway van TrueFoundry voor geünificeerde inferentie, intelligente multi-regio load balancing en kostenzichtbaarheid — over 5 Azure-abonnementen, AWS Bedrock, 28 cognitive accounts en 141 implementaties — schaalde Staffbase naar meer dan 140 miljoen beheerde verzoeken met vijf-negens betrouwbaarheid, terwijl elk team één betrouwbare plek kreeg om de volgende generatie medewerkerservaringen te bouwen.