TrueFoundry lanceert TrueFailover om automatisch enterprise AI-verkeer om te leiden tijdens modelstoringen

Toen OpenAI in december uitviel, kreeg een van de klanten van TrueFoundry te maken met een crisis die niets te maken had met chatbots of contentgeneratie. Het bedrijf gebruikt grote taalmodellen om recepten te helpen verlengen. Elke seconde downtime betekende duizenden dollars aan omzetverlies — en patiënten die hun medicatie niet op tijd konden krijgen.

TrueFoundry, een bedrijf voor enterprise AI-infrastructuur, kondigde woensdag een nieuw product aan genaamd TrueFailover, ontworpen om precies dat scenario te voorkomen. Het systeem detecteert automatisch wanneer AI-providers storingen, vertragingen of kwaliteitsdegradatie ervaren, en leidt het verkeer vervolgens naadloos om naar back-upmodellen en -regio's voordat gebruikers merken dat er iets mis is gegaan.

"De uitdaging is dat failover in de AI-wereld niet langer zo eenvoudig is," aldus Nikunj Bajaj, medeoprichter en CEO van TrueFoundry, in een exclusief interview met VentureBeat. "Wanneer je van het ene model naar het andere overstapt, moet je ook rekening houden met zaken als outputkwaliteit, latentie en of de prompt uberhaupt op dezelfde manier werkt. In veel gevallen moet de prompt in realtime worden aangepast om te voorkomen dat resultaten verslechteren. Dat is niet iets wat de meeste teams handmatig kunnen beheren."

De aankondiging komt op een cruciaal moment voor de adoptie van enterprise-AI. Bedrijven zijn ver voorbij het experimenteerstadium. AI drijft nu het verlengen van recepten bij apotheken aan, genereert salesvoorstellen, assisteert softwareontwikkelaars en behandelt vragen van de klantenservice. Wanneer deze systemen falen, trekken de gevolgen door hele organisaties heen.

Waarom enterprise AI-systemen gevaarlijk afhankelijk blijven van één enkele provider

Grote taalmodellen van OpenAI, Anthropic, Google en andere providers zijn essentiele infrastructuur geworden voor duizenden bedrijven. Maar in tegenstelling tot traditionele clouddiensten van Amazon Web Services of Microsoft Azure — die robuuste uptime-garanties bieden, onderbouwd door decennia aan operationele ervaring — draaien AI-providers complexe, resource-intensieve systemen die gevoelig blijven voor onverwachte storingen.

"Grote LLM-providers ervaren elke paar weken of maanden storingen, vertragingen of latentiepieken, en we zien regelmatig de downstream-impact op bedrijven die afhankelijk zijn van één enkele provider," vertelde Bajaj aan VentureBeat.

De OpenAI-storing in december die de apotheekklant van TrueFoundry trof, illustreert wat er op het spel staat. "Op hun schaal kunnen zelfs seconden downtime zich vertalen in duizenden dollars aan omzetverlies," legt Bajaj uit. "Naast de economische impact is er ook een menselijk gevolg wanneer patiënten hun recepten niet op tijd kunnen ophalen. Omdat deze klant onze failover-oplossing had, konden ze verzoeken binnen enkele minuten na het detecteren van de storing omleiden naar een andere modelprovider. Zonder die opzet zou herstel waarschijnlijk uren hebben geduurd."

Het probleem reikt verder dan complete storingen. Gedeeltelijke storingen — waarbij een model vertraagt of resultaten van lagere kwaliteit produceert zonder volledig offline te gaan — kunnen stilletjes de gebruikerservaring ondermijnen en service-level agreements schenden. Deze "traag maar technisch nog online"-scenario's blijken vaak schadelijker dan dramatische crashes, omdat ze traditionele monitoringsystemen omzeilen terwijl ze de prestaties gestaag uithollen.

Binnen de technologie die AI-applicaties online houdt wanneer providers falen

TrueFailover opereert als een veerkrachtlaag bovenop de AI Gateway van TrueFoundry, die al meer dan 10 miljard verzoeken per maand verwerkt voor Fortune 1000-bedrijven. Het systeem weeft verschillende onderling verbonden mogelijkheden samen tot één uniform vangnet voor enterprise-AI.

In de kern maakt het product multi-model failover mogelijk, doordat ondernemingen primaire en back-upmodellen over providers heen kunnen definieren. Als OpenAI onbeschikbaar wordt, verschuift het verkeer automatisch naar Anthropic, Google's Gemini, Mistral of self-hosted alternatieven. De routering gebeurt transparant, zonder dat applicatieteams code hoeven te herschrijven of handmatig in te grijpen.

Het systeem breidt deze bescherming uit over geografische grenzen heen via multi-regio- en multi-cloudveerkracht. Door AI-endpoints over zones en cloudproviders te verspreiden, kan gezondheidsgebaseerde routering problemen in specifieke regio's detecteren en verkeer omleiden naar gezonde alternatieven. Wat anders een wereldwijd incident zou worden, verandert in een onzichtbare infrastructuuraanpassing die gebruikers nooit opmerken.

Misschien wel het meest cruciaal is dat TrueFailover degradatiebewuste routering toepast, die voortdurend latentie, foutpercentages en kwaliteitssignalen monitort. "We kijken naar een combinatie van signalen die samen aangeven wanneer de prestaties van een model beginnen te verslechteren," legt Bajaj uit. "Grote taalmodellen zijn gedeelde resources. Providers draaien dezelfde modelinstance voor veel klanten, dus wanneer de vraag voor één gebruiker of workload piekt, kan dit iedereen anders die dat model gebruikt beïnvloeden."

Het systeem let op stijgende responstijden, toenemende foutpercentages en patronen die op instabiliteit wijzen. "Op zichzelf vertelt geen van deze signalen het volledige verhaal," aldus Bajaj. "Maar samen genomen stellen ze ons in staat vroege tekenen te detecteren dat een model vertraagt of onbetrouwbaar wordt. Die signalen voeden een AI-gedreven systeem dat kan beslissen wanneer en hoe verkeer om te leiden voordat gebruikers een merkbare kwaliteitsdaling ervaren."

Strategische caching maakt de bescherming compleet door providers te beschermen tegen plotselinge verkeerspieken en rate-limit-cascades tijdens periodes van hoge vraag te voorkomen. Dit stelt systemen in staat om vraagpieken en providerlimieten te absorberen zonder brownouts of onverwachte throttling.

De aanpak vertegenwoordigt een fundamentele verschuiving in hoe ondernemingen zouden moeten denken over AI-betrouwbaarheid. "TrueFailover is ontworpen om die complexiteit automatisch af te handelen," aldus Bajaj. "Het monitort continu hoe modellen zich gedragen over veel klanten en use cases heen, kijkt uit naar vroege waarschuwingssignalen zoals stijgende latentie, en onderneemt actie voordat dingen kapotgaan. De meeste individuele ondernemingen hebben dat soort zichtbaarheid niet, omdat ze alleen hun eigen systemen kunnen zien."

De technische uitdaging van het wisselen van modellen zonder in te leveren op outputkwaliteit

Een van de lastigste uitdagingen bij AI-failover betreft het behouden van consistente outputkwaliteit bij het wisselen tussen modellen. Een prompt geoptimaliseerd voor GPT-5 kan andere resultaten opleveren op Claude of Gemini. TrueFoundry pakt dit aan via verschillende mechanismen die snelheid afwegen tegen precisie.

"Sommige teams vertrouwen op het feit dat grote modellen goed genoeg zijn geworden dat kleine verschillen in prompts de output niet wezenlijk beïnvloeden," legt Bajaj uit. "In die gevallen kan overstappen van de ene provider naar de andere gebeuren met enige zichtbare impact — dat is niet ideaal, maar sommige teams kiezen daarvoor."

Geavanceerdere implementaties onderhouden providerspecifieke prompts voor dezelfde applicatie. "Wanneer verkeer van het ene model naar het andere verschuift, verschuift de prompt mee," aldus Bajaj. "In dat geval is failover niet alleen het wisselen van modellen. Het is overstappen naar een configuratie die al is getest."

TrueFailover automatiseert dit proces. Het systeem routeert verzoeken dynamisch en past prompts aan op basis van welk model de query verwerkt, waardoor de kwaliteit binnen acceptabele grenzen blijft zonder handmatig ingrijpen. De sleutel, benadrukt Bajaj, is dat "failover gepland is, niet reactief. De logica, prompts en guardrails worden van tevoren gedefinieerd, wat verklaart waarom eindgebruikers een wissel doorgaans niet opmerken."

Belangrijk is dat veel failover-scenario's helemaal geen providerwissel vereisen. "Het kan gaan om het routeren van verkeer van hetzelfde model in de ene regio naar een andere regio, zoals van de Oostkust naar de Westkust, waarbij geen promptwijzigingen nodig zijn," merkt Bajaj op. Deze geografische flexibiliteit biedt een eerste verdedigingslinie voordat complexere wissels tussen providers nodig worden.

Hoe gereguleerde sectoren AI-failover kunnen gebruiken zonder concessies te doen aan compliance

Voor ondernemingen in de zorg, financiele dienstverlening en andere gereguleerde sectoren roept het vooruitzicht dat AI-verkeer automatisch naar verschillende providers wordt gerouteerd onmiddellijke zorgen over compliance op. Patiëntgegevens kunnen niet zomaar naar welk model dan ook stromen dat toevallig beschikbaar is. Financiele gegevens vereisen strikte controle over waar ze naartoe reizen. TrueFoundry heeft expliciete guardrails gebouwd om deze beperkingen aan te pakken.

"TrueFailover zal nooit gegevens routeren naar een model of provider die een onderneming niet expliciet heeft goedgekeurd," aldus Bajaj. "Alles wordt beheerd via een beheerconfiguratielaag waarin teams vooraf duidelijke guardrails instellen."

Ondernemingen bepalen precies welke modellen in aanmerking komen voor failover, welke providers verkeer mogen ontvangen, en zelfs welke regio's of modelcategorieen — zoals closed-source versus open-source — acceptabel zijn. Zodra die regels van kracht worden, opereert TrueFailover alleen binnen deze grenzen.

"Als een model niet op de goedgekeurde lijst staat, is het simpelweg geen optie voor routering," benadrukt Bajaj. "Er is geen scenario waarin verkeer automatisch ergens onverwachts terechtkomt. Het idee is om teams volledige controle te geven over compliance en datagrenzen, terwijl het systeem toch snel kan reageren wanneer er iets misgaat. Zo verbetert de betrouwbaarheid zonder dat beveiliging of regelgeving in het gedrang komt."

Dit ontwerp weerspiegelt lessen die zijn geleerd uit de bestaande enterprise-implementaties van TrueFoundry. Een Fortune 50-zorgbedrijf gebruikt het platform al om jaarlijks meer dan 500 miljoen IVR-oproepen af te handelen via een agentic AI-systeem. Die klant had de mogelijkheid nodig om workloads te draaien over zowel cloud- als on-premise-infrastructuur, met behoud van strikte controle over gegevensresidentie — precies het soort hybride omgeving waarin failoverbeleid nauwkeurig moet worden gedefinieerd.

Waar automatische failover niet kan helpen en waar ondernemingen op moeten plannen

TrueFoundry erkent dat TrueFailover niet elk betrouwbaarheidsprobleem kan oplossen. Het systeem opereert binnen de guardrails die ondernemingen configureren, en die configuraties bepalen welke bescherming mogelijk is.

"Als een team failover toestaat van een groot, krachtig model naar een veel kleiner model zonder prompts of verwachtingen aan te passen, kan TrueFailover niet dezelfde outputkwaliteit garanderen," legt Bajaj uit. "Het systeem kan verkeer routeren, maar het kan een kleiner model niet laten gedragen als een groter model zonder de juiste configuratie."

Infrastructuurbeperkingen begrenzen de bescherming ook. Als een onderneming zijn eigen modellen host en ze allemaal op hetzelfde GPU-cluster draaien, kan TrueFailover niet helpen wanneer die infrastructuur faalt. "Wanneer er geen alternatieve infrastructuur beschikbaar is, is er niets om naar over te schakelen," aldus Bajaj.

De vraag over gelijktijdige storingen bij meerdere providers duikt af en toe op in risicodiscussies bij ondernemingen. Bajaj stelt dat dit scenario, hoewel theoretisch mogelijk, zelden overeenkomt met de werkelijkheid. "In de praktijk betekent 'uitvallen' meestal niet dat een hele provider offline is over alle modellen en regio's heen," legt hij uit. "Wat veel vaker gebeurt, is een vertraging of verstoring in een specifiek model of een specifieke regio vanwege verkeerspieken of capaciteitsproblemen."

Wanneer dat gebeurt, kan failover op meerdere niveaus plaatsvinden — van on-premise naar cloud, cloud naar on-premise, de ene regio naar de andere, het ene model naar het andere, of zelfs binnen dezelfde provider voordat er wordt overgestapt naar een andere provider. "Dat alleen al maakt het zeer onwaarschijnlijk dat alles tegelijk faalt," aldus Bajaj. "Het belangrijkste punt is dat betrouwbaarheid is gebouwd op lagen van redundantie. Hoe meer providers, regio's en modellen zijn opgenomen in de guardrails, hoe kleiner de kans dat gebruikers een volledige storing ervaren."

Een startup die zijn platform bouwde binnen Fortune 500 AI-implementaties

TrueFoundry heeft zich gevestigd als infrastructuur voor enkele van 's werelds grootste AI-implementaties, wat cruciale context biedt voor zijn failover-ambities. Het bedrijf haalde in februari 2025 $19 miljoen op in een Series A-financieringsronde, geleid door Intel Capital met deelname van Eniac Ventures, Peak XV Partners en Jump Capital. Angel-investeerders waaronder Gokul Rajaram en Mohit Aron sloten zich eveneens bij de ronde aan, waarmee de totale financiering op $21 miljoen kwam.

Het in San Francisco gevestigde bedrijf werd in 2021 opgericht door Bajaj en medeoprichters Abhishek Choudhary en Anuraag Gutgutia, allen voormalige Meta-engineers die elkaar leerden kennen als klasgenoten op IIT Kharagpur. Aanvankelijk gericht op het versnellen van machine learning-implementaties, draaide TrueFoundry bij naar het ondersteunen van generatieve-AI-mogelijkheden toen de technologie eind 2023 mainstream werd.

Het klantenbestand van het bedrijf toont een adoptie op enterprise-schaal die weinig AI-infrastructuurstartups kunnen evenaren. Nvidia zet TrueFoundry in om multi-agent-systemen te bouwen die de benutting van GPU-clusters over datacenters wereldwijd optimaliseren — een use case waarbij zelfs kleine verbeteringen in benutting zich vertalen in aanzienlijke zakelijke impact, gezien de onverzadigbare vraag naar GPU-capaciteit. Adopt AI routeert meer dan 15 miljoen verzoeken en 40 miljard input-tokens via de AI Gateway van TrueFoundry om zijn agentic enterprise-workflows aan te drijven.

Gamingbedrijf Games 24x7 levert machine learning-modellen aan meer dan 100 miljoen gebruikers via het platform, op schalen van meer dan 200 verzoeken per seconde. Digital-adoptionplatform Whatfix migreerde naar een microservices-architectuur op TrueFoundry, waardoor de releasecyclus zesvoudig werd verkort en de testtijd met 40 procent werd verlaagd.

TrueFoundry rapporteert momenteel meer dan 30 betalende klanten wereldwijd en heeft aangegeven vorig jaar meer dan $1,5 miljoen aan jaarlijks terugkerende omzet te hebben behaald, terwijl het klantenbestand verviervoudigde. Het bedrijf beheert meer dan 1.000 clusters voor machine learning-workloads over zijn klantenbestand.

TrueFailover wordt aangeboden als een add-onmodule bovenop het bestaande TrueFoundry AI Gateway-platform, met prijsstelling volgens een usage-based model gekoppeld aan verkeersvolume, samen met het aantal gebruikers, modellen, providers en betrokken regio's. Een early access-programma voor designpartners gaat de komende weken van start.

Waarom traditionele cloud-uptimegaranties mogelijk nooit van toepassing zullen zijn op AI-providers

Zakelijke technologiekopers vragen al lang uptime-toezeggingen van infrastructuurproviders. Amazon Web Services, Microsoft Azure en Google Cloud bieden allemaal service-level agreements met financiele boetes bij storingen. Zullen AI-providers uiteindelijk met vergelijkbare verwachtingen te maken krijgen?

Bajaj ziet fundamentele beperkingen die traditionele SLA's lastig haalbaar maken in de huidige generatie AI-infrastructuur. "De meeste fundamentele LLM's opereren vandaag als gedeelde resources, wat de standaardprijsstelling mogelijk maakt die je publiekelijk geadverteerd ziet," legt hij uit. "Providers bieden wel hogere uptime-toezeggingen aan, maar dat betekent meestal toegewezen capaciteit of gereserveerde infrastructuur, en de kosten nemen dan aanzienlijk toe."

Zelfs met aanzienlijke budgetten hebben ondernemingen te maken met gebruiksquota die onverwachte blootstelling creëren. "Als het verkeer boven die limieten piekt, kunnen verzoeken alsnog terugvallen op gedeelde infrastructuur," aldus Bajaj. "Dat maakt het lastig om het soort harde garanties te bereiken waar ondernemingen aan gewend zijn bij cloudproviders."

De economie van het draaien van grote taalmodellen creeert aanvullende barrieres die jarenlang kunnen aanhouden. "LLM's zijn nog steeds extreem complex en duur om te draaien. Ze vereisen enorme infrastructuur en energie, en we verwachten geen nabije toekomst waarin de meeste bedrijven meerdere, volledig toegewijde modelinstances draaien alleen om uptime te garanderen."

Deze realiteit drijft de vraag naar oplossingen zoals TrueFailover, die veerkracht bieden ongeacht wat individuele providers kunnen beloven. "Ondernemingen realiseren zich dat betrouwbaarheid niet alleen van de modelprovider kan komen," aldus Bajaj. "Het vereist aanvullende beschermingslagen om de realiteit van hoe deze systemen vandaag opereren het hoofd te bieden."

De nieuwe rekensom voor bedrijven die AI in kritieke bedrijfsprocessen hebben geïntegreerd

De timing van de aankondiging van TrueFoundry weerspiegelt een fundamentele verschuiving in hoe ondernemingen AI gebruiken — en wat ze te verliezen hebben wanneer het faalt. Wat begon als interne experimenten, is uitgegroeid tot klantgerichte applicaties waar verstoringen rechtstreeks de omzet en reputatie raken.

"Veel ondernemingen experimenteerden in het verleden met Gen AI en agentic systemen, en productie-use-cases waren grotendeels intern gericht," merkte Bajaj op. "Er was geen directe impact op hun omzet of de publieke perceptie van de onderneming."

Dat tijdperk is voorbij. "Nu deze ondernemingen publieksgerichte applicaties hebben gelanceerd, waarbij zowel de omzet als de publieke perceptie kunnen worden geraakt als er een storing optreedt, is de inzet veel hoger dan zelfs zes maanden geleden. Daarom zien we hier steeds meer aandacht voor."

Voor bedrijven die AI hebben ingeweven in kritieke bedrijfsprocessen — van het verlengen van recepten tot klantenservice tot salesoperaties — is de rekensom volledig veranderd. De vraag is niet langer welk model het beste presteert op benchmarks of welke provider de meest overtuigende functies biedt. De vraag die technologieleiders nu wakker houdt, is veel eenvoudiger en veel dringender: wat gebeurt er wanneer de AI verdwijnt op het slechtst mogelijke moment?

Ergens vult een apotheker een recept. Een klantenservicemedewerker lost een klacht op. Een salesteam genereert een voorstel voor een deal die morgen wordt gesloten. Ze zijn allemaal afhankelijk van AI-systemen die afhankelijk zijn van providers die, ondanks hun schaal en geavanceerdheid, nog steeds zonder waarschuwing uitvallen.

TrueFoundry wedt erop dat ondernemingen flink zullen betalen om ervoor te zorgen dat die momenten van duisternis nooit de mensen bereiken die er het meest toe doen — hun klanten.

Oorspronkelijk gepubliceerd op VentureBeat

Over TrueFoundry:

TrueFoundry biedt een AI Gateway van enterprise-niveau die een LLM Gateway, MCP Gateway en Agent Gateway omvat, waarmee ondernemingen op een veilige manier verbinding kunnen maken met, toezicht kunnen houden op en controle kunnen uitoefenen over de toegang tot modellen, tools, guardrails en agents vanuit één centraal controlepaneel. De AI Gateway maakt agentic workloads mogelijk die veilig, efficient en toekomstbestendig zijn dankzij uniforme en samenstelbare verbindingen tussen verschillende aanbieders.

Naast de gatewaylaag stelt TrueFoundry organisaties in staat om aangepaste LLM's op GPU's te implementeren en te trainen, MCP-servers te hosten en eigen agents te draaien — allemaal via een Kubernetes-native interface. Het ondersteunt on-premise- en VPC-installaties voor zowel de AI Gateway als implementatieomgevingen. TrueFoundry zorgt voor enterprise-grade compliance met SOC 2, HIPAA en ITAR-normen. Met ingebouwde autoscaling, caching en resource-optimalisatie stelt TrueFoundry organisaties in staat om AI-systemen veilig, efficient en op een toekomstbestendige stack te bouwen, te implementeren en te beheren. Ga voor meer informatie naar truefoundry.com