Blank white background with no objects or features visible.

EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →

Case study

Hoe een Fortune 50-leider in de gezondheidszorg agentic AI opschaalde door samen te werken met TrueFoundry voor de bouw van een uniform intern AI-platform.

Wil je meer weten over dit succes?

Spreek met onze expert
arrow1
Blue dots represent AI Agents, red dots represent Healthcare Systems on a scatter plot graph.

Executive Summary

Voor een van de grootste zorgondernemingen in de VS is digitale betrokkenheid van cruciaal belang. Met het beheer van meer dan 500 miljoen gesprekken per jaar op het gebied van apotheek, retail en verzekeringen, stond de organisatie voor een enorme technische hindernis. Ze moesten hun spraaksystemen moderniseren van eenvoudige menu's naar intelligente agents die complexe patiëntintenties kunnen afhandelen. Hoewel ze met succes een agent-gestuurd IVR-systeem hadden gebouwd, legde de operationele complexiteit van het opschalen een kloof bloot tussen innovatie en infrastructuur. Door samen te werken met TrueFoundry voor het bouwen van een uniform intern AI-platform, automatiseerde de onderneming haar infrastructuur, arbitreerde ze met succes werklasten tussen cloud en on-premise, en versnelde ze haar AI-roadmap van maanden naar weken.

De klant: Een pijler van de moderne gezondheidszorg

Deze Fortune 50-zorgonderneming opereert op het snijvlak van retailapotheken, zorgverzekeringen en medische diensten. Hun digitale visie is gericht op toegankelijkheid. Ze zorgen ervoor dat elke interactie met een patiënt met precisie en empathie wordt afgehandeld, of dit nu in een van hun 9.000 winkels gebeurt of via een digitaal kanaal.

De katalysator: Het engineeren van de "500-miljoen-gesprekken" IVR

De reis van de organisatie begon met een specifieke technische uitdaging: het moderniseren van hun Interactive Voice Response (IVR)-systeem. Ze moesten verder kijken dan rigide "toets 1 voor apotheek"-menu's naar een volledig agent-gestuurd systeem dat natuurlijke taal begrijpt.

Om de spanning tussen latentie, kosten en nauwkeurigheid op deze schaal te beheren, ontwierp het engineeringteam een geavanceerde routeringsarchitectuur in 3 fasen.

Technische nuance: Optimalisatie op schaal

Het draaien van dit systeem voor miljoenen gebruikers vereiste diepgaande optimalisatie die verder ging dan standaard model-inferentie:

Diagram illustrating AI agent routing and intent classification with voice stream processing and toxicity identification.

Latentiereductie

Het team implementeerde globale instantiëring van agent-graphs. In plaats van de agent-context voor elke aanroep opnieuw te creëren, onderhoudt de service actieve agent-graphs die over sessies heen kunnen worden hergebruikt. Bovendien worden prompts 30 minuten in de cache opgeslagen om de latentie bij het ophalen uit de beheerservice te minimaliseren.

Besluitvormingsproces in 3 fasen

Om dure GPU-rekenkracht te besparen voor complexe redeneringen, gebruikt het systeem een gelaagde aanpak:

  1. Op regels gebaseerde triage: Handelt statische vragen (zoals openingstijden van winkels) direct af via patroonherkenning.
  2. Scope-classificaties: Lichtgewicht modellen bepalen de domeinintentie (bijv. "Is dit apotheek of verzekering?") om routeringsfouten te voorkomen.
  3. De hoofdagent wordt alleen ingeschakeld voor complexe, relevante vragen. Dit vermindert onnodige LLM-aanroepen met 10-20%.

Veiligheid voorop

Guardrails zijn geen bijzaak. Ze worden via prompts op gateway-niveau toegepast, zodat elke agent over een fallback-mechanisme beschikt voor toxiciteit of onderwerpen buiten het bereik, nog voordat er enige logica wordt uitgevoerd.

Flowchart illustrating rule-based system and agent classification process for escalation and response handling.

De strategische draai: het platformiseren van succes

Hoewel de IVR-architectuur solide was, was de operationele last om deze te draaien enorm. Het team werd geconfronteerd met de realiteit van "Day 2": het beheren van actief-passieve betrouwbaarheid over geografisch gescheiden clusters, het configureren van GPU-resources en het omgaan met het verschil tussen cloudontwikkeling en on-premise productie.

Omdat ze beseften dat handmatig infrastructuurbeheer hun roadmap zou vertragen, gebruikten ze TrueFoundry om een uniform intern AI-platform te bouwen dat niet alleen IVR, maar ook alle toekomstige use-cases zou bedienen.

1. Van "Cloud-First" naar "Best-Infrastructure"

Het voornaamste knelpunt was het verschil tussen omgevingen. Ontwikkelaars gaven de voorkeur aan de flexibiliteit van de cloud, maar economische mandaten vereisten dat zware inferentie on-premise zou draaien. TrueFoundry bood de abstractielaag die deze kloof overbrugde.

  1. Infrastructuur-arbitrage: Het platform stelt het team in staat om NVIDIA NIM's on-premise te gebruiken voor stabiele baselines, terwijl ze voor piekbelastingen uitwijken naar de cloud.
  2. Uniforme implementatie: Ontwikkelaars implementeren modellen op veilige, air-gapped on-premise clusters met hetzelfde gemak als in de cloud.
  3. Zero Ops: Door het Kubernetes-beheer binnen het platform te centraliseren, hoeven data science-teams geen YAML-configuraties meer te beheren, waardoor ze zich volledig kunnen concentreren op modellogica.

2. De AI Gateway: Het centrale controlepaneel

Nu het systeem meer dan 9 miljoen LLM-verzoeken per maand verwerkt, had het team een robuuste verkeersregelaar nodig. De AI Gateway van TrueFoundry werd het centrale zenuwstelsel voor hun inferentiestack.

  1. Actief-passieve betrouwbaarheid: Het platform beheert verkeer over geografisch gescheiden clusters (Oost/West-regio's). Als een regio last heeft van latentie, leidt de Gateway het verkeer naadloos om om ononderbroken patiëntenzorg te garanderen.
  2. Modelonafhankelijkheid: Het platform ontkoppelt applicatielogica van specifieke modelproviders. Dit voorkomt vendor lock-in en stelt het team in staat om modellen direct te wisselen naarmate benchmarks verbeteren.

3. Economische efficiëntie via Autopilot

Om de enorme schaal aan rekenkracht te beheren, maakt het platform gebruik van de Autopilot-mogelijkheden van TrueFoundry. In plaats van statisch GPU's te provisioneren voor piekbelastingen, schaalt Autopilot automatisch middelen op basis van real-time verkeersvraag en orkestreert het gebruik van spot-instances voor niet-kritieke workloads. Dit dynamische beheer van middelen veranderde een potentiële kostenpost in een geoptimaliseerd bezit.

Impact: Snelheid, economie en governance

De overstap van een op zichzelf staand IVR-project naar een allesomvattende platformstrategie heeft de AI-roadmap van de organisatie toekomstbestendig gemaakt.

  1. Productiesnelheid: Standaardisatie heeft de implementatietijd voor nieuwe agents teruggebracht van maanden naar weken. Teams kunnen nu "globale agent-graphs" en guardrail-configuraties hergebruiken voor verschillende bedrijfsonderdelen, zoals faxautomatisering en chat.
  2. Economische efficiëntie: Door het platform in te zetten om workloads te verplaatsen van beheerde cloud-endpoints naar zelfgehoste on-premise GPU's, heeft de organisatie enorme kostenbesparingen gerealiseerd. Het vermogen om de infrastructuur op de juiste schaal in te richten, droeg bij aan een vermindering van de verwachte cloudkosten met miljoenen dollars, waardoor de GPU CAPEX-efficiëntie met meer dan 12% steeg.
  3. Totale governance: Het leiderschap is overgestapt van gefragmenteerd inzicht naar een "Single Pane of Glass". Ze kunnen nu elke transactie traceren, kosten per afdeling auditen en garanderen dat elke interactie voldoet aan de strikte compliance-normen in de zorg.

Conclusie

Door de lessen uit hun grootschalige IVR-implementatie te codificeren in een uniform platform gebouwd op TrueFoundry, heeft deze Fortune 50-zorgonderneming het meest complexe probleem in enterprise-AI opgelost: Day 2 Operations. Ze hebben de toegang tot state-of-the-art infrastructuur gedemocratiseerd voor hun ontwikkelaars, terwijl ze de strikte controle behielden die in de zorg vereist is. Het resultaat is een systeem dat niet alleen krachtig genoeg is om een half miljard patiëntenstemmen te begrijpen, maar ook efficiënt genoeg om dit duurzaam te doen.

Purple gradient background with thin wavy lines on gray, forming a dynamic abstract design pattern.

GenAI-infrastructuur: eenvoudiger, sneller, goedkoper

Vertrouwd door 10+ Fortune 500-bedrijven

Probeer het nu
Blank white background with no visible objects or text present.
Spreek met experts
Blank white background with no visible objects or text present.