Een Fortune 100 zorgaanbieder helpen om in minder dan een jaar 30+ LLM-use cases uit te brengen

Een Fortune 100 zorgbedrijf in staat stellen in minder dan een jaar 30+ LLM-use cases uit te brengen

De klant in deze casestudy is een in de VS gevestigd Fortune 100-zorgbedrijf. Het bedrijf investeert zwaar in gezondheidszorgonderzoek en het inzetten van geavanceerde technologie. Gezien de omvang (50K+ medewerkers) hebben ze functies die uiteenlopen van productie, onderzoek en supply chain management tot interne use cases zoals HR, operaties, klantervaring, enz. 

Gezien de neiging van het bedrijf om vroeg nieuwe technologie te omarmen, ging het team, toen LLM's werden uitgebracht, terug naar de tekentafel en identificeerde het een set van 30+ use cases met een potentiële impact van > $500 Mn+ per jaar. Met dit ambitieuze doel voor ogen begon het team aan deze use cases te werken en zijn kernstack voor Generatieve AI op te bouwen om:

• Snel LLM-use cases met hoge impact te leveren: Om omzetgroei en kostenbesparing te ontsluiten in functies zoals onderzoek, klantervaring, documentzoeken, enz.
• Teams elkaars werk te laten hergebruiken: Door bij elk nieuw project geleidelijk alle assets (dataparsers, modellen, datafeatures, enz.) beschikbaar te maken die door andere teams zijn ontwikkeld. Dit zou ervoor zorgen dat elke nieuwe use case die wordt gebouwd minder tijd kost dan de vorige.

Naast het brengen van de nieuwste technologie naar hun use cases, wilde het team AI democratiseren om de adoptie ervan te vergroten. Ze wilden het volgende mogelijk maken:

• Implementatie van bedrijfsregels en bestaande modellen met één klik: Zodat elke gebruiker direct kan beginnen met het gebruiken van de modellen/regels die eenmaal zijn geïmplementeerd, zonder dat een Data Scientist nodig is.

• Één centraal overzicht om alle geïmplementeerde modellen te beheren: Regelgeving rond datamobiliteit dwong het bedrijf om modellen apart in elke regio waar het actief is te implementeren. Dit creeerde een beheernachtmerrie voor het implementeren en monitoren van de prestaties van deze modellen. Het team wilde dit proces vereenvoudigen voor ML- en DevOps-teams.

Dankzij de samenwerking tussen het klantteam en TrueFoundry konden we - 

• Een reductie van 60-80% in de Time to Value van LLM-use cases bereiken: Met toegang tot de use case-templates en de optie om elk element van de use case te implementeren (model/UI/DB/embeddingmodel/dataparsers/splitters). Met één klik kon het team de use case binnen 1 week uitbrengen. 
• Het gebruik van AI democratiseren: Het team kon een vindbare marktplaats creëren van alle interne bedrijfsregels en modellen, waarbij elke niet-ML-gebruiker ook direct inferenties kon maken vanuit de UI en resultaten per e-mail kon ontvangen.
• Modelbeheer vereenvoudigen: Het team kon ervoor zorgen dat er zakelijke ROI werd geleverd vanuit de geïmplementeerde modellen door ze allemaal via één centraal overzicht te monitoren. We konden ook het release- en updateproces voor deze modellen aanzienlijk vereenvoudigen. 

Over de klant

De klant is een grote Fortune 100-speler in de gezondheidszorg met meer dan 100 jaar geschiedenis. Ze zijn actief in meer dan 120 landen en hebben een aanzienlijke positieve impact op de volksgezondheid in deze landen. Ze hebben een DNA van intensief onderzoek en blijven toegewijd om voorop te lopen op technologisch gebied. Hun onderzoeks- en ontwikkelingsafdeling telt meer dan 7000 medewerkers en besteedt meer dan $10 miljard.

De klant had al meerdere interne teams die use cases ontwikkelden voor verschillende bedrijfsverticals. Met de komst van Large Language Models gingen de meeste verticals terug naar de tekentafel om hun processen opnieuw vorm te geven. Het leveren van deze use cases werd gedelegeerd aan het Data Science-team.

Het Data Science-team was verantwoordelijk voor het bouwen van verschillende use cases en ook voor tooling om individuele BU Data Science-teams efficienter te maken. Het is een unieke combinatie van verticale en horizontale verantwoordelijkheden binnen deze groep, wat interessante uitdagingen en kansen biedt. 

Het zakelijke potentieel van LLM's ontsluiten 

Met 30+ door het team afgebakende LLM-use cases realiseerden de leiders zich dat het, zonder aanvullende Generatieve AI-capaciteit op te bouwen, jaren en tientallen miljoenen dollars zou kosten voordat ze al deze use cases zouden kunnen uitvoeren. 

Deze use cases waren verspreid over meerdere domeinen:

1. Onderzoek: De onderzoeksteams helpen door artikelen en papers samen te vatten, hen te helpen op de hoogte te blijven van de nieuwste ontwikkelingen en op een geavanceerder niveau zelfs te helpen bij het bedenken van nieuwe experimentideeen en het voorstellen van tests.
2. Klantenwelzijn: Het ontwikkelen van applicaties die de ervaring van hun klanten verbeterden en gericht waren op de bevolking van de landen waarin ze actief zijn, om de algemene gezondheid van deze landen te verbeteren. Dit omvatte applicaties zoals de QnA-bot om de twijfels van patiënten weg te nemen, het genereren van educatieve content over medicijnen en vaccinatie, enz.
3. HR en interne operaties: Het helpen stroomlijnen en automatiseren van processen zoals resumematching, kandidaatprofilering, talentacquisitie, enz., wat doorgaans een zeer tijdrovend handmatig proces was.

De Time to Value van kunstmatige intelligentie verlagen

Het management van het bedrijf stelde vast dat omdat er meerdere bedrijfsverticals en meerdere Data Science-teams binnen het bedrijf actief waren, het ene team vaak geen zicht had op het werk van een ander team.

Kennisoverdracht tussen de teams was schaars. Wanneer dit wel gebeurde, moest het team dat probeerde voort te bouwen op het werk van een ander team een grote vertraging doorstaan voordat ze de asset (model/UI/bedrijfslogica, enz.) bruikbaar konden maken voor hun team. Dit werd veroorzaakt door:

• Beperkte vindbaarheid van werk dat door verschillende teams is gedaan: Teams hebben beperkte kennisoverdracht onderling en over de assets die in elk project worden gegenereerd.
• Alleen documentatie is niet voldoende: Documentatie wordt vaak overbodig, onvolledig en kost tijd om te lezen en te implementeren. Dit introduceert wrijving wanneer teams elkaars werk willen hergebruiken.
• Afhankelijkheid van het engineeringteam voor hergebruik: Het hergebruiken van iemands werk betekende ook het engineeringteam betrekken bij het implementeren van de modellen.
• Afnemende tijd om de modellen te onderhouden: Omdat de meeste modellen afzonderlijk waren geïmplementeerd in elke regio waar het bedrijf actief is, was het onderhouden ervan (updates en wijzigingen) of simpelweg monitoren of ze

Het team was aan beide kanten begonnen met ontwikkelen

Toen TrueFoundry begon met het verkennen van een samenwerking met het team, waren ze al begonnen met het ontwikkelen van beide doelstellingen. Na 3-4 maanden ontwikkeling begonnen ze echter tegen enkele uitdagingen aan te lopen:

 Een paar LLM-use cases werden uitbesteed aan consultancybedrijven

Het bedrijf werkte al samen met enkele van de topconsultancy- en implementatiebedrijven. Ze besloten enkele van de use cases aan deze bedrijven toe te wijzen en begonnen, om het idee te valideren, met 1 use case. Enkele van de problemen die ze hierbij tegenkwamen waren:

• Elke use case kost $500K-$1 miljoen voor V1: Het team begreep dat het opschalen van deze use cases en het via deze route verfijnen en onderhouden ervan niet zou opschalen naar het impactniveau dat ze voor ogen hadden.
• Traag proces: De Time to Value voor elk van de use cases was 3-4 maanden, dus voor 30 use cases had het team ofwel 2-3 jaar moeten wachten of aanzienlijk meer moeten uitgeven.
• Capaciteitsopbouw was beperkt: Omdat het vakgebied dagelijks verandert, realiseerde het team zich dat het zonder het versterken van de eigen teamcapaciteit onmogelijk zou zijn om het wiel op de lange termijn draaiende te houden.

Het interne ML-team was ook begonnen met het bouwen van een andere use case

Het interne ML-team begon zelf met de ontwikkeling van een van de use cases. Ze hadden het echter moeilijk om het tempo bij te houden waarmee ontwikkelingen in het vakgebied plaatsvonden. Enkele van hun belangrijkste uitdagingen waren:

1. Beperkte toegang tot externe API's en tools: Alles wat vereiste dat data naar buiten werd gestuurd, viel buiten de scope van het team. Ze hadden ook geen ondersteuning ingebouwd voor sommige tools die modelfinetuning, testen, enz. vereenvoudigen, en moesten deze componenten daardoor zelf uitzoeken.
2. Afhankelijkheid van DevOps: Omdat het LLM/GenAI-paradigma van Machine Learning een orkestratie van infrastructuur vereiste op een schaal die het team voorheen niet kende, liepen ze veel vertraging op bij het kunnen bouwen van ondersteuning voor wat nieuw op de markt kwam. 
3. Experimenteren werd beperkt: door de modellen die het infrateam kon ondersteunen, waardoor het team niet wist of ze op de best mogelijke kwaliteit zaten die haalbaar was. Bovendien ondervonden ze vertragingen bij het proberen van complexere taken zoals LoRA-finetuning, enz. 

Generatieve AI-marktplaats werd teruggebracht tot alleen vindbaarheid, zonder implementatie van resources

Het team bedacht het bouwen van een soort Generatieve AI-marktplaats waar alle ML-teams hun werk konden publiceren (modellen, datafeatures, parsers, voorbewerking enz.). De marktplaats moest huisvesten:

1. Intern ontwikkelde ML-modellen: Voor eenvoudige incrementele training en implementatie
2. LLM-assets: Om te helpen bij het ontwikkelen van end-to-end LLM-applicaties met modellen, databases, UI enz.
3. Basismodellen: Inclusief LLM's, regressie, tijdreeksmodellen enz.
4. Codehulpprogramma's: Dataloaders, parsers enz.
5. Apps: Volledig functionele interne applicaties voor verschillende use cases

Naarmate het team echter begon met de ontwikkeling van het project, realiseerden ze zich dat het veel tijd zou kosten om de onderliggende orkestratielaag te bouwen die hun visie kon waarmaken:

1. Het implementeren van modellen was lastig: Tenzij de modellen werden geïmplementeerd zoals ze waren ontwikkeld, was het zeer lastig om dezelfde prestatieniveaus te garanderen.
2. Modellen/diensten waren niet gedockeriseerd: Het was geen gangbare praktijk om de modellen te dockeriseren, en Data Scientists waren terughoudend om extra stappen uit te voeren.
3. Het orkestreren van infrastructuur was gecompliceerd: Het vereiste zorg voor GPU-schaling, autoscaling, het waarborgen van betrouwbaarheid

Daarom besloot het team om de marktplaats alleen te houden zodat teams elkaars werk konden ontdekken. Ze besloten de uitvoerbaarheid te verwijderen, een van de kernfuncties, uit de eerste versie van de marktplaats

Het team wilde bedrijfsregels uitbrengen als een Python-bibliotheek

Ze realiseerden zich echter dat deze aanpak niet zou werken, omdat:

1. Het de vindbaarheid zou aantasten: Zonder hier een front voor te maken, 
2. Versiebeheer van deze regels onmogelijk zou zijn: Omdat deze regels zouden worden uitgevoerd op de lokale machines van gebruikers, zou het onmogelijk zijn om ervoor te zorgen dat alle gebruikers dezelfde bibliotheekversie hadden, vooral als er een fix/wijziging werd doorgevoerd en verschillende gebruikers verschillende versies ervan zouden gebruiken.

Het bedrijf besloot zijn AI-stack samen met TrueFoundry te bouwen

Twee hoogwaardige LLM-use cases werden in minder dan 3 maanden opgeleverd

Het klantteam besloot 2 hoogwaardige use cases te ontwikkelen met de LLM-module van het TrueFoundry-platform. Deze use cases waren als volgt:

Samenvatting van marktrapporten

Een intern team analyseerde verschillende marktintelligentierapporten en genereerde een samenvattend rapport. Deze wekelijkse activiteit betekende:

1. Honderden uren besteed per maand
2. Beperkte dekking van beschikbare informatie

Het team wilde een op LLM gebaseerde oplossing creëren die deze rapporten kon samenvatten en een QnA-interface ermee kon bieden:

Vaccin-intelligentie chatbot

Met deze use case wilde het bedrijf de bewustwording rond vaccins vergroten door een QnA-chatbot te ontwikkelen die beschikbare documenten over de toediening van vaccins kon doorzoeken en eventuele twijfels van een patiënt kon ophelderen. 

Vaccinatiegraden verhogen: Met deze use case probeerde het bedrijf eventuele aarzelingen weg te nemen die een vaccinnemer zou kunnen hebben door nepnieuws dat vaak met vaccins geassocieerd wordt en stigma creeert.

TrueFoundry hielp de levertijd terug te brengen tot 1/5e van de oorspronkelijke schatting

Het bouwen van de use case vereist het samenvoegen van meerdere componenten. We voorzagen het team van een template om delen van de RAG (Retrieval Augmented Generation)-pipeline samen te stellen. Dit omvatte componenten zoals:

1. Implementatie van open-source LLM: Modellen zoals LLaMA 2, Bloom enz. implementeren, samen met verschillende gekwantiseerde versies van modellen
2. Model-finetuning: We hielpen het team eenvoudig hun databronnen aan te sluiten en finetuningruns te triggeren op geoptimaliseerde infrastructuurconfiguraties. 
3. Microservice voor het laden, splitsen en chunken van data: Om data op te splitsen in logische stukken voor de embedding
4. Backend-service: Om gebruikersquery's te accepteren en antwoord te retourneren
5. Embedding-model: Om de tekststukken om te zetten naar representatieve vectoren
6. Vectordatabase: Om de gevectoriseerde datastukken op te slaan
7. Finale model-implementatie: Het finale model schaalbaar implementeren

TrueFoundry voedde de AI-marktplaats van het bedrijf

TrueFoundry fungeerde als de aandrijvende rail die wordt gebruikt om de interne marktplaats aan te drijven. Om dit mogelijk te maken hielpen we het team:

1. De marktplaatscomponenten op te starten: met kant-en-klare assets die door TrueFoundry worden geleverd
2. Een asynchrone inferentie-architectuur te implementeren: Dit zorgde ervoor dat er geen verzoeken verloren gingen en dat hetzelfde API-eindpunt verzoeken kon bedienen die verschillende hoeveelheden tijd nodig hadden om te reageren (>10-15 min als de dataset enorm is)
3. Use case-pipelines zoals de RAG-pipeline op te zetten: Met alle componenten zoals dataparsers, chunkinglogica, modellen enz. beschikbaar voor de teams, kon het team eenvoudig repliceren wat ze deden met Vaccin-intelligentie en rapportsamenvatting naar elke nieuwe use case in minder dan 1 maand
4. Vindbaarheid via UI toegevoegd: We voorzagen het team van API's gebouwd op TrueFoundry-implementaties en jobs die ze integreerden met een UI om inferentie van elk model of implementatie van elk component met één klik mogelijk te maken voor de teams, zonder documentatie te hoeven lezen.

Zakelijke gebruikers kunnen naadloos inferenties maken op basis van bedrijfsregels

Alle bedrijfslogica werd verpakt in een API die op de cloudserver draaide met TrueFoundry. We zorgden ervoor dat deze API vergelijkbaar werd gestructureerd als een Python-bibliotheek voor gebruiksgemak. Dit zorgde ervoor dat er:

1. Geen problemen met versiebeheer waren
2. Eenvoudige uitvoering via UI
3. E-mailmeldingen waren wanneer de resultaten beschikbaar waren

TrueFoundry is het centrale overzicht voor alle geïmplementeerde modellen

‍

De interactie met TrueFoundry om modellen in verschillende regio's te monitoren, bij te werken en uit te brengen hielp het team om:

1. De implementatietijd van modellen met 60-80% te verlagen
2. De ROI van modellen te verbeteren door hun prestaties te monitoren

De weg vooruit

Naarmate het partnerschap tussen de twee bedrijven vordert, leren we veel over praktische problemen die zich kunnen voordoen in een ML-team van deze schaal. We kunnen het platform in de praktijk testen en tegelijkertijd nieuwe en meer volwassen functies ontwikkelen. Samen zijn we vastbesloten om state-of-the-art technologie te bouwen die Data Science-teams in staat stelt zich uitsluitend te richten op het leveren van waarde via ML-use cases zonder ooit de behoefte te hebben om infrastructuur te orkestreren of tijd te besteden aan/verliezen in technische taken.