Ein Fortune-100-Gesundheitsunternehmen ermöglichen, 30+ LLM-Anwendungsfälle in weniger als einem Jahr umzusetzen

So kann ein Fortune-100-Gesundheitsunternehmen in weniger als einem Jahr über 30 LLM-Anwendungsfälle versenden

Der Kunde in der Studie ist ein in den USA ansässiges Fortune-100-Gesundheitsunternehmen. Es investiert stark in die Gesundheitsforschung und nutzt modernste Technologien. Angesichts ihrer Größe (über 50.000 Mitarbeiter) haben sie Funktionen, die von Fertigung, Forschung und Lieferkettenmanagement bis hin zu internen Anwendungsfällen wie Personalwesen, Betrieb, Kundenerlebnis usw. reichen.

Angesichts der Neigung des Unternehmens, neue Technologien frühzeitig einzusetzen, ging das Team bei der Veröffentlichung von LLMs noch einmal von vorne los und identifizierte eine Reihe von über 30 Anwendungsfällen mit einem Wirkungspotenzial von über 500 Mio. USD pro Jahr. Mit diesem ehrgeizigen Ziel vor Augen begann das Team, diese Anwendungsfälle in Angriff zu nehmen und seinen Kernstack für Generative KI aufzubauen, um:

• Stellen Sie schnell wirkungsvolle LLM-Anwendungsfälle bereit: Zur Erzielung von Umsatzwachstum und Kostensenkung in Bereichen wie Recherche, Kundenerlebnis, Dokumentensuche usw.
• Teams die Arbeit des jeweils anderen wiederverwenden lassen: Indem jedes neue Projekt schrittweise alle Ressourcen (Datenparser, Modelle, Datenfunktionen usw.) zur Verfügung stellt, die von anderen Teams entwickelt wurden. Dadurch würde sichergestellt, dass jeder neue Anwendungsfall, der erstellt wird, weniger Zeit in Anspruch nimmt als der vorherige.

Das Team wollte nicht nur seine Anwendungsfälle auf den neuesten Stand bringen, sondern auch die KI demokratisieren, um ihre Akzeptanz zu erhöhen. Es wollte Folgendes ermöglichen:

• Bereitstellung von Geschäftsregeln und vorhandenen Modellen mit einem Klick: Damit jeder Benutzer direkt mit der Verwendung der Modelle/Regeln beginnen kann, die einmal implementiert wurden, ohne dass ein Data Scientist erforderlich ist.

• Eine zentrale Ansicht zur Verwaltung aller eingesetzten Modelle: Die Vorschriften zur Datenverlagerung zwangen das Unternehmen, Modelle in jeder Präsenzregion separat einzusetzen. Dies führte zu einem Albtraum für das Management, was die Bereitstellung und Überwachung der Leistung dieser Modelle anging. Das Team wollte diesen Prozess für ML- und DevOps-Teams vereinfachen.

In Zusammenarbeit zwischen dem Kundenteam und TrueFoundry konnten wir —

• Erzielen Sie eine Reduzierung des TTV von LLM-Anwendungsfällen um 60-80%: Mit Zugriff auf die Anwendungsfallvorlagen und der Option, jedes Element des Anwendungsfallmodells (UI/DB/Einbettungsmodell/Datenparser/Splitter) bereitzustellen. Mit einem einzigen Klick könnte das Team den Anwendungsfall innerhalb einer Woche versenden.
• Demokratisieren Sie den Einsatz von KI: Das Team war in der Lage, einen leicht auffindbaren Marktplatz mit allen internen Geschäftsregeln und -modellen zu erstellen, den auch jeder Nicht-ML-Benutzer direkt aus der Benutzeroberfläche ableiten und die Ergebnisse per E-Mail erhalten konnte.
• Vereinfachen Sie das Modellmanagement: Das Team konnte sicherstellen, dass die eingesetzten Modelle den ROI des Unternehmens erzielen, indem es alle Modelle über eine einzige Glasscheibe überwachen konnte. Wir waren auch in der Lage, den Veröffentlichungs- und Aktualisierungsprozess für diese Modelle erheblich zu vereinfachen.

Über den Kunden

Der Kunde ist ein Fortune-100-Unternehmen im Gesundheitswesen mit einer mehr als 100-jährigen Geschichte. Sie sind in über 120 Ländern präsent und wirken sich erheblich positiv auf die öffentliche Gesundheit in diesen Ländern aus. Sie verfügen über eine DNA intensiver Forschung und setzen sich auch weiterhin dafür ein, an der Spitze der Technologie zu stehen. Die Forschungs- und Entwicklungsabteilung beschäftigt mehr als 7000 Mitarbeiter und gibt mehr als 10 Mrd. USD aus.

Der Kunde hatte bereits mehrere interne Teams, die Anwendungsfälle für verschiedene Geschäftsbereiche entwickelten. Mit der Veröffentlichung der Large Language Models gingen die meisten Branchen von vorne los, um ihre Prozesse neu zu konzipieren. Die Bereitstellung dieser Anwendungsfälle wurde an das Data Science-Team delegiert.

Das Data Science-Team war für die Entwicklung verschiedener Anwendungsfälle und auch für die Bereitstellung von Tools verantwortlich, um die Effizienz der einzelnen BU Data Science-Teams zu steigern. Es ist eine einzigartige Kombination aus vertikaler und horizontaler Charta in dieser Gruppe, die interessante Herausforderungen und Möglichkeiten bietet.

Erschließung des Geschäftspotenzials von LLMs

Mit über 30 LLM-Anwendungsfällen, die vom Team untersucht wurden, wurde den Führungskräften klar, dass es ohne den Aufbau zusätzlicher generativer KI-Fähigkeiten Jahre und Zehnmillionen von Dollar dauern würde, bis sie all diese Anwendungsfälle hätten ausführen können.

Diese Anwendungsfälle waren auf mehrere Domänen verteilt:

1. Recherche: Wir helfen den Forschungsteams, indem wir Artikel und Artikel zusammenfassen, ihnen helfen, über die neuesten Entwicklungen auf dem Laufenden zu bleiben und auf fortgeschrittenem Niveau sogar dabei zu helfen, neue Experimentideen zu entwickeln und Tests vorzuschlagen.
2. Wohlbefinden der Kunden: Entwicklung von Anwendungen, die dazu beigetragen haben, das Kundenerlebnis zu verbessern, und die sich an die Bevölkerung der Länder richten, in denen sie tätig sind, und die dazu beitragen, den allgemeinen Gesundheitszustand dieser Länder zu verbessern. Dazu gehörten Anwendungen wie der QnA-Bot zur Klärung von Bedenken der Patienten, zur Erstellung von Bildungsinhalten zu Medikamenten und zur Verabreichung von Impfstoffen usw.
3. Personalwesen und interne Abläufe: Unterstützung bei der Rationalisierung und Automatisierung von Prozessen wie dem Abgleich von Lebensläufen, der Erstellung von Kandidatenprofilen, der Talentakquise usw., die in der Regel ein äußerst zeitaufwändiger manueller Prozess waren.

Kürzere Zeit bis zur Wertschöpfung künstlicher Intelligenz

Die Unternehmensleitung stellte fest, dass ein Team aufgrund der Tatsache, dass mehrere Geschäftsbereiche und mehrere Data-Science-Teams innerhalb des Unternehmens tätig waren, oft blind war, was die Arbeit eines anderen Teams betraf.

Der Wissenstransfer zwischen den Teams war knapp. Als das passierte, musste das Team, das versuchte, auf der Arbeit eines anderen Teams aufzubauen, mit einer großen Verzögerung rechnen, bevor es das Asset (Modell/Benutzeroberfläche/Geschäftslogik usw.) für sein Team nutzbar machen konnte. Dies wurde verursacht durch:

• Eingeschränkte Auffindbarkeit der teamübergreifend geleisteten Arbeit: Die Teams haben nur einen begrenzten Wissenstransfer untereinander und die in jedem Projekt generierten Ressourcen.
• Nur Dokumentation reicht nicht aus: Oft wird die Dokumentation überflüssig, unvollständig und es nimmt Zeit in Anspruch, sie zu lesen und zu implementieren. Das führt zu Reibereien, wenn Teams die Arbeit des jeweils anderen wiederverwenden wollen.
• Abhängigkeit vom Engineering-Team bei der Wiederverwendung: Die Arbeit von jemandem wiederzuverwenden bedeutete auch, das Entwicklungsteam in die Bereitstellung der Modelle einzubeziehen.
• Verkürzte Zeit für die Wartung der Modelle: Da die meisten Modelle in jeder Region, in der das Unternehmen tätig ist, separat eingesetzt wurden, wurden sie gewartet (Updates und Änderungen) oder einfach überwacht, ob sie

Das Team hatte an beiden Fronten mit der Entwicklung begonnen

Als TrueFoundry begann, eine Partnerschaft mit dem Team in Betracht zu ziehen, hatten sie begonnen, ihre beiden Ziele zu entwickeln. Nach 3-4 Monaten der Entwicklung standen sie jedoch vor einigen Herausforderungen:

Einige LLM-Anwendungsfälle wurden an Beratungsunternehmen vergeben

Das Unternehmen arbeitete bereits mit einigen der besten Beratungs- und Implementierungsunternehmen zusammen. Sie beschlossen, einige der Anwendungsfälle diesen Unternehmen zuzuweisen und die Idee, die mit einem Anwendungsfall begann, zu validieren. Einige der Probleme, mit denen sie hier konfrontiert waren, waren:

• Jeder Anwendungsfall kostet $500K — $1 Mio. für V1: Das Team war sich bewusst, dass die Skalierung dieser Anwendungsfälle und ihre Verfeinerung und Wartung auf diesem Weg nicht die Wirkung erreichen würden, die sie sich vorgestellt hatten.
• Langsamer Prozess: Die Time-to-Value für jeden der Anwendungsfälle betrug 3-4 Monate, sodass das Team bei 30 Anwendungsfällen entweder 2-3 Jahre warten oder deutlich mehr ausgeben musste.
• Der Aufbau von Fähigkeiten war begrenzt: Da sich das Feld täglich aktualisiert, wurde dem Team klar, dass es ohne die Stärkung der Fähigkeiten des eigenen Teams unmöglich sein würde, das Rad langfristig am Laufen zu halten.

Das interne ML-Team hatte auch mit der Entwicklung eines weiteren Anwendungsfalls begonnen.

Das interne ML-Team begann selbst mit der Entwicklung eines der Anwendungsfälle. Es fiel ihnen jedoch schwer, mit dem Tempo, in dem sich die Entwicklungen vor Ort abspielten, Schritt zu halten. Einige ihrer größten Herausforderungen waren:

1. Eingeschränkter Zugriff auf APIs und Tools von Drittanbietern: Alles, was das Versenden von Daten erforderte, sprengte den Rahmen des Teams. Für einige der Tools, die die Feinabstimmung, das Testen usw. von Modellen vereinfachen, verfügte das Unternehmen auch nicht über eine eigene Unterstützung. Daher mussten sie diese Komponenten selbst herausfinden.
2. Abhängigkeit von DevOps: Da das LLM/Genai-Paradigma des maschinellen Lernens eine Orchestrierung der Infrastruktur in einem Umfang erforderte, der dem Team zuvor unbekannt war, kam es zu erheblichen Verzögerungen, um Unterstützung für alles zu bieten, was auf dem Markt neu verfügbar wurde.
3. Das Experimentieren war eingeschränkt: durch die Modelle, die vom Infra-Team unterstützt werden konnten, und daher wusste das Team nicht, ob sie die bestmögliche Qualität hatten, die hätte erreicht werden können. Darüber hinaus hatten sie bei dem Versuch, komplexere Aufgaben wie die Feinabstimmung von LoRa usw. zu übernehmen, mit Verzögerungen konfrontiert. 

Der Markt für generative KI wurde auf die Auffindbarkeit und nicht auf den Einsatz von Ressourcen reduziert

Das Team entwickelte den Aufbau einer generativen KI-Marktplatz-Entität, in der alle ML-Teams ihre Arbeit veröffentlichen können (Modelle, Datenfunktionen, Parser, Vorverarbeitung usw.). Der Marktplatz musste Folgendes beherbergen:

1. Intern entwickelte ML-Modelle: Für einfache schrittweise Schulung und Bereitstellung
2. LLM-Vermögenswerte: Um bei der Entwicklung von End-to-End-LLM-Anwendungen mit Modellen, Datenbanken, Benutzeroberflächen usw. zu helfen
3. Basismodelle: Einschließlich LLMs, Regression, Zeitreihenmodelle usw.
4. Code-Dienstprogramme: Datenlader, Parser usw.
5. Apps: Voll funktionsfähige interne Anwendungen für verschiedene Anwendungsfälle

Als das Team jedoch mit der Entwicklung des Projekts begann, wurde ihnen klar, dass es viel Zeit in Anspruch nehmen würde, die zugrunde liegende Orchestrierungsebene aufzubauen, die ihre Vision erfüllen könnte:

1. Die Bereitstellung von Modellen war schwierig: Sofern die Modelle nicht während ihrer Entwicklung eingesetzt wurden, war es sehr schwierig, das gleiche Leistungsniveau zu gewährleisten.
2. Modelle/Dienste wurden nicht dockerisiert: Es war nicht üblich, die Modelle zu verdocken, und die Datenwissenschaftler zögerten, zusätzliche Schritte durchzuführen.
3. Die Orchestrierung der Infrastruktur war kompliziert: Es musste auf GPU-Skalierung und Auto-Skalierung geachtet werden, um die Zuverlässigkeit zu gewährleisten

Daher entschied das Team, den Marktplatz nur beizubehalten, damit die Teams die Arbeit des anderen entdecken können. Sie beschlossen, die Ausführbarkeit, eine der Kernfunktionen, aus der ursprünglichen Version des Marktplatzes zu entfernen

Das Team wollte Geschäftsregeln als Python-Bibliothek ausliefern

Sie erkannten jedoch, dass dieser Ansatz nicht funktionieren würde, weil:

1. Es würde die Auffindbarkeit beeinträchtigen: Ohne eine Fassade dafür zu schaffen,
2. Eine Versionskontrolle dieser Regeln wäre unmöglich: Da diese Regeln auf den lokalen Computern der Benutzer ausgeführt würden, wäre es unmöglich sicherzustellen, dass alle Benutzer dieselbe Bibliotheksversion haben, insbesondere wenn eine Korrektur/Änderung vorgenommen wird, verschiedene Benutzer unterschiedliche Versionen davon verwenden würden.

Das Unternehmen beschloss, seinen KI-Stack gemeinsam mit TrueFoundry aufzubauen

Zwei hochwertige LLM-Anwendungsfälle wurden in weniger als 3 Monaten bereitgestellt

Das Kundenteam beschloss, zwei hochwertige Anwendungsfälle mit dem LLM-Modul der TrueFoundry-Plattform zu entwickeln. Diese Anwendungsfälle lauteten wie folgt:

Zusammenfassung des Marktberichts

Ein internes Team analysierte früher verschiedene Marktforschungsberichte und erstellte einen zusammenfassenden Bericht. Diese wöchentliche Aktivität bedeutete:

1. Jeden Monat werden Hunderte von Stunden verbracht
2. Eingeschränkte Abdeckung verfügbarer Informationen

Das Team wollte eine LLM-basierte Lösung entwickeln, die diese Berichte zusammenfassen und eine QnA-Schnittstelle mit ihnen bereitstellen kann:

Chatbot für Impfinformationen

Mit diesem Anwendungsfall wollte das Unternehmen in der Lage sein, das Bewusstsein für Impfstoffe zu schärfen, indem es einen QnA-Chatbot entwickelte, der in den verfügbaren Dokumenten zur Verabreichung von Impfstoffen suchen und etwaige Zweifel eines Patienten klären kann.

Steigende Impfraten: Mit diesem Anwendungsfall versuchte das Unternehmen, alle Hemmungen zu klären, die ein Impfstoffnehmer aufgrund falscher Nachrichten haben könnte, die häufig mit Impfstoffen in Verbindung gebracht werden und die zu einem Stigma führen.

TrueFoundry hat dazu beigetragen, die Lieferzeit auf ein Fünftel der ursprünglichen Schätzung zu reduzieren

Um den Anwendungsfall zu erstellen, müssen mehrere Komponenten zusammengesetzt werden. Wir haben dem Team eine Vorlage zur Verfügung gestellt, um Teile der RAG-Pipeline (Retrieval Augmented Generation) zusammenzusetzen. Dazu gehörten Komponenten wie:

1. Einsatz von Open Source LLM: Stellen Sie Modelle wie LLama 2, Bloom usw. zusammen mit verschiedenen quantisierten Versionen von Modellen bereit
2. Modell-Feinabstimmung: Wir halfen dem Team dabei, seine Datenquellen einfach einzubinden und Feinabstimmungsläufe an optimierten Infrastrukturkonfigurationen auszulösen.
3. Mikroservice zum Laden, Aufteilen und Aufteilen von Daten: Um Daten vor dem Einbetten in logische Blöcke zu unterteilen
4. Backend-Service: Um eine Benutzeranfrage zu akzeptieren und eine Antwort zurückzugeben
5. Einbettungsmodell: Um die Textblöcke in ihre repräsentativen Vektoren umzuwandeln
6. Vektor-Datenbank: Um die vektorisierten Datenblöcke zu speichern
7. Endgültige Modellbereitstellung: Stellen Sie das endgültige Modell skalierbar bereit

TrueFoundry hat den KI-Marktplatz des Unternehmens unterstützt

TrueFoundry fungierte als Stromschiene, die zur Stromversorgung des Binnenmarktes verwendet wird. Um dies zu ermöglichen, haben wir dem Team geholfen:

1. Initiierte die Marketplace-Komponenten: mit gebrauchsfertigen Assets, die von TrueFoundry bereitgestellt werden
2. Implementieren Sie eine asynchrone Inferenzarchitektur: Dadurch wurde sichergestellt, dass keine Anfragen verworfen werden und dass derselbe API-Endpunkt Anfragen bearbeiten kann, deren Beantwortung unterschiedlich lange dauerte (>10-15 Minuten, wenn der Datensatz riesig ist).
3. Richten Sie Use Case-Pipelines wie die RAG-Pipeline ein: Da den Teams alle Komponenten wie Datenparser, Chunking-Logik, Modelle usw. zur Verfügung standen, konnte das Team das, was es mit der Vaccine Intelligence und der Berichtszusammenfassung getan hatte, problemlos in <1 Monat auf jeden neuen Anwendungsfall replizieren
4. Auffindbarkeit über die Benutzeroberfläche hinzugefügt: Wir haben dem Team APIs zur Verfügung gestellt, die auf TrueFoundry-Bereitstellungen und -Jobs basieren und die in eine Benutzeroberfläche integriert wurden, sodass die Teams mit einem Klick Rückschlüsse aus jedem Modell oder der Bereitstellung einer beliebigen Komponente ziehen können, ohne dass die Teams die Dokumentation lesen müssen.

Geschäftsanwender können nahtlos aus Geschäftsregeln ableiten

Die gesamte Geschäftslogik wurde in eine API gepackt, die mit TrueFoundry auf dem Cloud-Server ausgeführt wurde. Wir haben dafür gesorgt, dass diese API aus Gründen der Benutzerfreundlichkeit ähnlich wie eine Python-Bibliothek strukturiert ist. Dies ermöglichte, dass es:

1. Kein Problem mit der Versionsverwaltung
2. Einfache Ausführung über die Benutzeroberfläche
3. E-Mail-Benachrichtigungen, wenn die Ergebnisse verfügbar waren

TrueFoundry ist die zentrale Anlaufstelle für alle eingesetzten Modelle.

‍

Die Interaktion mit TrueFoundry zur Überwachung, Aktualisierung und Veröffentlichung von Modellen in verschiedenen Regionen half dem Team dabei:

1. Verkürzen Sie die Bereitstellungszeit von Modellen um 60-80%
2. Verbessern Sie den ROI Ihrer Modelle, indem Sie deren Leistung überwachen

Weit voraus

Während die Partnerschaft zwischen den beiden Unternehmen voranschreitet, lernen wir viel über praktische Probleme, die in einem ML-Team dieser Größenordnung auftreten können. Wir sind in der Lage, die Plattform im Kampf zu testen und gleichzeitig neue und ausgereiftere Funktionen zu entwickeln. Gemeinsam sind wir entschlossen, eine hochmoderne Technologie zu entwickeln, die es Data Science-Teams ermöglicht, sich ausschließlich darauf zu konzentrieren, mithilfe von ML-Anwendungsfällen Mehrwert zu schaffen, ohne jemals die Infrastruktur orchestrieren oder Zeit mit technischen Aufgaben in Anspruch nehmen oder verlieren zu müssen.