True ML Talks #6 - Machine Learning Platform @ °Nomad Health

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in het ML Platform van °Nomad Health en spreken we met Liming Zhao.

Liming Zhao is de CTO bij °Nomad Health, een technologiebedrijf dat de markt voor zorgpersoneel transformeert. Met een tekort aan zorgverleners, met name tijdens een pandemie, streeft °Nomad Health ernaar een marktplaats te bieden waar zorgprofessionals tijdelijke opdrachten kunnen vinden om te voldoen aan de meest dringende en aantrekkelijke behoeften op het gebied van patiëntenzorg.

📌

Onze gesprekken met Liming behandelen de volgende aspecten:
- ML use-cases bij °Nomad Health
- Machine Learning Team bij °Nomad Health
- Machine Learning-modellen deployen
- Een custom Feature Store-oplossing bouwen
- MLOps-tools kiezen
- Cloudkosten beheren

Bekijk de volledige aflevering hieronder:

ML Use-cases @°Nomad Health

1. Voorspellende modellering: °Nomad Health heeft AI en ML geïntegreerd in hun operationele processen, met name op het gebied van voorspellende modellering. Dit helpt bij het prioriteren van werk, aangezien zorgverleners de schaarsste bron zijn. °Nomad Health investeert hier veel in en ziet het als een cruciale machine learning-functionaliteit.
2. Aanbevelingssystemen: °Nomad Health gebruikt op graphs gebaseerde modellering om aantrekkelijke banen aan te bevelen aan zorgverleners. Ze nemen dit op in hun ranking en e-mailcampagnes, zodat zorgverleners de meest geschikte banen te zien krijgen, zelfs als ze geen tijd hebben om alle beschikbare vacatures te bekijken.
3. Large Language Models: °Nomad Health gebruikt LLM's, zoals GPT-3, om functiebeschrijvingen te extraheren en aan te vullen. Ze gebruiken het model om functie-eisen te standaardiseren door waardevolle informatie te halen uit een blok tekst dat in wisselende mate van detail en helderheid geschreven kan zijn. °Nomad Health onderzoekt ook het gebruik van LLM's voor cv's, maar dit is een uitdagend terrein vanwege de wisselende mate van volledigheid in de zorgsector.

📌

LLM's voor cv's in de zorgsector:
°Nomad Health onderzoekt het gebruik van Large Language Models (LLM's) voor functiebeschrijvingen en cv's. Het bedrijf heeft meer succes gezien met robuuste modellen zoals GPT-3. Het gebruik van LLM's voor cv's van zorgpersoneel brengt echter uitdagingen met zich mee vanwege de noodzaak van specifieke certificeringen en licenties. °Nomad Health werkt aan een uitgebreide digitale set van cv-kwalificaties op hun platform om het proces voor zowel zorgverleners als medische instellingen te vereenvoudigen.

Machine Learning Team bij °Nomad Health

Het data science-team van °Nomad Health is relatief klein en bestaat uit negen teamleden, waaronder een manager, een data scientist, een data analyst en een data engineer. De overige vijf leden zijn machine learning engineers, waarvan er twee gericht zijn op infrastructuurontwikkeling en MLOps, terwijl de andere drie zich richten op het bouwen, testen en opleveren van modellen.

Ze maken gebruik van kant-en-klare oplossingen uit andere industrieën en referentieproblemen, passen deze aan specifieke use-cases aan en investeren zwaar in het verzamelen, parsen en standaardiseren van data. De teamstructuur en samenwerkingspraktijken van °Nomad stellen hen in staat om snel en efficiënt te handelen, waarbij alle leden samenwerken om problemen op te lossen. Ze hebben aanzienlijk succes behaald in MLOps door te leren van hun behoeften en knelpunten, dankzij hun datagestuurde aanpak en een getalenteerd en divers team.

Machine Learning-modellen deployen

°Nomad Health heeft flink geïnvesteerd in Vertex AI, aangezien het grootste deel van de technologische infrastructuur zich in Google Cloud Platform (GCP) bevond. Maar naarmate ze te maken kregen met complexere zakelijke behoeften en een hogere deploymentfrequentie, begonnen ze de endpoint van de productiedienst weg te verplaatsen van Vertex AI en te deployen naar de Google Kubernetes Engine (GKE)-cluster. Dit gaf het team meer flexibiliteit, controle en schaalbaarheid over hun deployment- en CI/CD-pipeline.

Het machine learning-team van °Nomad Health gebruikt Vertex AI voor model training, waarbij ze gebruikmaken van de rijkdom aan libraries, interfaces en tools van Vertex AI om snel dingen uit te proberen, succes te monitoren en veelbelovende signalen te begrijpen. Het team evalueert ook MLflow, maar gebruikt momenteel geen Databricks in hun stack.

Over het geheel genomen vloeide de evolutie van de deploymentstrategie van °Nomad Health voort uit een besef van praktische complexiteit en het succes van de deployment op GKE door het aangrenzende engineeringteam. Deze strategie stelde het machine learning-team in staat om gebruik te maken van de bestaande praktijken en infrastructuur, terwijl ze toch controle behielden over hun deployment.

Een Custom Feature Store-oplossing bouwen

°Nomad Health heeft een custom feature engineering-oplossing ontwikkeld om hun grote dataset te beheren en een meer consistente feature store op te bouwen. Het bedrijf realisseerde zich dat de verschillende machine learning-projecten dezelfde set gegevens moesten delen, waaronder informatie over bekeken vacatures door zorgverleners, sollicitatie-uitkomsten, kwalificaties en voorkeuren. Ze hebben een feature store geformaliseerd en een team samengesteld dat verantwoordelijk is voor het verzamelen van ruwe data, het uitvoeren van basistransformaties en het vervolgens opslaan van de data op een manier die aansluit bij de bedrijfsdoelen. Om snelle omschakeling naar visualisatie mogelijk te maken, kon de BI-organisatie vervolgens de getransformeerde data gebruiken. Het data science-team kon zo ook snel een subset van features extraheren en deze aanroepen in de feature store.

°Nomad Health gebruikt de open-source oplossing Feast om features voor verschillende modellen te extraheren en op te slaan, en de feedback van de modellering gaat terug naar de feature store. Het bedrijf maakt gebruik van Vertex AI voor modellering en heeft een afzonderlijke pipeline voor deployment. Een van de meest innovatieve oplossingen in het gehele ML-platformlandschap is de transformatie van ruwe data naar een consistente entiteit, gebeurtenis en dimensie die respectievelijk het BI-team en het data science-team kunnen gebruiken voor data-analyse en voorspellende analyses. Deze transformatie van ruwe data heeft °Nomad Health in staat gesteld een betrouwbaar signaal te creëren dat sterk correleert met de sollicitatie en het uiteindelijke aanbod van de instellingen.

In eerste instantie begonnen we met de Vertex AI-infrastructuur en uiteindelijk zijn we overgestapt naar onze eigen open-source geïmplementeerde feature store. Het verkrijgen van onze eigen data, de unieke vorm en set van data, is feitelijk de sleutel.

MLOps-tools kiezen

In een vroeg stadium moeten bedrijven investeren in een tool of platform dat voorziet in het grootste deel van hun behoeften, zoals Vertex AI of SageMaker, zodat ze zich eerst kunnen richten op het realiseren van hun bedrijfswaarde. Zodra bedrijven een robuust engineering- of data science-team hebben opgebouwd, kunnen ze de productiedeployment uit het platform halen en aangrenzende diensten toevoegen. Het pad dat een bedrijf aflegt is belangrijker dan het aanbevelen van een volledige set tools; het is altijd het beste om te kiezen voor iets dat voor nu redelijk goed werkt en van daaruit verder te itereren.

Als je met een data science-team van slechts twee mensen begint en het eerste wat je doet is het opzetten van al je eigen infrastructuur... Waarvoor? Wat heb je bewezen dat deze mooie engine en super krachtige infrastructuur daadwerkelijk kan opleveren?

Cloudkosten beheren

1. Investeer in monitoring- en alerting-tools: Overweeg het gebruik van tools zoals TrueFoundry om de prestaties van de infrastructuur te monitoren en instanties te identificeren die kostenschommelingen veroorzaken. Deze tools kunnen helpen om problemen vroegtijdig te detecteren en snel corrigerende maatregelen te nemen.
2. Vertrouw op handmatige praktijken: Gebruik handmatige praktijken, zoals het monitoren van logs en signalen die naar een Colab-notebook worden gestuurd, om instanties te identificeren die kostenschommelingen veroorzaken. Onderzoek deze instanties op wekelijkse of twee-wekelijkse basis en herstart of beëindig bepaalde trainingsmodellen indien nodig.
3. Stel een budget in en ontvang realtime rapporten: Stel een budget in voor cloudkosten en ontvang realtime rapporten van de cloudprovider om ervoor te zorgen dat het budget niet wordt overschreden. Dit kan helpen om de kosten onder controle te houden en onverwachte uitgaven te voorkomen.
4. Implementeer geavanceerdere oplossingen: Naarmate de infrastructuur groeit, kunt u overwegen geavanceerdere oplossingen te implementeren om de kosten effectief te beheren. Dit kan het gebruik van geautomatiseerde tools omvatten of het aanstellen van toegewijd personeel om cloudkosten te beheren.
5. Vind een balans tussen kosten en prestaties: Het is essentieel om een balans te vinden tussen kosten en prestaties om de gewenste resultaten te behalen. Overweeg het optimaliseren van machine learning workloads om ervoor te zorgen dat ze kosteneffectief zijn, terwijl ze toch aan de prestatie-eisen voldoen.

Aanvullende gedachten van Liming Zhao

MLOps: Bouwen vs. Kopen

1. De beslissing tussen managed services en eigen infrastructuur is cruciaal voor MLOps-implementatie. Een hybride aanpak wordt aanbevolen naarmate de organisatie volwassener wordt.
2. Lange termijn resultaten en afwegingen tussen kosten moeten in overweging worden genomen bij het evalueren van kosten en resources. Monitor kosten zorgvuldig en verplaats hoogwaardige componenten naar eigen infrastructuur voor stabiele producten.
3. Tolereer bij minder betrouwbare modellen kostenschommelingen, maar gebruik tags voor kostentoewijzing en monitor prijsschommelingen voor effectieve kostenoptimalisatie.
Het belang van aanpassen aan veranderende bedrijfsbehoeften

Tijdens de pandemie moest °Nomad Health prioriteit geven aan de meest waarschijnlijke banenoffers om de instroom van sollicitaties te verwerken. Naarmate mensen echter terughoudender werden om te solliciteren, moest de recommendation engine worden aangepast om kandidaten meer opties te tonen.
Terugkijkend was de initiële focus van °Nomad Health op snelheid en autonomie de juiste beslissing voor een klein team met onzekere bedrijfsbehoeften. Naarmate het team en de bedrijfsbehoeften evolueerden, moest het bedrijf de focus echter verleggen naar nauwkeurigheid en efficiëntie.
Deze reis onderstreept het belang van het meewegen van veranderende bedrijfssituaties bij het nemen van machine learning-beslissingen. Door wendbaar te zijn en bereid te zijn zich aan te passen, kunnen bedrijven weloverwogen beslissingen nemen waarmee ze mee kunnen groeien met het veranderende bedrijfslandschap.

Als u genoten heeft van het volgende blog, zijn hier de eerdere blogs in de TrueML-serie

‍

True ML Talks #5 - Machine Learning Platform @ Simpl

In dit blog duiken we diep in het ML Platform van Simpl. Begrijp hoe ML wordt gebruikt voor fraude-detectie en begrijp de ML-architectuur bij Simpl.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML youtube series en lees de hele TrueML blog series.

TrueFoundry is een ML Deployment PaaS over Kubernetes om developer workflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen, met gegarandeerde veiligheid en controle voor het Infra-team. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden te terug te draaien (rollback). Hierdoor kunnen ze kosten besparen en modellen sneller naar productie brengen, wat leidt tot echte bedrijfswaarde.