Hoe Neurobit 60% van hun cloudkosten bespaart en machine learning op schaal inzet

Neurobit loopt voorop in AI-onderzoek voor de gezondheidszorg

Neurobit is een digitaal gezondheidsbedrijf met vestigingen in New York, Singapore en Bangalore. Ze ontwikkelen technologieën om gezondheidsrisico's te voorspellen en in kaart te brengen voordat ze zich voordoen, waarbij ze vitale functies die tijdens de slaap worden verzameld als biomarker gebruiken.

Het bedrijf heeft de grootste slaapdatabase ter wereld opgebouwd met meer dan een biljoen datapunten van meerkanaals fysiologische gegevens. De schaal van de data waarop hun modellen zijn getraind, geeft hen de robuustheid om het model te generaliseren naar elke nieuwe situatie. Hun use case vertoont gelijkenissen met veel recente AI-inspanningen van moderne healthtech-bedrijven en nieuwe AI-initiatieven van grote techbedrijven.

We vonden overeenkomsten tussen de use cases van Neurobit en die van andere enterprise- en middelgrote zorgbedrijven waar we mee hebben gesproken:

1. Sterk gereguleerd met uiterst strikte richtlijnen voor gegevensprivacy
2. Grote omvang van datasets
3. Lage fouttolerantie voor mislukte modelaanvragen
4. Gebruik van eigen algoritmen met sterke regelgeving voor de bescherming van intellectueel eigendom

Het team verloor meer dan $1000 voor elke gebruiker die ze niet konden bedienen

Toen we het team van Neurobit voor het eerst ontmoetten, voerden ze medische onderzoeken uit met meer dan 120 onderzoekscentra, universiteiten en meer dan 1000 proefpersonen. De meeste van deze proefpersonen bevonden zich op dezelfde geografische locatie.

Wanneer de persoon wakker wordt, sturen de sensoren fysiologische gegevens naar de server voor verwerking. Voor elke aanvraag moeten 20 verschillende modellen worden aangeroepen om het uiteindelijke resultaat te genereren.

De hoeveelheid data die bij elke aanvraag binnenkwam was groot (400 MB+) en tijdens piekuren zag het team een aanzienlijke vertraging in de responstijd en werden er zelfs aanvragen afgebroken, met verlies van gebruikersgegevens tot gevolg.

‍

Deze situatie had aanzienlijke negatieve financiële gevolgen voor het team:

1. Het afbreken van een enkele aanvraag van een proefpersoon kostte het bedrijf meer dan $1000 aan experimentkosten.
2. Het bedrijf kon de medische onderzoeken versnellen door samen te werken met laboratoria en ziekenhuizen die gegevens in grote batches uploaden, wat de productgoedkeuringen vertraagde.

Net als bij andere machine learning-toepassingen in de healthtech-sector, kon het team zich geen verlies van klantgegevens of vertraagde reacties veroorloven.

Het team wilde hun modellen op Kubernetes implementeren

Het team wist dat het implementeren van hun modellen op Kubernetes, met een wachtrij om verzoeken op te slaan voordat ze worden verwerkt, hun betrouwbaarheidsproblemen zou kunnen oplossen.

De normen voor intellectueel eigendom van het bedrijf beperkten de toegang tot het model echter tot slechts enkele leden van het Machine Learning-team en niet tot het DevOps-team.

Het Machine Learning-team had beperkte capaciteit en expertise in Kubernetes om dit zelf te realiseren. Ze wilden zich liever richten op het ontwikkelen van nieuwe modellen.

De bestaande stack die werd gebruikt voor machine learning-implementaties was:

‍

De stack werkte prima voor het team tot op een bepaalde schaal. Maar zodra de use case groeide, kreeg het team te maken met betrouwbaarheidsproblemen bij het serveren van het model die onmiddellijke aandacht vereisten.

Het team wilde de beveiliging van zijn model-API's versterken

Omdat het bedrijf werkt met gevoelige PII en gezondheidsgegevens, was het handhaven van de beveiliging van de model-API's van het grootste belang voor hen. Ze wilden niet dat klantgegevens hun cloud zouden verlaten en wilden de authenticatie- en beveiligingsnormen van de API's die ze gebruikten, versterken.

Het team besloot om samen te werken met TrueFoundry

Het team had een manier nodig om hun Machine Learning-team, dat toegang had tot het model, in staat te stellen om zelfstandig modellen op Kubernetes te implementeren en te beheren. De doelstellingen die het Neurobit-team wilde bereiken door middel van een samenwerking met TrueFoundry waren:

1. De betrouwbaarheid van hun ML-modellen vergroten wanneer deze op schaal worden geserveerd
2. Het DS-team in staat stellen om de machine learning-modellen op Kubernetes te implementeren en te beheren
3. De authenticatie- en beveiligingsprotocollen op de model-API's versterken

TrueFoundry hielp het team bij het oplossen van betrouwbaarheids- en beveiligingsvraagstukken

Het platform was in minder dan een dag opgezet

Het TrueFoundry-team hielp het Neurobit-team om de TrueFoundry-agent en het control plane binnen een gesprek van 2 uur op hun cluster te installeren. Ze werden geïnformeerd over de benodigde toegang en machtigingen, en werden in één gesprek door elke stap van de installatie geleid.

Het team kreeg de keuze om alleen de modules van het TrueFoundry-platform te installeren die voor hen relevant waren (modelimplementatie en authenticatie).

Na de installatie kreeg het team een demo van het platform en werd de documentatie overhandigd.

Het Neurobit-team begon vanaf dag 1 met implementeren

Het Neurobit-team kon het platform vanaf dag 1 direct gebruiken voor hun modelimplementaties. Ze konden hun Git-repositories rechtstreeks verbinden met het platform; deze code werd automatisch gedockeriseerd en op het platform geïmplementeerd met behulp van de TrueFoundry UI, API's of de Python SDK. Er waren geen codewijzigingen vereist en het was niet nodig om extra frameworks te leren voor alle workflows die het team wilde voltooien.

Het team schakelde snel omdat ze de betrouwbaarheidsproblemen voortvarend wilden oplossen. Binnen enkele dagen begonnen ze steeds meer functies van het platform te verkennen en gaven ze ons feedback.

Binnen twee weken was het team in staat om:

1. Hun ML-workloads volledig te verplaatsen naar Kubernetes met TrueFoundry.
2. ML-modellen te implementeren met een asynchrone wachtrij om inkomende verzoeken op te slaan wanneer er piekverkeer wordt gedetecteerd, geconfigureerd via een eenvoudige vlag.
3. De resourcetoewijzing voor de ML-services te optimaliseren op basis van verkeerspatronen en de toegewezen resources op te schalen wanneer het aantal verzoeken laag is, om zo kosten te besparen.
4. Authenticatie in te stellen en de beveiliging van alle model-API-eindpunten aan te scherpen.

Impact op Machine Learning-toepassingen

Door de implementatie van Machine Learning-modellen op TrueFoundry kon het team:

1. Ongeveer $25.000 - $30.000 besparen aan uitbetalingen voor proefpersonen door modelstoringen en betrouwbaarheidsproblemen tot nul te reduceren.
2. 35-40% reductie in cloudkosten
3. 3-6 maanden snellere klinische onderzoeken door samenwerking met ziekenhuizen en laboratoria
4. Authenticatie instellen op het model-API-eindpunt

Het TrueFoundry-team hielp het Neurobit-team ook bij het optimaliseren van hun softwarearchitectuur

Toen de belangrijkste uitdagingen met de Machine Learning-modellen waren opgelost, besloot het TrueFoundry-team een stap verder te gaan om ervoor te zorgen dat het Neurobit-team klaar was voor succes. Tijdens onze gesprekken met het Neurobit-team begrepen we dat er ruimte was om de microservices-architectuur van het bedrijf verder te optimaliseren. Dit had een mogelijke impact kunnen hebben op de inferentietijd en de cloudkosten die het team maakte.

We hebben uiteindelijk een diepgaande evaluatie van de microservices-architectuur met het team uitgevoerd.

We kregen het volgende inzicht in de architectuur die het team hanteerde:

1. Er waren 5 verschillende microservices die werden aangeroepen voor het verwerken van de invoer die van gebruikers werd ontvangen.
2. Elke service schreef zijn tussenresultaten naar een database. Vanuit deze database las de volgende service de output van de vorige service, voerde de berekening uit en schreef deze terug naar de database zodat de volgende microservice deze kon verwerken.

Dit hele proces duurde ongeveer 7 minuten per verzoek.

Geoptimaliseerde microservices-architectuur met TrueFoundry

‍

We hebben onderzocht welke fouttolerantie en inferentietijden het team nodig had. Op basis daarvan hebben we het Neurobit-team geadviseerd om de output van de ene service direct door te geven aan de andere via het gRPC-protocol.

Het voordeel van deze architectuur was dat:

1. Omdat elke microservice ongeveer 30 seconden nodig had voor uitvoering, was er weinig risico op verlies van tussenliggende resultaten bij een storing, aangezien de volledige pipeline opnieuw kon worden uitgevoerd.
2. Dit verlaagt de kosten voor datatransfer en de tijd die nodig is om tussenliggende resultaten naar een database te schrijven aanzienlijk.

Deze nieuwe pipeline werd gehost op het TrueFoundry-platform, waardoor de model-inferentietijd daalde van ongeveer 7 minuten per verzoek naar ongeveer 2 minuten per verzoek.

Impact van het herontwerp van de architectuur

1. De inferentietijd van de ML-pipeline werd teruggebracht van ongeveer 7 minuten naar ongeveer 2 minuten
2. De kosten voor het draaien van de Machine Learning-service werden met 60-70% verlaagd
3. Toename in productiviteit en zelfstandigheid van ontwikkelaars. Ontwikkelaars kunnen nu zelfstandig modellen en applicaties implementeren, waar voorheen constant overleg met het DevOps-team nodig was
4. Het team draait nu al zijn modellen en applicaties volledig op Kubernetes

Impact op de business

Naarmate onze samenwerking met het Neurobit-team vordert, zien we dat het bedrijf de vruchten plukt van de snellere responstijden, betrouwbaarheid en schaalbaarheid die het TrueFoundry-platform het team heeft opgeleverd.

‍

Impact op de technische stack van Neurobit

TrueFoundry hielp het Neurobit-team om al hun Machine Learning-workloads naar Kubernetes te verplaatsen zonder dat ze zich hoefden te verdiepen in de complexiteit van Kubernetes. Het heeft het team ook geholpen zelfstandig te worden in het beheren van geavanceerde Kubernetes-operaties, zoals asynchrone implementaties, het instellen van autoscaling, serverless deployments, enzovoort.

We hebben het team ook kunnen helpen om een deel van hun softwarebronnen over te zetten naar een microservices-architectuur op Kubernetes, zodat hun stack toekomstbestendig is en optimaal wordt benut.

‍

Onze leerpunten uit de samenwerking met Neurobit

Terwijl we nauw blijven samenwerken met Neurobit om hen te helpen de schaal en impact met kunstmatige intelligentie te bereiken die zij voor ogen hebben, zijn we dankbaar voor alle inzichten die we uit deze samenwerking hebben opgedaan. Het heeft zowel onze visie op klantbetrokkenheid gevormd als een duidelijke richting gegeven aan ons product.

Enkele van onze belangrijkste inzichten zijn:

1. Bedrijven kunnen een aanzienlijk deel (>40%) van hun cloudkosten besparen door hun resources optimaal te benutten
2. Door ontwikkelaars onafhankelijk te maken en hen in staat te stellen zelf releases uit te voeren, verhoogt het team de snelheid van oplevering
3. Beginnen met een schaalbare stack zorgt ervoor dat systemen niet uitvallen en dat het team uiteindelijk geen extra migratie-inspanningen hoeft te leveren

We hebben een aantal belangrijke functies van het platform mede ontwikkeld om de use cases op te lossen die het Neurobit-team van ons vroeg. Deze omvatten:

1. Asynchrone implementaties
2. Gehoste Jupyter Notebooks

Toekomstvisie

We kijken ernaar uit om op lange termijn met het Neurobit-team samen te werken en van hen te leren, terwijl we hen ondersteunen bij hun groei. Enkele toekomstige ontwikkelingen die in het verschiet liggen voor deze samenwerking zijn:

1. Het opschalen van de doorvoer van model-inferentie naar 10x de huidige schaal
2. Ondersteuning bij het migreren van de volledige softwarestack van Neurobit naar TrueFoundry
3. Implementatie van nieuwe experimentele modellen en het draaien van pilots hiermee bij laboratoria, ziekenhuizen en verpleeghuizen.

We zijn benieuwd wat de toekomst brengt!