Een 2-kops team bedient 1,5 miljoen mensen met een model via TrueFoundry

In de afgelopen maanden hebben we de kans gehad om te werken met een klein maar extreem getalenteerd team. Ze hebben een state-of-the-art deep learning-model ontwikkeld en samenwerkingen opgezet om dit naar meer dan 10 miljoen gebruikers te brengen.

Het laatste ontbrekende puzzelstukje in hun impactverhaal was het afhandelen van de engineering om dit te realiseren. Het model was zwaar qua compute, en op de schaal waarop ze dit model wilden serveren aan hun eindgebruikers, hadden ze een betrouwbare en presterende infrastructuurstack nodig die ze met hun tweeën konden beheren (1 DevOps Engineer en 1 ML Engineer).

Noodzaak van asynchrone deployment

Het model is gebouwd om audio-inputs van verschillende grootte te verwerken. Omdat het model een hoge verwerkingstijd had (gemiddeld ~5 seconden), was er asynchrone inference nodig voor elk verzoek om deze verzoeken te verwerken en te beantwoorden.

Het team had een stack gebouwd op AWS Sagemaker

Het team had hun initiële stack voor het serveren van het model gebouwd op Sagemaker. Toen ze echter hun eerste pilot uitvoerden met dit ontwerp, realiseerden ze zich dat het betrouwbaar serveren van het model op de gewenste schaal moeilijk zou worden met deze stack.

Gebruikers kampten met vertragingen van 8-10 minuten

Zelfs na het gebruik van de asynchrone setup duurde het schalen van de instances lang (8-10 minuten per machine), waardoor de ervaring van de eindgebruiker werd aangetast doordat zij met deze vertraging te maken kregen.

Tijdens de PoC kregen ze echter te maken met enorme vertragingen in responstijden. Omdat ze nieuw waren met veel van de Sagemaker-gerelateerde instellingen, verloren ze kostbare tijd aan het zoeken naar de oorzaak van de vertragingen. Enkele van de uitdagingen waar ze voor stonden, waren:

1. Moeilijk te leren: Ze vonden het als DS/MLE's moeilijk om de nieuwe concepten te begrijpen die nodig waren om Sagemaker te gebruiken.
2. Beperkte zichtbaarheid: Het uitvoeren van een root cause analysis van de problemen, vooral in productie, was lastig vanwege onintuïtieve dashboards en interfaces.
3. Moeilijk te schalen: Het schalen van Sagemaker verliep traag, wat leidde tot vertragingen in antwoorden aan gebruikers en een slechte klantervaring.
4. Aparte quota: AWS vereist dat je een aparte aanvraag indien voor het verkrijgen van capaciteit voor Sagemaker-reserved GPU-instances. Het team vond dit proces traag en beperkend.
5. Prijzig: Het gebruik van GPU's met Sagemaker was duur voor het team omdat Sagemaker dergelijke instances met 25-40% verhoogt ten opzichte van raw EKS.

Na de PoC verloor het team het vertrouwen in Sagemaker en besloot dat ze een oplossing nodig hadden die ze met z'n tweeën (één ML Engineer en 1 DevOps Engineer) konden serveren aan hun doelgroep van 10M+ gebruikers.

Systeem deployen op TrueFoundry in <2 dagen

Toen we met het team begonnen samen te werken, was hun pilot ~7 dagen verwijderd. We verzekerden het team dat we hen konden helpen de gehele stack te migreren en te herbouwen met behulp van TrueFoundry's modules in <2 dagen, zodat ze ruimschoots de tijd zouden hebben om te testen voordat hun pilot in productie moest gaan.

Veel sneller schalen

Het team voerde benchmarks uit door een piek van 88 verzoeken naar het model te sturen om de prestaties te vergelijken met Sagemaker. TrueFoundry schaalde 78% sneller op dan Sagemaker, wat de gebruiker veel snellere antwoorden opleverde. De totale tijd die nodig was om op de query te reageren was 40% sneller met TrueFoundry.

‍

‍

‍

Betrouwbaar schalen naar 150+ nodes

Het team kon de applicatie eenvoudig schalen naar 150+ GPU-nodes omdat:

1. Eenvoudig te configureren: Ze hoefden alleen een argument te wijzigen in de UI en konden eenvoudig autoscaling-regels configureren op basis van de backlog van inkomende verzoeken. Dit zou anders meerdere afstemmingsrondes met het engineeringteam hebben gekost.

2. Verhoogde GPU-quota: Met TrueFoundry konden ze zowel Spot als Raw ECS gebruiken. Vanwege het tekort aan GPU's bij cloudproviders bood TrueFoundry het team ook de optie om te schalen over verschillende GPU-providers en regio's.

3. Spot-gebruik en Autoscaling: Het team hoefde geen extra moeite te doen om het gebruik van spot-instances voor hun services te configureren. Instances werden ook teruggeschaald wanneer het verkeer laag was. Door gebruik te maken van TrueFoundry's betrouwbaarheidsmechanisme voor spot-gebruik en autoscaling-instellingen, bespaarde het team $100K+ dollar tijdens de pilotperiode.
4. Dev- en Demo-omgeving: Het team heeft ook een Dev- en Demo-service van het model gedeployed om feedback te verzamelen, terwijl de machines worden teruggeschaald wanneer ze niet in gebruik zijn.

Al 1,5M gebruikers bediend en het aantal groeit elke dag!

Met behulp van TrueFoundry kan het 2-koppige team hun gehele workload, die vaak opschaalt naar meer dan 150 GPU-nodes, helemaal zelf beheren!! Tijdens de samenwerking was het meest opmerkelijke punt voor het team onze klantondersteuning en snelle responstijden. TrueFoundry is toegewijd aan het succes van haar klanten en hoopt dat al onze klanten kunnen schalen en impact maken op een schaal vergelijkbaar met dit project!