True ML Talks #5 - Machine Learning Platform @ Simpl

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in het ML-platform van Simpl en spreken we met Sheekha.

Sheekha is Director of Data Science bij Simpl. Simpl bouwt aan India's leidende netwerk voor afrekenen met één tik, waarmee ze winkeliers een volledige reeks producten bieden, variërend van BNPL tot hulp bij het betalen in termijnen en vele andere waardetoevoegende diensten. Ze werken met meer dan 26.000 winkeliers in heel India, waaronder JIO platforms (het grootste telecomnetwerk), Zomato (een van de grootste maaltijdbezorgdiensten van het land) en nog veel meer.

📌

Onze gesprekken met Sheekha behandelen de volgende aspecten:
- ML-use cases bij Simpl
- Overzicht van de ML-infrastructuur van Simpl
- Kosten beheren voor ML-training
- Trainings- en inference-pipelines afzonderlijk beheren
- Automatisering bij het hertrainen van ML-modellen
- Simpl's stap naar het in-house bouwen van oplossingen
- Overwegingen voor realtime systemen en Data Science-modellen
- ML-deployment even eenvoudig maken als software
- Engineering-principes integreren in Data Science

Bekijk de volledige aflevering hieronder:

ML-use-cases @Simpl

1. Fraudepreventie en risicobeoordeling: Het ML-systeem van Simpl analyseert elke transactie en gebruikt eenvoudige regels, filters, machine learning-modellen en neurale netwerksystemen om transacties met een hoog risico te identificeren, zoals gevallen van overname van accounts, identiteitsdiefstal of andere verdachte activiteiten. Het systeem kan frauduleuze transacties voorkomen, wat anders kan leiden tot geldverlies en het niet kunnen bedienen van goedwillende klanten.
2. Acceptatie (underwriting): Het ML-systeem van Simpl helpt het bedrijf beslissingen te nemen over acceptatie door onboardinggegevens van gebruikers te analyseren. Het systeem bepaalt voor hoeveel krediet een gebruiker in aanmerking komt en wat hun bestedingslimiet moet zijn. De teams van Simpl zijn betrokken bij het acceptatieproces en bewegen zich naar meer realtime pipelines en systemen.
3. Klantenservice: Het ML-systeem van Simpl helpt het bedrijf bij het werken met klanten die moeite hebben om op tijd te betalen. Het systeem kan klanten herinneren aan aankomende betalingen of alternatieve betalingsregelingen aanbieden die voor beide partijen werken. De teams van Simpl werken samen met klanten om de beste weg voorwaarts te vinden, wat zorgt voor een positieve klantervaring.

We vonden dit interessante nieuwsbericht over hoe Simpl ML inzet voor fraudedetectie:

‍

Hoe Simpl AI & ML inzet om fraudedetectie te verbeteren - Express Computer

Met meer dan 20.000 merchant-partners en 25 miljoen gebruikers in heel India richt Simpl zich op het garanderen van naadloze en veilige transacties tussen gebruikers en winkeliers. Sheekha Verma, Director Data Science bij Simpl, vertelt over de robuuste antifraude-infrastructuur van het bedrijf, waaronder het bouwen van data scienc…

Express Computer Sudipta Dev

‍

Het Data Science-team bij Simpl

Het data science-team bij Simpl bestaat uit 28 data scientists en 16 data engineers. Het team vormt een essentieel onderdeel van Simpl samen met andere engineeringteams, en ze hebben een afzonderlijk DevOps-team. Het team werkt aan ML, neurale netwerksystemen, regels, grafendatabases en graph machine learning-modellen om netwerken van frauduleuze gebruikers te analyseren.

De tech-stack en workflow van het Data Science-team van Simpl

Vanuit het perspectief van de huidige tech-stack heeft het bedrijf alles in de cloud staan, zonder dat er on-premise systemen worden gebruikt.

Het data science-team van Simpl gebruikt een externe machine met Python-notebooks en libraries die zijn gebouwd door het data engineering-team om verbinding te maken met databases en verkennende data-analyse (EDA) uit te voeren. Zodra de data-analyse is voltooid, zet het team met behulp van het data engineering-team een pipeline op om het model te deployen. Voor batchmodellen gebruikt het team Airflow voor de planning.

Modelmonitoring wordt uitgevoerd met behulp van de dashboards van Simpl om veranderingen in de output te volgen. Wat betreft MLOps investeert Simpl momenteel in dit domein. Voor antifraudesystemen heeft het bedrijf een model dat batchsystemen gebruikt voor het analyseren van vergelijkbare e-mail-ID's en telefoonnummers. Het team beschikt ook over enkele tools die in realtime worden uitgevoerd om transacties te monitoren op basis van de snelheid van de transactie en het getransacteerde bedrag.

Simpl heeft ook een neuraal netwerkmodel ingezet voor transactiemonitoring. Het model combineert de huidige payload met historische data van het afgelopen jaar en stuurt deze naar het neurale netwerkmodel voor een beslissing om de transactie toe te staan of te weigeren. Het data engineering-team heeft een Flink-pipeline gebouwd om het piekverkeer te beheren en een lage SLA van 70-80 milliseconden te garanderen.

📌

Feature Store:
Een feature store is een gecentraliseerde opslagplaats voor het opslaan en beheren van features. Dit zijn individuele, meetbare eigenschappen of kenmerken van data die worden gebruikt om machine learning-modellen te trainen.

Simpl gebruikt momenteel DynamoDB als een feature store voor realtime beschikbaarheid. Dit is echter kostbaar en er worden inspanningen geleverd om een interne feature store te bouwen om de kosten op de lange termijn te verlagen.

We vonden deze interessante blog over hoe Data Science zich heeft ontwikkeld bij Simpl:

‍

‍De reis van het Data Sciences Lab @ Simpl

Toen we in 2015 begonnen vanuit ons kleine kantoor in Juhu (Mumbai), hadden we vrijwel alleen eenmansteams. We waren met zeven personen.

Simpl - Under The Hood Raj Vardhan

‍

Kosten beheren voor ML-modellen: uitdagingen en oplossingen

Het beheren van de kosten die gepaard gaan met het implementeren en schalen van machine learning (ML)-modellen is een kritieke uitdaging. Dit is vooral belangrijk voor modellen die aanzienlijke hoeveelheden data vereisen en kostbare middelen gebruiken, zoals Flink-pipelines en virtuele machines.

Het ML-team verwerkt terabytes aan data, wat het gebruik van virtuele machines voor trainingsjobs noodzakelijk maakt. Het balanceren van de kosten tegen de voordelen van de modellen is van cruciaal belang.
Om de kosten te drukken, samenwerkt het team met DevOps- en data engineering-teams om kosteneffectieve opties te verkennen. Ze werken ook aan het bouwen van een interne feature store om de kosten van het gebruik van DynamoDB te verlagen. Een andere kostenbesparende maatregel die ze toepassen, is het gebruik van spot-instances voor niet-kritieke taken.

Het beheren van de kosten is echter een continu proces dat een voortdurende evaluatie van de kosteneffectiviteit van het model vereist. Factoren zoals de balans tussen precisie en recall en de kosten van goedwillende gebruikers spelen ook een rol bij het bepalen van de beste kostenbesparende maatregel.

📌

Interactie tussen het ML- en het DevOps-team:
Samenwerking tussen DevOps- en data science-teams is noodzakelijk om virtuele machines in te richten voor machine learning-projecten, en er is doorgaans een doorlooptijd van minimaal drie dagen. Het DevOps-team ontvangt meerdere verzoeken, waaronder die van het data science-team, waarbij rekening moet worden gehouden met de kosten en waarbij moet worden samengewerkt met het data engineering-team om deze te vervullen. In het geval van een dringend verzoek kan het DevOps-team het inrichtingsproces versnellen zonder rekening te houden met de kostenimplicaties. Het data science-team houdt rekening met de vertraging van drie dagen in het deploymentplan van het project.

Trainings- en inference-pipelines afzonderlijk beheren: voor- en nadelen

Het afzonderlijk beheren van de trainings- en inference-pipelines kan leiden tot een reeks problemen die de algehele efficiëntie van het systeem kunnen beïnvloeden. De belangrijkste reden hiervoor is dat het moeilijk kan worden om de oorsprong van de modellen te achterhalen, de code te bewaren en de resultaten te repliceren. Het kan ook leiden tot menselijke fouten en een wildgroei aan problemen, vooral bij startups.

Aan de andere kant kan het afzonderlijk beheren van deze pipelines grotere flexibiliteit en controle over het systeem bieden, waardoor u elk proces onafhankelijk kunt optimaliseren. Het kan u ook in staat stellen het systeem eenvoudiger te schalen door naar behoefte nieuwe resources toe te voegen aan de trainings- of inference-pipelines.

Idealiter wilt u deze pipelines echter samenvoegen en hertraining opnemen in hetzelfde proces. Door dit te doen, kunt u de problemen vermijden die gepaard gaan met het afzonderlijk beheren van deze pipelines. U behoudt nog steeds de flexibiliteit en controle die gepaard gaan met het onafhankelijk beheren ervan. Over het algemeen hangt de beslissing om deze pipelines afzonderlijk of samen te beheren af van de specifieke behoeften van uw organisatie en de middelen die u ter beschikking staan.

Het belang van automatisering bij het hertrainen van ML-modellen

Het hertrainen van ML-modellen is een cruciaal onderdeel van het behoud van hun nauwkeurigheid en relevantie. Handmatige hertraining kan echter tijdrovend en foutgevoelig zijn. Daarom speelt automatisering een vitale rol bij het waarborgen dat het proces efficiënt, betrouwbaar en schaalbaar is.

Het automatiseren van hertraining kan organisaties helpen specifieke intervallen in te stellen voor het activeren van hertraining, waardoor de modellen regelmatig worden bijgewerkt. Dit kan ook helpen tijd en resources te besparen, aangezien automatisering de noodzaak van handmatige tussenkomst wegneemt.

Er kunnen echter uitdagingen zijn bij het automatiseren van hertraining voor complexe modellen die gespecialiseerde hardware of software vereisen. In dergelijke gevallen kan handmatige hertraining noodzakelijk zijn totdat een geautomatiseerde oplossing kan worden geïmplementeerd.

Simpl's stap naar het in-house bouwen van oplossingen

Uitdagingen bij het gebruik van SageMaker voor Machine Learning-projecten

Het gebruik van SageMaker is een gamechanger geweest voor data science-teams wanneer het gaat om het verwerken van grote datasets voor machine learning-projecten. Het platform brengt echter nog steeds enkele uitdagingen met zich mee die de productiviteit van het team kunnen beïnvloeden.  

1. Toewijzing van resources: Wanneer meerdere mensen tegelijkertijd inloggen op SageMaker, kan het laden van een groot bestand of model het systeem voor iedereen laten crashen. Dit heeft niet alleen invloed op de persoon die het verzoek heeft geïnitieerd, maar op iedereen. Dit onderstreept de noodzaak van een systeem dat dergelijke problemen aan de kant van het team kan beheren.
2. Kosten voor het draaien van GPU's: De kosten voor het draaien van GPU-instances voor neurale netwerkmodellen, die essentieel zijn voor het verwerken van grote hoeveelheden data, kunnen erg hoog zijn, en het team moet voorzichtig zijn bij het gebruik ervan. Om kosten te besparen, hebben ze een systeem opgezet dat het notebook uitschakelt als het gedurende een bepaalde periode inactief is. Ze hopen echter over te stappen op een meer geautomatiseerd systeem dat op- en afschaalt afhankelijk van het gebruik.

Hoewel SageMaker een nuttig platform is geweest voor het team, zijn er nog steeds andere opties zoals Kubernetes die ze nog niet hebben geprobeerd. De beslissing om SageMaker te gebruiken werd echter voornamelijk gedreven door de noodzaak van een sneller systeem dat grote hoeveelheden data kon verwerken.

Plannen om een betere versie van SageMaker te bouwen

Het bedrijf is van plan een verbeterde versie van SageMaker te maken, hun eigen machine learning-platform. Aanvankelijk een R&D-experiment, profiteert het project nu van een groter team dat in staat is tot interne ontwikkeling. Hoewel hun virtuele systeem enkele kenmerken van SageMaker bezat, ontbrak het aan distributed computing. Het toevoegen van distributed computing aan hun huidige virtuele machine via Py console-integratie zal de vereiste oplossing bieden.

Voor het beheer van gebruikerstoegangscontrole en datatoegankelijkheid heeft het bedrijf verschillende IAM-rollen gebouwd en een subaccount toegewezen aan hun datateam voor kostenbeheer. Ze hebben echter nog meer werk te verrichten, met name gezien de gevoelige data die ze als FinTech-bedrijf verwerken, en de regelmatige audits door de RBI.

Hoewel ze een extern platform zouden kunnen gebruiken, heeft het bedrijf ervoor gekozen hun versie van SageMaker in-house te ontwikkelen. Hun beslissing is strategisch en niet gebaseerd op beperkingen met betrekking tot datatoegankelijkheid of kosten. Door meer controle over het platform te hebben, kunnen ze efficiënter schalen en groeien. Het bedrijf heeft al distributed computing gebruikt in sommige systemen via DASK.

Aangezien we schalen en het team groter wordt: als je het in-house kunt doen, waarom niet?
- Sheekha

Overwegingen voor realtime systemen en Data Science-modellen

1. Voor realtime systemen moet worden voldaan aan strikte SLA's, en de belastingverdeling kan niet-uniform zijn, met specifieke piekuren waar de werkdruk hoog kan zijn.
2. Bij het deployen van een realtime systeem is het essentieel om rekening te houden met latency en load balancing.
3. Data science-modellen moeten worden gemaakt voor daadwerkelijke zakelijke impact, niet om simpelweg "fancy" te zijn.
4. Metrics worden gebruikt om de impact van een model te meten, zoals de hoeveelheid fraude die het kan stoppen en het aantal goedwillende gebruikers dat het kan beïnvloeden.
5. Het risicoteam en de CFO nemen een beslissing over het punt waar ze zich comfortabel bij voelen qua kosten en zakelijke impact.
6. Backend-kosten, zoals de hoeveelheid DynamoDB-schrijf- en leesacties, moeten in overweging worden genomen en worden gekoppeld aan de zakelijke metrieken van het model om te zorgen dat ze overeenkomen met de gewenste impact.

ML-deployment net zo eenvoudig maken als software: ontwikkelaarsproductiviteit verbeteren

Het ontwikkelen van ML-modellen is eenvoudiger geworden met libraries zoals Scikit-learn, maar de tijd om een project te starten en live te gaan is nog steeds hoog, vooral voor kleinere bedrijven zonder pipelines en MLOps-systemen. Het opzetten van pipelines, het opschonen van data, het valideren van tests en het deployen van modellen kan twee tot drie maanden duren. Bovendien is het vinden van bugs in een model uitdagend omdat er geen standaardisatie is voor het proces. Bedrijven hebben daarom systemen nodig die modelontwikkeling even naadloos maken als softwareontwikkeling om de productiviteit van ontwikkelaars te verbeteren. Het systeem moet zorgen voor flexibiliteit, eenvoudige integratie en de mogelijkheid om verder te bouwen op het bestaande systeem. Het moet ook standaardisatie bieden voor het opsporen van bugs, het monitoren van in- en uitgaande data en feedbackloops.

Het belang van het integreren van engineering-principes in Data Science

Binnen het domein van data science is er steeds meer nadruk komen te liggen op de noodzaak dat data scientists beschikken over engineering-vaardigheden om de succesvolle en efficiënte deployment van ML-modellen te garanderen.

Je zou willen dat onze data scientists alles deployen, zelfs filters.
- Sheekha

Aanvullende gedachten van Sheekha

MLOps: zelf bouwen vs. kopen (Build vs Buy)

1. Maatwerk: Uitgebreid maatwerk kan vereisen dat er vanaf nul wordt gebouwd in plaats van een ML-platform van derden te adopteren.
2. Datagevoeligheid: Strikte gebruikerstoegangscontrole is van cruciaal belang voor bedrijven die met gevoelige data werken en kan een in-house systeem vereisen dat kan worden aangepast aan specifieke beveiligingseisen.
3. Kostenbewustzijn: Het bouwen van een in-house MLOps-systeem kan kosteneffectiever zijn voor kleinere bedrijven, maar naarmate de markt rijpt, kunnen ze uiteindelijk investeren in platforms van derden voor een betere ROI.

LLM's

Sheekha sprak haar interesse uit in grote taalmodellen (LLM's) en de nieuwe ontwikkelingen daarrond, maar op dit moment gebruiken ze deze nog niet in hun werk. Ze bevestigde echter dat ze interessante use-cases voor LLM's onderzoeken, met name in de integratie van hun chatbot.

Ik voorzie zeker veel interessante use-cases voor LLM's
- Sheekha

Lees onze vorige blogs in de TrueML-serie

‍

True ML Talks #4 - Machine Learning Platform @ Salesforce

In deze blog duiken we diep in het ML-platform van Salesforce. Begrijp hoe het zowel Software- als ML-deployment heeft opgelost en ontdek de architectuur.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees alle artikelen in de TrueML blog-serie.

TrueFoundry is een ML Deployment PaaS op Kubernetes om de workflows van ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen en het infra-team volledige beveiliging en controle garandeert. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden terug te draaien. Hierdoor kunnen ze kosten besparen en modellen sneller naar productie brengen, wat leidt tot het realiseren van echte bedrijfswaarde.