True ML Talks #16 - Machine Learning Pipeline @ Digits

ML-usecases bij Digits

Digits is een softwarebedrijf voor financieel beheer dat AI gebruikt om boekhoudtaken voor operators te automatiseren. Door taken zoals transactieclassificatie, uitgieterdetectie en fraudedetectie te automatiseren, helpt Digits operators hun klantenbestand te verdubbelen en hun reactietijd naar klanten te verbeteren.

1. Onboarding van klanten: Digits gebruikt AI om nieuwe klanten te helpen snel en eenvoudig hun account in te stellen en hun bankrekeningen te koppelen.
2. Transactieclassificatie: Digits gebruikt AI om transacties automatisch te classificeren, wat accountants tijd bespaart en zorgt voor nauwkeurige categorisering.
3. Uitgieterdetectie: Digits gebruikt AI om uitgieters (outliers) in transacties te detecteren, waardoor accountants ongebruikelijke transacties snel kunnen identificeren en onderzoeken.
4. Rapportage: Digits biedt accountants een verscheidenheid aan rapporten die zijn gegenereerd met behulp van AI om tijd te besparen en snel de benodigde inzichten te verkrijgen.

ML-modellen gebruikt door Digits:

1. Classificatiemodellen: Classificeren transacties in verschillende categorieën, zoals maaltijden, reizen en voorraad.
2. Voorspellingsmodellen: Voorspellen toekomstige resultaten, zoals klantverloop (churn) en fraude.
3. Generatieve modellen: Genereren tekst, zoals vragen om aan klanten te stellen en berichten om naar klanten te sturen.
4. Op overeenkomst gebaseerde modellen: Vinden vergelijkbare patronen in transacties en bootsen die patronen na.

ML-traject bij Digits

Digits moest overstappen op deep learning en NLP-modellen om de uitdagingen van subjectiviteit in de boekhouding aan te pakken. Daarnaast had Digits een sterke basis in data engineering en Kubernetes, wat essentieel zou zijn voor het bouwen en schalen van een succesvol ML-platform.

Het team begon met het introduceren van TFX voor ML-pipeline-orchestratie en TF Serving voor het serveren van modellen. Dit stelde Digits in staat om ML-modellen op een schaalbare en betrouwbare manier te bouwen en te implementeren.

Vervolgens richtte het team zich op het ontwikkelen van op overeenkomst gebaseerde pipelines. Deze pipelines zijn in staat om transacties nauwkeurig te classificeren en uitgieters te identificeren, zelfs wanneer de data ambigu of onvolledig is. Dit komt doordat op overeenkomst gebaseerde pipelines vergelijkbare patronen in transacties vinden en die patronen nabootsen. Deze aanpak is effectiever dan het gebruik van globale machine learning-modellen, die inconsistente resultaten kunnen geven afhankelijk van de interpretatie van de data door de accountant.

De ML-pipelines van Digits worden nu gebruikt om een verscheidenheid aan functies aan te sturen, waaronder transactieclassificatie, uitgieterdetectie en fraudedetectie. Als gevolg hiervan is Digits in staat om zijn klanten waardevolle inzichten te bieden en hen te helpen taken te automatiseren, de nauwkeurigheid te verbeteren en geld te besparen.

Orchestratie van ML-training op Kubernetes

De aanpak van Digits voor ML-training is goed georganiseerd en efficiënt. Het gebruik van Kubernetes voor orchestratie stelt Digits in staat om zijn trainingsactiviteiten naar behoefte op of af te schalen. Het gebruik van TensorFlow Transform voor preprocessing en het trainingsplatform in Google Cloud-projecten biedt Digits de tools en middelen die het nodig heeft om complexe modellen snel en efficiënt te trainen. Het gebruik van een validatieset en een model registry zorgt ervoor dat Digits hoogwaardige modellen naar productie verzendt.

Digits orchestreert ML-training op Kubernetes met behulp van de volgende stappen:

1. ETL-proces: Digits gebruikt een ETL-proces om continu artefacten te verzamelen uit het hele systeem en datasets te bootstrappen.
2. Datavalidatie en schema-creatie: Digits valideert de statistieken van de datasets en maakt schema's aan.
3. Preprocessing: Digits gebruikt TensorFlow Transform om de data voor te bewerken.
4. Training: Digits traint de modellen in Google Cloud-projecten met behulp van het trainingsplatform.
5. Evaluatie: Digits evalueert de getrainde modellen met behulp van een validatieset.
6. Model registry: Digits verzendt de getrainde modellen naar een model registry.
7. Deployment: Digits gebruikt een CI/CD-systeem om de getrainde modellen naar productie te deployen.

Toewijzing van GPU-resources beheren bij ML-training bij Digits

Op het gebied van GPU-resourcetoewijzing voor ML-training hanteert Digits een uitgebreide aanpak met zowel handmatige als geautomatiseerde procedures. Deze strategie omvat:

Handmatige processen: Digits stelt duidelijke GPU-gebruiksgrenzen in voor teams en projecten om een rechtvaardige toewijzing te handhaven en overbelasting te voorkomen. Daarnaast stimuleert het open communicatie tussen ML engineers, wat het bewustzijn van resources bevordert en conflicten vermindert.

Geautomatiseerde processen: Digits blijft waakzaam door middel van continue GPU-gebruiksmonitoring en verstuurt tijdig waarschuwingen als het gebruik vooraf ingestelde drempels overschrijdt om vroegtijdige probleemidentificatie en -oplossing te vergemakkelijken. Een wachtrijsysteem zorgt voor een eerlijke GPU-toewijzing op basis van wie het eerst komt, het eerst maalt.

Best practices: Digits moedigt ML engineers aan om GPU-gebruik proactief te plannen, waardoor de beschikbaarheid van resources wordt gewaarborgd en conflicten worden geminimaliseerd. Het benutten van cloudresources biedt flexibiliteit, waardoor voldoende GPU-toegang is gegarandeerd, zelfs tijdens periodes van hoge vraag. Het bevorderen van transparantie in GPU-gebruik voedt vertrouwen en samenwerking tussen teamleden, wat uiteindelijk het resourcebeheer verbetert.

TensorFlow Profiler gebruiken voor analyse van trainingsruns bij Digits

Bij Digits speelt TensorFlow Profiler een centrale rol in de analyse van trainingsruns, wat waardevolle inzichten oplevert voor het optimaliseren van ML-modellen:

Digits legt elke trainingsrun nauwgezet vast via TensorFlow Profiler, waardoor prestatietrends in de loop van de tijd kunnen worden gevolgd.

Cruciale metrieken zoals trainingsduur, geheugenverbruik en nauwkeurigheid worden nauwkeurig bijgehouden, wat zinvolle prestatievergelijkingen tussen diverse modellen en configuraties vergemakkelijkt.

TensorFlow Profiler rust Digits uit met het vermogen om de prestaties van verschillende trainingsruns systematisch te vergelijken, wat helpt bij de weloverwogen selectie van het meest geschikte model en de beste configuratie om specifieke probleemdomeinen aan te pakken.

Voordelen:

1. Verbeterde prestaties: TensorFlow Profiler identificeert en verhelpt knelpunten in de prestaties, wat leidt tot aanzienlijke verbeteringen in trainingssnelheid en nauwkeurigheid.
2. Kostenverlaging: Verbeterde trainingsprestaties verlagen de totale kosten van ML-modeltraining voor Digits.
3. Toegenomen transparantie: Gedetailleerde prestatie-inzichten geboden door TensorFlow Profiler vergroten het begrip van Digits van ML-modeltraining en helpen potentiële problemen vroegtijdig te identificeren.

Validatiesets optimaliseren voor op overeenkomst gebaseerde ML-pipelines

Houd bij het samenstellen van validatiesets voor op overeenkomst gebaseerde ML-pipelines rekening met deze belangrijke factoren:

1. Doelstelling: Definieer het doel van het model—wat vormt een overeenkomst tussen datapunten? Zodra dit doel helder is, kan de validatieset worden gevuld met bekende vergelijkbare en niet-vergelijkbare voorbeelden.
2. Context: De validatieset moet de praktijktoepassing van het model weerspiegelen. Als het model bijvoorbeeld producten aanbeveelt aan klanten, moet het artikelen bevatten die klanten vaak samen kopen.
3. Grootte: Vind de juiste balans—uw validatieset moet statistisch significant maar beheersbaar zijn. Een algemene richtlijn is om deze ten minste 10% van de grootte van de trainingsset te maken.
4. Variabiliteit: Om de robuustheid van het model te versterken, moet u ervoor zorgen dat uw validatieset uiteenlopende datapunten omvat.
5. Impact van operators: Het aantal operators kan de validatieset vertekenen richting specifieke industrieën. Om dit te beperken, moet u voorbeelden uit verschillende verticalen en industrieën opnemen.

Uitdagingen en optimalisaties van op overeenkomst gebaseerde ML-pipelines

Op overeenkomst gebaseerde ML-pipelines kennen een aantal unieke uitdagingen en optimalisaties in vergelijking met traditionele ML-pipelines.

Uitdagingen:

• Een loss-functie kiezen: Er is een verscheidenheid aan verschillende loss-functies die kunnen worden gebruikt voor op overeenkomst gebaseerde ML-modellen. Het kiezen van de juiste loss-functie is belangrijk om de nauwkeurigheid en betrouwbaarheid van het model te waarborgen.
• Structureren van de trainingsdata: De manier waarop de trainingsdata is gestructureerd, hangt af van de gekozen loss-functie. Het is belangrijk om de trainingsdata op een efficiënte en effectieve manier te structureren.
• Optimaliseren voor prestaties: Op overeenkomst gebaseerde ML-modellen kunnen computationeel duur zijn om te trainen. Het is belangrijk om het trainingsproces te optimaliseren voor prestaties.

Optimalisaties:

• Gebruik een GPU: GPU's kunnen de training van op overeenkomst gebaseerde ML-modellen aanzienlijk versnellen.
• Profileer het model: Het profileren van het model tijdens de training kan helpen om knelpunten en gebieden te identificeren waar het trainingsproces kan worden verbeterd.
• Preprocess de data: Het voorbewerken van de data kan de prestaties van het model verbeteren en de trainingstijd verkorten.
• Verminder de input-tokens: Bij gebruik van een taalmodel kan het verminderen van het aantal input-tokens de prestaties van het model verbeteren en de trainingstijd verkorten.

Digits gebruikt TensorFlow Extended en Vertex AI Pipelines voor op overeenkomst gebaseerde ML-pipelines

Digits gebruikt TensorFlow Extended (TFX) en Vertex AI Pipelines voor op overeenkomst gebaseerde ML-pipelines. TFX is een door Google ontwikkeld, open-source end-to-end platform voor het bouwen, deployen en beheren van ML-pipelines. Vertex AI Pipelines is een volledig beheerde cloudservice voor het beheren van ML-pipelines.

TFX biedt een aantal componenten die nuttig zijn voor het bouwen van op overeenkomst gebaseerde ML-pipelines, waaronder:

• TFX Data Validation: Valideert de kwaliteit en consistentie van de trainingsdata.
• TFX Transform: Preprocesst de trainingsdata, inclusief het afhandelen van ontbrekende waarden, het converteren van datatypen en het schalen van features.
• TFX Model Analysis: Evalueert de prestaties van getrainde modellen op een ingehouden validatieset.
• TFX Serving: Deployt getrainde modellen naar productie.

Vertex AI Pipelines maakt het eenvoudig om TFX-pipelines op schaal uit te voeren en te beheren. Vertex AI Pipelines biedt een aantal functies die nuttig zijn voor op overeenkomst gebaseerde ML-pipelines, waaronder:

• Automatisch schalen: Vertex AI Pipelines kan de resources die worden gebruikt om pipelines uit te voeren automatisch schalen, op basis van de vraag.
• Monitoring en alerting: Vertex AI Pipelines biedt monitoring- en alertingfuncties die kunnen helpen om problemen met pipelines te identificeren en op te lossen.
• Versiebeheer: Vertex AI Pipelines biedt versiebeheerfuncties die het eenvoudig maken om wijzigingen in pipelines te volgen en te beheren.

Digits gebruikt Vertex Endpoints voor model registry en TF Serving voor productialisering

Digits gebruikt Vertex Endpoints voor model registry en TF Serving voor productialisering.

Vertex Endpoints is een volledig beheerde cloudservice voor het deployen en beheren van machine learning-modellen. Het biedt een aantal functies die het een goede keuze maken voor een model registry, waaronder:

• Gecentraliseerd beheer: Vertex Endpoints biedt een centrale plek om modellen op te slaan en te beheren.
• Versiebeheer: Vertex Endpoints biedt versiebeheerfuncties die het eenvoudig maken om wijzigingen in modellen te volgen en te beheren.
• Toegangsbeheer: Vertex Endpoints biedt toegangsbeheerfuncties die het eenvoudig maken om te beheren wie toegang heeft tot modellen en deze kan deployen.

TF Serving is een hoogwaardig, voor productie geschikt TensorFlow-servingsysteem. Het biedt een aantal functies die het een goede keuze maken voor productialisering, waaronder:

• Hoge prestaties: TF Serving kan modellen serveren met een hoge doorvoer en lage latentie.
• Schaalbaarheid: TF Serving kan worden geschaald om grote aantallen verzoeken te verwerken.
• Betrouwbaarheid: TF Serving is ontworpen om betrouwbaar en geschikt voor productie te zijn.

Digits gebruikt CI/CD om de deployment van modellen naar Vertex Endpoints te automatiseren. Wanneer een model wordt geregistreerd in de model registry, wordt het CI/CD-systeem geactiveerd. Het CI/CD-systeem bouwt vervolgens een TF Serving-model en deployt het naar een Vertex Endpoint.

Voordelen:

Er zijn verschillende voordelen verbonden aan het gebruik van Vertex Endpoints en CI/CD voor productialisering:

• Schaalbaarheid: Vertex Endpoints kan de resources die worden gebruikt om modellen te serveren automatisch schalen, wat het eenvoudig maakt om grote aantallen verzoeken te verwerken.
• Betrouwbaarheid: Vertex Endpoints is ontworpen om betrouwbaar en geschikt voor productie te zijn.
• Automatisering: CI/CD automatiseert de deployment van modellen, wat het risico op menselijke fouten vermindert en het eenvoudig maakt om modellen frequent te deployen.

Hoe Digits automatisch detecteert wanneer modellen opnieuw moeten worden getraind

Digits gebruikt een combinatie van technieken om automatisch te detecteren wanneer modellen opnieuw moeten worden getraind:

• Monitoren van modelvoorspellingen: Digits monitort de voorspellingen van modellen in productie. Als de voorspellingen onnauwkeurig beginnen te worden, kan dit een teken zijn dat het model opnieuw moet worden getraind.
• Volgen van prestatiemetrieken van het model: Digits volgt een aantal prestatiemetrieken van het model, zoals nauwkeurigheid, precisie en recall. Als deze metrieken beginnen te verslechteren, kan dit een teken zijn dat het model opnieuw moet worden getraind.
• Valideren van datasnippets: Digits valideert periodiek datasnippets uit productie. Dit helpt bij het identificeren van eventuele datadrift die optreedt. Als er datadrift wordt gedetecteerd, kan dit een teken zijn dat het model opnieuw moet worden getraind.
• Beoordelen van model-outputs: Digits heeft een intern beoordelingsplatform waar medewerkers de outputs van modellen kunnen beoordelen. Dit helpt bij het identificeren van gevallen waarin het model geen nauwkeurige voorspellingen doet. Als dergelijke gevallen worden geïdentificeerd, kan dit een teken zijn dat het model opnieuw moet worden getraind.

Zodra Digits detecteert dat een model opnieuw moet worden getraind, gebruikt het CI/CD om het her-trainings- en deploymentproces te automatiseren. Het CI/CD-systeem bouwt een nieuw TF Serving-model met behulp van de nieuwste trainingsdata en deployt het naar een Vertex Endpoint.

Voorbeeld:

Het volgende is een voorbeeld van hoe het automatische modelher-trainingsproces van Digits werkt:

1. Een model in productie doet een voorspelling die onnauwkeurig is.
2. Het monitoringsysteem van Digits detecteert de onnauwkeurige voorspelling en stuurt een melding naar het CI/CD-systeem.
3. Het CI/CD-systeem start een nieuwe trainingstaak.
4. De trainingstaak traint een nieuw model met behulp van de nieuwste trainingsdata.
5. Het CI/CD-systeem deployt het nieuwe model naar een Vertex Endpoint.
6. Het nieuwe model wordt nu gebruikt om voorspellingen te doen in productie.

Het belang van samenwerking tussen ML Engineers en Designers

Machine learning (ML) engineers en designers werken vaak in silo's, wat kan leiden tot problemen bij het naar productie brengen van ML-modellen. ML engineers kunnen modellen ontwikkelen die nauwkeurig zijn maar niet gebruiksvriendelijk, terwijl designers interfaces kunnen maken die visueel aantrekkelijk zijn maar geen feedback verzamelen op modelvoorspellingen.

Om deze uitdagingen aan te pakken, is het belangrijk dat ML engineers en designers nauw samenwerken. Dit kan worden gedaan door:

• Samenwerken aan productvereisten: ML engineers en designers moeten samenwerken om de productvereisten voor ML-modellen te definiëren. Dit helpt ervoor te zorgen dat de modellen worden ontwikkeld om aan de behoeften van de gebruikers te voldoen en dat het ontwerp van de interfaces compatibel is met de modellen.
• Feedback delen: ML engineers en designers moeten regelmatig feedback met elkaar delen. Dit helpt om eventuele potentiële problemen met de modellen of de interfaces vroegtijdig te identificeren.
• Feedbackloops creëren: ML engineers en designers moeten feedbackloops creëren om feedback van gebruikers te verzamelen over de prestaties van de modellen en de bruikbaarheid van de interfaces. Deze feedback kan worden gebruikt om de modellen en de interfaces in de loop van de tijd te verbeteren.

Advies voor het bouwen van ML-platforms

• Efficiëntie: Richt u op het bouwen van efficiënte MLOps-pipelines voor specifieke toepassingen, zoals toepassingen die propriëtaire data of een hoog niveau van privacy en beveiliging vereisen.
• API-first: Overweeg het gebruik van vooraf getrainde modellen van OpenAI, Anthropic, Bard en andere aanbieders voor generieke taken.
• Consultatie: Richt u op het adviseren van andere teamleden over het gebruik van deze API's en het oplossen van specifieke domeinspecifieke problemen.

Generatieve AI @ Digits

Generatieve AI heeft het potentieel om vele industrieën te veranderen. Hier zijn enkele van de usecases voor generatieve AI bij Digits:

• Stimuleren van communicatie tussen accountants en operators: Generatieve AI kan worden gebruikt om inschattingen van vragen en antwoorden te genereren, wat beide partijen tijd en moeite kan besparen.
• Interne hosting van grote taalmodellen: Digits heeft zijn eigen infrastructuur voor het hosten van grote taalmodellen, waardoor het dit op een veilige en privacygeoriënteerde manier kan doen.
• Gebruik van API-gebaseerde toegang tot generatieve AI-modellen: Er is potentie om API-gebaseerde toegang tot generatieve AI-modellen te combineren met op overeenkomst gebaseerde machine learning om een geweldige productervaring te bieden.

Er zijn privacy- en beveiligingszorgen verbonden aan generatieve AI, en het is belangrijk om deze zorgen op een verantwoorde manier aan te pakken. Wij als gemeenschap kunnen manieren vinden om generatieve AI te ontwikkelen en te gebruiken op een manier die veilig en voordelig is voor iedereen.

Het landschap van casting en model registry hosting zal de komende jaren aanzienlijk veranderen om tegemoet te komen aan de behoeften van grote taalmodellen. - Hannes

Lees onze eerdere blogs in de True ML Talks-serie:

‍

True ML Talks #14 - LLMs, RL @CX Score Co-Founder

Diepgaande duik in LLM en Reinforcement Learning. We spreken met Ashwin, medeoprichter bij CX Score, over de trends in de LLM- en ML-wereld.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen, met gegarandeerde beveiliging en controle voor het Infra-team. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden terug te draaien - waardoor ze kosten besparen en modellen sneller naar productie kunnen brengen voor echte zakelijke waarderealisatie.