True ML Talks #7 - Machine Learning Platform @ Edge

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we diep in het Edge ML Platform, en we spreken met Rahul Kulhari.

Maak kennis met Rahul Kulhari, mede-oprichter en hoofd data science bij Edge. Met een sterke achtergrond in AI en machine learning is Rahul verantwoordelijk voor het uitvoeren van de visie van het bedrijf en het bouwen van de AI-strategie. Hij leidt een team van experts die geavanceerde AI-systemen ontwikkelen die de producten van Edge voor talentacquisitie, talentmobiliteit en interne talentmarktplaatsen aansturen. Zijn expertise en ervaring maken hem een waardevolle aanwinst voor de industrie en een uitstekende bron van informatie voor iedereen die geïnteresseerd is in de nieuwste ontwikkelingen op het gebied van data science en AI.

📌

Onze gesprekken met Liming behandelen de volgende aspecten:
- ML use-cases bij Edge
- Het Machine Learning-team bij Edge
- Innovatie in de Machine Learning Stack
- Quantization VS Distillation
- Uitdagingen bij het operationaliseren van Machine Learning
- MLOps-tools kiezen

Bekijk de volledige aflevering hieronder:

ML Use-cases @ Edge

1. Natural language processing (NLP): door Edge gebruikt om functievermeldingen en cv's beter te begrijpen om de juiste kandidaten en potentiële kandidaten voor banen aan te bevelen.
2. Knowledge graph: door Edge gebruikt om een zoek- en aanbevelingssysteem te bieden voor gepersonaliseerde carrièremogelijkheden voor werknemers binnen het bedrijf en de juiste kandidaten voor banen.
3. Reinforcement learning: een potentiële toekomstige use-case voor Edge om gebruikers in staat te stellen beslissingen te nemen op basis van het gedrag van vandaag en de transformatie die plaatsvindt in de industrie, bewegend naar een meer dynamische aanpak die rekening houdt met trends in de sector en veranderingen door de tijd heen.

Machine Learning-team bij Edge

De teamstructuur bij Edge is onderverdeeld in vijf subcategorieën. Elke verticale tak is verantwoordelijk voor een specifiek aspect van de AI-productontwikkelingslevenscyclus. Deze vijf verticalen zijn als volgt:

1. Applied Scientists/Research Scientists/Giga Scientists: Deze subcategorie is verantwoordelijk voor het begrijpen van de probleemstelling en het bouwen van de volledige end-to-end oplossing, waaronder experimenteren, data opschonen, data verwerken en deployment. Ze werken nauw samen met andere teamleden om machine learning-modellen te ontwikkelen en te deployen.
2. Data Analysts: Deze verticale tak is verantwoordelijk voor het verzamelen, analyseren en interpreteren van grote, complexe datasets. Ze werken nauw samen met data scientists om ervoor te zorgen dat de gebruikte data van hoge kwaliteit is en relevant is voor het probleem dat wordt opgelost.
3. Machine Learning Engineers: De Machine Learning Engineers ondersteunen data scientists als onderdeel van de machine learning pipelines door de tools te introduceren voor training, experimenteren, deployment en monitoring. Ze werken nauw samen met de Applied Scientists om de modellen in productie te deployen.
4. AI Product Managers: De AI Product Managers zijn verantwoordelijk voor het verbeteren en bouwen van het AI-product. Ze vertalen de probleemstelling van de belanghebbenden in het team naar de data scientists en andere leden van het team. Ze werken nauw samen met de andere teamleden om ervoor te zorgen dat het AI-product voldoet aan de behoeften van het bedrijf en in lijn is met de bedrijfsdoelstellingen.
5. Domain Experts: Deze verticale tak omvat mensen met expertise in specifieke domeinen zoals HR, finance en sales. Ze werken nauw samen met de data scientists en machine learning engineers om ervoor te zorgen dat het AI-product relevant is voor het specifieke domein en waarde toevoegt aan het bedrijf.

📌

De rol van de AI product manager:
De AI product manager overbrugt de zakelijke kloof tussen data science- en ML engineering-teams door contact te onderhouden met product- en customer success-teams om de bedrijfsdoelstellingen te begrijpen. Ze organiseren discussies met data scientists, research scientists en het ML engineering-team om de noodzakelijke bijdragen van elk teamlid te identificeren. De AI product manager communiceert de behoeften en richtlijnen voor de bijdrage van elk team om ervoor te zorgen dat iedereen op één lijn zit. Ze blijven gedurende het hele project betrokken en zorgen ervoor dat de bedrijfsdoelstellingen worden gehaald en dat iedereen aan hetzelfde doel werkt.

Innovaties in de Machine Learning Stack

Het ML-team bij Edge onderkent de aanzienlijke uitdaging van het gebrek aan data in de machine learning workflow. Om dit aan te pakken, hebben ze verschillende tools, processen en algoritmen voor data augmentation geïntroduceerd. Ze hebben mogelijkheden ontwikkeld zoals student-teacher-algoritmen, waarmee hun modellen kunnen worden getraind op ruisige data die is gemaakt met behulp van deze tools en algoritmen, en vervolgens worden gefinetuned op een grote hoeveelheid gelabelde data.

Een cruciële tool die ze gebruiken voor data augmentation is Evidently AI, wat hen helpt bij het identificeren van data en target drift om ervoor te zorgen dat de gemaakte ruisige data overeenkomt met de gelabelde of doeldata. Deze tool stelt hen in staat om te garanderen dat hun categorische en continue features in lijn zijn en helpen bij het maken van nauwkeurige modellen.

Het team heeft ook geïnnoveerd in de machine learning pipeline. Hoewel deze in de loop der tijd volwassen is geworden, ontdekten ze tijdens de opbouw dat geen enkele tool of product alle end-to-end taken kon oplossen, en het integreren ervan met elkaar een uitdaging was. Ze hebben verschillende tools gebruikt zoals Neptune, Comet en MLflow voor model registry en beheer.

Vanuit het oogpunt van deployment hebben ze zich gericht op schaalbaarheid, latency en kosten. Ze gebruiken tools zoals TF serving en Onyx voor quantization voor deployment op Kubernetes deployment pods. Ze hebben meerdere tools in hun machine learning pipeline, wat ze als een innovatie beschouwen. Ze zijn in staat geweest hun financiën te beheren terwijl ze geavanceerd werk bouwden, waardoor ze geen noodzaak zagen om over te stappen op nieuwere tools die mogelijk duurder zijn. Ze moedigen hun team echter aan om nieuwe technologieën en tools die in de toekomst nuttig kunnen zijn in de gaten te houden.

Quantization werkt beter dan Distillation: Modellatency optimaliseren

Het optimaliseren van modellatency is een cruciale uitdaging op het gebied van machine learning, en technieken zoals quantization, model pruning en distillation zijn onderzocht om dit op te lossen. Volgens een recent rapport van een team bij Edge werkt quantization beter dan distillation om modellatency te verminderen.

Het team experimenteerde met verschillende modellen zoals DistilBERT, RoBERTa en ALBERT, en koos uiteindelijk voor ALBERT vanwege de betere prestaties bij de interpretatie van functies en cv's. Ze voerden ook distillation uit op zowel ALBERT als RoBERTa.

Uit hun experimenten bleek dat quantization opmerkelijke resultaten opleverde, waarbij de modellatency werd teruggebracht van ongeveer 1,2 seconden naar ongeveer 200 milliseconden op CPU's. Het team gebruikte Onyx en hugging face quantization voor hun modellen, die ze alleen op GPU's trainden.

Bij het selecteren van het juiste model hield het team rekening met verschillende factoren zoals latency, modelgrootte, concurrency, CPU-gebruik en geheugengebruik. Ze werkten samen met data scientists die het kader voor het quantization-proces leverden, terwijl het machine learning engineering-team de experimenten uitvoerde en op basis van de resultaten de beste optie koos.

Hoewel quantization een impact van 1% had op de precisie, had het geen invloed op de recall. Het team benadrukt dat iedereen quantization zou moeten proberen, omdat het een eenvoudige maar effectieve techniek is om modellatency te verminderen.

Om de data te krijgen, duurde het model vóór quantization ongeveer 1200 milliseconden. Maar toen u die quantization toepaste, werd dit teruggebracht tot ongeveer 200 milliseconden.

Uitdagingen bij het operationaliseren van Machine Learning

Uitdagingen:

1. Beperkte data beschikbaar voor training: Werken met use-cases zoals zoekmachines, aanbevelingssystemen, classificatieproblemen en doelgerichte machine learning kan uitdagend zijn vanwege de beperkte beschikbaarheid van data. Het is essentieel om manieren te identificeren om met minder data om te gaan en toch de beste resultaten te behalen.
2. Adoptie van ML-tools: De adoptie van tools zoals MLflow is uitdagend, omdat research scientists en data scientists het belang van de tool of hoe deze hen helpt mogelijk niet begrijpen. Het ML-team moet inspanningen leveren om hen op te leiden en het bewustzijn over de voordelen van het gebruik van dergelijke tools te vergroten.

Oplossingen:

1. Descriptieve of prescriptieve inzichten ontwikkelen: Het ML-team moet zich richten op het ontwikkelen van tools die descriptieve of prescriptieve inzichten bieden om te helpen bij de besluitvorming. Dit vermindert de afhankelijkheid van de expertise van research scientists, wat tijdrovend en kostbaar kan zijn.
2. Samenwerking van data, algoritmen en menselijke expertise: Om de beste resultaten te behalen en de juiste strategie te ontwikkelen, moeten data, algoritmen en menselijke expertise samen worden gebruikt.
3. Identificeren van de meest kritische experimenten om uit te voeren: Met een beperkte infrastructuur is het essentieel om de beste experimenten te identificeren om uit te voeren, aangezien er veel hyperparameters zijn in machine learning. Het ML-team moet zich richten op het ontwikkelen van een proces om de meest kritische experimenten te identificeren en hyperparameters te optimaliseren om de beste resultaten te behalen.

MLOps Tooling: Een paar sleuteltools om de gehele reis te voltooien

Infrastructuurtools voor MLOps Training en Deployment

Als het gaat om MLOps, is infrastructuur een cruciaal onderdeel. Een betrouwbare infrastructuur is noodzakelijk om de rekenkracht te ondersteunen die vereist is voor machine learning-training en -deployment. Het gebruik van een GPU-provider zoals E2E Networks kan betaalbare GPU's bieden in India.

Modeltraining- en bouwtools voor MLOps

Voor het trainen en bouwen van modellen kan het gebruik van tools zoals Neptune, Comet ML of TrueFoundry geïntegreerd met Git reproduceerbaarheid en naleving van regelgeving garanderen. Hugging Face, TensorFlow en PyTorch worden ook aanbevolen voor het bouwen van modellen. CatBoost is een goede optie voor regressieproblemen of beslissingsbomen.

Deployment tools voor MLOps

Als het gaat om deployment is ONNX een aanbevolen tool, of er kan een serverless aanpak worden gekozen met Max.io, Banana.dev of Infrrd. In de ontwikkelingsfase kan de datakwaliteit worden gewaarborgd via op maat gemaakte of externe tools zoals Great Expectations, Streamlit voor visualisatie, en Alibi Detect of Evidently AI voor data drift en analyse. Tijdens de productie kunnen er echter aanvullende tools nodig zijn voor datakwaliteit, lineage en andere typen analyses.

Lees onze eerdere blogs in de TrueML-serie

‍

‍True ML Talks #6 - Machine Learning Platform @ °Nomad Health

In deze blog duiken we diep in het ML Platform van Nomad.Health. Begrijp hun ML-architectuur en hoe ML wordt gebruikt in de personeelsbezetting in de gezondheidszorg.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees de hele TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met behulp van volledige beveiliging en controle voor het Infra-team. Via ons platform stellen we Machine Learning-teams in staat om binnen 15 minuten modellen te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden te roll-backen - waardoor ze kosten besparen en modellen sneller naar productie kunnen brengen, wat echte zakelijke waarde realiseert.