Inleiding tot Kubernetes en MLOps: Uitdagingen en voordelen

Welkom bij deze reeks over het bouwen en opzetten van een schaalbare Machine Learning-infrastructuur op een Kubernetes-omgeving. In deze reeks behandelen we verschillende onderwerpen met betrekking tot de ontwikkeling, uitrol en het beheer van machine learning-modellen op een Kubernetes-cluster.

Schaalbare Machine Learning-infrastructuur: Best practices

Machine Learning Operations, algemeen bekend als MLOps, verwijst naar de praktijken en technieken die worden gebruikt om de levenscyclus van machine learning-modellen te beheren. Een schaalbare MLOps-infrastructuur stelt organisaties in staat om modellen op schaal te bouwen, uit te rollen en te beheren, waardoor het rendement op de investering (ROI) van hun data science-inspanningen wordt verhoogd.

De voordelen van een schaalbare MLOps-infrastructuur zijn onder meer:

1. Snellere marktintroductietijd voor machine learning-modellen
2. Verbeterde schaalbaarheid en flexibiliteit voor machine learning-workflows
3. Consistentie en herhaalbaarheid bij het uitrollen van modellen
4. Verbeterde samenwerking tussen data scientists en IT-operationele teams
5. Verbeterde nauwkeurigheid en betrouwbaarheid van modellen

Airbnb heeft vanaf het begin zwaar geïnvesteerd in het opzetten van een schaalbare MLOps-praktijk. Het bedrijf gebruikte machine learning-modellen om de zoekrangschikkingsalgoritmen te verbeteren via zoekopdrachten op basis van gebruikersgegevens, wat leidde tot een betere zoekervaring en een geschatte toename van 10% in boekingen. Airbnb gebruikte ook machine learning-modellen om gepersonaliseerde aanbevelingen aan hun gebruikers te bieden, wat hielp om de gebruikerservaring en betrokkenheid te verbeteren!  

Uitdagingen bij het opzetten van MLOps-infrastructuur

Organisaties die afhankelijk zijn van Virtual Machines (VM's), of dit nu op AWS, Google Cloud Platform (GCP) of Microsoft Azure is, voor het opzetten van hun ML-trainings- en deployment-infrastructuur, kunnen voor verschillende uitdagingen komen te staan:

1. Schaalbaarheid: VM's hebben beperkte schaalbaarheidsopties en organisaties moeten mogelijk handmatig extra instanties configureren om de belasting op te vangen, wat kan leiden tot prestatieproblemen en hogere kosten.
2. Resourcebeheer: VM's vereisen een handmatige configuratie voor de toewijzing van resources, en organisaties moeten mogelijk een inschatting maken van de benodigde resources voor hun ML-workloads. Dit kan leiden tot onderbenutting van resources of resourcebeperkingen, wat de prestaties van de ML-modellen beïnvloedt.
3. Versiebeheer: Het beheren van verschillende versies van ML-modellen kan uitdagend zijn bij het gebruik van VM's. Organisaties moeten verschillende versies van het model mogelijk handmatig beheren, wat tijdrovend en foutgevoelig kan zijn.
4. Beveiliging: VM's kunnen beveiligingslekken vertonen en organisaties moeten beveiligingsfuncties zoals firewalls en inbraakdetectiesystemen mogelijk handmatig configureren om hun ML-modellen en gegevens te beschermen.
5. Monitoring en logging: Het monitoren van de prestaties van ML-modellen en de onderliggende infrastructuur in een op VM's gebaseerde infrastructuur kan lastig zijn. Het kan moeilijk worden om de status van individuele componenten te volgen, knelpunten te identificeren en problemen op te lossen.

Kubernetes in MLOps

Kubernetes is een populair open-source containerorchestratieplatform dat de uitrol, schaling en het beheer van gecontaineriseerde applicaties automatiseert. Het biedt een universele API en declaratieve configuratie die het beheer van gecontaineriseerde workloads vereenvoudigt, waardoor organisaties een schaalbare, veerkrachtige en overdraagbare infrastructuur kunnen bouwen voor het trainen en uitrollen van ML-modellen. Kubernetes biedt verschillende voordelen ten opzichte van kale VM's, waaronder een betere benutting van resources, vereenvoudigd versiebeheer en efficiënte schaling. Bovendien biedt Kubernetes ingebouwde beveiligingsfuncties en gecentraliseerde monitoring- en loggingmogelijkheden, wat organisaties kan helpen de beveiliging en betrouwbaarheid van hun ML-infrastructuur te waarborgen. Kubernetes is een uitstekende keuze voor organisaties die op de langere termijn schaalbare Machine Learning Pipelines willen bouwen.

Beheerde Kubernetes op AWS, GCP, Azure

Cloudproviders (AWS, GCP en Azure) bieden beheerde Kubernetes-diensten (respectievelijk EKS, GKE en AKS) waarmee organisaties eenvoudig Kubernetes-clusters kunnen instellen, configureren en beheren. Dit neemt de operationele lasten weg die gepaard gaan met het uitvoeren en schalen van Kubernetes. Daarnaast bieden cloudproviders integraties met andere clouddiensten zoals opslag, databases en netwerken, wat de uitrol en het beheer van ML-workloads op Kubernetes verder kan vereenvoudigen. Door Kubernetes rechtstreeks of via een beheerde dienst te omarmen, kunnen organisaties een flexibele en schaalbare MLOps-pipeline bouwen die hun groeiende ML-workloads aan kan en een snellere marktintroductietijd voor hun ML-modellen mogelijk maakt.

Voordelen van Kubernetes voor MLOps

Laten we de voordelen van het gebruik van Kubernetes voor ML-trainings- en deployment-pipelines in meer detail bekijken

1. Resourcebeheer: Kubernetes stelt organisaties in staat om eenvoudig de resources toe te wijzen en te beheren die nodig zijn voor het uitvoeren van ML-trainingsjobs en het uitrollen van modellen. Het kan resources automatisch opschalen en afschalen op basis van de workload, wat zorgt voor een efficiënt resourcegebruik en de kosten verlaagt.
2. Eenvoudigere uitrol met SRE best practices: Kubernetes biedt een universele API en declaratieve configuratie die het uitrollen van ML-modellen vereenvoudigt. Organisaties kunnen modellen eenvoudig uitrollen op een schaalbare en veerkrachtige manier, met ingebouwde ondersteuning voor rolling updates en canary deployments, wat helpt om downtime te minimaliseren en de betrouwbaarheid te verhogen.
3. Flexibiliteit en overdraagbaarheid: Kubernetes biedt een flexibele en overdraagbare infrastructuur die verschillende deployment-scenario's ondersteunt, waaronder on-premises, cloud- en hybride omgevingen. Dit stelt organisaties in staat hun ML-workloads eenvoudig te verplaatsen tussen verschillende omgevingen en een vendor lock-in te vermijden.
4. Beter kosten- en resourcegebruik: Kubernetes stelt organisaties in staat om resources efficiënt te benutten door meerdere ML-workloads op een enkele node te combineren, wat helpt de infrastructuurkosten te minimaliseren. Bovendien kan Kubernetes gebruikmaken van gespecialiseerde hardware om ML-training en -inferentie te versnellen, wat de prestaties verder verbetert.

Praktijkvoorbeeld 1: Airbnb

Airbnb, de online marktplaats waar mensen hun huis of appartement kunnen verhuren aan reizigers. Met miljoenen gebruikers en een enorme hoeveelheid te analyseren gegevens had Airbnb een robuuste en schaalbare machine learning-infrastructuur nodig om gebruikersgedrag te analyseren, zoekrangschikkingen te verbeteren en gepersonaliseerde aanbevelingen aan gebruikers te bieden.

Om dit te bereiken, investeerde Airbnb in het bouwen van een MLOps-infrastructuur op Kubernetes, waardoor hun data science-team machine learning-modellen op schaal kon ontwikkelen en uitrollen. Met Kubernetes was Airbnb in staat hun modellen te containeriseren en uit te rollen als microservices, wat het gemakkelijker maakte om hun infrastructuur te beheren en te schalen naarmate hun behoeften groeiden. Als resultaat kon Airbnb de zoekrangschikking verbeteren en relevantere aanbevelingen aan hun gebruikers bieden, wat leidde tot meer boekingen en hogere inkomsten. Bovendien kon het bedrijf de efficiëntie van hun data science-workflows verbeteren, waardoor hun team zich kon concentreren op de ontwikkeling van geavanceerdere machine learning-modellen.

Praktijkvoorbeeld 2: Lyft

Lyft, een grote aanbieder van Transportation as a SaaS (TaaS), bouwde hun ML-infrastructuur aanvankelijk boven op AWS met behulp van een combinatie van EC2-instanties en Docker-containers. Ze gebruikten EC2-instanties om virtuele machines op te zetten met verschillende niveaus van CPU-, geheugen- en GPU-resources, afhankelijk van de specifieke eisen van de ML-workload. Ze gebruikten ook Docker-containers om hun ML-workloads te verpakken en uit te rollen en om consistentie te waarborgen in verschillende omgevingen.

Naarmate de ML-workloads van Lyft echter in complexiteit en omvang toenamen, liepen ze tegen verschillende uitdagingen aan, waaronder de consistentie tussen verschillende omgevingen en teams. Ze besloten hun ML-infrastructuur te migreren naar een op Kubernetes gebaseerde infrastructuur, aanvankelijk met KubeFlow en later met een eigen intern platform. Door te migreren naar een op Kubernetes gebaseerde infrastructuur kon Lyft een efficiëntere en schaalbaardere ML-infrastructuur bouwen, wat hielp hun ML-ontwikkelings- en deployment-pipelines te versnellen. Daarnaast konden ze profiteren van de voordelen van Kubernetes, zoals automatische schaling en efficiënt resourcegebruik, om hun ML-workloads te optimaliseren en de infrastructuurkosten te verlagen. Ze gebruikten EKS van AWS als hun beheerde Kubernetes Service!

‍

Algemeen, door te investeren in een MLOps-infrastructuur op Kubernetes konden Airbnb en Lyft aanzienlijke productiviteitswinst behalen en hun nettowinst verbeteren. Dit toont de waarde aan die schaalbare MLOps boven op Kubernetes kan bieden aan organisaties die machine learning op schaal willen inzetten.

Uitdagingen met Kubernetes in MLOps

Ondanks de voordelen brengt het gebruik van Kubernetes voor ML-infrastructuur een eigen reeks uitdagingen en complexiteiten met zich mee:

1. Resourcebeheer bij grote datasets of complexe modellen: Vanwege de vereiste grote hoeveelheid rekenkracht, waaronder GPU's, geheugen en opslag, kan het een uitdaging zijn om te zorgen voor een efficiënte toewijzing die niet conflicteert met andere workloads die op het Kubernetes-cluster draaien.
2. Integratie van verschillende tools: Organisaties kunnen verschillende ML-tools gebruiken, zoals TensorFlow, PyTorch en scikit-learn, elk met hun eigen vereisten en afhankelijkheden. Het integreren van deze tools en afhankelijkheden met de Kubernetes-infrastructuur kan complex en tijdrovend zijn.
3. Beveiligingsoverwegingen voor machine learning-modellen: Zorgen dat ML-modellen beschermd zijn tegen ongeautoriseerde toegang of aanvallen is cruciaal. Hoewel Kubernetes verschillende beveiligingsfuncties biedt, zoals Role-Based Access Control (RBAC), netwerkbeleid en containerisolatie, kan het correct configureren ervan uitdagend zijn bij het verwerken van gevoelige gegevens zoals persoonlijke informatie of financiële dossiers.
4. Monitoring en logging in een gedistribueerde omgeving: Het monitoren van de prestaties van ML-modellen en de onderliggende infrastructuur is essentieel voor het garanderen van optimale prestaties. In een gedistribueerde Kubernetes-omgeving kan het echter lastig zijn om de status van individuele componenten te volgen, knelpunten te identificeren en problemen op te lossen. Organisaties moeten monitoring- en loggingtools opzetten die  realtime inzicht bieden in hun machine learning-workflows en Kubernetes-infrastructuur.

Hoewel er uitdagingen zijn, kunnen organisaties door best practices te volgen en gebruik te maken van de mogelijkheden van Kubernetes deze obstakels overwinnen en een schaalbare, veilige en betrouwbare MLOps-infrastructuur bouwen.

Conclusie

Kubernetes voor Machine Learning biedt tal van voordelen voor organisaties die hun machine learning-workflows willen optimaliseren. Hoewel er uitdagingen zijn bij het opzetten en beheren van een MLOps-infrastructuur op Kubernetes, zoals resourcebeheer, beveiliging en monitoring, kan een grondig begrip van Kubernetes en best practices helpen om deze obstakels te overwinnen.

In deze reeks over ML op Kubernetes proberen we verschillende onderwerpen te behandelen die verband houden met het bouwen en opzetten van een ML-infrastructuur op een Kubernetes-omgeving, waaronder de volgende:

1. Containerisatie en orchestratie met Kubernetes
2. Gedistribueerde training op Kubernetes
3. Model serving en uitrol op basis van Kubernetes
4. Op GPU's gebaseerde ML-infrastructuur op Kubernetes
5. Kubernetes CI/CD-pipeline
6. Kubernetes-monitoring voor MLOps

en meer..

Door deze best practices te omarmen en de kracht van Kubernetes te benutten, kunnen organisaties machine learning-modellen schalen en uitrollen met consistentie, betrouwbaarheid en beveiliging. Dit leidt op zijn beurt tot een snellere marktintroductietijd, een betere samenwerking tussen data science- en IT-operationele teams, en een beter rendement op hun data science-investeringen.

Bekijk hoe Gong een schaalbare Machine Learning Research-infrastructuur heeft gebouwd op Kubernetes

True ML Talks #1 - Machine Learning Workflow @ Gong

Ontdek hoe Gong, een platform voor revenue intelligence, machine learning gebruikt om klantinteracties te analyseren en inzichten te bieden aan salesteams. Ontdek de uitdagingen van het beheren van ML-workflows, privacy van gegevens en gegevensbeveiliging.

TrueFoundry Blog TrueFoundry

‍

TrueFoundry is een ML Deployment PaaS op Kubernetes om de workflows van ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en uitrollen van modellen met behoud van volledige beveiliging en controle voor het infrateam. Via ons platform stellen we Machine Learning-teams in staat om modellen uit te rollen en te monitoren binnen 15 minuten met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden terug te draaien. Hierdoor kunnen ze kosten besparen en modellen sneller naar productie brengen, wat leidt tot het realiseren van echte bedrijfswaarde.