True ML Talks #3 - Machine Learning Platform @ Facebook

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in Facebook's FBLearner Flow, het AI-fundament van Facebook, en spreken we met Aditya Kalro.

Aditya is momenteel Senior Engineering Manager bij Google in het Identity-team. Daarvoor werkte Aditya bij Facebook, waar hij leiding gaf aan de opbouw van het gehele ML workflow management platform van Facebook, genaamd FBLearner Flow. In het gesprek van vandaag gaan we hier dieper op in.

📌

Onze gesprekken met Aditya behandelen de volgende aspecten:
- Overzicht van FBLearner Flow.
- A/B Testing en Shadow Testing in grootschalige systemen.
- Het overbruggen van de kloof tussen Research en Production.
- Het optimaliseren van kosten en latency bij AI Inference.
- Architectuur van FBLearner Flow.
- Het overbruggen van de kloof tussen Software- en ML Deployment Platforms.
- Het belang van Monitoring en Distributed training.
- Kernprincipes voor het bouwen van een schaalbaar ML-systeem.

Bekijk de volledige aflevering hieronder:

Het schalen van AI-workflows

FBLearner Flow is een machine learning workflow management platform dat door Facebook is gebouwd om de eigen ML-infrastructuur te beheren. Aditya leidde de ontwikkeling van het platform en zag het groeien tot de ondersteuning van duizenden trainingen per dag voor 700-800 teams.

1. FBLearner Flow werd aanvankelijk ontwikkeld als een workflowmechanisme voor ML, maar evolueerde naar een generiek workflowmechanisme dat een verscheidenheid aan taken kon afhandelen, waaronder mobile app builds.
2. Het platform ondersteunde duizenden trainingen per dag en implementeerde tegelijkertijd honderduizenden modellen.
3. FBLearner Flow was verbonden met een inference-platform en werd in de loop van de tijd opgeschaald naar honderden en duizenden machines.
4. Het platform is ontworpen om generiek genoeg te zijn om op elk domein te worden toegepast, wat het een veelzijdige tool maakt voor het beheren van ML-workflows.

Evolutie van FBLearner Flow: Een reis naar een hogere productiviteit voor ML Engineers

Hieronder staan drie unieke en relevante aspecten van de evolutie van FBLearner Flow:

1. Filosofie: Het primaire doel van FB Learner was om ML engineers productiever te maken. Om dit te bereiken werd het platform ontwikkeld in Python, hoewel deze taal destijds niet goed werd ondersteund binnen Facebook. De integriteit van het experiment werd eveneens benadrukt, wat betekende dat het experiment volledig voorspelbaar moest zijn. Om dit te bereiken, wees het platform dezelfde hoeveelheid geheugen en CPU toe aan elke workflow of operator.
2. Workflow en Operators: FBLearner Flow begon met het concept van een workflow, wat de manier is waarop een ML engineer alles uitdrukt wat er moet gebeuren. De workflow is een uniek concept dat verschillende operators combineert. Elk onderdeel van de workflow werd opgedeeld in operators die over verschillende machines konden worden gedistribueerd, waardoor het voor gebruikers eenvoudiger werd om ze met elkaar te verbinden en data van de ene naar de andere machine te verplaatsen.
3. Experiment Management: Het platform biedt ook experiment management-tools waarmee gebruikers hun experimenten kunnen beheren en eventuele fouten kunnen debuggen. De UI van FBLearner Flow maakte het voor gebruikers eenvoudig om te zien waar een fout optrad en bood de benodigde logs om te achterhalen waarom de fout plaatsvond. Deze aanpak hielp gebruikers ook bij het beheren van een groot aantal experimenten.

Evaluatiesysteem

Machine learning-modellen moeten worden geëvalueerd om te bepalen hoe goed ze generaliseren op ongeziene data. Dit is waar het evaluatiesysteem in beeld komt. Het evaluatiesysteem bestaat uit twee delen: batch-evaluatie en online evaluatie.

1. Batch-evaluatie: Batch-evaluatie staat ook wel bekend als offline evaluatie. Het omvat het lezen van data, het verwerken ervan en het vervolgens terugplaatsen in een andere entiteit. Deze aanpak wordt goed begrepen en is ideaal voor modellen met weinig parameters. Het is echter mogelijk niet effectief bij het verwerken van duizenden parameters en features.
2. Online evaluatie: Het online evaluatiesysteem is daarentegen iets complexer. Het stelt gebruikers in staat de deployment van een specifiek ML-model te volgen en een voorbeeld naar het model te sturen om onmiddellijk resultaat te krijgen. Dit maakt het een geweldige tool voor ML-beoefenaars om hun modellen snel te testen, zelfs experimentele modellen. Het Ads-team van Facebook had een inference-systeem dat zeer specifiek voor hen was. Om het beschikbaar te maken voor de rest van Facebook, creëerden ze de eerste versie van het inference-platform, dat nauw verbonden was met FBLearner Flow.

Het bouwen van een effectief A/B Testing Framework voor Machine Learning-modellen

Het deployen van machine learning-modellen in echte scenario's kan uitdagend zijn, vooral bij grootschalige systemen zoals Facebook, waar zelfs een kleine fout aanzienlijke gevolgen kan hebben. In dit opzicht is het bouwen van een effectief A/B-testing framework cruciaal om optimale prestaties van machine learning-modellen te garanderen.

Twee essentiële onderdelen van het FB Learner-platform die hielpen dit doel te bereiken, waren A/B testing en shadow testing. A/B testing maakte een vergelijking mogelijk tussen twee versies van het systeem of model om te bepalen welke beter presteert, terwijl shadow testing het mogelijk maakte het nieuwe model parallel aan het bestaande model te deployen om de prestaties te evalueren zonder de gebruikerservaring te beïnvloeden. Dit hielp het risico op het deployen van een gebrekkig model in productie te beperken.

Een andere unieke functie van het FBLearner-platform was het vermogen om de uitwisseling van modellen tussen ML-beoefenaars en ontwikkelaars te vergemakkelijken. Het stelde ontwikkelaars in staat om de modellen eenvoudig naar productie te deployen en ze te testen met behulp van de bestaande infrastructurele snel-experimenteer-infrastructuur. Hierdoor konden ze de prestaties van hun bestaande systeem snel vergelijken met het nieuw gedeployde ML-model, wat zorgde voor een optimale werking van het systeem.

Hoe Facebook de kloof tussen Research en Production overbrugde met FBLearner Flow

Het AI-researchteam van Facebook stond voor een grote uitdaging bij het overbruggen van de kloof tussen de behoeften van onderzoekers en die van het productieteam. Waar onderzoekers een systeem nodig hadden dat snel was en hen in staat stelde snel nieuwe modellen te deployen, vereiste het productieteam stabiliteit, betrouwbaarheid en voorspelbaarheid.

👉

Om deze uitdaging aan te pakken, bouwde Facebook een Slurm-achtige interface bovenop het machine learning-platform.

Slurm is een command-line interface die in de academische wereld veelvuldig wordt gebruikt voor experiment management. Door een vergelijkbare command-line interface voor het platform te maken, maakte Facebook het voor onderzoekers eenvoudig om het platform te gebruiken.

Ondanks de fundamentele verschillen in de vereisten van beide teams, maakte een gemeenschappelijke interface het voor onderzoekers gemakkelijker om hun modellen te migreren naar FBLearner Flow voor productie. Het systeem gaf hen toegang tot een grote verzameling machines, in tegenstelling tot Slurm, dat was ontworpen om op een kleine set machines te draaien.

De Slurm-achtige interface op het platform stelde onderzoekers in staat om snel met verschillende modellen te experimenteren en ze naar de productieomgeving te migreren wanneer ze tevreden waren met de resultaten.

Het optimaliseren van kosten en latency in AI Inference: De rol van Containerization en Microservices

In het vakgebied van AI is het bereiken van kostenoptimalisatie zonder in te boeten op latency een voortdurende uitdaging. Met de komst van nieuwe technologieën en architectonische ontwerpen zijn er echter oplossingen ontwikkeld om dit probleem aan te pakken.

👉

Containerization en microservices hebben hun effectiviteit bewezen bij het optimaliseren van kosten en het verminderen van latency in AI inference.

Containerization is een methode om softwarecode samen met de afhankelijkheden te verpakken in één enkele eenheid, een container genoemd. Deze container kan eenvoudig van de ene naar de andere computeromgeving worden verplaatst, wat het zeer schaalbaar en flexibel maakt. Door containerization te gebruiken, kunnen organisaties meerdere AI-modellen in één container verpakken, waardoor ze snel en efficiënt kunnen worden gedeployd en geschaald.

Bovendien maakt containerization ook bin packing mogelijk, wat de toewijzing van middelen optimaliseert door meerdere containers op één fysieke machine te plaatsen. Dit stelt organisaties in staat om hun beschikbare middelen maximaal te benutten en kosten te verlagen. Daarnaast kunnen organisaties met auto-scaling snel opschalen of afschalen op basis van de vraag, wat de kosten verder optimaliseert.

Desalniettemin kunnen microservices, wat kleine, onafhankelijke onderdelen van een applicatie zijn, worden gebruikt om een efficiënt en wendbaar inference-platform te creëren. Door complexe applicaties op te splitsen in kleinere, modulaire services, kan elke service onafhankelijk worden geschaald, beheerd en bijgewerkt. Dit maakt het platform niet alleen veerkrachtiger, maar helpt ook de latency te verlagen.

De architectuur van FBLearner Flow begrepen: Een nadere blik

Het bouwen van een robuust en schaalbaar AI-systeem vereist een solide infrastructuur. In dit opzicht heeft FBLearner Flow van Facebook vooropgelopen bij AI-innovatie, door een unieke oplossing te bieden voor het schaalbaar trainen en deployen van AI-modellen.

De architectuur van FBLearner Flow werd grotendeels binnenshuis gebouwd, gebruikmakend van de bestaande infrastructuur van Facebook. Ze begonnen met Kronos, een interne scheduler, maar moesten overstappen naar containerization om problemen met de stampeding herd en noisy neighbors aan te pakken. Het systeem werd vervolgens gebouwd rond het idee van operators en workflows, waarbij aanvankelijk Hive-tabellen werden gebruikt als kanalen voor gestructureerde data, maar file clusters en Blob storage uiteindelijk werden gebruikt voor niet-gestructureerde data zoals afbeeldingen.

Het uitvoeringsmechanisme van het systeem was zelfstandig en voorzien van versiebeheer, wat vergelijkingen tussen verschillende versies van het model mogelijk maakte. Experiment management werd eenvoudiger gemaakt door het vermogen van het systeem om features, modelversies of trainingsparadigma's te wijzigen terwijl de output metrics en evaluatiesets hetzelfde bleven.

Als FBLearner Flow vandaag de dag opnieuw zou worden gebouwd, zouden Kubernetes en Kubeflow de voorkeursoplossingen zijn. Kubeflow biedt een meer zelfstandig paradigma, waardoor het eenvoudiger te deployen is, en het kan andere connectors gebruiken om te verbinden met verschillende onderdelen van de infrastructuur.

Het inference-platform werd gebouwd bovenop Tupperware, de services-infrastructuur van Facebook, waarbij elk model zijn eigen container was. De auto-scaling functionaliteit werd geleend van Kubernetes om te garanderen dat het platform naar behoefte kon op- en afschalen.

Over het geheel genomen biedt de architectuur van FBLearner Flow een unieke oplossing voor het op schaal bouwen van AI-systemen. Het is een bewijs van het belang van infrastructuur bij het bouwen van robuuste en schaalbare AI-systemen.

Het overbruggen van de kloof tussen Software Engineering en Machine Learning Deployment Platforms

Naarmate het vakgebied van machine learning blijft groeien en evolueren, is er een toenemende behoefte aan het ontwikkelen van platformen en processen voor het deployen van machine learning-modellen in productieomgevingen. Veel bedrijven zien machine learning-platformen echter als gescheiden van software engineering-platformen, wat kan leiden tot verwarring en inefficiëntie.

👉

Hoewel er enkele verschillen zijn in de gebruikte tools, kunnen de processen voor het ontwikkelen en deployen van ML-modellen erg lijken op de processen die in software engineering worden gebruikt.

Een van de belangrijkste aspecten is het belang van een duidelijke visie op hoe ML-modellen worden ontwikkeld en gedeployd. Door concepten zoals testing en verplichte stappen (zoals de train test split) te introduceren, kunnen bedrijven het ML-ontwikkelproces stroomlijnen en ervoor zorgen dat modellen op een consistente en effectieve manier worden gedeployd.

Een andere overeenkomst is de noodzaak van monitoring en telemetrie in zowel software engineering als ML deployment platforms. Net zoals ontwikkelaars de prestaties van hun applicaties en microservices monitoren, moeten ML-ontwikkelaars en MLOps engineers de prestaties van hun modellen en infrastructuur monitoren.

Door de overeenkomsten tussen de twee te herkennen en processen en tools te ontwikkelen die in beide domeinen consistent zijn, kunnen bedrijven hun ontwikkel- en deploymentprocessen stroomlijnen, fouten en inefficiënties verminderen en ervoor zorgen dat hun ML-modellen op een consistente en effectieve manier worden gedeployd.

Het belang van Monitoring bij ML Deployment

Monitoring is een kritiek aspect van elk ML deployment-proces. Het helpt ervoor te zorgen dat de modellen werken zoals verwacht en de gewenste resultaten leveren. Het monitoren van de infrastructuur en de output van de voorspellingen is cruciaal om te controleren of het systeem correct werkt. Het onderdeel voor het genereren van metrics in het FBLearner-systeem genereerde automatisch metrics voor het monitoren van de prestaties van de modellen.

Er is behoefte aan aanpasbare metrics waarmee ontwikkelaars de prestaties van hun modellen effectief kunnen monitoren. Met monitoring op de juiste plek kunnen ontwikkelaars eventuele problemen die tijdens het deployment-proces ontstaan snel identificeren en oplossen, wat leidt tot betere prestaties en nauwkeurigere voorspellingen.

Kortom, monitoring is een essentieel onderdeel van ML deployment, en het is cruciaal om een systeem te hebben waarmee ontwikkelaars hun modellen effectief kunnen monitoren. Aanpasbare metrics en een nauwkeurige monitoring van de infrastructuur en output van voorspellingen kunnen helpen garanderen dat ML-modellen werken zoals verwacht, wat leidt tot betere prestaties en nauwkeurigere voorspellingen.

Distributed Training en de impact op Workflow Architecture

Distributed training en distributed inference waren grote paradigmaverschuivingen voor het FBLearner Flow-systeem. Aanvankelijk was het systeem ontworpen om op één enkele machine te werken, en de training hoorde op dezelfde machine plaats te vinden. Naarmate er echter meer data aan het systeem werd toegevoegd, werd het noodzakelijk om het systeem te herontwerpen ter ondersteuning van distributed training.

De grootste uitdaging op dit gebied lag bij gestructureerde data. Het team moest respectievelijk model-parallelle en data-parallelle training toepassen voor gestructureerde en ongestructureerde data. Ze moesten ook speciale regels toevoegen voor parameter servers, die anders werden behandeld in vergelijking met de training zelf. De parameter servers verzamelden alle output van elk van de trainingonderdelen en voegden ze weer samen. Het team experimenteerde met verschillende paradigma's en koos uiteindelijk voor een parameter server-paradigma dat checkpointing mogelijk maakte.

Betrouwbaarheid werd een grote zorg bij distributed training, want als zelfs maar één machine uitviel, mislukte de gehele workflow. Het team moest API's bouwen om checkpointing mogelijk te maken, aangezien dit niet volledig geautomatiseerd was. Ze moesten ook een herstartmechanisme schrijven om ervoor te zorgen dat de workflow in geval van een storing kon worden hervat vanaf het juiste checkpoint.

Hoewel distributed training het mogelijk maakte om complexere modellen te trainen, maakte het de zaken ook moeilijker voor het team, aangezien de training nu 5 tot 6 keer langer duurde dan in het verleden. Desalniettemin was het team in staat zich aan te passen aan deze veranderingen en te garanderen dat het systeem betrouwbaar bleef werken.

Een ML-systeem bouwen voor schaal: Kernprincipes voor succes

1. Continu feedback en vernieuwing: Om een succesvol ML-systeem te bouwen, is continue feedback van gebruikers essentieel. Het team van Aditya had een voordeel omdat hun klanten zich binnen hetzelfde bedrijf bevonden, wat hen in staat stelde feedback te ontvangen en zichzelf te blijven vernieuwen. Het bouwen van een schaalbaar ML-systeem vereist dus een continue betrokkenheid bij gebruikers, zodat zij feedback kunnen geven en er tijdig kan worden bijgestuurd.
2. Klantenservicegerichte instelling: Een essentieel onderdeel van het bouwen van een schaalbaar ML-systeem is ervoor zorgen dat vragen van gebruikers snel worden beantwoord om blokkades weg te nemen. Het team van Aditya nam een klantenservicegerichte houding aan, waardoor ze eventuele problemen snel konden aanpakken en snel feedback ontvingen. Deze aanpak is cruciaal omdat het vertrouwen opbouwt bij gebruikers en hun ervaring verbetert.
3. Evolutie en aanpassing: Tot slot vereist het bouwen van een schaalbaar ML-systeem de bereidheid om te evolueren en aan te passen, aangezien ML een vakgebied is dat snel verandert. Het team van Aditya zag in dat ze niet alles op één dag konden ontwerpen en dat de evolutie van het systeem continu zou zijn. Organisaties moeten daarom openstaan voor verandering en nieuwe technologieën omarmen naarmate deze opkomen.

Hieronder vind je enkele interessante artikelen over Machine Learning bij Facebook:

1. Introducing FBLearner Flow: Facebook’s AI backbone  
2. TWIML podcast with Aditya Kalro
3. Talk by Aditya & Pierre on Applied Machine Learning at scale

Lees onze vorige post in de reeks.

‍

True ML Talks #2 - Machine Learning Workflow @ Stitch Fix

Ontdek hoe Stitch Fix machine learning gebruikt om klantinteracties te analyseren en inzichten te bieden aan salesteams. Ontdek de uitdagingen van het beheren van ML-workflows, dataprivacy en databeveiliging.

TrueFoundry Blog TrueFoundry

‍

Blijf de TrueML youtube series bekijken en lees de gehele TrueML blog series.

TrueFoundry is een ML Deployment PaaS op Kubernetes om de workflows van ontwikkelaars te versnellen, terwijl ze de volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde beveiliging en controle voor het infrastructuurteam. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden te rollbacken. Hierdoor besparen ze kosten en brengen ze modellen sneller naar productie, wat leidt tot echte zakelijke waarde.  

‍

Onderwerpen: FBLearner Flow, ML Platform at Facebook