Wat is Federated Learning en waarom is het belangrijk?

‍

Het trainen van een model betekent normaal gesproken dat alle data op één plek wordt verzameld. Maar veel waardevolle data kan of mag niet worden gecentraliseerd, omdat het privé of gevoelig is, of verspreid is over vele apparaten en organisaties. Medische dossiers, toetsenborden van telefoons en data van verschillende bedrijven vallen allemaal in deze categorie. Federated learning is een manier om op dergelijke data te trainen zonder deze ooit te verplaatsen.

In plaats van de data te verzamelen, stuurt federated learning het model naar de plek waar de data zich bevindt. Elke deelnemer traint op zijn eigen lokale data en deelt alleen de resulterende modelupdates, die worden gecombineerd tot een gedeeld model. De ruwe data blijft staan waar het staat. Dit maakt het mogelijk om te leren van gedistribueerde, private data, en dat is waarom federated learning belangrijk is voor privacy. Deze gids legt uit hoe het werkt.

We behandelen de definitie, de werking, de vergelijking met gecentraliseerde training en wanneer je het moet gebruiken.

Wat is federated learning?

Federated learning is een machine learning-benadering waarbij een gedeeld model wordt getraind over vele gedecentraliseerde deelnemers, zoals apparaten of organisaties, die elk hun eigen lokale data bezitten, zonder dat die data ooit op één plek wordt verzameld. Deelnemers trainen het model lokaal en sturen alleen hun modelupdates om deze te combineren, zodat het globale model leert van ieders data terwijl de data zelf lokaal blijft.

Zie het als een groep koks die een gedeeld recept verbeteren zonder hun geheime ingrediënten prijs te geven. Iedereen kookt thuis met eigen ingrediënten en rapporteert alleen welke aanpassingen het gerecht hebben verbeterd. Het recept wordt beter door ieders ervaring, maar niemand geeft zijn privé-ingrediënten weg.

Het kernidee is om het model naar de data te brengen, niet de data naar het model. Door alleen updates te delen in plaats van ruwe data, houdt federated learning gevoelige informatie waar deze hoort, terwijl er toch collectief van wordt geleerd.

Hoe werkt federated learning?

Een gedeeld model wordt verstuurd, lokaal getraind en de updates worden centraal gecombineerd.

• Distribueer het model. Stuur het huidige globale model naar elke deelnemer.
• Train lokaal. Iedereen traint op zijn eigen data, wat een update oplevert.
• Stuur updates. Deelnemers sturen alleen hun modelupdates terug.
• Aggregeer. Combineer de updates tot een verbeterd globaal model.
• Herhalen.Stuur het nieuwe model uit en train opnieuw, ronde na ronde.

Deze cyclus herhaalt zich vele malen, waarbij het globale model elke keer verbetert op basis van de lokale training van iedereen. Omdat alleen updates worden gedeeld, verlaat de ruwe data nooit de eigenaar. Aanvullende technieken, zoals versleuteling of het toevoegen van ruis, kunnen de updates zelf verder beschermen tegen het onthullen van privégegevens.

Gefedereerd versus gecentraliseerd leren

Bij gecentraliseerd leren wordt alle data op één plek verzameld en daar direct op getraind. Dit is eenvoudig en kan zeer effectief zijn, maar het vereist dat alle data centraal wordt verplaatst en opgeslagen. Dit kan onmogelijk zijn om privacyredenen, juridische redenen of praktische redenen wanneer data gevoelig of verspreid is.

Gefedereerd leren houdt de data waar deze is en deelt alleen modelupdates, waardoor training mogelijk wordt op data die nooit gecentraliseerd had kunnen worden. De keerzijde is de extra complexiteit: het coördineren van vele deelnemers, het omgaan met onbetrouwbare of ongelijksoortige apparaten en het beheren van de extra techniek. Wanneer data niet verplaatst kan worden, maakt gefedereerd leren training mogelijk waar gecentraliseerd leren dat niet kan.

Waarom is gefedereerd leren belangrijk?

• Privacy. Ruwe data verlaat nooit de eigenaar.
• Toegang. Het leert van data die niet gecentraliseerd kan worden.
• Naleving.Het helpt bij het voldoen aan vereisten voor gegevensbescherming.
• Schaal.Het benut data van vele apparaten of organisaties.
• Samenwerking. Partijen kunnen samen trainen zonder data te delen.

Wat zijn de uitdagingen?

• Complexiteit.Het coördineren van vele deelnemers is technisch uitdagender.
• Ongelijke data. Lokale data kan sterk verschillen tussen deelnemers.
• Communicatie.Het verzenden van updates per ronde brengt overhead met zich mee.
• Update-privacy. Updates alleen kunnen soms al informatie lekken.

Wanneer moet je gefedereerd leren gebruiken?

Gebruik federated learning wanneer je moet trainen op data die niet gecentraliseerd kan worden, omdat deze privé is, onderhevig is aan regelgeving of verspreid is over vele apparaten of organisaties. Het is ideaal voor het leren van gevoelige data zoals gezondheids- of persoonsgegevens, data die op apparaten van gebruikers staat, of data van organisaties die hun gegevens niet direct kunnen delen.

Als je data eenvoudig op één plek kunt verzamelen, is gecentraliseerde training eenvoudiger en meestal directer. Maar wanneer privacy, regelgeving of distributie het centraliseren van data verhindert, is federated learning de aanpak waarmee je er toch van kunt leren.

Belangrijke punten over federated learning

• Federated learning traint zonder data te centraliseren.
• Deelnemers trainen lokaal en delen alleen updates.
• Updates worden gecombineerd tot een gedeeld globaal model.
• De ruwe data verlaat nooit de eigenaar.
• Het maakt training op private, gedistribueerde data mogelijk.
• Het voegt coördinatiecomplexiteit toe ten opzichte van gecentraliseerde training.

Conclusie

Federated learning maakt het mogelijk om een gedeeld model te trainen over vele apparaten of organisaties zonder hun data te verplaatsen, door het model naar de data te sturen, lokaal te trainen en alleen de updates te combineren. Hierdoor kan een model leren van private, gedistribueerde data die nooit gecentraliseerd had kunnen worden, wat de reden is waarom het belangrijk is voor privacygevoelige en gereguleerde omgevingen. De prijs hiervoor is extra coördinatiecomplexiteit, maar het privacyvoordeel is aanzienlijk.

TrueFoundry helpt teams bij het trainen en implementeren van modellen op hun eigen infrastructuur, inclusief opstellingen waarbij gevoelige data op hun plek blijven terwijl er toch van geleerd wordt. Wanneer data niet gecentraliseerd kan worden, zijn benaderingen zoals federated learning de manier waarop training zowel mogelijk als privé blijft.