Wat is Transfer Learning en waarom is het belangrijk?

Het trainen van een capabel model vanaf nul kost enorm veel data en rekenkracht, wat voor de meeste teams en taken niet te rechtvaardigen is. Transfer learning omzeilt dit door te beginnen met een model dat al algemene patronen heeft geleerd en dit vervolgens aan te passen aan een specifieke taak. Het is een van de meest praktische ideeën in de moderne machine learning.

Het idee is dat veel van wat een model leert, herbruikbaar is. Een model dat is getraind op een enorme hoeveelheid tekst, leert grammatica, feiten en redeneerpatronen die ver buiten het oorspronkelijke doel nuttig zijn. Transfer learning neemt die algemene kennis en richt deze op een nieuwe taak, waardoor de kosten voor het opnieuw leren van de basis worden bespaard.

Deze gids legt uit wat transfer learning is, hoe het wordt toegepast, hoe het zich verhoudt tot trainen vanaf nul en wanneer het de juiste aanpak is.

Wat is transfer learning?

Transfer learning is een techniek waarbij kennis die is opgedaan bij het oplossen van de ene taak, wordt hergebruikt om een andere, gerelateerde taak op te lossen. In de praktijk betekent dit dat je begint met een model dat is voorgetraind op een grote, algemene dataset en dit aanpast, in plaats van een nieuw model te initialiseren met willekeurige gewichten en dit volledig te trainen op de doeltaak.

Zie het als het aannemen van een ervaren professional in plaats van iemand vanaf nul op te leiden. Een nieuwe medewerker die het vakgebied al begrijpt, hoeft alleen de specifieke werkwijze van jouw organisatie te leren, niet de basisprincipes van het werk. Een voorgetraind model begrijpt al de algemene patronen van het domein en hoeft alleen jouw specifieke taak te leren.

Het kernidee is hergebruik. Het voorgetrainde model biedt een sterke, algemene basis, en het aanpassen ervan vereist veel minder data en rekenkracht dan het opnieuw opbouwen van die basis voor elke nieuwe taak.

Hoe wordt transfer learning toegepast?

Er zijn een paar gebruikelijke manieren om een voorgetraind model aan te passen aan een nieuwe taak.

• Kies een voorgetraind model. Begin met een model dat is getraind op een grote, algemene dataset.
• Fine-tune.Ga door met het trainen van het model op jouw taakspecifieke data.
• Feature extraction. Bevries de meeste lagen en train alleen een nieuwe taakspecifieke 'head'.
• Parameter-efficiënte tuning. Pas een klein aantal toegevoegde gewichten aan, terwijl de rest ongewijzigd blijft.
• Evalueer.Controleer of het aangepaste model goed presteert op de doeltaak.

Welke aanpak geschikt is, hangt af van hoeveel data je hebt en hoe vergelijkbaar de nieuwe taak is met de oorspronkelijke. Volledige fine-tuning past het hele model aan en is geschikt voor grotere datasets; feature extraction en parameter-efficiënte methoden veranderen minder en werken goed wanneer data of rekenkracht beperkt is.

Transfer learning versus trainen vanaf nul

Trainen vanaf nul begint met willekeurige gewichten en leert alles uitsluitend op basis van de doeldata. Dit geeft volledige controle, maar vereist grote datasets en veel rekenkracht, en is onnodig wanneer er een geschikt voorgetraind model bestaat. Transfer learning begint met reeds geleerde gewichten en past deze aan, waardoor goede prestaties worden behaald met veel minder data en tijd.

Voor het overgrote deel van de praktische taken is transfer learning de beste keuze. Trainen vanaf nul is alleen zinvol als er geen relevant voorgetraind model bestaat, of wanneer het doeldomein zo afwijkend is dat algemene kennis niet helpt. Anders is het aanpassen van een voorgetraind model sneller, goedkoper en meestal nauwkeuriger.

Waarom is transfer learning belangrijk?

• Minder data. Het behaalt goede resultaten met veel kleinere taakspecifieke datasets.
• Lagere kosten.Het aanpassen van een model is veel goedkoper dan er een vanaf nul trainen.
• Sneller. Je beschikt in een fractie van de tijd over een werkend model.
• Betere nauwkeurigheid. Algemene voortraining verbetert vaak de prestaties op de doeltaak.
• Toegankelijkheid.Het maakt krachtige modellen toegankelijk voor teams zonder enorme middelen.

Wat zijn de afwegingen?

• Domeinverschillen. Als de nieuwe taak sterk afwijkt, helpt transfer learning minder.
• Overgenomen vooroordelen. Het model neemt vooroordelen over uit de data waarop het is voorgetraind.
• Afhankelijkheid van de basis. De kwaliteit wordt begrensd door het voorgetrainde model waarvan je vertrekt.
• Catastrofale vergetelheid. Agressieve fine-tuning kan nuttige algemene kennis wissen.

Wanneer moet je transfer learning gebruiken?

Gebruik het wanneer er een vooraf getraind model bestaat dat relevant is voor jouw taak; tegenwoordig is dat bijna altijd het geval voor tekst, afbeeldingen en vele andere domeinen. Het is de standaardaanpak voor het aanpassen van basismodellen aan specifieke toepassingen, van classificatie tot domeinspecifieke assistenten.

Train alleen vanaf nul als er geen geschikt vooraf getraind model beschikbaar is of als het domein wezenlijk verschilt van alles wat het model eerder heeft gezien. Voor al het andere is beginnen met een vooraf getraind model en dit aanpassen de snellere, goedkopere en betrouwbaardere weg.

Belangrijke punten over transfer learning

• Het hergebruikt een vooraf getraind model als startpunt voor een nieuwe taak.
• Fine-tuning, feature extraction en parameter-efficiënte tuning zijn veelgebruikte methoden.
• Het vereist veel minder data en rekenkracht dan trainen vanaf nul.
• Het is de standaardmanier om basismodellen aan te passen.
• Het neemt zowel de sterke punten als de vooroordelen van het basismodel over.
• Stem de methode af op de omvang van je data en de gelijkenis van de taak.

Conclusie

Transfer learning hergebruikt de kennis in een vooraf getraind model om een nieuwe, gerelateerde taak aan te pakken, waarbij het model wordt aangepast in plaats van vanaf nul getraind. Door middel van fine-tuning en verwante methoden worden sterke prestaties behaald met veel minder data, rekenkracht en tijd; daarom is dit de standaardmanier om basismodellen toe te passen. De belangrijkste kanttekeningen zijn domein-mismatch en overgeërfde vooroordelen van het basismodel.

TrueFoundry helpt teams bij het fine-tunen en serveren van aangepaste modellen op hun eigen infrastructuur, zodat transfer learning kan leiden van een basismodel naar een ingezet, taakspecifiek model op één plek. Nu basismodellen het startpunt worden voor het meeste AI-werk, is transfer learning de techniek die ze bruikbaar maakt.