True ML Talks #20 - Transformers, Embeddings en LLMs - ML Scientist @ Turnitin

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we diep in de hoofdideeën van het fascinerende paper getiteld Analyzing Transformer Dynamics as Movement through Embedding Space.  Dit paper introduceert een nieuw perspectief op hoe Transformers werken, met de nadruk op het feit dat ze een embedding space leren en hier doorheen navigeren tijdens het inference-proces. We spreken met Sumeet Singh

Sumeet is a Distinguished ML Scientist bij Turnitin en de auteur van het paper dat we vandaag bespreken. Hij heeft tevens een achtergrond in onderzoek.

📌

Onze gesprekken met Sumeet behandelen de volgende aspecten:
- Transformer Dynamics begrijpen
- Embedding Space in Transformer-modellen demystificeren
- De mechanica van Token Prediction in Transformers ontrafelen
- Unieke abstracties van Transformer-lagen
- Het mysterie van herhalende tokens
- Het misleidende idee van leren in Transformer-modellen
- De wisselwerking tussen In-Context Learning, Few-Shot Learning en Fine Tuning in Transformers
- Navigeren in General-Purpose AI: modelkeuzes en praktische inzichten

Bekijk de volledige aflevering hieronder:

Transformer Dynamics begrijpen: Een diepe duik in Embedding Space

In de wereld van AI en natural language processing is het Transformer-model superieur op het gebied van tekstverwerking en -generatie. Maar wat schuilt er onder deze indrukwekkende architectuur? Het baanbrekende paper "Analyzing Transformer Dynamics as Movement through Embedding Space" ontrafelt de mysteries van de interne werking van de Transformer.

‍

Analyzing Transformer Dynamics as Movement through Embedding Space

Transformer language models exhibit intelligent behaviors such asunderstanding natural language, recognizing patterns, acquiring knowledge,reasoning, planning, reflecting and using tools. This paper explores how theirunderlying mechanics give rise to intelligent behaviors. We adopt a systemsappr…

arXiv.org Sumeet S. Singh

Dit onderzoek begon bij de ontwikkeling van een auto-grading model voor korte antwoorden, dat een indrukwekkende nauwkeurigheid van 80% behaalde over verschillende onderwerpen, maar waarin duidelijkheid over de exacte mechanismen ontbrak. Om het gedrag van de Transformer te begrijpen, dook de studie diep in de materie, waarbij aanvankelijk attention-attributie en gewichtsanalyse werden verkend met beperkte inzichten, wat de onderzoekers voor een raadsel stelde.

1. Een paradigmaverschuiving: Transformers bekijken in Embedding Space

Het keerpunt in dit onderzoek kwam met het besef dat de Transformer kan worden gezien als een reeks operators in een embedding space. Deze ruimte stuurt, net als een driedimensionaal landschap, de voorspellingen van de Transformer. In plaats van te zoeken naar attention-patronen, verschoof het perspectief naar het zien van de Transformer als een rivier die door valleiën en canyons stroomt en paden met de minste entropie volgt.

2. De vaste Embedding Space

Zodra het model is getraind, blijft de embedding space vaststaan. Wanneer dezelfde invoersequentie wordt aangeboden, genereert het consistent identieke embeddings. Deze embeddings zijn cruciaal bij het voorspellen van de volgende token, omdat ze de waarschijnlijkheden bepalen die aan elke token in de sequentie worden toegewezen.

3. Hoeknabijheid en Token Prediction

Het onderzoek bracht aan het licht dat de embedding space zichzelf organiseerde in een begrensde ruimte die lijkt op een bol, dankzij layer normalization. De token-voorspellingen van het model leunen zwaar op de hoeknabijheid (angular proximity) tussen de geaggregeerde embeddingvector en individuele token-embeddings.

4. Decoding Walk vs. Encoding Walk

Twee verschillende paden (walks) vormen het gedrag van de Transformer: de decoding walk, die stochastische decoding en token-sampling regelt, en de encoding walk, een deterministisch proces dat soft clusters vormt op basis van de gelijkenis van tokenvectoren. De encoding walk is een sleutelfactor in het transformeren van een sequentie van tokenvectoren naar een enkele geaggregeerde embeddingvector.

5. Niveau van abstractie in Transformers

In tegenstelling tot conventionele neurale netwerken waar lagere lagen op lagere abstractieniveaus werken, behouden Transformers door alle lagen heen een consistent abstractieniveau. Dit is zichtbaar in de gedeelde in- en uitvoer-embeddingmatrices, wat de unieke aard van de Transformer-architectuur onderstreept.

Embedding Space in Transformer-modellen demystificeren

Om het concept van embedding space te begrijpen, moeten we het eerst herkennen als de vectorruimte met grootte d_model—de hidden size van de Transformer. In eenvoudiger taal vertegenwoordigt d_model de dimensionaliteit van deze ruimte. Bij GPT-modellen kan deze dimensie aanzienlijk zijn en oplopen tot wel 12.000.

Wat essentieel is om te begrijpen, is dat elke vector die uit elke laag van het Transformer-model komt, zich binnen deze embedding space bevindt. Dit omvat niet alleen de invoer-tokenvectoren, maar ook alle vectoren die worden gegenereerd naarmate je hoger in de lagen komt, tot aan de bovenkant—met als culminatiepunt de contextvector.

Het is belangrijk te verduidelijken dat de grootte van de embedding space niet wordt bepaald door het aantal parameters in het model of de representatie van de bovenste laag. In plaats daarvan wordt het uitsluitend gedefinieerd door de waarde van d_model. Dit cruciale onderscheid zorgt ervoor dat we een helder begrip hebben van wat de embedding space vormt in Transformer-modellen.

De mechanica van Token Prediction in Transformers ontrafelen

In onze zoektocht om de interne werking van Transformers te begrijpen, komen we nu bij een cruciaal punt: de mechanica van token-voorspelling (token prediction). Sumeet werpt met zijn inzichtelijke perspectief licht op de ingewikkelde processen die bepalen hoe Transformers tekstsequenties genereren en intelligente voorspellingen doen.

1. De rol van de Language Modeling Head:

In de kern is deze language modeling head een matrix—een matrix met dimensies d_model bij V, waarbij V de grootte van je embeddings vertegenwoordigt, die aanzienlijk kan zijn afhankelijk van je tokenisatieschema. Deze matrix speelt een cruciale rol bij het in kaart brengen van contextvectoren naar token-waarschijnlijkheden.

2. De magie van inproducten (Dot Products):

De essentie van token prediction ligt in het inproduct (dot product)—een similariteitsmetriek die de besluitvorming van de Transformer stuurt. Wanneer de contextvector, afkomstig uit de laatste laag van de decoder, een matrixvermenigvuldiging ondergaat met de language modeling head, resulteert dit in een vector van waarschijnlijkheden. Deze kansverdeling bepaalt de waarschijnlijkheid van elk token in de sequentie.

3. Sequenties in kaart brengen naar de omgeving (Neighborhood)

Laten we nu kijken naar het diepgaande concept van het in kaart brengen van een sequentie naar de omgeving van een token. Het doel is om een sequentie van tokens, van W_1 tot W_t, te transformeren naar de nabijheid van W_t+1. Dit proces is vergelijkbaar met het navigeren van een pad dat voor menselijke waarnemers intelligent oogt.

4. De intelligente machine

De kern van deze transformatie is het creëren van een intelligente machine—een machine die een sequentie neemt en deze vakkundig afbeeldt op de omgeving van het volgende token. De intelligentie zit in de subtiliteit en coherentie van het pad, waarbij elke stap in de walk wordt beoordeeld op zijn mate van intelligentie.

5. De rol van Position Encodings

In tegenstelling tot Convolutional Neural Networks (CNNs) maken Transformers geen gebruik van patroonherkenningskernels. Er bestaat echter een fascinerend element dat bekend staat als relative position encodings binnen de attention-lagen. Deze statische encodings beïnvloeden de aggregatiegewichten en helpen self-bias tegen te gaan.

6. Negatieve Self-Bias

Het begrijpen van self-bias is cruciaal. Zonder position encodings zou een contextvector de neiging hebben om vectoren aan te trekken die op zichzelf lijken, wat resulteert in herhalende voorspellingen. Position encodings introduceren negatieve self-bias, waardoor de affiniteit van de contextvector voor zichzelf wordt onderdrukt en diversiteit in voorspellingen wordt bevorderd.

7. Position Kernels

Als we dieper graven, ontdekken we dat position kernels, zoals onthuld in het paper, dienen om de neiging tot self-bias te vormen. Ze sturen aggregatiegewichten bij en beïnvloeden welke posities de voorkeur krijgen en welke niet.

Hier is een geweldige blog die de Transformer-architectuur stap voor stap uitlegt:

‍

The Illustrated Transformer

Discussions:Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, Vietnamese Watch: MIT’s Deep Learning Sta…

GitHub

‍

Unieke abstracties van Transformer-lagen

Naarmate we dieper in de fascinerende wereld van Transformer-modellen duiken, wordt een boeiend inzicht naar voren gebracht—een inzicht dat Transformers onderscheidt van conventionele neurale netwerken zoals CNNs. De vraag die voorligt is: waarom werken Transformers anders en hoe kunnen we het concept van laag-voor-laag embeddings begrijpen?

Onderscheid tussen Transformers en CNNs:

• Transformers werken anders dan CNNs. In CNNs leggen lagere lagen doorgaans eenvoudigere kenmerken vast zoals randen, terwijl hogere lagen complexere representaties opbouwen.
• In tegenstelling hiermee werken Transformers in dezelfde abstracte ruimte over alle lagen heen, zonder een duidelijke hiërarchie van abstractie zoals in CNNs.

Het begrijpen van de Residual Stream:

• Transformers behouden de uniformiteit in hun abstracte ruimte deels vanwege de aanwezigheid van een residual stream.
• In een Transformer-laag (bijv. in de encoder) is er een invoer gevolgd door een attention-laag. Een residual link telt de uitvoer van de attention-laag weer op bij de invoer.
• Evenzo worden in de feed-forward-laag transformaties toegepast en telt een andere shortcut de uitvoer weer op bij de invoer.
• Deze consistente optelling van in- en uitvoer bij elke laag zorgt ervoor dat dimensies dezelfde betekenis behouden, wat een universele abstracte ruimte creëert.

Het mentale model van laag tot laag:

• Om dit fenomeen beter te begrijpen, wordt het concept van "laag-voor-laag embeddings" geïntroduceerd.
• In CNNs is er een hiërarchische opbouw van abstractielagen. In Transformers draagt elke laag echter bij aan dezelfde abstracte ruimte.
• Transformers dagen het traditionele begrip van het gedrag van neurale netwerken uit door een netwerk van lagen te presenteren dat op een meer geïntegreerde wijze samenwerkt.

Het mysterie van herhalende tokens: kleine vs. grote Transformer-modellen

In de wereld van Transformers is het verschijnsel dat kleinere modellen de neiging hebben om tokens te herhalen, terwijl grotere modellen gevarieerdere uitvoer produceren, een intrigerende waarneming. Sumeet verkent dit fenomeen, hoewel een duidelijke theoretische verklaring ontbreekt.

• Kleinere modellen: Kleinere Transformers vertonen vaak tokenherhaling in gegenereerde tekst, wat een intrigerend verband tussen modelgrootte en uitvoerkwaliteit benadrukt.
• Rijkere Embedding Space: Een sleutelfactor die bijdraagt aan het verschil tussen kleine en grote modellen is de rijkdom van de embedding space. Grotere modellen beschikken over een uitgebreidere, meer genuanceerde feature space voor ingewikkelde informatieverwerking.
• Meer parameters voor gedetailleerde verwerking: Grotere modellen hebben meer lagen en parameters, vooral in feedforward-lagen. Dit vergroot hun vermogen om informatie op een geavanceerde manier te verwerken.
• Decoding-strategieën: Tokenherhaling kan worden verminderd door de juiste decoding-strategie te kiezen. Greedy Decoding en Beam Search zijn gevoeliger voor herhaling, terwijl technieken zoals Top-K of Top-P sampling gevarieerdere resultaten opleveren.
• Herhaalde zinnen: Zelfs in grotere modellen komt af en toe zinsherhaling voor, wat de complexiteit van tekstgeneratie binnen Transformers aantoont.

Het misleidende idee van leren in Transformer-modellen

In het domein van Transformer-modellen rijst een cruciale vraag: vindt er daadwerkelijk in-context learning plaats in deze modellen, of is dit meer een slim geformuleerd concept? Het onderzoekspaper daagt conventionele opvattingen over leren binnen Transformers uit en onthult de onderliggende mechanismen.

Traditioneel leren omvat het aanpassen van gewichten en parameters om de adaptatie van een model en de reactie op nieuwe gegevens te vergemakkelijken. Dit conventionele begrip komt echter niet overeen met Transformer-modellen. Het kernprobleem ligt in hun vaste embedding space en vooraf gedefinieerde paden.

In essentie nemen deze modellen niet deel aan leren in traditionele zin. De embedding space blijft statisch en de paden zijn, hoewel divers, vooraf bepaald. Tijdens inference vindt er geen aanpassing of wijziging van modelgewichten plaats. In plaats daarvan navigeren deze modellen door een landschap van mogelijkheden, waarbij elk ontbrekend element dient als een uniek startpunt.

Het onderzoek behandelt ook het voortdurende debat over de intelligentie en het redeneervermogen van deze modellen. Sommigem beweren dat het hen ontbreekt aan de mechanismen voor echt redeneren en dat ze in plaats daarvan vertrouwen op voorspellingen op basis van onthouden gegevens in plaats van echt begrip.

Daarnaast duikt het paper in het denoising-proces, een fundamentele operatie die door deze modellen wordt gedeeld. Wanneer tokens willekeurig worden weggelaten, blijft het contextweb intact, ongeacht de positie van het lege token. Het model consolideert deze duale context vakkundig tot een enkele contextvector, wat zorgt voor een naadloze werking, ongeacht de locatie van de ontbrekende elementen.

Er vindt geen leren plaats. Ik bedoel, omdat de embedding space vaststaat. Alle paden staan vast. Het enige wat je doet is selecteren, kiezen. Dus welk leren vindt hier plaats? Je gewichten veranderen niet. Helemaal niets! - Sumeet Singh

De wisselwerking tussen In-Context Learning, Few-Shot Learning en Fine Tuning in Transformers

In het beschreven paradigma, waarin Transformers navigeren langs vooraf bepaalde paden binnen een vaste embedding space, krijgen de relaties tussen "In-Context Learning", "Few-Shot Learning" en "Fine Tuning" afzonderlijke perspectieven.

1. In-Context Learning en Few-Shot Learning

Binnen dit paradigma komen In-Context Learning en Few-Shot Learning samen in een gedeeld concept. Of het nu gaat om een gespreksgeschiedenis of een reeks voorbeelden, ze komen beide neer op contextuele sequenties. Wanneer een Transformer-model een nieuwe context tegenkomt, selecteert het een pad door de embedding space op basis van die context. Dit proces van padselectie, bepaald door de context, definieert de uitvoer van het model. Zowel In-Context Learning als Few-Shot Learning omvatten dus dat het model zich aanpast aan een gegeven context en contextueel relevante antwoorden of uitvoer genereert.

2. Fine Tuning als padmodificatie

Supervised Fine Tuning vertegenwoordigt in de Transformer-context een proces van het wijzigen van de vooraf gedefinieerde paden binnen de embedding space. Tijdens het fine-tunen worden aanvullende gegevens en specifieke doelen geïntroduceerd, waardoor de interne geografie van het model wordt hervormd. Hoewel het fundamentele mechanisme—padselectie—consistent blijft, ondergaat het landschap van beschikbare paden aanpassingen om aan te sluiten bij de gewenste fine-tuning-taak.

3. RLHF en signaalpropagatie

In het geval van Reinforcement Learning from Human Feedback (RLHF) ligt het belangrijkste verschil in hoe het reinforcement-signaal zich voortplant. Waar supervised fine-tuning gebruikmaakt van cross-entropy loss op token-niveau, benut RLHF signalen van een evaluatiemodel. Wat RLHF onderscheidt, is dat het reinforcement-signaal zich uitstrekt over de gehele sequentie, waardoor de paden van het model alomvattend worden beïnvloed. Zowel RLHF als supervised fine-tuning delen echter het gemeenschappelijke doel om de kaart van glooiingen binnen de embedding space te hervormen om de prestaties voor specifieke taken te optimaliseren.

📌

Kloof overbruggen: Transformer-modellen over verschillende modaliteiten
Transformer-modellen hebben een opmerkelijk aanpassingsvermogen over verschillende modaliteiten. Deze modellen maken naadloos de overstap van tekst naar afbeeldingen, spraak en diverse datasets.

Traditioneel hebben sequenties een lineaire stroom van context, maar bij de overstap naar afbeeldingen wordt het concept van een lineaire sequentie intrigerend. Modellen zoals Bard behandelen dit door gebruik te maken van denoising. Lege tokens behouden, ongeacht hun positie, hun context. Of het nu aan het begin, in het midden of aan het einde is, er vormt zich een contextweb en het model aggregeert dit tot een enkele contextvector, waarbij het zich naadloos aanpast.

Navigeren in General-Purpose AI: modelkeuzes en praktische inzichten

• Verschuiving naar General-Purpose AI: Behandel Transformers als veelzijdige intelligentiemachines en vereenvoudig modelcomplexiteiten.
• Modelvariaties maken minder uit: Diep begrip vermindert modelverschillen, met de nadruk op prestaties in de praktijk.
• Praktische modelselectie: Kies modellen op basis van taakevaluatie in de praktijk, waarbij efficiëntie voorop staat.
• Benutten van Prompt Engineering: Stem invoer af voor effectieve sturing zonder modelcomplexiteit.
• Kostenefficiënte Fine-Tuning: Kleinere modellen voor kosteneffectieve prestaties bij veel dataverkeer.
• Balans tussen kosten & prestaties: Cruciale factoren voor het efficiënt serveren van gefine-tunde modellen in scenario's met veel dataverkeer.

Lees onze eerdere blogs in de True ML Talks-reeks:

‍

True ML Talks #17 - ML Platforms @ Slack, LLMs and SlackGPT

In this blog, we dive deep into Slack’s Recommend API. Understand their ML architecture, and the LLM use cases in Slack. We go into SlackGPT.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML youtube series en lees de TrueML blog series.

TrueFoundry is een ML Deployment PaaS op Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en implementeren van modellen met gegarandeerde beveiliging en controle voor het infrateam. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden terug te draaien - waardoor ze kosten besparen en modellen sneller naar productie brengen om echte bedrijfswaarde te realiseren.