True ML Talks #14 - LLMs en Reinforcement Learning Co-founder @ CX Score

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we opnieuw diep in LLMs, Reinforcement Learning en CX Score, en we spreken met Ashwin Rao.

Ashwin Rao is een vooraanstaande professional met een diverse achtergrond in de academische wereld, industrieel leiderschap en ondernemerschap. Hij is momenteel mede-oprichter van CX Score, een AI-startup in de seed-fase die zich richt op het stellen van ondernemingen in staat om klantervaringen op web- en mobiele applicaties te verbeteren.

📌

Onze gesprekken met Ashwin behandelen de volgende aspecten:
- CX Score.
- Uitdagingen en toepassingen van LLM in de retail.
- Reinforcement Learning.
- Toepassingen van RL in de financiële sector
- Reinforcement Learning gebruiken om LLMs te verbeteren
- Zorgen voor veilige, onbevooroordeelde en hoogwaardige antwoorden in LLMs

Bekijk de volledige aflevering hieronder:

CX Score

Overzicht van CX Ops en CX Score

CX Ops breidt DevOps-principes uit om de digitale klantervaring te verbeteren. Het omvat een collaboratieve aanpak om websites, web-apps en mobiele apps continu te verbeteren.

De CX Score beoordeelt de klantervaring op basis van inzichten van een synthetische gebruiker—een AI-bot die zich gedraagt als een mens. Het identificeert problemen zoals storingen, inconsistenties in het ontwerp, beveiligingsproblemen en meer, en genereert tickets voor ontwikkelaars en ontwerpers.

Cross-functionele teams pakken gesignaleerde problemen aan en streven naar continue verbeteringen. De synthetische gebruiker test opnieuw na het oplossen van het probleem, wat bijdraagt aan de verbetering van de CX Score na verloop van tijd.

Het integreren van CX Ops in DevOps zorgt ervoor dat de klantervaring een centraal punt blijft gedurende het gehele ontwikkelproces. Dit creëert naadloze en boeiende digitale platforms voor klanten.

Hoe CX Score menselijke interacties nabootst

De CX Score maakt gebruik van een lerende aanpak om menselijke interacties na te bootsen en te begrijpen wat een digitale ervaring intuïtief en gebruiksvriendelijk maakt. Door menselijk gedrag op websites en apps te observeren en te analyseren, kan de synthetische gebruiker, oftewel de AI-bot, leren van de signalen en patronen die door echte gebruikers worden vertoond.

Supervisiegegevens worden verzameld om inzicht te krijgen in hoe gebruikers navigeren door digitale platforms. Deze gegevens omvatten metrieken zoals de tijd doorgebracht op verschillende pagina's, de volgorde van ondernomen acties en gevallen van afhaken. Deze signalen bieden waardevolle informatie over verwarring bij de gebruiker, frustraties en gebieden waar de ervaring tekortschiet.

Als gebruikers bijvoorbeeld vaak moeite hebben om een specifiek doel te bereiken, zoals het implementeren van een machine learning-model, kan de synthetische gebruiker worden getraind om dit te herkennen als een suboptimale gebruikerservaring. Door het gedrag van echte gebruikers die worstelen met het proces te vergelijken met hen die het moeiteloos voltooien, kan de bot het verschil begrijpen en leren wat de ervaring intuïtiever maakt.

Het leerproces van de AI-bot is afhankelijk van een aanzienlijke hoeveelheid data en feedback van echte gebruikers. Door user journeys te analyseren en in kaart te brengen, wordt het mogelijk om pijnpunten, knelpunten en verbeterpunten te identificeren. Deze datagestuurde aanpak stelt de bot in staat om onderscheid te maken tussen gebruiksvriendelijke interacties en interacties die frustratie of verwarring kunnen veroorzaken.

Door continu te leren van menselijk gedrag wil de CX Score de digitale klantervaring optimaliseren, waardoor deze intuïtiever, gestroomlijnder en beter afgestemd op de verwachtingen van de gebruiker wordt. Het doel is ervoor te zorgen dat de synthetische gebruiker menselijke interacties nauwkeurig kan nabootsen en waardevolle inzichten kan bieden in gebieden waar de ervaring kan worden verbeterd.

Uitdagingen en toepassingen van LLM in de retailsector

De retailsector is getuige geweest van aanzienlijke vooruitgang in de toepassing van AI, ML en LLM (Large Language Models) om verschillende uitdagingen op te lossen en klantervaringen te verbeteren. Hier verkennen we de uitdagingen waarmee de retailsector wordt geconfronteerd en de opkomende toepassingen van LLMs bij het aanpakken van deze problemen.

Uitdagingen in de retailsector

1. Operations en supply chain: Retailers worden geconfronteerd met complexiteit bij het efficiënt beheren van voorraad, logistiek en supply chain-operaties. Het optimaliseren van deze processen om een naadloze productstroom en tijdige leveringen te garanderen is cruciaal.
2. Klantervaring: Het bieden van gepersonaliseerde en boeiende klantervaringen is een topprioriteit voor retailers. Dit omvat nauwkeurige zoekresultaten, gepersonaliseerde aanbevelingen, gerichte marketing en het maken van lay-outs die zijn afgestemd op individuele voorkeuren.

Toepassingen van LLM in retail

1. Optimalisatie van operaties: LLMs kunnen grote hoeveelheden gegevens analyseren om voorraadbeheer, vraagvoorspelling en supply chain-operaties te optimaliseren. Door gebruik te maken van LLMs kunnen retailers hun besluitvormingsprocessen verbeteren, de operationele efficiëntie verhogen en de kosten verlagen.
2. Gepersonaliseerde aanbevelingen: LLMs blinken uit in het begrijpen van klantvoorkeuren en productovereenkomsten. Door gebruik te maken van klant- en productembeddings kunnen LLMs hoogwaardige gepersonaliseerde aanbevelingen genereren, waardoor retailers gerichte productsuggesties kunnen doen en de omzet kunnen verhogen.
3. Verbeterde zoekfunctionaliteiten: LLMs kunnen de zoekervaring in de retail transformeren. In plaats van uitsluitend te vertrouwen op zoekopdrachten op basis van trefwoorden, kunnen conversatieve chatbots op basis van LLMs dialogen in natuurlijke taal voeren, waarbij ze context en intentie begrijpen om nauwkeurigere en relevantere zoekresultaten te bieden.
4. Intelligente klantenservice: LLMs hebben het potentieel om de klantenservice in de retailsector te revolutioneren. Naarmate de LLM-technologie vordert, zullen intelligente chatbots in staat zijn om betekenisvolle dialogen te voeren, klanten te helpen bij het vinden van de juiste producten, begeleiding te bieden bij prijzen, gepersonaliseerde winkelhulp te bieden en retourverzoeken effectief af te handelen.
5. Toekomstige mogelijkheden: Met verdere vooruitgang hebben LLMs het potentieel om zeer intelligente winkelassistenten te worden, die individuele voorkeuren en aankoopgeschiedenis begrijpen en relevante producten voorstellen op basis van gepersonaliseerde behoeften. Dit kan een naadlozere en intuïtievere winkelervaring voor klanten creëren.

Reinforcement Learning

Reinforcement learning (RL) is een geavanceerd vakgebied binnen machine learning waarin agents leren door middel van vallen en opstaan.

In RL heeft een agent interactie met een omgeving, zoals een zelfrijdende auto die navigeert op wegen vol obstakels en verkeer. De agent observeert de huidige toestand van de omgeving en selecteert acties om de cumulatieve beloningen na verloop van tijd te maximaliseren.

Beloningen zijn numerieke waarden die de kwaliteit van de beslissingen van een agent weerspiegelen, rekening houdend met factoren zoals efficiëntie en veiligheid. Door beloningen te verzamelen, leren RL-agents om effectief te navigeren.

RL integreert stochasticiteit om om te gaan met onzekerheden in de omgeving, waardoor agents optimale beslissingen kunnen nemen ondanks onvoorspelbare omstandigheden.

RL vindt toepassingen in de financiële wereld, retail, robotica en zelfrijdende voertuigen. Het heeft ook bijgedragen aan het verbeteren van taalmodellen zoals ChatGPT, waardoor hun prestaties zijn verbeterd en ze nauwkeurigere antwoorden genereren. Het begrijpen van de grondbeginselen van RL stelt ons in staat het potentieel ervan te waarderen voor het oplossen van complexe besluitvormingsproblemen en het bevorderen van AI-mogelijkheden.

Je krijgt beloningen en straffen voor je acties, afhankelijk van de beloningen die je ontvangt. Dit is hoe mensen leren, wat de reden is dat ik het vakgebied erg interessant vond.
- Ashwin

📌

Het belang van negatieve beloning in RL:
Negatieve beloningen in reinforcement learning (RL) zijn cruciaal voor het vormgeven van het gedrag van agents en het bevorderen van gewenste resultaten. In plaats van te vertrouwen op menselijke oordelen, is de beste aanpak het ontwerpen van systemen waarin beloningen organisch zijn en gebaseerd op werkelijke resultaten. In de context van rijden kunnen negatieve beloningen bijvoorbeeld worden gekoppeld aan ongevallen of aanzienlijke vertraging. Door te focussen op objectieve metingen zoals tijds-efficiëntie en comfort, kunnen RL-agents leren om optimale beslissingen te nemen zonder dat hier menselijke, subjectieve labeling voor nodig is. Deze aanpak zorgt voor robuust en effectief leren zonder de complexiteit van uiteenlopende meningen en oordelen.

Toepassingen van Reinforcement Learning in de financiële sector

1. Portefeuillebeheer: Reinforcement learning kan worden gebruikt om investeringen dynamisch toe te wijzen op basis van veranderende marktomstandigheden, het optimaliseren van de allocatie van middelen over verschillende activa en het aanpassen van risiconiveaus.
2. Prijsstelling van derivaten: Reinforcement learning-technieken kunnen worden ingezet om complexe derivaten, zoals opties, nauwkeurig te geprijsd en te hedgen, wat bijdraagt aan verbeterd risicobeheer in financiële markten.
3. Algoritmische handel: Reinforcement learning kan realtime handelsbeslissingen vergemakkelijken, waaronder optimale uitvoeringsstrategieën voor grote bloktransacties en bid-ask spread-controle voor market makers, wat de handelsefficiëntie en winstgevendheid verhoogt.

Deze toepassingen vertegenwoordigen slechts een deel van de potentiële use-cases voor reinforcement learning in finance. Naarmate het vakgebied zich blijft ontwikkelen, worden meer mogelijkheden voor het benutten van RL verwacht, wat leidt tot een toenemende adoptie en vooruitgang in financiële besluitvormingsprocessen.

Hoe RL kan omgaan met verschillende tijdsbestekken voor investeringen.

Bij het overwegen van verschillende tijdsbestekken voor investeringen in de financiële wereld wordt het concept van de tijdswaarde van geld cruciaal. De tijdswaarde van geld erkent dat de waarde van geld dat in de toekomst wordt ontvangen minder is dan hetzelfde geldbedrag dat in het heden wordt ontvangen. Reinforcement learning (RL)-frameworks houden hier rekening mee door een verdisconteringsvoet (discount factor) op te nemen, die de waardering van toekomstige beloningen in het heden mogelijk maakt.

In de financiële wereld wordt de verdisconteringsvoet bepaald op basis van het risicovrije rendement. Als de risicovrije rente bijvoorbeeld 4% is, zou een beloning van $ 1 die over één jaar wordt ontvangen in contante waarde ongeveer $ 0,96 waard zijn. Dit verdisconteringsmechanisme binnen RL helpt de tijdswaarde van geld en het belang van verschillende tijdshorizons voor investeringen vast te leggen.

Een andere overweging bij het maximaliseren van financieel rendement is de afweging tussen risico en beloning. Hoewel het maximaliseren van verwachte rendementen een gemeenschappelijk doel is, stelt het beleggers bloot aan verschillende niveaus van onzekerheid en risico. Elk individu heeft een eigen risicobereidheid en voorkeur voor het balanceren van potentiële beloningen en risico's. Deze afweging tussen rendement en risico is een sleutelaspect van de nutstheorie, die behandelt hoe individuen verschillende resultaten waarderen op basis van hun risicovoorkeuren.

In de financiële wereld gaat de beloningsfunctie verder dan louter dollarbedragen en omvat deze voor risico gecorrigeerde rendementen. Het definiëren van een doelstelling die voor risico gecorrigeerde rendementen omvat, stelt beleggers in staat hun beleggingsstrategieën af te stemmen op hun risicotolerantie en gewenste afweging tussen risico en beloning. De nutstheorie biedt een kader om deze afweging te begrijpen en te kwantificeren, wat beleggers helpt om geïnformeerde beslissingen te nemen.

Het verkennen van de ingewikkelde relatie tussen tijdsbestekken, voor risico gecorrigeerde rendementen en menselijke voorkeuren vereist een dieper begrip van finance en nutstheorie, wat verder verkend kan worden in uitgebreide bronnen zoals het boek van Ashwin Rao over reinforcement learning voor finance.

Reinforcement Learning gebruiken om LLMs te verbeteren

Reinforcement learning (RL) heeft een aanzienlijke rol gespeeld bij het verbeteren van Large Language Models (LLMs) zoals Chat GPT. Hoewel RL wellicht niet op grote schaal bekend is bij het grote publiek, is het een cruciale techniek achter de vooruitgang in LLMs geweest.

De reis naar de ontwikkeling van Chat GPT begon enkele jaren geleden met eerdere versies zoals GPT-2 en GPT-3. Deze modellen produceerden echter vaak onsamenhangende of irrelevante antwoorden, wat hun bruikbaarheid beperkte. Maar binnen een relatief korte periode werden opmerkelijke verbeteringen waargenomen in de kwaliteit van de antwoorden gegenereerd door modellen zoals Chat GPT.

De belangrijkste doorbraak kwam voort uit het integreren van RL als middel om de antwoorden van het model te sturen. Stel je voor dat je Chat GPT-4 dagelijks gebruikt, waarbij je na elk gegenereerd antwoord de mogelijkheid hebt om feedback te geven. Je kunt aangeven of het antwoord geweldig of waardevol was, of dat het onzinnig of irrelevant leek. Deze feedback werkt als een beloning of straf voor het model, wat de toekomstige antwoorden vormgeeft.

In de context van een gesprek creëert deze feedbackloop een RL-framework. Het model ontvangt de beloning of straf op basis van hoe gebruikers reageren op de antwoorden. Deze continue interactie stelt het model in staat om na verloop van tijd te leren en te verbeteren. Het RL-framework legt de sequentiële aard van gesprekken vast, waarbij toestandsovergangen plaatsvinden naarmate de dialoog vordert.

Via dit RL-framework leert Chat GPT begrijpen wat een zinvol antwoord is versus een onzinnig antwoord. Het helpt ook bij het aanpakken van het probleem van hallucinaties, waarbij het model output genereert die onjuist of verzonnen kan zijn. Door feedback te ontvangen op deze gevallen van hallucinatie, kan het model leren om deze te beheersen en te minimaliseren.

RL voor LLMs kan dus worden gezien als een methode voor hallucinatiebeheersing, wat zorgt voor een balans tussen het genereren van creatieve en coherente antwoorden zonder te ver door te schieten in het domein van onzinnige output. Door RL-technieken te benutten, kunnen LLMs zoals Chat GPT hun prestaties voortdurend verbeteren en de algehele gebruikerservaring verrijken.

De integratie van RL in LLMs vertegenwoordigt een belangrijke richting voor toekomstige ontwikkelingen in taalverwerking en -begrip. Het stelt modellen in staat om hun antwoorden aan te passen en te verfijnen op basis van realtime feedback van gebruikers, wat leidt tot nauwkeurigere, relevantere en contextbewuste interacties.

Zorgen voor veilige, onbevooroordeelde en hoogwaardige antwoorden in LLMs

Benaderingen om te zorgen voor veilige, onbevooroordeelde en hoogwaardige antwoorden in LLMs:

1. Menselijke feedback integreren: Menselijke beoordelaars kunnen situaties identificeren en feedback geven waarin LLM-antwoorden onveilig of schadelijk kunnen zijn. Deze feedback helpt het model te trainen om dergelijke gevallen te herkennen en te vermijden.
2. Ethische grenzen definiëren: Techbedrijven kunnen vooraf gedefinieerde grenzen of beperkingen instellen voor bepaalde gebieden zoals moraal, ethiek en vooraf gedefinieerd gedrag. Deze grenzen zijn hardcoded en niet onderhevig aan wijziging via RL-training, wat zorgt voor consistent gedrag dat is afgestemd op ethische normen.
3. Formele en systematische modellering: Het waarborgen van veilige, onbevooroordeelde en hoogwaardige antwoorden vereist een formelere benadering van het modelleren en vormgeven van LLM-gedrag. Dit omvat systematische processen voor het aanpakken van vooringenomenheid, veiligheidsproblemen, juistheid en responskwaliteit die verder gaan dan alleen het bieden van beloningen.
4. Continue monitoring: Lopende monitoring van LLM-gedrag is cruciaal om eventuele potentiële problemen te detecteren en aan te pakken. Regelmatige evaluatie en analyse helpen gebieden te identificeren waar verbeteringen kunnen worden aangebracht om de veiligheid en kwaliteit van antwoorden te verhogen.
5. Een balans vinden: Het trainingsproces moet een balans vinden tussen het bieden van flexibiliteit en het naleven van veiligheids- en kwaliteitsnormen. Dit omvat een zorgvuldige afweging van compromissen en constante verfijning om het gedrag van het model te optimaliseren.
6. Onderzoek en verbetering: Continu onderzoek naar en verbetering van trainingstechnieken zijn essentieel om de robuustheid en betrouwbaarheid van LLMs te vergroten. Dit omvat het waakzaam blijven tegen potentiële misbruik door kwaadwillenden en het proactief aanpakken van opkomende uitdagingen.

Lees onze vorige blogs in de True ML Talks-serie:

‍

True ML Talks #13 - Machine Learning Platform @ Cookpad

In deze blog duiken we diep in Cookpad’s Machine Learning Platform en Nvidia Triton. Begrijp Cookpad’s ML-architectuur en hoe ML wordt gebruikt bij Cookpad.

TrueFoundry Blog TrueFoundry

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om workflows van ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en implementeren van modellen en volledige beveiliging en controle voor het Infra-team gegarandeerd blijft. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te implementeren en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden terug te draaien - waardoor ze kosten besparen en Modellen sneller naar productie brengen, wat echte zakelijke waarde oplevert.