TrueML Talks #27 - GenAI en LLMOps voor Customer Success @ Level AI

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in de GenAI- en LLMOps-strategie van Level AI in ons gesprek met Abhimanyu Talwar

Abhimanyu is Staff AI Research Engineer bij Level AI. Level AI is een conversational intelligence-bedrijf. Ze gebruiken machine learning om inzichten te halen uit  conversatiegegevens.

📌

Onze gesprekken met Abhimanyu behandelen de volgende aspecten:
- Eerdere gesprekken benutten voor Customer Service AI
- De verborgen uitdagingen van Generatieve AI aanpakken
- Open Source vs. Fine-Tuning
- Agents begrijpen
- Contact Center QA demystificeren met AI
- Customer Service AI met GPT-4
- MLOps revolutioneert Customer Success

Bekijk de volledige aflevering hieronder:

Eerdere gesprekken benutten voor Customer Service AI

Customer service AI is ontzettend populair, maar uitsluitend vertrouwen op statische kennisbanken heeft zijn beperkingen. Agent Assist en AgentGPT, twee innovatieve tools van Level AI, ontsluiten de kracht van eerdere gesprekken om de efficiëntie van agents en de klanttevredenheid te verhogen.

• Agent Assist: Analyseert klantvragen en suggereert relevante bronnen uit de bestaande kennisbank, waardoor agents effectief kunnen reageren.
• AgentGPT: Gaat nog een stap verder. Het analyseert eerdere gesprekken en extraheert en indexeert automatisch waardevolle informatie die niet in de kennisbank te vinden is. Dit creëert een dynamisch, voortdurend groeiend corpus van oplossingen voor genuanceerde klantvragen.

Retrieval: Eerdere gesprekken doorzoeken naar antwoorden

Vergeet keyword matching! Level maakt gebruik van een krachtige retrieval-pipeline:

• Pre-processing: Eerdere gesprekken worden omgezet in een eenvoudig doorzoekbaar formaat.
• Custom Indexing: Unieke sleutels zijn ontworpen om huidige vragen te matchen met relevante eerdere interacties.
• Embeddings: Geavanceerde embedding-modellen (denk aan RAG-pipelines) leggen de semantische betekenis van gesprekken vast, wat nauwkeurige retrieval mogelijk maakt.

Om nog betere resultaten te leveren, voeren ze bovendien het volgende uit:

• Re-ranking: Prioriteer de meest relevante resultaten op basis van context en aanvullende factoren.
• Keyword Filters: Elimineer irrelevante of onnuttige eerdere interacties uit de zoekopdracht.

Door zowel de kracht van statische kennisbanken als de dynamische inzichten uit eerdere gesprekken te benutten, bieden Agent Assist en AgentGPT een blik op de toekomst van customer service AI. Een toekomst waarin agents beschikken over de juiste informatie, wat leidt tot snellere oplossingen, tevredenere klanten en een efficiënter contact center.

De verborgen uitdagingen van Generatieve AI aanpakken

Gen AI is een krachtig hulpmiddel, maar het succes ervan hangt af van zorgvuldige datacuratie, robuuste evaluatiemethoden en een datagedreven aanpak.

De juiste data selecteren uit je gigantische corpus is als het vinden van de perfecte ingrediënten voor een heerlijk gerecht. Een slechte dataselectie leidt tot een model dat, tja, oneetbaar is.

First thing is focus on your data. Basically, have a very good handle on what your data mix looks like. What is the quality of your annotations? All of that really matters a lot. Otherwise it will be garbage in, garbage out
– Abhimanyu

Na het kiezen van de juiste data moet je je Gen AI-modellen evalueren. Dit is niet zo eenvoudig als traditionele AI-taken. Vergeet eenvoudige metrieken zoals N-gram overlap – ze missen de nuances van correctheid. Eén enkel verwisseld woord ("ja" in plaats van "nee") kan al het verschil maken.

Hiervoor kun je gebruikmaken van:

• Programmatische Metrieken: Gebruik tools zoals ROUGE- en BERT-scores om semantische gelijkenis te beoordelen.
• Menselijke Annotaties: Zet echte mensen in om kwalitatieve aspecten zoals coherentie en volledigheid te evalueren.

Haast je niet meteen naar grote modellen. Voer experimenten uit met kleinere checkpoints om de optimale datamix en taakweging te vinden.

Open Source vs. Fine-Tuning

Het is verleidelijk om vast te houden aan de schijnbare veelzijdigheid van ChatGPT. Hoewel GPT-4 uitblinkt in onbegrensde scenario's, werken bedrijven met real-world beperkingen. Hoge verkeersvolumes vereisen efficiënte, kosteneffectieve oplossingen zonder dat dit ten koste gaat van prestaties of responstijd.

Dit is waar het fine-tunen van je eigen modellen voordelig kan zijn:

• Hyperfocus: In plaats van te proberen in alles goed te zijn, stem je je model af om te blinken in specifieke, bedrijfskritische taken. Stel je een model voor dat expert is in contact center-interacties in plaats van het schrijven van academische essays!
• Kosteneffectiviteit: Kleinere, gefocuste modellen vereisen minder rekenkracht, wat zich vertaalt in lagere operationele kosten.
• Controle en Uitlegbaarheid: Fine-tuning geeft je dieper inzicht in en controle over het gedrag van je model, wat vertrouwen en transparantie bevordert.

ChatGPT als springplank

Vlak opties zoals ChatGPT niet helemaal uit. Het kunnen waardevolle bondgenoten zijn! Overweeg ze te gebruiken als uitgangspunt om:

• Je idee te valideren: Test de haalbaarheid met open-source modellen voordat je investeert in maatwerkontwikkeling.
• Zakelijke tractie te verzamelen: Gebruik direct beschikbare tools om praktijkfeedback te verzamelen en de levensvatbaarheid te aantonen voordat je in fine-tuning duikt.

Agents begrijpen

Wat zijn agents?

Zie ze als gespecialiseerde teams van LLM's, waarbij elk teamlid een specifieke rol speelt in een grotere workflow. In plaats van enkele API-calls omvatten taken meerdere "agents" die samenwerken via opeenvolgende API-calls.

Waarom agents gebruiken?

Stel je voor dat je een gedicht schrijft: je hebt creativiteit, rijmanalyse en zelfs een grammaticacontrole nodig. De ene LLM kan uitblinken in het genereren van de eerste verzen, een andere in het controleren van het rijmschema en een derde in het verfijnen van het definitieve concept. Met agents kun je de unieke krachten van verschillende modellen benutten om superieure resultaten te behalen.

Wanneer zijn agents de juiste keuze?

• Complexe taken: Wanneer een enkele LLM moeite heeft met de volledige omvang van je doel, kunnen agents het opbreken in beheersbare stappen.
• Precisie en controle: Het Sequencen van verschillende "agent"-calls geeft je meer controle over het proces, waardoor je de stappen kunt afstemmen op specifieke resultaten.
• Uiteenlopende vaardigheden combineren: Benut de unieke kwaliteiten van diverse LLM's om echt innovatieve resultaten te creëren.

Contact Center QA demystificeren met AI

Een van de oplossingen van Level AI is Agent Assist, een krachtige AI-tool aangedreven door GPT-technologie. Het helpt QA te automatiseren door gesprekken te analyseren en inzicht te bieden in de prestaties van agents.

Zo werkt het:

1. QA-rubriek: Contact centers hanteren specifieke criteria voor goede gesprekken, zoals proactieve probleemoplossing en succesvolle afhandeling. Agent Assist leert deze criteria uit eerdere gesprekken.
2. AI-analyse: Elk gesprek wordt geanalyseerd en Agent Assist geeft een score en uitleg op basis van de QA-rubriek.
3. Uitlegbaarheid met bewijs: Geen 'black box': Agent Assist licht specifieke delen van het gesprek uit die de score onderbouwen, wat agents waardevolle feedback oplevert.
4. Human-in-the-Loop: QA-managers kunnen de bevindingen van Agent Assist beoordelen en scores indien nodig aanpassen, wat nauwkeurigheid en eerlijkheid garandeert.

Voordelen van Agent Assist:

• Snellere QA: Bespaart tijd en middelen vergeleken met handmatige beoordelingen.
• Verbeterde prestaties van agents: Biedt gerichte feedback om agents te helpen excelleren.
• Datagedreven inzichten: Onthult trends en verbeterpunten binnen de klantenservice.
• Verhoogde efficiëntie: Maakt QA-managers vrij voor meer strategische taken.

Customer Service AI met GPT-4

De komst van GPT-4 heeft gezorgd voor veel enthousiasme in de AI-wereld, maar is het een totaaloplossing voor uitzonderlijke customer service-ervaringen? Niet helemaal. Hoewel de kracht onmiskenbaar is, schuilen er veel verborgen lagen achter echt impactvolle AI-oplossingen.

De kracht en valkuilen van grote modellen:

Het ruwe potentieel van GPT-4 is opmerkelijk en overtreft open-source modellen en API's in het genereren van antwoorden. Echter, uitsluitend vertrouwen op de output ziet cruciale onderdelen van de AI-pipeline over het hoofd: dataselectie, feature extraction, aggregatie en zakelijke domeinkennis.

Een winnend team bouwen:

• Dataselectie: Het vinden van de juiste trainingsdata is essentieel. Het annoteren van eerdere gesprekken specifiek voor jouw sector leert de AI wat "goede" en "slechte" service is.
• Feature Extraction: Ruwe data moet worden gedistilleerd. Het extraheren van kernattributen uit elk gesprek maakt analyse en vergelijking mogelijk.
• Aggregatie en Clustering: Miljoenen gesprekken met ontelbare attributen zijn overweldigend. Slimme clusteringschema's presenteren de data op een manier die mensen kunnen begrijpen en gebruiken.
• Zakelijke Domeinkennis: Begrijpen wat echt belangrijk is voor je klanten gaat verder dan metrieken. Ervaring in de sector helpt om de juiste KPI's te prioriteren en AI-ontwikkeling te sturen.

Je kunt meer lezen over hoe bedrijven menselijke expertise en AI combineren voor Customer Service in de onderstaande blog.

‍

How Companies Can Blend AI and Human Expertise for Superior Customer Service | Level AI

This article, an extract from a recent interview where Christian Lunoe spoke with Paul Harraghy, VP of CARE at VistaPrint, explores the intricate balance

Level AI mythreya lingala

‍

MLOps Revolutioneert Customer Success

Het Customer Success-landschap wordt opnieuw vormgegeven door MLOps, de magische formule achter efficiënte AI-implementaties. Hier is een voorproefje van de impact op de komende 5 jaar:

• Efficiëntie verhogen: Zeg vaarwel tegen trage queries en gefrustreerde klanten. AI-gestuurde chatbots, aangedreven door MLOps, beantwoorden vragen direct, waardoor agents tijd overhouden voor waardevolle interacties.
• Harmonie tussen mens en AI: De toekomst draait niet om robots die mensen vervangen, maar om samenwerking. MLOps ondersteunt agents met datagedreven inzichten voor slimmer verkoopadvies, proactieve probleemoplossing en gepersonaliseerde ervaringen.
• Datagedreven beslissingen: MLOps ontsluit de kracht van klantdata. AI-modellen voorspellen behoeften, personaliseren aanbevelingen en bouwen vertrouwen op door geïnformeerde acties.
• Hyper-personalisatie: MLOps stemt alles af, van aanbiedingen tot ondersteuning, wat zorgt voor duurzame relaties en loyaliteit.
• De 'Hallucinatie-geest' in de fles houden: MLOps pakt onnauwkeurigheden aan met gerichte training en verificatie op basis van bewijs, wat betrouwbare klantinteracties garandeert.

MLOps is de sleutel tot het creëren van een klantgerichte toekomst, maar verantwoord en ethisch gebruik is cruciaal. Door het potentieel te omarmen en tegelijkertijd uitdagingen aan te pakken, kunnen we succesverhalen bouwen die gezien mogen worden.

Je kunt meer lezen over hoe Generatieve AI de toekomst van Customer Experience gaat vormgeven in de onderstaande blog.

‍

Generative AI: the future of CX

Voice of the customer insights unveils hidden trends and emerging themes without bias, effort, or friction.

Level AI mythreya lingala

‍

Lees onze eerdere blogs in de True ML Talks-serie:

‍

Enterprise GenAI and LLMOps with Labhesh Patel

Learn how to leverage GenAI and LLMs to solve your business use cases from Labhesh Patel, ex-CTO and Chief Scientist @Jumio

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML youtube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om ontwikkelaars-workflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en implementeren van modellen met gegarandeerde beveiliging en controle voor het Infra-team. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden te roll-backen. Hierdoor besparen ze kosten en brengen ze modellen sneller naar productie, wat leidt tot echte zakelijke waarderealisatie.