Klantenservice verbeteren met real-time AI-ondersteuning met behulp van Cognita

Over Cognita

Cognita is een veelzijdig open-source RAG-framework dat is ontworpen om leiders op het gebied van Data Science, Machine Learning en Platform Engineering in staat te stellen schaalbare RAG-applicaties te bouwen en te deployen. Het beschikt over een volledig modulaire, gebruiksvriendelijke en aanpasbare architectuur, wat zorgt voor volledige beveiliging en compliance. Het wordt ook geleverd met een UI die het eenvoudiger maakt om verschillende RAG-configuraties uit te proberen en de resultaten in real-time te bekijken.

Inleiding tot de usecase

In een tijdperk waarin klantervaring het succes van een bedrijf bepaalt, is het vermogen om onmiddellijke en nauwkeurige ondersteuning te bieden cruciaal. TrueFoundry's Cognita-framework maakt de ontwikkeling mogelijk van geavanceerde real-time AI-applicaties die zijn afgestemd op klantenservice. Door gebruik te maken van het modulaire en open-source karakter van Cognita kunnen bedrijven hun ondersteuningssystemen verbeteren om superieure klantenservice te leveren.

Welk probleem proberen we op te lossen?

Huidige klantenservicesystemen kampen met aanzienlijke problemen bij het voldoen aan de hoge verwachtingen van klanten op het gebied van snelle en nauwkeurige antwoorden. Conventionele ondersteuningsmethoden slagen er niet in om grote hoeveelheden verzoeken te verwerken, consistentie in antwoorden te waarborgen en 24/7 beschikbaarheid te bieden. Deze moeilijkheden leiden tot hogere operationele kosten, lagere klanttevredenheid en inefficiënties, wat de bedrijfsgroei kan belemmeren.

Handmatige vs. geautomatiseerde klantenservice

In een traditioneel handmatig klantenservicesysteem zijn menselijke medewerkers verantwoordelijk voor het individueel afhandelen van elke klantvraag. Dit arbeidsintensieve proces houdt in dat medewerkers door uitgebreide kennisbanken, documentatie en eerdere query-records navigeren om nauwkeurige en relevante informatie te vinden. De variabiliteit in menselijke prestaties kan leiden tot inconsistenties in de antwoorden, waarbij de kwaliteit van de ondersteuning sterk afhangt van de expertise en ervaring van de medewerker. Bovendien vereist het onderhouden van een 24/7 ondersteuningssysteem een aanzienlijk personeelsbestand, wat ploegendiensten noodzakelijk maakt en leidt tot hogere operationele kosten. Tijdens piekmomenten leidt de handmatige aanpak vaak tot achterstanden, langere responstijden en ontevredenheid bij klanten.

Deze geautomatiseerde pipeline vermindert niet alleen de responstijden aanzienlijk, maar zorgt er ook voor dat elke klantinteractie met consistente nauwkeurigheid en betrouwbaarheid wordt afgehandeld. De schaalbaarheid van Cognita stelt het systeem in staat om grote aantallen verzoeken tegelijk te verwerken, wat het een praktische keuze maakt voor ondernemingen die te maken hebben met groei of veranderende ondersteuningsbehoeften. Bovendien ontlast deze automatisering menselijke medewerkers van alledaagse vragen, waardoor zij zich kunnen concentreren op complexere kwesties, wat de algehele efficiëntie en doeltreffendheid van de ondersteuningsactiviteiten verhoogt.

Oplossing

De overstap naar een geautomatiseerd systeem aangedreven door TrueFoundry's Cognita-framework maakt de integratie van geavanceerde AI-componenten mogelijk om de afhandeling van klantvragen te automatiseren. Specifiek zorgt het gebruik van data loaders en parsers ervoor dat een uitgebreide en gestructureerde dataset direct beschikbaar is voor het systeem om van te leren. Door embedders te implementeren, wordt tekstuele data omgezet in hoogdimensionale vectoren, wat efficiënte en nauwkeurige gelijkeniszoekopdrachten (similarity searches) vergemakkelijkt. De vector databases ondersteunen het snel ophalen van deze ingebedde informatie, wat zorgt voor real-time prestaties. Wanneer een query wordt ontvangen, coördineert de query controller het proces, gebruikmakend van rerankers om de meest relevante antwoorden te evalueren en te prioriteren.

Het implementeren van Cognita voor klantenservice kan deze uitdagingen aanpakken door:

• Geautomatiseerde afhandeling van vragen: Gebruikmaken van Cognita's embedders en vector databases om snel relevante informatie op te halen en nauwkeurige antwoorden op klantvragen te bieden.
• Real-time ondersteuning: Gebruikmaken van de reranking- en query controller-modules om ervoor te zorgen dat de meest relevante en beknopte informatie wordt verstrekt, wat de klantervaring verbetert.
• Schaalbaarheid: Het modulaire ontwerp van Cognita maakt het eenvoudig schalen van het systeem mogelijk om toenemende volumes aan vragen af te handelen zonder dat dit ten koste gaat van de prestaties.

Cognita deployen met TrueFoundry

U kunt Cognita lokaal gebruiken of met/zonder het gebruik van TrueFoundry-componenten. Het gebruik van TrueFoundry-componenten maakt het echter eenvoudiger om verschillende modellen te testen en het systeem op een schaalbare manier te deployen. Met Cognita kunt u meerdere RAG-systemen hosten via één app. Daarom gebruiken we TrueFoundry-componenten om initieel een kleinschalige supportbot te maken voor alleen de MacBook Pro, en voegen we later meer producten en ondersteuning voor verschillende talen toe om op te schalen.

Zodra u een cluster heeft ingesteld, een Storage Integration heeft toegevoegd en een ML Repo en Workspace heeft aangemaakt, bent u klaar om te beginnen met het deployen van een op Cognita gebaseerde RAG-applicatie met behulp van TrueFoundry. Meer informatie over deze eenmalige instelling vindt u hier. Eenmaal voltooid:

• Navigeer naar het tabblad Deployments.
• Klik op de knop + New Deployment rechtsboven en selecteer Application Catalogue. Selecteer uw workspace en de RAG Application.
• Vul de deployment-template in:
  • Geef uw deployment een Name
  • Voeg ML Repo toe
  • U kunt een bestaande Qdrant DB toevoegen of een nieuwe aanmaken

Standaard wordt de branch release gebruikt voor deployment (u vindt deze optie in Show Advance fields). U kunt de branchnaam en git repository desgewenst wijzigen.

Zorg ervoor dat u de main branch opnieuw selecteert, aangezien de SHA-commit niet automatisch wordt bijgewerkt.

• Klik op Submit, en uw applicatie wordt gedeployd.

Implementatiestappen

Over het algemeen bestaat de architectuur van Cognita uit verschillende entiteiten. We zullen op elk van hen dieper ingaan via de onderstaande implementatiestappen.

• Data Loading: Cognita's data loaders worden gebruikt om klantenservicedocumenten en historische query-data te importeren uit verschillende bronnen, zoals lokale mappen of cloudopslag. Dit kan worden gedaan door een nieuwe databron toe te voegen vanuit het RAG Endpoint dat na deployment wordt verstrekt, zoals hieronder weergegeven. Meerdere databronnen kunnen hier worden toegevoegd volgens de vereisten om de prestaties van het model te verbeteren. We beginnen initieel met het toevoegen van slechts één MacBook-gids en voegen later andere data toe. De link naar alle geüploade documenten is hier te vinden.

• Parsing en Embedding: Parse de documenten naar een uniform formaat en maak embeddings met behulp van vooraf getrainde modellen om het snel ophalen van relevante informatie te vergemakkelijken. Een nieuwe verzameling documenten uit een databron die in de vorige stap is toegevoegd, kan worden gebruikt voor parsing en embedding. We proberen hier een multimodale usecase op te lossen, waarbij we een PDF nemen, deze omzetten in een afbeelding en opsplitsen in pagina's, waarbij elke pagina wordt omgezet in afbeeldingen. Vervolgens wordt een specifieke analyse uitgevoerd via prompts, waarbij inzichten worden verzameld en opgeslagen in de VectorDB. Wanneer een vraag wordt gesteld, wordt de vraag gezocht in alle opgeslagen inzichten; de pagina wordt opgehaald en vervolgens naar het vision model gestuurd voor het beantwoorden van de vraag. Zodra op de knop Process wordt geklikt, wordt de verzameling aangemaakt, een nieuwe pod aangemaakt, begint de indexeringstaak en wordt de data ingelezen in de verschillende qdrants. Let op: dit kan enkele minuten duren.

• Query Handling: Implementeer de query controller om inkomende vragen te verwerken, potentiële antwoorden te reranken en de meest nauwkeurige antwoorden in real-time te bieden. We kunnen bijvoorbeeld de basic-rag gebruiken voor eenvoudige tekst-parsing. Bij het verwerken van PDF-documenten is een multimodal-rag echter een betere optie, omdat deze het vision model gebruikt (momenteel GPT-4) om vragen over PDF's te beantwoorden die zijn geparst met de multimodale parser. Omdat we een multimodale parser gebruiken, leidt de multimodal-rag tot betere resultaten.

• Eindeloze verbetering: Werk de embeddings en rerankingmodellen continu bij op basis van nieuwe data en klantinteracties om de nauwkeurigheid en efficiëntie van het systeem te verbeteren. Verschillende retrievers kunnen worden gebruikt vanuit het vervolgkeuzemenu, zoals hieronder weergegeven. Bovendien kunnen nieuwe documenten aan de databron worden toegevoegd en kan de indexeringstaak opnieuw worden uitgevoerd om het model te verbeteren. Bijv. Voor complexere gebruikersvragen kan een multi-query + re-ranking + similarity-model worden gebruikt, wat k vereist in search_kwargs voor similarity search, en de search_type kan similarity, MMR of similarity_score_threshold zijn. Dit werkt door complexe vragen op te splitsen in eenvoudigere vragen, relevante documenten voor elk daarvan te vinden, ze te reranken en naar het LLM te sturen. Vervolgens worden de resultaten verzameld en verstrekt. We kunnen spelen met de prompt-template onder de Retriever-optie om rijkere antwoorden te krijgen.

Stel dat u de RAG-applicatie wilt schalen. In dat geval kunnen we dit doen door verschillende databronnen toe te voegen om het in staat te stellen in te spelen op uiteenlopende klantvragen en een alomvattende oplossing te bieden. We voegen andere documenten toe, waaronder ondersteuningsdocumenten voor verschillende MacBooks, iPads, iPhones, AirPods en watchOS, door een nieuwe databron toe te voegen en deze te koppelen aan de verzameling. De RAG fungeert nu als een uitgebreide AI-klantenserviceagent voor een breed scala aan Apple-producten. Sommige documenten zijn ook in verschillende talen om het verder op te schalen door meertalige ondersteuning toe te voegen.

Implementatievoorbeeld

We testen het model nu door het een complexe query te geven, en de resultaten worden hieronder weergegeven.

In een test van het Cognita-framework heeft het model de vraag "What is new in iPadOS 17 and iOS 17 in English? Talk about the batteries in AirPods Pro 2nd Gen in French" succesvol beantwoord, waarmee het zijn vermogen demonstreert om complexe, meertalige vragen af te handelen. Het model maakte gebruik van de multimodal-rag-configuratie om informatie uit verschillende documenten te verwerken en te synthetiseren, wat een gedetailleerde lijst van nieuwe functies in iPadOS 17 en iOS 17 opleverde, zoals verbeterde FaceTime-mogelijkheden en verbeteringen in de Gezondheid-app. Bovendien leverde het precieze informatie over de batterijen van de AirPods Pro 2nd Gen in het Frans, met aandacht voor veiligheid, batterijlevensduur en vervangingsprocedures. Deze test onderstreept Cognita's vermogen om geavanceerde NLP- en vision-modellen te integreren, wat zorgt voor nauwkeurige, contextueel relevante antwoorden in meerdere talen, waardoor de klantenservice wordt verbeterd met real-time informatieverzameling van hoge kwaliteit.

Voordelen

• Verminderde latency en verbeterde doorvoer: Door gebruik te maken van geavanceerde embeddingtechnieken en efficiënte vector databases zorgt Cognita voor snelle queryverwerking, waardoor responstijden worden teruggebracht tot milliseconden. Dit is van cruciaal belang voor het behouden van klanttevredenheid in omgevingen met hoge druk.
• Adaptief leren en voortdurende verbetering: Het integreren van feedbacklussen en het continu bijwerken van de model-embeddings op basis van real-time interacties stelt het systeem in staat te leren en te verbeteren, waardoor het aantal fouten afneemt en de nauwkeurigheid van antwoorden na verloop van tijd toeneemt.
• Optimalisatie van middelen en kostenefficiëntie: Het automatiseren van de vraagafhandeling vermindert de behoefte aan een groot menselijk ondersteuningsteam aanzienlijk, wat resulteert in substantiële kostenbesparingen. Bovendien stelt het menselijke medewerkers in staat zich te concentreren op complexere taken met een hoge waarde, wat de algehele ondersteuningskwaliteit verbetert.
• Schaalbaarheid en flexibiliteit: De modulaire architectuur van Cognita zorgt ervoor dat het systeem snel horizontaal kan schalen om toenemende queryvolumes op te vangen zonder dat dit ten koste gaat van de prestaties. Deze veelzijdigheid is van cruciaal belang voor bedrijven met een snelle ontwikkeling of seizoensgebonden pieken in de ondersteuningsbehoefte.
• Verbeterde klantretentie en -loyaliteit: Door consistente, nauwkeurige en tijdige antwoorden te bieden, verbetert Cognita de klantervaring, wat leidt tot hogere tevredenheid, grotere loyaliteit en minder verloop. Dit vertaalt zich direct in een hogere customer lifetime value en bedrijfsomzet.

Aanvullende verbeteringen door bedrijven

• Geavanceerde personalisatie en gebruikersprofilering:
  Door gebruikersprofilering en geavanceerde personalisatie-algoritmen te integreren, kunnen bedrijven antwoorden afstemmen op individuele gebruikersvoorkeuren en eerdere interacties. Dit kan worden bereikt door historische data te analyseren en gebruikersspecifieke context in queries in te bedden, wat de relevantie en personalisatie van antwoorden verhoogt.
• Meertalige ondersteuning:
  Het opnemen van meertalige mogelijkheden stelt bedrijven in staat om ondersteuning in meerdere talen te bieden. Dit kan worden geïmplementeerd door taaldetectie- en vertaalmodules binnen Cognita te integreren, wat naadloze ondersteuning voor een wereldwijd klantenbestand mogelijk maakt zonder dat er extra menselijke middelen nodig zijn.
• Sentimentanalyse en emotionele intelligentie:
  Bedrijven die modules voor sentimentanalyse en emotionele intelligentie integreren, kunnen gevoelens van klanten peilen en antwoorden dienovereenkomstig aanpassen. Dit omvat real-time analyse van de toon en houding van de klant, waardoor de AI empathische en passende antwoorden kan geven, wat de algehele klanttevredenheid verhoogt.
• Proactieve ondersteuning en voorspellende analyses:
  Voorspellende analyses stellen bedrijven in staat om te anticiperen op de behoeften en problemen van klanten voordat ze zich voordoen. Bovendien kan Cognita door het evalueren van gebruikspatronen en historische data proactieve ondersteuningsinterventies starten, zoals het bieden van oplossingen voor vaak voorkomende problemen of het informeren van klanten over mogelijke problemen, waardoor de klantervaring wordt verbeterd en het aantal inkomende verzoeken afneemt.
• Integratie met CRM-systemen:
  Naadloze integratie met CRM-systemen kan een holistisch beeld van klantinteracties bieden. Door data uit CRM-platformen te halen, kan Cognita meer geïnformeerde en contextbewuste antwoorden bieden, wat ervoor zorgt dat klantinteracties consistent en gepersonaliseerd zijn via alle touchpoints.
• Verbeterde beveiliging en privacy:
  Het implementeren van geavanceerde beveiligingsmaatregelen zorgt ervoor dat klantdata veilig wordt verwerkt. Bedrijven kunnen Cognita integreren met veilige oplossingen voor data-opslag en encryptieprotocollen gebruiken om gevoelige informatie te beschermen, wat naleving van regelgeving inzake gegevensbescherming waarborgt en het vertrouwen van de klant behoudt.
• Dynamische inhoud en kennisbankupdates:
  Het automatiseren van het bijwerkproces van kennisbanken zorgt ervoor dat het systeem altijd toegang heeft tot de meest actuele informatie. Door geautomatiseerde pipelines op te zetten voor het inlezen en verwerken van nieuwe inhoud, kan Cognita continu leren van verse data, waardoor het ondersteuningssysteem up-to-date blijft met de nieuwste informatie en trends.

Conclusie

Cognita's modulaire architectuur en geavanceerde AI-mogelijkheden bieden een robuuste oplossing voor het verbeteren van de klantenservice. Het verwerkt efficiënt complexe vragen, verwerkt uiteenlopende datatypen en levert nauwkeurige, real-time antwoorden. Door functies zoals meertalige ondersteuning en voorspellende analyses te integreren, verbetert Cognita de klanttevredenheid en operationele efficiëntie aanzienlijk, wat het een onmisbare tool maakt voor moderne ondersteuningssystemen.