TrueML Talks #27 - GenAI und LLMOPs für Kundenerfolg @ Level AI

Wir sind zurück mit einer weiteren Folge von True ML Talks. In diesem Artikel tauchen wir tief in die GENAI- und LLMOps-Strategie in Level AI ein, während wir gerade sprechen Abhimanyu Talwar

Abhimanyu ist angestellter KI-Forschungsingenieur bei Level AI. Stufe KI ein Unternehmen für Konversationsintelligenz. Sie nutzen maschinelles Lernen, um Erkenntnisse aus Konversationsdaten zu gewinnen.

📌

Unsere Gespräche mit Abhimanyu werden die folgenden Aspekte behandeln:
- Rückgriff auf vergangene Gespräche für Kundenservice-KI
- Bewältigung der versteckten Herausforderungen generativer KI
- Open Source im Vergleich zur Feinabstimmung
- Agenten verstehen
- Entmystifizierung der Contact-Center-QA mit KI
- Kundenservice-KI mit GPT-4
- MLOps revolutionieren den Kundenerfolg

Sehen Sie sich die ganze Folge unten an:

Frühere Gespräche für Kundenservice-KI aufgreifen

KI im Kundenservice ist voll im Trend, aber sich ausschließlich auf statische Wissensdatenbanken zu verlassen, hat ihre Grenzen. Agentenunterstützung und Agent GPT, zwei innovative Tools von Level AI, die das Potenzial vergangener Konversationen nutzen, um die Effizienz der Agenten und die Kundenzufriedenheit zu steigern.

• Agentenunterstützung: Analysiert Kundenanfragen und schlägt relevante Ressourcen aus der vorhandenen Wissensdatenbank vor, sodass Agenten effektiv reagieren können.
• Agent GPT: Geht noch einen Schritt weiter. Es analysiert vergangene Konversationen und extrahiert und indexiert automatisch wertvolle Informationen, die nicht in der Wissensdatenbank enthalten sind. Dadurch entsteht ein dynamisches, ständig wachsendes Angebot an Lösungen für differenzierte Kundenanfragen.

Abruf: In früheren Gesprächen nach Antworten suchen

Vergessen Sie den Keyword-Matching! Level verwendet eine leistungsstarke Abrufpipeline:

• Vorverarbeitung: Vergangene Konversationen werden in ein leicht durchsuchbares Format umgewandelt.
• Benutzerdefinierte Indizierung: Eindeutige Schlüssel dienen dazu, aktuelle Abfragen mit relevanten früheren Interaktionen abzugleichen.
• Einbettungen: Fortschrittliche Einbettungsmodelle (denken Sie an RAG-Pipelines) erfassen die semantische Bedeutung von Konversationen und ermöglichen so ein genaues Abrufen.

Um bessere Ergebnisse zu erzielen, gehen sie außerdem wie folgt vor:

• Neurangierung: Priorisieren Sie die relevantesten Ergebnisse auf der Grundlage des Kontextes und zusätzlicher Faktoren.
• Suchbegriff-Filter: Beseitigen Sie irrelevante oder wenig hilfreiche frühere Interaktionen aus der Suche.

Agent Assist und AgentGPT nutzen sowohl die Leistungsfähigkeit statischer Wissensdatenbanken als auch die dynamischen Erkenntnisse, die in früheren Gesprächen verborgen waren, und bieten einen Einblick in die Zukunft der Kundenservice-KI. In dieser Zukunft erhalten die Agenten die richtigen Informationen, was zu schnelleren Lösungen, zufriedeneren Kunden und einem effizienteren Kontaktzentrum führt.

Bewältigung der versteckten Herausforderungen generativer KI

Gen AI ist ein leistungsstarkes Tool, aber sein Erfolg hängt von einer sorgfältigen Datenkuration, robusten Bewertungsmethoden und einem datengesteuerten Ansatz ab

Die richtigen Daten aus Ihrem riesigen Korpus auszuwählen ist wie die Suche nach den perfekten Zutaten für ein köstliches Gericht. Eine schlechte Datenauswahl führt zu einem Modell, das, naja, ungenießbar ist.

Konzentrieren Sie sich zunächst auf Ihre Daten. Grundsätzlich sollten Sie einen sehr guten Überblick darüber haben, wie Ihr Datenmix aussieht. Wie ist die Qualität Ihrer Anmerkungen? All das ist wirklich sehr wichtig. Sonst heißt es Müll rein, Müll raus
— Abhimanyu

Nachdem Sie die richtigen Daten ausgewählt haben, müssen Sie Ihre Gen-KI-Modelle evaluieren. Das ist nicht so einfach wie bei herkömmlichen KI-Aufgaben. Vergessen Sie einfache Metriken wie die N-Gramm-Überlappung — sie übersehen die Nuancen der Korrektheit. Ein einziges vertauschtes Wort („Ja“ gegen „Nein“) kann den Unterschied ausmachen.

Dafür kannst du verwenden:

• Programmatische Metriken: Verwenden Sie Tools wie ROUGE- und BERT-Scores, um die semantische Ähnlichkeit zu beurteilen.
• Menschliche Anmerkungen: Setzen Sie echte Menschen ein, um qualitative Aspekte wie Kohärenz und Vollständigkeit zu bewerten.

Beeilen Sie sich nicht in große Modelle. Führen Sie Experimente mit kleineren Checkpoints durch, um den optimalen Datenmix und die optimale Gewichtung der Aufgaben zu ermitteln.

Open Source im Vergleich zur Feinabstimmung

Es ist verlockend, bei der offensichtlichen Vielseitigkeit von ChatGPT zu bleiben. Während GPT-4 in uneingeschränkten Szenarien brilliert, stoßen Unternehmen auf reale Einschränkungen. Ein hohes Verkehrsaufkommen erfordert effiziente, kostengünstige Lösungen ohne Einbußen bei Leistung oder Reaktionsfähigkeit.

Hier kann die Feinabstimmung Ihrer eigenen Modelle von Vorteil sein:

• Hyperfokus: Anstatt zu versuchen, in allem gut zu sein, sollten Sie Ihr Modell so anpassen, dass es bei bestimmten, geschäftskritischen Aufgaben hervorragend abschneidet. Stellen Sie sich ein Model vor, das sich mit Kontaktcentern auskennt, anstatt Aufsätze an der Graduiertenschule zu schreiben!
• Wirtschaftlichkeit: Kleinere, fokussierte Modelle benötigen weniger Rechenleistung, was zu niedrigeren Betriebskosten führt.
• Kontrolle und Erklärbarkeit: Durch die Feinabstimmung erhalten Sie ein tieferes Verständnis und eine bessere Kontrolle über das Verhalten Ihres Modells, wodurch Vertrauen und Transparenz gefördert werden.

ChatGPT als Sprungbrett

Schreiben Sie Optionen wie ChatGPT nicht vollständig ab. Sie können wertvolle Verbündete sein! Erwägen Sie, sie als Ausgangspunkt zu verwenden, um:

• Bestätigen Sie Ihre Idee: Testen Sie das Terrain mit Open-Source-Modellen, bevor Sie in kundenspezifische Entwicklungen investieren.
• Gewinnen Sie Geschäftserfolg: Verwenden Sie leicht verfügbare Tools, um Feedback aus der Praxis zu erhalten und die Machbarkeit unter Beweis zu stellen, bevor Sie mit der Feinabstimmung beginnen.

Agenten verstehen

Was sind Agenten?

Stellen Sie sich diese als spezialisierte LLM-Teams vor, die jeweils eine bestimmte Rolle in einem größeren Arbeitsablauf spielen. Anstelle einzelner API-Aufrufe arbeiten bei Aufgaben mehrere „Agenten“ über sequentielle API-Aufrufe zusammen.

Warum Agenten verwenden?

Stellen Sie sich vor, Sie schreiben ein Gedicht: Sie benötigen Kreativität, Reimanalyse und sogar eine Grammatikprüfung. Ein LLM könnte sich hervorragend darin auszeichnen, erste Strophen zu erstellen, ein anderer darin, Reimschemata sicherzustellen, und ein dritter darin, den endgültigen Entwurf zu verfeinern. Mithilfe von Agenten können Sie die einzigartigen Stärken verschiedener Modelle nutzen, um herausragende Ergebnisse zu erzielen.

Wann sind Agenten die richtige Wahl?

• Komplexe Aufgaben: Wenn ein einziger LLM mit dem vollen Umfang Ihres Ziels zu kämpfen hat, können Agenten es in überschaubare Schritte unterteilen.
• Präzision und Kontrolle: Durch die Sequenzierung verschiedener „Agenten“ -Aufrufe haben Sie mehr Kontrolle über den Prozess und können die Schritte so anpassen, dass bestimmte Ergebnisse erzielt werden.
• Kombination verschiedener Fähigkeiten: Nutzen Sie die einzigartigen Stärken verschiedener LLMs, um wirklich innovative Ergebnisse zu erzielen.

Entmystifizierung der QA im Contact Center mit KI

Eines der Angebote von Level AI ist Agentenunterstützung, ein leistungsstarkes KI-Tool, das auf GPT-Technologie basiert. Es hilft bei der Automatisierung der Qualitätssicherung, indem es Konversationen analysiert und Einblicke in die Leistung der Agenten bietet.

So funktioniert das:

1. QA-Rubrik: Contact Center haben bestimmte Kriterien für gute Anrufe, wie proaktive Problemlösung und erfolgreiche Lösung. Agent Assist lernt diese Kriterien aus früheren Gesprächen.
2. KI-Analyse: Jeder Anruf wird analysiert, und Agent Assist liefert eine Bewertung und eine Erklärung auf der Grundlage der QA-Rubrik.
3. Erklärbarkeit mit Beweisen: Agent Assist ist nicht nur eine Blackbox, sondern hebt auch bestimmte Teile der Konversation hervor, die das Ergebnis unterstützen, und gibt den Agenten wertvolles Feedback.
4. Der Mensch auf dem Laufenden: QA-Manager können die Ergebnisse von Agent Assist überprüfen und die Ergebnisse bei Bedarf anpassen, um Genauigkeit und Fairness zu gewährleisten.

Vorteile von Agent Assist:

• Schnellere Qualitätssicherung: Spart Zeit und Ressourcen im Vergleich zu manuellen Überprüfungen.
• Verbesserte Agentenleistung: Bietet zielgerichtetes Feedback, um Agenten dabei zu unterstützen, hervorragende Ergebnisse zu erzielen.
• Datengestützte Einblicke: Zeigt Trends und Bereiche auf, in denen der Kundenservice verbessert werden kann.
• Höhere Effizienz: Entlastet QA-Manager für strategischere Aufgaben.

Kundenservice-KI mit GPT-4

Die Ankunft von GPT-4 hat in der KI-Welt für Aufregung gesorgt, aber ist es eine zentrale Anlaufstelle für außergewöhnliche Kundenservice-Erlebnisse? Nicht ganz. Ihre Leistungsfähigkeit ist zwar unbestreitbar, aber hinter wirklich wirkungsvollen KI-Lösungen stecken viele verborgene Ebenen.

Die Macht und die Fallstricke großer Modelle:

Das wahre Potenzial von GPT-4 ist bemerkenswert und übertrifft Open-Source-Modelle und APIs bei der Generierung von Antworten. Wenn man sich jedoch ausschließlich auf seine Ergebnisse verlässt, werden die entscheidenden Teile der KI-Pipeline übersehen: Datenauswahl, Merkmalsextraktion, Aggregation und Geschäftswissen.

Aufbau eines Siegerteams:

• Datenauswahl: Es ist entscheidend, die richtigen Trainingsdaten zu finden. Durch das Kommentieren vergangener, branchenspezifischer Konversationen lernt die KI, wie „guter“ und „schlechter“ Service aussieht.
• Merkmalsextraktion: Rohdaten müssen destilliert werden. Das Extrahieren von Schlüsselattributen aus jeder Konversation ermöglicht Analysen und Vergleiche.
• Aggregation und Clustering: Millionen von Gesprächen mit unzähligen Attributen sind überwältigend. Intelligente Clustering-Schemata präsentieren die Daten so, dass Menschen sie verstehen und nutzen können.
• Betriebswirtschaftliches Wissen: Zu verstehen, was für Ihre Kunden wirklich wichtig ist, geht über Kennzahlen hinaus. Branchenerfahrung hilft dabei, die richtigen KPIs zu priorisieren und die KI-Entwicklung zu steuern.

Im folgenden Blog erfahren Sie mehr darüber, wie Unternehmen menschliches Fachwissen und KI für den Kundenservice nutzen.

‍

How Companies Can Blend AI and Human Expertise for Superior Customer Service | Level AI

This article, an extract from a recent interview where Christian Lunoe spoke with Paul Harraghy, VP of CARE at VistaPrint, explores the intricate balance

Level AI mythreya lingala

‍

MLOps revolutionieren den Kundenerfolg

Die Erfolgslandschaft der Kunden wird durch MLOps, die Zauberformel für effiziente KI-Bereitstellungen, neu gestaltet. Hier ist ein kleiner Einblick in die Wirkung von 5 Jahren:

• Steigern Sie die Effizienz: Verabschieden Sie sich von langsamen Anfragen und frustrierten Kunden. KI-gestützte Chatbots, die auf MLOps basieren, beantworten Fragen sofort und geben den Agenten Zeit für sinnvolle Interaktionen.
• Harmonie zwischen Mensch und KI: Die Zukunft besteht nicht darin, dass Roboter Menschen ersetzen; es geht um Zusammenarbeit. MLOps bietet Agenten datengestützte Einblicke für intelligentere Verkaufsgespräche, proaktive Problemlösungen und personalisierte Erlebnisse.
• Datengestützte Entscheidungen: MLOps erschließt das Potenzial von Kundendaten. KI-Modelle werden Bedürfnisse vorhersagen, Empfehlungen personalisieren und durch informiertes Handeln Vertrauen aufbauen.
• Hyperpersonalisierung: MLops passt alles an, von Angeboten bis hin zu Support, und pflegt dauerhafte Beziehungen und Loyalität.
• Die Halluzinationsbestie zähmen: MLOps behebt Ungenauigkeiten mit gezielten Schulungen und evidenzbasierten Überprüfungen und gewährleistet so zuverlässige Kundeninteraktionen.

MLOps ist der Schlüssel zu einer kundenorientierten Zukunft, aber ein verantwortungsvoller und ethischer Umgang ist von entscheidender Bedeutung. Indem wir das Potenzial des Unternehmens nutzen und gleichzeitig Herausforderungen angehen, können wir Erfolgsgeschichten schreiben, über die es sich zu berichten lohnt.

Im folgenden Blog erfahren Sie mehr darüber, wie Generative KI die Zukunft des Kundenerlebnisses prägen wird.

‍

Generative AI: the future of CX

Voice of the customer insights unveils hidden trends and emerging themes without bias, effort, or friction.

Level AI mythreya lingala

‍

Lesen Sie unsere vorherigen Blogs in der True ML Talks-Reihe:

‍

Enterprise GenAI and LLMOps with Labhesh Patel

Learn how to leverage GenAI and LLMs to solve your business use cases from Labhesh Patel, ex-CTO and Chief Scientist @Jumio

TrueFoundry Blog TrueFoundry

‍

Schaue weiter TrueML YouTube-Serie und das TrueML lesen Blog-Serie.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.