TrueML Talks #27 – GenAI und LLMOps für Customer Success @ Level AI

Wir sind zurück mit einer weiteren Episode von True ML Talks. In dieser Folge tauchen wir tief in die GenAI- und LLMOps-Strategie bei Level AI ein, während wir mit Abhimanyu Talwar sprechen.

Abhimanyu ist Staff AI Research Engineer bei Level AI. Level AI ist ein Unternehmen für Conversational Intelligence. Sie nutzen Machine Learning, um Erkenntnisse aus  Gesprächsdaten zu gewinnen.

📌

Unsere Gespräche mit Abhimanyu werden die folgenden Aspekte abdecken:
- Nutzung vergangener Gespräche für Customer Service AI
- Bewältigung der verborgenen Herausforderungen generativer KI
- Open Source vs. Fine-Tuning
- Agenten verstehen
- Entmystifizierung von Contact Center QA mit KI
- Customer Service AI mit GPT-4
- Wie MLOps den Customer Success revolutioniert

Sehen Sie sich die vollständige Episode unten an:

Nutzung vergangener Gespräche für Customer Service AI

Kundenservice-KI liegt voll im Trend, aber sich ausschließlich auf statische Wissensdatenbanken zu verlassen, hat seine Grenzen. Agent Assist und AgentGPT, zwei innovative Tools von Level AI, erschließen die Leistung vergangener Gespräche, um die Effizienz der Agenten und die Kundenzufriedenheit zu steigern.

• Agent Assist: Analysiert Kundenanfragen und schlägt relevante Ressourcen aus der bestehenden Wissensdatenbank vor, sodass Agenten effektiv antworten können.
• AgentGPT: Geht noch einen Schritt weiter. Es analysiert vergangene Gespräche und extrahiert sowie indiziert automatisch wertvolle Informationen, die nicht in der Wissensdatenbank zu finden sind. Dadurch entsteht ein dynamischer, ständig wachsender Fundus an Lösungen für nuancierte Kundenanfragen.

Retrieval: Durchsuchen vergangener Gespräche nach Antworten

Vergessen Sie den einfachen Keyword-Abgleich! Level setzt eine leistungsfähige Retrieval-Pipeline ein:

• Pre-processing: Vergangene Gespräche werden in ein leicht durchsuchbares Format umgewandelt.
• Custom Indexing: Eindeutige Schlüssel werden entwickelt, um aktuelle Anfragen mit relevanten früheren Interaktionen abzugleichen.
• Embeddings: Fortschrittliche Embedding-Modelle (denken Sie an RAG-Pipelines) erfassen die semantische Bedeutung von Gesprächen und ermöglichen ein präzises Retrieval.

Um noch bessere Ergebnisse zu liefern, führen sie zusätzlich Folgendes durch:

• Re-ranking: Priorisierung der relevantesten Ergebnisse basierend auf Kontext und zusätzlichen Faktoren.
• Keyword Filters: Eliminierung irrelevanter oder nicht hilfreicher früherer Interaktionen aus der Suche.

Durch die Nutzung der Leistung statischer Wissensdatenbanken und der dynamischen Erkenntnisse aus vergangenen Gesprächen bieten Agent Assist und AgentGPT einen Einblick in die Zukunft der Kundenservice-KI. Diese Zukunft ist geprägt von Agenten, die mit den richtigen Informationen ausgestattet sind, was zu schnelleren Lösungszeiten, zufriedeneren Kunden und einem effizienteren Contact Center führt.

Bewältigung der verborgenen Herausforderungen generativer KI

Gen AI ist ein mächtiges Werkzeug, aber sein Erfolg hängt von sorgfältiger Kuratierung der Daten, robusten Evaluierungsmethoden und einem datengestützten Ansatz ab.

Die Auswahl der richtigen Daten aus Ihrem umfangreichen Datenbestand ist wie das Finden der perfekten Zutaten für ein köstliches Gericht. Eine schlechte Datenauswahl führt zu einem Modell, das schlicht ungenießbar ist.

Als Erstes sollten Sie sich auf Ihre Daten konzentrieren. Im Grunde genommen müssen Sie Ihren Datenmix sehr gut im Griff haben. Wie ist die Qualität Ihrer Annotationen? All das spielt eine enorm wichtige Rolle. Sonst gilt: Garbage in, Garbage out.
– Abhimanyu

Nachdem Sie die richtigen Daten ausgewählt haben, müssen Sie Ihre Gen AI-Modelle evaluieren. Das ist nicht so einfach wie bei traditionellen KI-Aufgaben. Vergessen Sie einfache Metriken wie den N-Gramm-Überlapp – sie erfassen die Nuancen der Korrektheit nicht. Ein einziges vertauschtes Wort („ja“ statt „nein“) kann den entscheidenden Unterschied machen.

Hierfür können Sie Folgendes nutzen:

• Programmatische Metriken: Verwenden Sie Tools wie ROUGE- und BERT-Scores, um die semantische Ähnlichkeit zu bewerten.
• Menschliche Annotationen: Setzen Sie echte Menschen ein, um qualitative Aspekte wie Kohärenz und Vollständigkeit zu bewerten.

Überstürzen Sie nichts mit zu großen Modellen. Führen Sie Experimente mit kleineren Checkpoints durch, um den optimalen Datenmix und die richtige Aufgabengewichtung zu finden.

Open Source vs. Fine-Tuning

Es ist verlockend, bei der scheinbaren Vielseitigkeit von ChatGPT zu bleiben. Während GPT-4 in unbeschränkten Szenarien glänzt, arbeiten Unternehmen unter realen Einschränkungen. Ein hohes Traffic-Volumen erfordert effiziente, kostengünstige Lösungen, ohne dass Leistung oder Antwortzeiten beeinträchtigt werden.

Hier kann das Fine-Tuning eigener Modelle von Vorteil sein:

• Hyper-Fokus: Anstatt zu versuchen, in allem gut zu sein, passen Sie Ihr Modell so an, dass es bei spezifischen, geschäftskritischen Aufgaben herausragende Leistungen erbringt. Stellen Sie sich ein Modell vor, das auf Contact-Center-Interaktionen spezialisiert ist, anstatt Aufsätze für die Universität zu schreiben!
• Kosteneffizienz: Kleinere, fokussierte Modelle benötigen weniger Rechenleistung, was sich in niedrigeren Betriebskosten niederschlägt.
• Kontrolle und Erklärbarkeit: Fine-Tuning verschafft Ihnen ein tieferes Verständnis und Kontrolle über das Verhalten Ihres Modells, was Vertrauen und Transparenz fördert.

ChatGPT als Sprungbrett

Schreiben Sie Optionen wie ChatGPT nicht völlig ab. Sie können wertvolle Verbündete sein! Erwägen Sie, sie als Ausgangspunkt zu nutzen, um:

• Ihre Idee zu validieren: Testen Sie das Terrain mit Open-Source-Modellen, bevor Sie in eine individuelle Entwicklung investieren.
• Geschäftliche Traktion zu gewinnen: Nutzen Sie direkt verfügbare Tools, um reales Feedback zu sammeln und die Machbarkeit zu demonstrieren, bevor Sie sich dem Fine-Tuning widmen.

Agenten verstehen

Was sind Agenten?

Stellen Sie sich Agenten als spezialisierte Teams von LLMs vor, von denen jedes eine bestimmte Rolle in einem größeren Workflow einnimmt. Anstelle einzelner API-Aufrufe beinhalten Aufgaben mehrere „Agenten“, die über sequenzielle API-Aufrufe zusammenarbeiten.

Warum Agenten einsetzen?

Stellen Sie sich vor, Sie schreiben ein Gedicht: Sie brauchen Kreativität, Reimanalysen und sogar eine Grammatikprüfung. Ein LLM ist vielleicht hervorragend im Generieren der ersten Verse, ein anderes beim Einhalten des Reimschemas und ein drittes beim Feinschliff des finalen Entwurfs. Agenten ermöglichen es Ihnen, die einzigartigen Stärken verschiedener Modelle zu nutzen, um überlegene Ergebnisse zu erzielen.

Wann sind Agenten die richtige Wahl?

• Komplexe Aufgaben: Wenn ein einzelnes LLM mit dem gesamten Umfang Ihres Ziels überfordert ist, können Agenten dieses in überschaubare Schritte unterteilen.
• Präzision und Kontrolle: Die Sequenzierung verschiedener „Agenten“-Aufrufe gibt Ihnen mehr Kontrolle über den Prozess und ermöglicht es Ihnen, die Schritte anzupassen, um spezifische Ergebnisse zu erzielen.
• Kombination vielfältiger Fähigkeiten: Nutzen Sie die einzigartigen Stärken verschiedener LLMs, um wirklich innovative Ergebnisse zu erzielen.

Entmystifizierung von Contact Center QA mit KI

Eines der Angebote von Level AI ist Agent Assist, ein leistungsstarkes KI-Tool, das auf GPT-Technologie basiert. Es hilft bei der Automatisierung der Qualitätssicherung (QA), indem es Gespräche analysiert und Einblicke in die Leistung der Agenten liefert.

So funktioniert es:

1. QA-Rubrik: Contact Center haben spezifische Kriterien für gute Anrufe, wie proaktive Problemlösung und erfolgreiche Klärung. Agent Assist lernt diese Kriterien aus vergangenen Gesprächen.
2. KI-Analyse: Jeder Anruf wird analysiert, und Agent Assist liefert einen Score sowie eine Erklärung basierend auf der QA-Rubrik.
3. Erklärbarkeit mit Nachweisen: Keine bloße Blackbox: Agent Assist hebt spezifische Teile des Gesprächs hervor, die seinen Score stützen, und gibt den Agenten wertvolles Feedback.
4. Human-in-the-Loop: QA-Manager können die Ergebnisse von Agent Assist überprüfen und Scores bei Bedarf anpassen, was Genauigkeit und Fairness gewährleistet.

Vorteile von Agent Assist:

• Schnellere QA: Spart Zeit und Ressourcen im Vergleich zu manuellen Überprüfungen.
• Verbesserte Agentenleistung: Liefert zielgerichtetes Feedback, damit Agenten hervorragende Leistungen erbringen.
• Datengestützte Erkenntnisse: Offenbart Trends und Verbesserungspotenziale im Kundenservice.
• Erhöhte Effizienz: Macht QA-Manager für strategischere Aufgaben frei.

Customer Service AI mit GPT-4

Das Erscheinen von GPT-4 hat in der KI-Welt große Begeisterung ausgelöst, aber ist es eine Universallösung für herausragende Kundenservice-Erlebnisse? Nicht ganz. Obwohl seine Leistungsfähigkeit unbestreitbar ist, verbergen sich hinter wirklich wirkungsvollen KI-Lösungen viele komplexe Ebenen.

Die Stärken und Fallstricke großer Modelle:

Das rohe Potenzial von GPT-4 ist bemerkenswert und übertrifft Open-Source-Modelle sowie APIs bei der Generierung von Antworten. Wer sich jedoch ausschließlich auf dessen Output verlässt, übersieht die entscheidenden Teile der KI-Pipeline: Datenauswahl, Feature Extraction, Aggregation und Domänenwissen.

Aufbau eines erfolgreichen Teams:

• Datenauswahl: Das Finden der richtigen Trainingsdaten ist entscheidend. Das Annotieren branchenspezifischer vergangener Gespräche bringt der KI bei, wie „guter“ und „schlechter“ Service aussieht.
• Feature Extraction: Rohdaten müssen aufbereitet werden. Das Extrahieren von Schlüsselattributen aus jedem Gespräch ermöglicht Analysen und Vergleiche.
• Aggregation und Clustering: Millionen von Gesprächen mit unzähligen Attributen sind überwältigend. Intelligente Clustering-Konzepte bereiten die Daten so auf, dass Menschen sie verstehen und nutzen können.
• Domänenwissen: Zu verstehen, was Ihren Kunden wirklich wichtig ist, geht über rein quantitative Metriken hinaus. Branchenerfahrung hilft dabei, die richtigen KPIs zu priorisieren und die KI-Entwicklung zu steuern.

Mehr darüber, wie Unternehmen menschliche Expertise und KI für den Kundenservice kombinieren, erfahren Sie im folgenden Blogbeitrag.

‍

How Companies Can Blend AI and Human Expertise for Superior Customer Service | Level AI

This article, an extract from a recent interview where Christian Lunoe spoke with Paul Harraghy, VP of CARE at VistaPrint, explores the intricate balance

Level AI mythreya lingala

‍

Wie MLOps den Customer Success revolutioniert

Die Customer-Success-Landschaft wird durch MLOps, die Zauberformel hinter effizienten KI-Deployments, neu gestaltet. Hier ist ein kleiner Einblick in die Auswirkungen der nächsten 5 Jahre:

• Effizienz steigern: Sagen Sie langsamen Anfragen und frustrierten Kunden adieu. KI-gestützte Chatbots, angetrieben durch MLOps, werden Fragen sofort beantworten und Agenten für wertvollere Interaktionen freihalten.
• Mensch-KI-Harmonie: Die Zukunft besteht nicht darin, dass Roboter den Menschen ersetzen; es geht um Zusammenarbeit. MLOps versorgt Agenten mit datengestützten Erkenntnissen für klügere Verkaufsgespräche, proaktive Problemlösung und personalisierte Erlebnisse.
• Datengestützte Entscheidungen: MLOps setzt das Potenzial von Kundendaten frei. KI-Modelle werden Bedürfnisse vorhersagen, Empfehlungen personalisieren und durch fundierte Aktionen Vertrauen aufbauen.
• Hyper-Personalisierung: MLOps schneidet alles maßgeschneidert zu – von Angeboten bis zum Support – und baut so dauerhafte Beziehungen und Loyalität auf.
• Bändigung von Halluzinationen: MLOps geht Ungenauigkeiten mit gezieltem Training und evidenzbasierter Verifizierung an und sorgt so für zuverlässige Kundeninteraktionen.

MLOps ist der Schlüssel zur Gestaltung einer kundenorientierten Zukunft, aber eine verantwortungsvolle und ethische Nutzung ist unerlässlich. Indem wir das Potenzial ausschöpfen und gleichzeitig die Herausforderungen angehen, können wir Erfolgsgeschichten schreiben, die überzeugen.

Mehr darüber, wie generative KI die Zukunft des Customer Experience prägen wird, erfahren Sie im folgenden Blogbeitrag.

‍

Generative AI: the future of CX

Voice of the customer insights unveils hidden trends and emerging themes without bias, effort, or friction.

Level AI mythreya lingala

‍

Lesen Sie unsere bisherigen Blogs der True ML Talks-Serie:

‍

Enterprise GenAI and LLMOps with Labhesh Patel

Learn how to leverage GenAI and LLMs to solve your business use cases from Labhesh Patel, ex-CTO and Chief Scientist @Jumio

TrueFoundry Blog TrueFoundry

‍

Verfolgen Sie weiterhin die TrueML youtube series und lesen Sie die TrueML blog series.

TrueFoundry ist eine ML Deployment PaaS auf Kubernetes, die Entwickler-Workflows beschleunigt und ihnen gleichzeitig volle Flexibilität beim Testen und Deployen von Modellen bietet – bei vollständiger Sicherheit und Kontrolle für das Infra-Team. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit und Skalierbarkeit zu deployen und zu überwachen, inklusive der Möglichkeit zur sekundenschnellen Rücksetzung. Dies spart Kosten, bringt Modelle schneller in Produktion und schafft echten geschäftlichen Mehrwert.