True ML Talks #1 – Machine Learning Workflow @ Gong

Heute startet TrueFoundry eine Machine Learning Deep Dive-Serie, in der wir mit ML- und Data Science-Führungskräften aus Unternehmen sprechen, die ML einsetzen, um tiefer in die Anwendungsfälle und Workflows von ML in ihren Organisationen einzutauchen. Im Rahmen dieser Serie werden wir den ML-Stack von Unternehmen wie Gong, StichFix, SalesForce, Gusto, Simpl und vielen weiteren vorstellen und genauer analysieren.

📌

In dieser Serie tauchen wir in die Welt des Machine Learning ein, um das Spektrum von ML-Anwendungen und Infrastruktur-Setups branchenübergreifend zu enthüllen.

Unsere Gespräche drehen sich um vier Hauptthemen:
1. Machine Learning Anwendungsfälle für das Unternehmen
2. Wie sie ihren Machine Learning Stack aufgebaut haben, einschließlich Training- und Experimentation Pipeline, Deployment und Serving, Monitoring, und wie sie diese im Laufe der Zeit für Kosten/Latenz optimiert haben
3. Herausforderungen beim Aufbau des ML-Stacks, insbesondere branchenspezifische Herausforderungen
4. Ein Überblick über bahnbrechende Innovationen, die beim Aufbau und der Skalierung der ML-Infrastruktur angewendet wurden.

Zum Auftakt der ersten Diskussion dieser Serie haben wir mit Noam Lotner von Gong gesprochen. Gong ist eine Revenue Intelligence-Plattform. Sie ermöglicht es Revenue-Teams, ihr volles Potenzial auszuschöpfen, indem sie die Kundenrealität aus den Gesprächen des Revenue-Teams offenlegt. Gong analysiert kundenorientierte Interaktionen über Telefon, E-Mail, Web usw., um die besten Erkenntnisse für die Revenue-Teams zu liefern, damit diese mehr Deals abschließen können.  

Noam Lotner ist Research Operations Team Lead bei Gong. Er baut die operative Plattform für die AI/ML-Forschungsgruppe auf – er automatisiert Modell-Release-Prozesse, Experiment-Management und Leistungstests, erstellt Tools für Labeling und Datensatzerstellung und ermöglicht sicheren Zugriff auf Produktionsdatenquellen.

Sehen Sie sich unser Gespräch unten an:

Warum ML für Gong wichtig ist: Eine Sales Intelligence-Plattform

Gong analysiert kundenorientierte Interaktionen über Telefon, E-Mail, Web usw. Machine Learning wird umso unerlässlicher, um Vertriebsinteraktionen zu analysieren und den Revenue-Teams Erkenntnisse zu liefern. ML-Algorithmen können Aufgaben automatisieren, die zuvor manuell erledigt wurden, wie die Analyse von Videoanrufen, das Transkribieren und Analysieren von Vertriebstelefonaten. Dies spart Zeit und verbessert die Effizienz des Vertriebsprozesses.

1. Video Call Analysis Pipeline → Um Anrufe zu analysieren, verarbeitet das Team das Video, klassifiziert die Frames und führt eine Verarbeitung bestimmter Arten von Videosegmenten durch.
2. Audio Transcript Analysis Pipeline → Die Sprache erhält automatisch eine Transkription zusammen mit einer weiteren Pipeline, die recht viele Modelle umfasst, um zu prüfen, wo gesprochen wird, wer wann spricht und was der Inhalt des Gesprächs ist.
3. Text NLP-Based Pipeline → Es gibt eine Pipeline zum Extrahieren von Informationen aus Folien und Anrufnotizen. Für E-Mails wird eine andere Pipeline für NLP-Verarbeitung, Messaging und Kommentare verwendet.

Wie diese Modelle über Kunden hinweg segmentiert werden

Obwohl dies eine Frage war, die wir Gong gestellt haben, sehen wir, dass ausnahmslos alle SaaS-Unternehmen Folgendes tun:

• Modelle, die für alle Kunden gemeinsam sind: Es gibt einige Modelle wie die ASR-Modelle, die eine automatische Spracherkennung durchführen. Dies hilft bei der Standardisierung des Dienstes und der Aufrechterhaltung der Konsistenz über die gesamte Plattform hinweg.
• Modelle, die für jeden Kunden einzigartig sind: Im Fall von SaaS-Startups, insbesondere im Fall einer Sales Intelligence-Plattform wie Gong, muss jedes Modell einzigartig sein. Dies wird getan, um Datenschutz und Sicherheit zu gewährleisten sowie Anpassung oder Personalisierung zu bieten, indem das Modell mit dem Datensatz des Kunden trainiert wird. Dies bringt zwei Herausforderungen mit sich: Serving und Datenschutz. Da Gong Kunden ermöglicht, das Training der Modelle auf der Grundlage ihrer eigenen Daten durchzuführen, müssen sie ML-Schnittstellen auf ihrer Plattform bereitstellen, weshalb die Trennung der Daten für jeden Kunden zu einer Herausforderung wird.

📌

Anzahl der Modelle: Anzahl der Kunden X Modelltypen 

📌

"Wir verwenden für alle dasselbe Basismodell. Wir lassen die Kunden auch das Training für spezifische Modelle für ihre eigenen Inhalte durchführen."

Um die Kosten zu optimieren, nutzt Gong Multi-Model Serving in der Inference-Schicht, da das Ausführen separater Modelle auf separaten Maschinen ein hochpreisiges System bedeuten würde.

Hier ist ein detaillierter Blogbeitrag von Gong, der über den Einsatz von ML im B2B-Vertrieb spricht

‍

Wie Machine Learning den Vertrieb verbessern kann - Gong

Entdecken Sie neun Möglichkeiten, den Vertrieb mit Machine Learning zu verbessern. Verbessern Sie die Umsatzprognose, optimieren Sie das Lead-Scoring und bieten Sie Käufern ein besseres Erlebnis…

Gong Jonathan Costet

‍

ML-System-Workflow bei Gong

Bei Gong ist das ML-System entsprechend der ML-Organisation strukturiert.

• Research: Es gibt eine separate Umgebung für die Forschung. Das Team arbeitet separat – holt die Daten, führt das Training durch, beendet das Training, gibt das Modell frei und sendet das Modell dann an die Deployment Pipeline, die von Engineering verwaltet wird.
• Production Deployment (Teil von Engineering): Das trainierte Modell wird vom Engineering-Team in der Produktion bereitgestellt.

In diesem Blogbeitrag (sowie in der Chat-Serie) werden wir genauer auf die Herausforderungen der forschungsseitigen Infrastruktur für Gong eingehen

Wie ist der ML-Forscher-Workflow bei Gong eingerichtet?

• Grundlegende Testphase: Forscher nehmen Daten und trainieren auf ihren eigenen Maschinen oder mithilfe von VMs, indem sie Daten aus der Produktion auf ihre Maschine ziehen
• Automatisierungsphase: Sobald das Modell fertiggestellt ist, wird eine automatische Pipeline zur Datenverarbeitung erstellt, um große Datenmengen in die Hände der Forscher zu bekommen.

Damit Forscher Maschinen einfach hochfahren können, ist der gesamte Stack auf Kubernetes für die Forschungsinfrastruktur aufgesetzt. Die meisten Modelle im Forschungsteam verwenden keine Online-Features.

Cloud: Der Großteil der Infrastruktur befindet sich auf AWS, und es wird auch mit anderen Cloud-Anbietern in etwas kleinerem Umfang zusammengearbeitet.

Infrastrukturverwaltung: Die Pipelines führen die Modelle speziell für jeden Kunden aus. Es gibt eine Maschine, die hochfährt und alle Anrufe dieses Unternehmens abwickelt

Weitere Herausforderungen, die ML zu einem komplexen Problem machen, das bei Gong gelöst werden muss

1. Kosten: Wir haben es auch oben bereits erwähnt: Kosten sind eine große Herausforderung für Gong, da riesige Datenmengen erforderlich sind, um das Modell zu trainieren und anschließend erneut zu trainieren. Die Sprachdatensätze sind sehr groß (einige hundert Stunden Sprache entsprechen einigen hundert Gigabyte an Daten). NLP-Datensätze sind kleiner, können aber sehr viele Zeilen haben.  Da die Forschung von der Produktion getrennt ist, kann das Forschungsteam flexibel mit der Datenmenge umgehen, die beim Modelltraining verwendet wird. Das Forschungsteam arbeitet daran, die für das Training zu verwendende Datenmenge zu optimieren.
2. Vereinfachung der ML-Plattform:  Ein wichtiger Aspekt bei der Vereinfachung des Prozesses besteht darin, die Komplexität der Auswahl des zu verwendenden Datentyps für das Training mit der richtigen Zugriffskontrolle hinter den Tools zu verbergen.
   
   Dies wird für verschiedene Datenquellen unterschiedlich gehandhabt. Im Falle einer großen Anzahl von Datenbanken (die jeweils eine andere Art von Informationen enthalten und auf die jeweils unterschiedlich zugegriffen werden kann) wird viel Arbeit in die Erstellung von Pipelines gesteckt, die sicher sind und nur autorisierten Personen die Nutzung von Daten erlauben sowie ein Protokoll darüber erstellen, wer zu welchem Zweck auf die Daten zugegriffen hat. Es beinhaltet auch, Forschern das Kombinieren von Ergebnissen aus verschiedenen Datenquellen zu ermöglichen.
3. Datensicherheit & Datenschutz: An erster Stelle der Bedenken von Gong stehen Sicherheit und Datenschutz, d. h. sicherzustellen, dass es keine Lecks gibt und dass niemand ohne Berechtigung auf die Daten zugreifen kann und kein Kunde Daten von einem anderen Kunden erhält. Dies ist aufgrund der großen Datenmenge sehr kompliziert.
   
   Wie Gong es gelöst hat: Speicherung der Daten an sicheren Orten, Annotierung jedes Datenpunkts und Zugriffsrechte entsprechend der Tenant-ID des Kunden. Der Zugriff wird über Anmeldeinformationsmechanismen gesteuert, und alles, was automatisiert werden kann, wird automatisiert
4. Sicherstellen, dass die Daten eines Kunden keinesfalls in das Modell eines anderen einfließen - Bei der Verwendung eines großen Sprachmodells ist es möglich, etwas von einem Kunden abzuleiten und ein anderer Kunde erhält die privaten Informationen. Dies muss berücksichtigt werden.
5. Automatisches Retraining ist nicht einfach: Ein Re-Training wird nur durchgeführt, wenn es eine wirklich gut erprobte Methode zur Durchführung aller Pipeline-Phasen gibt. Das ist sehr selten. Re-Training-Aufwände hängen vom Modelltyp ab, z. B. lässt sich im Falle eines Spracherkennungsmodells für eine bestimmte Sprache ein Re-Training mit denselben Parametern auf neuen Daten ziemlich einfach durchführen.
   Datenaktualisierungen verändern auch viele Inhalte und machen es erforderlich, dass ein Forscher erneut nachforscht, um sicherzustellen, dass das neue Modell tatsächlich eine bessere Leistung erbringt als das vorherige.

Zusätzliche Gedanken von Noam

Kubernetes ist der richtige Weg

Alles, was im Forschungsteam getan wird, wird jetzt auf Kubernetes verlagert. Ein Teil von Noams Arbeit besteht darin, seinem Team zu helfen, automatisch über die Kubernetes-Cloud auf Ressourcen zuzugreifen. Dies ist derzeit ein laufendes Unterfangen.

📌

"Ich würde jedem, der in dieses Thema einsteigt, empfehlen, schon sehr früh auf dieser Reise an Skalierung zu denken und sich zu überlegen, wie die eigene Gruppe arbeiten wird"

"Ich denke, die meisten MLOps-Systeme benötigen Kubernetes für die Verwaltung der Ressourcen. Ich sehe in Zukunft keine Plattform, die irgendetwas im Zusammenhang mit MLOps tun kann, ohne Kubernetes zu nutzen"

Einige wichtige Dinge, die zu beachten sind:

1. Scale to Zero ist im Hinblick auf das Kostenmanagement wirklich wichtig. Es ist ein riesiger Kostenfaktor, Maschinen zu haben, die hochgefahren sind und nichts tun.
2. Das System muss agil sein, um Sicherheits- und Datenschutzfragen effizient zu handhaben. Die Daten müssen dort bleiben, wo sie sind, und Sie müssen Ihren Code dorthin bringen.

MLOps: Build vs Buy

📌

"Meine Perspektive ist, dass Gong diese Plattform selbst bauen musste"

• Beginnen Sie beim Bauen auf Kubernetes, einer skalierbaren und flexiblen Plattform.
• Konfigurieren Sie alle Systeme so, dass Sie bereit für Mandantentrennung sind und bereit für die Anwendung der GDPR/DSGVO, und wenn jemand die Daten löschen möchte, müssen Sie die Daten löschen.
• Sehr früh über Skalierung nachzudenken, ist sehr wichtig. Machen Sie Ihre Infrastruktur agil und flexibel, stellen Sie sicher, dass Sie über Skalierungsfunktionen verfügen und so viele Maschinen bereitstellen und hochfahren können, wie Sie benötigen, wenn Sie sie brauchen. Aber lassen Sie sie wieder herunterfahren, sobald sie ungenutzt sind.

Sicherheit, Sicherheit, Sicherheit

Nichts kann für ein SaaS-Unternehmen wichtiger sein als Sicherheit. ML-Pipelines müssen der Sicherheit aufgrund des Datenschutzes beim Umgang mit sensiblen Kundendaten sowie der Kontrolle unbefugter Zugriffe höchste Priorität einräumen.

Wir hoffen, dass der 1. Blogbeitrag der Serie TrueML Talks Ihnen wertvolle Einblicke geben konnte, wie Sie den Aufbau Ihrer Machine Learning Forschungsinfrastruktur zur Unterstützung Ihrer ML-Teams gestalten können. #MLOps #MachineLearning #DataScience #DevOps #ModelOps #AIInfrastructure

Lesen Sie unsere neuen Blogs in dieser Serie

Gehen Sie zu unserer zweiten Episode der TrueML Talks, in der wir mit dem Platform Lead bei Stitch sprechen. Verfolgen Sie weiterhin die TrueML YouTube-Serie und finden Sie alle Episoden der TrueML Blog-Serie hier –

‍

True ML Talks - TrueFoundry Blog

TrueFoundry Blog

‍

TrueFoundry ist ein ML Deployment PaaS über Kubernetes, um Entwickler-Workflows zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten, während volle Sicherheit und Kontrolle für das Infra-Team gewährleistet bleiben. Über unsere Plattform ermöglichen wir Machine Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zu Rollbacks in Sekundenschnelle zu deployen und zu monitoren – so können sie Kosten sparen und Modelle schneller in die Produktion bringen, was eine echte geschäftliche Wertschöpfung ermöglicht.