True ML Talks #17 - ML-Plattformen @ Slack, LLMs und SlackGPT

Wir sind zurück mit einer weiteren Folge von  True ML Talks. In dieser Folge tauchen wir tief in die Recommend API von Slack, SlackGPT und LLMs ein und sprechen mit Katrina Ni.

Katrina Ni ist Senior ML Engineer sowie leitendes Mitglied des technischen Stabs bei Slack. Sie hat dort das ML-Team geleitet und an der Recommend API, der Spamerkennung und verschiedenen Produktfunktionalitäten gearbeitet.

📌

Unsere Gespräche mit Katrina decken die folgenden Aspekte ab:
- Anwendungsfälle von ML und Gen AI bei Slack
- Infrastruktur bei Slack mit Schwerpunkt auf ML
- Training, Validierung, Bereitstellung und Überwachung der Recommend API bei Slack
- Messung der geschäftlichen Auswirkungen der Recommend API
- Einfluss des Kundendatenschutzes auf die Trainingsinfrastruktur
- Aufbau von Slack GPT und Herausforderungen beim Training von LLMs
- Die Zukunft des Prompt Engineerings bei Sprachmodellen
- Auf dem Laufenden bleiben bei den Entwicklungen von LLMs

Sehen Sie sich die vollständige Folge unten an:

Anwendungsfälle von ML und Gen AI @ Slack

1. Personalisierte Kanal-Empfehlungen: ML und Gen AI ermöglichen personalisierte Kanal-Empfehlungen bei Slack. Neue Benutzer, die einem Team beitreten, erhalten Vorschläge für relevante Kanäle basierend auf Beziehungen und datengestützten Erkenntnissen, was die Benutzererfahrung verbessert.
2. Integration der Recommender API: Die integrierte Recommender API von Slack bietet Service-Empfehlungen für verschiedene Produktfunktionsteams. Die ausgefeilte Empfehlungs-Engine bedient nahtlos Benutzer aller Größenordnungen, obwohl Empfehlungen nicht das primäre Geschäftsmodell sind.
3. Erkennung und Überprüfung von Malware: ML und Gen AI helfen auch bei Sicherheitsverbesserungen bei Slack, indem sie Malware-Links erkennen und überprüfen, was eine sicherere Kommunikationsumgebung schafft.

Infrastruktur bei Slack mit Schwerpunkt auf ML

Slack verlässt sich auf qualifizierte Data-Engineering-Teams und robuste Data-Warehouse-Lösungen. Sie nutzen Airflow für die Job-Orchestrierung und Big-Data-Verarbeitung, was eine wesentliche Unterstützung für ML-Aufgaben bietet.

Die Infrastruktur von Slack basiert auf Kubernetes und unterstützt deren Mikroservices-Architektur. Ihr Cloud-Team hat ein Kubernetes-basiertes Framework für die einfache Bereitstellung von Mikroservices entwickelt, das Flexibilität und Skalierbarkeit bietet.

Um ihren spezifischen Anforderungen gerecht zu werden, hat Slack anstelle bestehender Lösungen einen eigenen Feature Store entwickelt. Dieser benutzerdefinierte Store verwaltet und nutzt Features für ML-Anwendungen effizient.

Ein dediziertes Team bei Slack hat eine Orchestrierungsschicht über Kubernetes aufgebaut, die die Bereitstellung von Mikroservices rationalisiert und in interne Dienste wie die Konsole integriert. Während es die Nutzung von Kubernetes verbessert, bleiben Herausforderungen für Anwendungen bestehen, die stark von Datenbanken abhängig sind.

Recommend API bei Slack

In den Anfängen von Slack wurden Anstrengungen unternommen, um effektive Embedding- und Faction-Mechanismen zu entwickeln. Dazu gehörten die Verarbeitung riesiger Datenmengen zum Verständnis von Benutzerinteraktionen und die Generierung numerischer Embeddings für Benutzer und Kanäle. Ein Ergebnis war ein Embedding-Dienst basierend auf Benutzeraktivitäten, ein anderer basierend auf Nachrichten, der jedoch zu dieser Zeit nicht weit verbreitet war.Später verlagerte sich der Schwerpunkt darauf, diese Embeddings zu nutzen, um ein benutzerfreundlicheres Produkt zu bauen. Das Konzept der Empfehlungen entstand und identifizierte Bereiche, in denen Vorschläge den Benutzern nützen könnten, wie z. B. die Empfehlung von Kanälen oder Benutzern. Dies führte zur Entwicklung der Recommend API, die in verschiedene Teile der Slack-Plattform integriert wurde und bestehende Embeddings nutzte, um relevante Daten basierend auf Benutzeraktivitäten abzurufen. Die API integrierte auch den Feature Store, reicherte Daten mit zusätzlichen Features an und wandte Filter- und Scoring-Mechanismen an.

Im Laufe der Entwicklung wurde die Recommend API in verschiedene Funktionen innerhalb von Slack integriert, sodass die Plattform ihren Benutzern relevante Kanäle oder Benutzer empfehlen konnte, was deren Erfahrung vereinfachte und das Engagement steigerte.

Sie können mehr über SlackGPT im unten stehenden Blog lesen.

‍

Recommend API - Slack Engineering

Slack als Produkt bietet viele Möglichkeiten für Empfehlungen, bei denen wir Vorschläge machen können, um die Benutzererfahrung zu vereinfachen und angenehmer zu gestalten. Jede davon scheint ein fantastischer Anwendungsfall für maschinelles Lernen zu sein, aber es ist für uns nicht realistisch, für jeden eine maßgeschneiderte Lösung zu entwickeln. Stattdessen…

Slack Engineering Katrina Ni Senior Software Engineer, Machine Learning Aaron Maurer Senior Manager, Software Engineering

‍

Hier ist ein Bild aus demselben Blog, das einen sehr guten Überblick über die Infrastruktur der Recommend API von Slack gibt

Modell-Trainings-Pipeline und Validierungs-Workflow für die Recommend API

Durch die Nutzung von Kubernetes, Airflow und einem hierarchischen Ansatz für Training und Validierung stellt Slack sicher, dass die Modelle der Recommend API effektiv und zuverlässig sind und den Benutzern personalisierte Empfehlungen liefern. AB-Tests garantieren eine strenge Bewertung der Modellleistung in einer Online-Umgebung vor der Bereitstellung, was zu einem robusten und datengestützten ML-Operations-Framework bei Slack beiträgt.

1. Hierarchischer Korpus und Anwendungsfälle: Die Modell-Trainings-Pipeline bei Slack folgt einem hierarchischen Ansatz. Sie beginnt mit einem hierarchischen Korpus, der Kanäle oder Benutzer umfasst, mit mehreren Anwendungsfällen wie Daily Digest, Composer oder Channel Browser, die auf spezifische Funktionalitäten innerhalb von Slack ausgerichtet sind.

2. Modellauswahl und Experimentieren: Für jeden Anwendungsfall werden verschiedene Modelle trainiert und erprobt, angefangen bei großen Regressionsmodellen bis hin zur Erforschung anderer Algorithmen wie XGBoost oder LightGBM. Modellparameter werden feinabstimmend angepasst, und mit verschiedenen Datenvariationen wird experimentiert, um das am besten geeignete Modell zu identifizieren.

3. Trainings-Pipeline mit Kubernetes und Airflow: Die Trainings-Pipeline wird mit Kubernetes und Airflow orchestriert. Kubernetes-Cluster bewältigen Modell-Trainingsaufgaben effizient, während Airflow den Workflow von der Datenerfassung bis zum Training verschiedener Modelle für unterschiedliche Anwendungsfälle verwaltet.

4. Protokollierung und Offline-Metriken: Während des Trainings protokolliert das Team Offline-Metriken und Modellparameter für die zukünftige Überwachung und Analyse.

5. Nahtlose Modell-Hinzufügung und -Verwaltung: Die Architektur ermöglicht die nahtlose Hinzufügung neuer Quellen oder Modelle für das Training mit minimalen Codeänderungen.

6. Validierung und AB-Testing: Vor der Bereitstellung von Modellen in der Produktion wird eine strenge Validierung durchgeführt, bei der Offline-Metriken wie AUC für Klassifizierungs- oder Ranking-Modelle verglichen werden. AB-Testing wird ausgiebig genutzt, um Modelle mit besseren Online-Metriken für die Bereitstellung auszuwählen.

7. Internes AB-Testing-Framework: Slack verfügt über ein internes AB-Testing-Framework, das vom ML-Team und den Produktteams beim Start neuer Funktionen verwendet wird. Das Framework ermöglicht datengestützte Entscheidungen durch den Vergleich der Modellleistung bei verschiedenen Geschäftsmetriken.

Modell-Bereitstellung und Skalierung für die Recommend API

Die ML-Modelle von Slack werden in Kubernetes-Clustern unter Verwendung von GRPC als Schnittstelle zur Bearbeitung von Anfragen bereitgestellt. GRPC bietet Sicherheit, Effizienz und eine schnellere Verarbeitung im Vergleich zu JSON-basierten APIs wie FastAPI. Trotz seiner Einschränkungen gewährleistet GRPC eine robuste und effiziente Kommunikation zwischen der API und den Modellen, was zu einem reibungslosen Bereitstellungsprozess beiträgt.

Die Bereitstellungsstrategie beinhaltet die Nutzung der Auto-Scaling-Funktionen von Kubernetes, sodass Modelle die Ressourcennutzung je nach Bedarf anpassen können. Mit einer riesigen Benutzerbasis verarbeitet Slack eine erhebliche Anzahl von Anfragen mit durchschnittlich etwa 100 Anfragen pro Sekunde.

Die Implementierung von GRPC und die Einrichtung des Serving-Cluster-Mikroservices erforderten gezielte Anstrengungen, erwiesen sich jedoch als effektiv bei der Bewältigung der Skalierung und der Optimierung der Modellleistung.

Modellüberwachung und automatisiertes Retraining für die Recommend API

1. Nachverfolgung von Offline- und Online-Metriken: Die Modellüberwachungs-Pipeline von Slack verfolgt Offline- und Online-Metriken effizient. Offline-Metriken wie Genauigkeit, F1 und ROC werden protokolliert, und dedizierte Dashboards bieten eine Visualisierung. Online-Metriken, einschließlich der Akzeptanzrate, werden ebenfalls über ein separates Dashboard überwacht.

2. Anomalieerkennung und Feature Drift: Slack nutzt ein eigenes Framework zur Anomalieerkennung, um Feature Drift zu überwachen. Regelmäßiges Modell-Retraining (tägliches Training und wöchentliche Bereitstellungen) reduziert die Auswirkungen von Feature Drift, sodass dies weniger ein Problem darstellt.

3. Automatisiere Retraining-Pipeline: Die Retraining-Pipeline ist mit Airflow automatisiert, um sicherzustellen, dass die Modelle mit den neuesten Daten auf dem neuesten Stand bleiben.

4. Automatische Dashboards zur Visualisierung: Data Engineers haben benutzerfreundliche Dashboards entwickelt, die die Modellleistung und Metriken visualisieren. Die Dashboards werden automatisch mit neuen Daten aktualisiert, was die Nachverfolgung neuer Anwendungsfälle erleichtert.

5. Mühelose Integration neuer Anwendungsfälle: Das Hinzufügen neuer Anwendungsfälle zur Überwachungs- und Retraining-Pipeline ist dank des von den Data Engineers eingerichteten automatisierten Integrations-Frameworks mühelos.

Durch die Nutzung von Automatisierung und regelmäßgem Retraining werden die ML-Modelle von Slack kontinuierlich überwacht, optimiert und in der Produktion zuverlässig gehalten. Das robuste MLOps-Framework trägt zu nahtlosen und effizienten Modellbereitstellungen für die große Benutzerbasis von Slack bei.

Messung der geschäftlichen Auswirkungen der Recommend API

Slack setzt verschiedene Metriken ein, um die geschäftlichen Auswirkungen der Recommend API zu bewerten und wertvolle Erkenntnisse über deren Leistung und Effektivität zu gewinnen. Die wichtigsten verwendeten Metriken sind:

1. Akzeptanzrate: Überwacht die Online-Leistung der API, indem die Rate gemessen wird, mit der Benutzer empfohlene Kanäle oder Benutzer akzeptieren oder mit ihnen interagieren. Eine höhere Akzeptanzrate deutet auf eine bessere Benutzererfahrung und höheres Engagement hin.
2. Benutzer-Klicks und Akzeptanz: Verfolgt die Klicks der Benutzer auf empfohlene Kanäle oder Benutzer und deren Akzeptanz vorgeschlagener Verbindungen. Diese Metriken geben Aufschluss über das Engagement der Benutzer mit Empfehlungen und bedeutungsvolle Interaktionen innerhalb der Plattform.
3. Benutzerdefinierte Metriken für Produktteams: Verschiedene Produktteams verwenden benutzerdefinierte Metriken, die auf ihre spezifischen Ziele zugeschnitten sind. Diese Metriken könnten neue Benutzerbeitritte, Teamerfolg und Metriken für vorrangige Stapel umfassen.
4. AB-Testing: Entscheidend für die Bewertung der Modellleistung und von Varianten der API. Es ermöglicht datengestützte Entscheidungen bei der Auswahl des effektivsten Modells für die Bereitstellung.
5. Ganzheitliche Bewertung der geschäftlichen Auswirkungen: Kombiniert Erkenntnisse aus mehreren Metriken, um ein umfassendes Verständnis der Effektivität der API bei der Erreichung von Zielen und der Bereitstellung von Mehrwert für die Benutzer zu erhalten.

Durch die Analyse dieser Metriken und die Optimierung der Recommend API basierend auf Benutzerfeedback stellt Slack sicher, dass die API die Benutzererfahrung erheblich verbessert, Verbindungen fördert und positive geschäftliche Ergebnisse innerhalb der Plattform vorantreibt.

Einfluss des Kundendatenschutzes auf die Trainingsinfrastruktur

Slacks Verpflichtung zum Kundendatenschutz beeinflusst die Architektur der Trainingsinfrastruktur und die Datenverwaltungspraktiken erheblich. Der strenge Fokus auf Datenschutz spiegelt sich in verschiedenen Aspekten des MLOps-Stacks wider und gewährleistet die sichere und konforme Handhabung sensibler Informationen. So wirkt sich der Kundendatenschutz auf die Trainingsinfrastruktur von Slack aus:

1. Sorgfältige Handhabung sensibler Daten: Slack wendet robuste Datenschutzmaßnahmen an, um sensible Informationen wie personenbezogene Daten (PII) zu handhaben. Data-Engineering-Teams arbeiten daran, PII zu entfernen und Aufbewahrungsrichtlinien zu implementieren, um den Datenschutzbestimmungen zu entsprechen.
2. Eingeschränkter Zugriff auf sensible Daten: Der Zugriff auf Datensätze, die sensible Informationen enthalten, ist beschränkt und befindet sich im getrennten Data Warehouse namens Manitoba. Dieser eingeschränkte Zugriff erhöht die Datensicherheit, kann jedoch bei der Modell-Fehlerbehebung und -Analyse Herausforderungen mit sich bringen.
3. Herausforderungen bei der Fehlerbehebung und Modellinteraktionen: Der eingeschränkte Zugriff auf sensible Daten kann die Fehlerbehebung bei Modellen erschweren, was alternative Ansätze und Überwachungstools erfordert, um die Genauigkeit des Modellverhaltens sicherzustellen.
4. Datenschutz beim Modelltraining: Slack stellt die Einhaltung von Datenschutzrichtlinien beim Training von Modellen sicher, insbesondere bei Aufgaben wie der Spamerkennung, die die Interaktion mit sensiblen Informationen beinhalten können.
5. Architektonische Anpassungen für den Datenschutz: Um den Datenschutz zu wahren, trifft Slack spezifische architektonische Entscheidungen, die eine sichere Datenspeicherung, Zugriffskontrollen und Datenverschlüsselungspraktiken umfassen.

Aufbau von Slack GPT und Herausforderungen beim Training großer Sprachmodelle

Slack hat Slack GPT eingeführt, eine leistungsstarke KI zur Sprachgenerierung für Zusammenfassungen, um der Informationsüberlastung auf der Plattform entgegenzuwirken und die Produktivität der Benutzer zu steigern.

Der Aufbau von Slack GPT brachte Herausforderungen mit sich und erforderte Innovationen in der Infrastruktur für das Training großer Sprachmodelle. Dies beinhaltete die Einrichtung von Clustern, die Nutzung von Kubernetes und die Erforschung paralleler Verarbeitungstechniken. Um die Qualität der Zusammenfassungen zu verbessern, implementierte das Team Prompt Tuning und gestaltete Prompts sorgfältig, um das Verhalten des Modells zu beeinflussen und kohärente Zusammenfassungen zu erzeugen.

Die systematische Bewertung von Prompts war entscheidend, und das Team entwickelte Tools zur Bewertung der Prompt-Effektivität, was Experimente mit verschiedenen Prompts ermöglichte. Das Überbrücken der Lücke zwischen Offline- und Online-Bewertung stellte sicher, dass sich die während der Offline-Exploration beobachtete Qualität nahtlos auf die Online-Benutzererfahrung übertrag.

Da Slack in KI-Funktionen investiert, spielen ML Engineers eine zentrale Rolle bei der Optimierung von Benutzererfahrungen durch Exploration, Bewertung und systematische Verbesserung von KI-gesteuerten Funktionen wie Slack GPT.

Sie können mehr über SlackGPT über den unten stehenden Link lesen.

‍

Vorstellung von Slack GPT, der Zukunft der KI in Slack

Nutzung der Leistung generativer KI in Slack, damit Sie intelligenter arbeiten, schneller lernen und besser kommunizieren können

Slack Slack

‍

Die Zukunft des Prompt Engineerings bei Sprachmodellen

Prompt Engineering ist entscheidend für Sprachmodelle und beeinflusst die Antwortqualität. Derzeit basiert es auf Versuch und Irrtum und lässt einen standardisierten Ansatz vermissen. Zukünftige Möglichkeiten umfassen:

1. Standardisierung und Best Practices: Entstehung standardisierter Praktiken und Richtlinien zur Optimierung von Prompts für spezifische Anwendungsfälle.
2. Automatisierte Prompt-Optimierung: KI-gestützte Systeme, die Prompts basierend auf Analysen und Benutzerfeedback verfeinern und so den Prozess rationalisieren.
3. Erweiterte Experimentier-Schnittstellen: Benutzerfreundliche Plattformen für effiziente Prompt-Manipulation und den Vergleich über verschiedene Modelle hinweg.
4. Einbindung von Benutzerfeedback: Echtzeit-Erkenntnisse, die Prompt-Anpassungen für adaptive und personalisierte Antworten steuern.

Prompt Engineering ist ein aktiv erforschtes Gebiet mit dem Ziel, ein Gleichgewicht zwischen manuellem Eingreifen und Automatisierung zu finden und die Zukunft der KI-gestützten Kommunikation zu gestalten.

Auf dem Laufenden bleiben bei den Entwicklungen von LLMs

Für Data Scientists und ML Engineers ist es essenziell, über die kontinuierlichen Fortschritte bei großen Sprachmodellen (LLMs) auf dem Laufenden zu bleiben.

Viele Fachleute in der KI- und NLP-Community nutzen Twitter als wertvolle Plattform, um Zugang zu Echtzeitinformationen über neue Forschungsergebnisse, Modellveröffentlichungen und Durchbrüche im LLM-Bereich zu erhalten. Das Folgen einflussreicher Forscher und Praktiker auf Twitter ermöglicht es ihnen, sich schnell über die neuesten Trends und Updates auf dem Gebiet zu informieren.

Zusätzlich bleiben Fachleute durch Interaktionen mit ihren Kollegen informiert. Innerhalb ihrer Teams werden wichtige Neuigkeiten, wie die Veröffentlichung von LLMs wie Llama-2 und deren Integration mit Plattformen wie SageMaker, geteilt, was ein kollaboratives Lernumfeld schafft.

Während sich einige Data Scientists und ML Engineers auf das Lesen von Forschungsarbeiten konzentrieren mögen, priorisieren andere praktische Anwendungsfälle. Sie neigen eher dazu zu erforschen, wie neue Entwicklungen ihre Arbeit direkt beeinflussen und die Anwendungen von LLMs in realen Szenarien verbessern können.

Lesen Sie unsere vorherigen Blogs in der TrueML-Serie

‍

True ML Talks #14 - LLMs, RL @CX Score Co-Founder

Tiefeneinblick in LLM und Bestärkendes Lernen. Wir sprechen mit Ashwin, Mitbegründer von CX Score, über die Trends im LLM- und ML-Bereich.

TrueFoundry Blog TrueFoundry

‍

Schauen Sie weiterhin die TrueML YouTube-Serie und lesen Sie die gesamte TrueML Blog-Serie.

TrueFoundry ist eine ML-Deployment-PaaS über Kubernetes zur Beschleunigung von Entwickler-Workflows bei voller Flexibilität beim Testen und Bereitstellen von Modellen unter Gewährleistung vollständiger Sicherheit und Kontrolle für das Infrastruktur-Team. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zum Rollback in Sekunden zu bereitzustellen und zu überwachen – so können sie Kosten sparen, Modelle schneller in die Produktion bringen und echten geschäftlichen Mehrwert realisieren.