True ML Talks #21 - Plattform für maschinelles Lernen @ Loblaw Digital

Wir sind zurück mit einer weiteren Folge von True ML Talks. Darin tauchen wir tief ein Loblaw Digital ML Platform und wir sprechen mit Adhithya Ravichandran

Adhithya ist Senior Software Engineer bei Loblaw Digital. Er ist Teil des Plattformteams für maschinelles Lernen, wo er die Plattform für maschinelles Lernen entwickelt und verwaltet.

📌

Unsere Gespräche mit Adhitihya werden die folgenden Aspekte behandeln:
- ML-Plattformteam bei Loblaw
- Maßgeschneiderte ML-Tools und -Komponenten
- Helios-Empfehlungsmaschine
- Empfehlungssysteme: Personalisierung und Umgang mit Echtzeitkontexten
- Verbesserung der Beobachtbarkeit durch maschinelles Lernen
- Fortschritte in der generativen KI

Sehen Sie sich die ganze Folge unten an:

ML-Plattformteam bei Loblaw

Das ML-Plattformteam, das für die Plattformisierung des maschinellen Lernens verantwortlich ist, besteht seit über fünf Jahren. Ihre Gründung war auf die Notwendigkeit zurückzuführen, die Abläufe innerhalb des großen Unternehmens effizient zu optimieren. Das Team ist klein und besteht aus weniger als zehn Mitgliedern, aber es spielt eine wichtige Rolle bei der Implementierung von Nischenprodukten und Toolsets.

Maßgeschneiderte ML-Tools und -Komponenten

AirFlow und andere Niche Toolsets

Das ML-Plattformteam von Loblaw Digital verwendet Nischenprodukte und Toolsets, darunter Airflow, einen Workflow-Orchestrator. Airflow wird nicht nur von Teams für maschinelles Lernen verwendet, sondern auch in großem Umfang von Teams für Datentechnik, Business Intelligence und Analytik. Das Team legt Wert auf die Verwendung von Open-Source-Tools und hat eine solide Methode für die effiziente Nutzung von Tools entwickelt.

Optimieren von Arbeitsabläufen mit Codevorlagen

Das ML-Plattformteam arbeitet eng mit bestimmten Teams zusammen, die für Anwendungsfälle verantwortlich sind. Sie identifizieren effiziente Methoden zur Erfüllung von Aufgaben und wandeln diese Best Practices in wiederverwendbare Codevorlagen und Python-Pakete um. Im Laufe der Zeit haben sich diese Praktiken zu einem Kernsatz kodifizierter Praktiken entwickelt, die allen Teams zugänglich sind und Arbeitsabläufe rationeller und effizienter machen.

Helios-Empfehlungsmaschine

Die Helios-Empfehlungsmaschine, ein Eckpfeiler der E-Commerce-Plattform von Loblaw Digital, wurde aus der Notwendigkeit heraus geboren, die Benutzererfahrung zu verbessern und die riesigen Datenmengen, die dem Unternehmen zur Verfügung stehen, zu nutzen. Als Kanadas größter Einzelhändler mit einem umfangreichen Kundenbindungsprogramm hatte Loblaw Digital Zugriff auf einen beispiellosen Datensatz. Diese Fülle an Informationen bot die Gelegenheit, maßgeschneiderte Empfehlungsmodelle zu erstellen, die auf die Präferenzen kanadischer Kunden zugeschnitten sind.

Anfänglich stützte sich Loblaw Digital auf Tools von Drittanbietern, um Empfehlungen zu erhalten. Als das Projekt jedoch an Dynamik gewann, wurde klar, dass der Aufbau einer internen Empfehlungsmaschine nicht nur machbar, sondern auch kostengünstig war. Mit wachsender Erfahrung in der Bereitstellung eigener Modelle nutzte das Team Tools wie Google Kubernetes Engine (GKE) auf der Google Cloud Platform (GCP) und Seldon, ein Open-Source-Tool zur Modellbereitstellung. Diese Komponenten bildeten die Grundlage für die Erstellung eines API-Wrappers für ihre Empfehlungsmodelle.

Die Bereitstellung von Modellen war eine zentrale Herausforderung, der sich die Helios Recommendation Engine stellen sollte. Loblaw Digital verfügte über die Fähigkeit, ausgefeilte Empfehlungsmodelle zu trainieren, und verfügte über eine Reihe interner Teams, die an verschiedenen Aspekten ihrer E-Commerce-Plattform arbeiteten. Die nahtlose Integration ihrer Modelle in die Plattform erwies sich jedoch als komplexe Aufgabe, wenn Drittanbieter eingesetzt wurden. Daher die Entscheidung, eine maßgeschneiderte Lösung zu entwickeln, die ihre eigenen Modelle effizient bedienen könnte.

Obwohl Seldon, ein in ihrer Lösung verwendetes Tool, technisch gesehen ein Drittanbieter-Tool ist, betreute Loblaw Digital die Seldon-Operatoren und passte sie an ihre spezifischen Bedürfnisse an. Dieser Ansatz ermöglichte es ihnen, eine bessere Kontrolle über ihre Modell-Server-Infrastruktur zu haben und eine nahtlose Integration mit ihrer E-Commerce-Plattform sicherzustellen.

In diesem Blog, der vom Team von Loblaw Digital verfasst wurde, können Sie mehr über die Helio Recommendation Engine lesen:

‍

Enriching the online shopping experience with Helios Recommendation Engine

Co-authored by: JC Seok, Mefta Sadat, Alex Yip, Indrani Gorti, Julia Lee

Loblaw Digital Alex Yip

‍

📌

Optimierung der Inferenzierung: Abgleich von Echtzeit und Batch für die Helios Recommendation Engine:

Die Inferenzanforderungen von Loblaw Digital sind vielfältig und umfassen Echtzeit-Serving für sofortige Benutzerempfehlungen und Batch-Inferenzierung für andere Anwendungsfälle. In der Vergangenheit wurde in erster Linie Batch-Inferenzierung verwendet, um die Wirtschaftlichkeit zu optimieren, indem die Inferenzen vorab berechnet und für einen effizienten Abruf gespeichert wurden.

Loblaw Digital ist sich der sich wandelnden E-Commerce-Landschaft bewusst und setzt zunehmend auf Echtzeit-Inferenzen, um den Bedürfnissen der Nutzer nach sofortigen Empfehlungen gerecht zu werden und einem nahtlosen Einkaufserlebnis Priorität einzuräumen.

Empfehlungssysteme: Personalisierung und Echtzeitkontext

Förderung der Personalisierung

Personalisierung im Mittelpunkt

Loblaw Digital hat in seinem Empfehlungssystem eine solide Grundlage für Personalisierung geschaffen. Sie begannen mit der Matrixmultiplikation, die seit einigen Jahren eine gängige Technik ist. Im Laufe ihrer Reise integrierte Loblaw Digital immer ausgefeiltere Modelle, einschließlich massiver Transformatoren, um die Personalisierung zu verbessern.

Umgang mit Kontextherausforderungen in Echtzeit

Kontext in Echtzeit: Eine komplexe Herausforderung

In Empfehlungssystemen ist es eine große Herausforderung, auf Echtzeitkontexte zu reagieren. Der Echtzeitkontext umfasst unmittelbare Benutzersignale, wie z. B. den vorherigen Klick des Benutzers, und umfassendere Kontextinformationen, z. B. saisonale Muster in den letzten zwei Jahren für bestimmte Produkte. Das Ausbalancieren dieser extremen Arten von Merkmalen stellt eine erhebliche technische Herausforderung dar.

Andere durch das Plattformteam stärken

Das Plattformteam von Loblaw Digital spielt eine zentrale Rolle bei der Bewältigung dieser komplexen Herausforderungen. Sie entwickeln Datenverträge und einen „Daten als Service“ -Ansatz, um verschiedenen Interessengruppen aktuelle Daten zur Verfügung zu stellen. Das Plattformteam ist von einem proprietären Drittanbieter für Aktionen während der Sitzung und im Browser zu einer Open-Source-Lösung namens Snowplow Analytics übergegangen. Dieser Übergang ermöglicht Loblaw Digital eine bessere Kontrolle über Datenpipelines, was eine schnellere Datenverfügbarkeit für Backend-Dienste, einschließlich Empfehlungsmodelle, ermöglicht. Das Plattformteam arbeitet innerhalb der Data and Machine Learning Platform-Organisation und ist für verschiedene datenbezogene Funktionen verantwortlich, darunter Echtzeit-Datenpipelines und Data as a Service. Die Zentralisierung dieser Funktionen innerhalb des Teams erleichtert eine effiziente Problemlösung und gewährleistet die Ausrichtung auf die Vision des Unternehmens.

Wir haben jetzt unsere Open-Source-Version von Snowplow Analytics implementiert. Wir haben also viel mehr Kontrolle über die Pipeline von der Browser-App einer anderen Person aus. Ich sorge dafür, dass sie unseren Backend-Diensten, einschließlich Modellen, schneller zur Verfügung stehen, und ich habe bereits einige Anklang gefunden. - Adhithiya

Verbesserung der Beobachtbarkeit durch maschinelles Lernen

Integrierter Ansatz für Daten und Beobachtbarkeit

1. Unabhängigkeit: Die ausgereifte Organisation von Loblaw Digital ermöglicht es Ingenieuren und Datenwissenschaftlern für maschinelles Lernen, unabhängig voneinander Datenpipelines für ihre Modelle zu erstellen.
2. Selbstversorgung: Optimierte Prozesse und Vorlagen erleichtern die Selbstversorgung.
3. Auffindbarkeit von Daten: Unternehmensweite Strategien fördern die Auffindbarkeit von Daten und ermöglichen einen autonomen Datenzugriff.
   Umfassende Beobachtbarkeit für maschinelles Lernen
4. Entscheidender Schwerpunkt: Adhithya unterstreicht die Bedeutung der Beobachtbarkeit durch maschinelles Lernen.
5. Metriken: Allgemeine Beobachtbarkeitsmetriken umfassen Anforderungsvolumen, Latenz, Fehlerraten und den Zustand der Bereitstellung.
6. Zentralisierter Ansatz: Loblaw Digital zentralisiert Überwachung und Beobachtbarkeit und vereinfacht Prozesse mit sofort einsatzbereiten Tools.

Bewältigung der Herausforderungen der Modellbeobachtbarkeit

1. Konzentriert sich auf Daten: Die Beobachtbarkeit von Modellen konzentriert sich auf die Bewertung der Eingabedatenstatistiken innerhalb bestimmter Zeitrahmen.
2. Operative Agilität: Es zielt darauf ab, schnelle Reaktionen auf der Grundlage von Dateneinblicken zu ermöglichen, um den betrieblichen Anforderungen gerecht zu werden.
3. Lösungen von Anbietern: Loblaw Digital untersucht Lösungen von Anbietern für erweiterte Observability innerhalb kürzerer Zeitrahmen.

Verbesserung der Beobachtbarkeit mit speziellen Lösungen

1. Weiterentwicklungen für Anbieter: Anbieter entwickeln Lösungen, die einem Prometheus-Stack ähneln und für Echtzeitanalysen optimiert sind.
2. Vorteile nutzen: Diese Lösungen nutzen die Vorteile des „Big Data Stacks“ für schnellere metrische Berechnungen, die auf die Beobachtbarkeit von Modellen zugeschnitten sind.
3. Erwägen Sie eine Adoption: Loblaw Digital erwägt, solche Lösungen auf der Grundlage der Erfahrungen mit selbst gehostetem Prometheus einzuführen.

Die zentrale Rolle der zentralisierten Protokollierung

1. Erfassung von Daten: Loblaw Digital verwendet einen zentralisierten Logger-Dienst zur Erfassung von API-Nachrichten und -Antworten für maschinelles Lernen.
2. Effizienter Betrieb: Der Dienst arbeitet asynchron mit minimalen Auswirkungen auf den Dienst.
3. Datennutzung: Die erfassten Daten werden in das Analytics-Data Warehouse des Unternehmens eingespeist und ermöglichen so eine umfassende Berichterstattung und Analyse.

Verbesserung der durchgängigen Beobachtbarkeit

1. Betriebsbereit: Zentralisierte Logger- und Observability-Lösungen sind für bestimmte Anwendungsfälle einsatzbereit.
2. Leistungsverfolgung: Die Teams verfolgen die Modellleistung, korrelieren Schlussfolgerungen mit Benutzeraktionen und bewerten die Auswirkungen des Modells.
3. Kontinuierliche Verbesserung: Loblaw Digital verbessert und zentralisiert die Observability-Dienste weiter, um sie in Unternehmen einer breiteren Akzeptanz zu ermöglichen.

Fortschritte in der generativen KI

Faszinierende Fortschritte in der generativen KI

Loblaw Digital macht erhebliche Fortschritte im Bereich der generativen KI. Das Team untersucht zahlreiche Möglichkeiten in diesem Bereich. Intern herrscht großer Enthusiasmus, nicht nur in Bezug auf die Nutzung bekannter Chat-Schnittstellen, sondern auch in Bezug auf die Entwicklung innovativer Produkte und das Hosting proprietärer Modelle.

Tiefes Engagement für generative KI

Loblaw Digital ist tief in das Potenzial generativer KI investiert. Die Organisation erwägt aktiv die Entwicklung von Produkten, die generative KI nutzen. Es besteht ein starker Wunsch, die Möglichkeit zu prüfen, in Zukunft ihre eigenen Modelle zu hosten.

Der zukunftsorientierte Ansatz der Unternehmensführung

Die Führung von Loblaw Digital ist offen dafür, eine Vielzahl von Möglichkeiten im Bereich der generativen KI zu erkunden. Die Ambitionen des Unternehmens gehen über den Einsatz von Drittanbietern hinaus und stellen sich eine Zukunft vor, in der sie ihre generativen KI-Modelle entwickeln und hosten können. Loblaw Digital sieht sich glücklich, bei solch aufregenden Entwicklungen an der Spitze zu stehen.

Lesen Sie unsere vorherigen Blogs in der TrueML-Serie

‍

True ML Talks #20 - Transformers, Embedding, LLMS @ Turnitin

Deep dive into a new way of thinking about Transformers and LLMs, via Embeddings . We talk with Sumeet, Distinguished ML Scientist @ Turnitin.

TrueFoundry Blog TrueFoundry

‍

Schaue weiter TrueML YouTube-Serie und lese das ganze TrueML Blog-Serie.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.