True ML Talks #21 - Machine Learning Platform @ Loblaw Digital

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in het Loblaw Digital ML Platform en spreken we met Adhithya Ravichandran

Adhithya is Senior Software Engineer bij Loblaw Digital. Hij maakt deel uit van het machine learning platform-team, waar hij het machine learning platform bouwt en onderhoudt.

📌

Onze gesprekken met Adhithya behandelen de volgende aspecten:
- ML Platform Team bij Loblaw
- Aangepaste ML-tools en componenten
- Helios Recommendation Engine
- Aanbevelingssystemen: Personalisatie en omgaan met real-time context
- Machine Learning Observability versterken
- Vooruitgang in Generatieve AI

Bekijk de volledige aflevering hieronder:

ML Platform Team bij Loblaw

Het ML platform-team, verantwoordelijk voor het platformiseren van machine learning, bestaat al meer dan vijf jaar. De oprichting werd gedreven door de noodzaak om operationele processen efficiënt te optimaliseren binnen de grote organisatie. Het team is klein, met minder dan tien leden, maar speelt een cruciale rol bij de implementatie van nicheproducten en toolsets.

Aangepaste ML-tools en componenten

AirFlow en andere niche toolsets

Het ML platform-team van Loblaw Digital maakt gebruik van nicheproducten en toolsets, waaronder Airflow, een workflow orchestrator. Airflow wordt niet alleen gebruikt door machine learning-teams, maar ook op grote schaal door data engineering-, business intelligence- en analytics-teams. Het team legt de nadruk op het gebruik van open source tools en heeft een robuuste praktijk ontwikkeld voor efficiënt toolgebruik.

Workflows stroomlijnen met code-templates

Het ML platform-team werkt nauw samen met specifieke teams die verantwoordelijk zijn voor use cases. Ze identificeren efficiënte methoden om taken te volbrengen en zetten deze best practices om in herbruikbare code-templates en Python-packages. In de loop der tijd zijn deze praktijken geëvolueerd tot een kernset van gecodeerde praktijken, toegankelijk voor alle teams, waardoor workflows gestroomlijnder en efficiënter worden.

Helios Recommendation Engine

De Helios recommendation engine, een hoeksteen van het e-commerceplatform van Loblaw Digital, ontstond vanuit de behoefte om de gebruikerservaring te verbeteren en te profiteren van de enorme hoeveelheid data waarover het bedrijf beschikt. Als grootste retailer van Canada met een aanzienlijk loyaliteitsprogramma voor klanten, had Loblaw Digital toegang tot een ongeëvenaarde dataset. Deze rijkdom aan informatie bood de kans om aangepaste aanbevelingsmodellen te bouwen, afgestemd op de voorkeuren van Canadese klanten.

Aanvankelijk vertrouwde Loblaw Digital op externe tools voor aanbevelingen. Naarmate het project meer momentum kreeg, werd het echter duidelijk dat het bouwen van een eigen in-house recommendation engine niet alleen haalbaar was, maar ook kosteneffectief. Met toenemende expertise in het implementeren van hun eigen modellen, maakte het team gebruik van tools zoals Google Kubernetes Engine (GKE) op Google Cloud Platform (GCP) en Seldon, een open-source model serving tool. Deze componenten vormden de basis voor het creëren van een API-wrapper rond hun aanbevelingsmodellen.

Model serving was een cruciale uitdaging die de Helios recommendation engine wilde aanpakken. Loblaw Digital beschikte over de capaciteit om geavanceerde aanbevelingsmodellen te trainen en had een reeks interne teams die aan verschillende aspecten van hun e-commerceplatform werkten. Het naadloos integreren van hun modellen in het platform bleek echter een complexe taak bij het gebruik van externe leveranciers. Vandaar het besluit om een op maat gemaakte oplossing te ontwikkelen die hun eigen modellen efficiënt kon serveren.

Hoewel Seldon, een tool die in hun oplossing wordt gebruikt, technisch gezien een externe tool is, onderhield Loblaw Digital de Seldon-operators en paste deze aan om aan hun specifieke behoeften te voldoen. Deze aanpak stelde hen in staat om meer controle te hebben over hun model serving-infrastructuur en zorgde voor een naadloze integratie met hun e-commerceplatform.

Je kunt meer lezen over de Helios Recommendation Engine in deze blog, geschreven door het team van Loblaw Digital:

‍

De online winkelervaring verrijken met de Helios Recommendation Engine

Mede-auteurs: JC Seok, Mefta Sadat, Alex Yip, Indrani Gorti, Julia Lee

Loblaw Digital Alex Yip

‍

📌

Inferencing optimaliseren: Balans tussen real-time en batch voor de Helios Recommendation Engine:

De inferencing-behoeften van Loblaw Digital zijn divers en omvatten real-time serving voor directe gebruikersaanbevelingen en batch-inferencing voor andere use cases. Historisch gezien hebben ze voornamelijk batch-inferencing gebruikt, waarbij de kosteneffectiviteit werd geoptimaliseerd door inferences vooraf te berekenen en op te slaan voor efficiënte retrieval.

Inzien dat het e-commercelandschap verandert, omarmt Loblaw Digital in toenemende mate real-time inferencing om te voldoen aan de eisen van gebruikers voor directe aanbevelingen, met prioriteit voor een naadloze winkelervaring.

Aanbevelingssystemen: Personalisatie en real-time context

Personalisatie versterken

Personalisatie in de kern

Loblaw Digital heeft een stevig fundament gelegd voor personalisatie binnen hun aanbevelingssysteem. Ze begonnen met matrixvermenigvuldiging, wat al een paar jaar een vaste techniek is. Naarmate hun reis vorderde, integreerde Loblaw Digital geavanceerdere modellen, waaronder massieve transformers, om personalisatie te verbeteren.

Omgaan met uitdagingen in real-time context

Real-time context: Een complexe uitdaging

In aanbevelingssystemen is het reageren op real-time context een aanzienlijke uitdaging. Real-time context omvat directe gebruikerssignalen, zoals de eerdere klik van de gebruiker, en uitgebreidere contextuele informatie, zoals seizoenspatronen over de afgelopen twee jaar voor specifieke producten. Het balanceren van deze extreme typen features vormt een aanzienlijke engineeringuitdaging.

Anderen versterken via het platform-team

Het platform-team van Loblaw Digital speelt een cruciale rol bij het aanpakken van deze complexe uitdagingen. Ze ontwikkelen datacontracten en een "data as a service"-aanpak om tijdig data te verstrekken aan verschillende belanghebbenden. Het platform-team is overgestapt van een eigen externe leverancier voor acties in de sessie en in de browser naar een open-source oplossing genaamd Snowplow analytics. Deze overgang geeft Loblaw Digital meer controle over datapijplijnen, waardoor data sneller beschikbaar is voor backend-services, inclusief aanbevelingsmodellen. Het platform-team opereert binnen de Data and Machine Learning Platform-organisatie, verantwoordelijk voor verschillende datagerelateerde functies, waaronder real-time datapijplijnen en data as a service. De centralisatie van deze functies binnen het team vergemakkelijkt efficiënte probleemoplossing en zorgt voor afstemming op de visie van de organisatie.

We hebben nu onze open-source versie van Snowplow analytics geïmplementeerd. We hebben dus veel meer controle over de pijplijnen vanaf iemands browser-app. Ik zie dat ze sneller beschikbaar zijn voor onze backend-services, inclusief modellen, en ik zie daar nu al resultaat van. - Adhithiya

Machine Learning Observability versterken

Geïntegreerde aanpak voor data en observability

1. Onafhankelijkheid: De volwassen organisatie van Loblaw Digital stelt machine learning engineers en data scientists in staat om onafhankelijk datapijplijnen voor hun modellen te bouwen.
2. Zelfredzaamheid: Gestroomlijnde processen en templates bevorderen de zelfredzaamheid.
3. Data-vindbaarheid: Organisatiebrede strategieën bevorderen de vindbaarheid van data, wat autonome datatoegang mogelijk maakt.
   Uitgebreide Machine Learning Observability
4. Cruciale nadruk: Adhithya benadrukt het belang van machine learning observability.
5. Metrieken: Algemene observability-metrieken omvatten aanvraagvolumes, latency, foutpercentages en de gezondheid van deployments.
6. Gecentraliseerde aanpak: Loblaw Digital centraliseert monitoring en observability, wat processen vereenvoudigt met out-of-the-box tools.

Uitdagingen bij model-observability aanpakken

1. Gefocust op data: Model-observability richt zich op het beoordelen van de statistieken van invoerdata binnen specifieke tijdsbestekken.
2. Operationele wendbaarheid: Het doel is om snelle reacties op basis van datainzichten mogelijk te maken om aan operationele behoeften te voldoen.
3. Leveranciersoplossingen: Loblaw Digital onderzoekt leveranciersoplossingen voor geavanceerde observability binnen kortere tijdsbestekken.

Observability verbeteren met gespecialiseerde oplossingen

1. Ontwikkelingen bij leveranciers: Leveranciers ontwikkelen oplossingen vergelijkbaar met een Prometheus-stack, geoptimaliseerd voor real-time analytics.
2. Voordelen benutten: Deze oplossingen benutten de voordelen van de "big data stack" voor snellere metriekberekeningen die zijn afgestemd op model-observability.
3. Adoptie overwegen: Loblaw Digital overweegt dergelijke oplossingen te adopteren op basis van ervaring met zelf-gehoste Prometheus.

Sleutelrol van gecentraliseerde logging

1. Datacaptatie: Loblaw Digital maakt gebruik van een gecentraliseerde logger-service om berichten en responsen van machine learning-API's vast te leggen.
2. Efficiënte werking: De service werkt asynchroon met minimale impact op de dienstverlening.
3. Datagebruik: Vastgelegde data wordt ingevoerd in het analytics-datawarehouse van de organisatie, wat uitgebreide rapportage en analyse vergemakkelijkt.

End-to-end observability bevorderen

1. Operationeel: Gecentraliseerde logger- en observability-oplossingen zijn operationeel voor specifieke use cases.
2. Prestaties volgen: Teams volgen modelprestaties, correleren inferences met gebruikersacties en beoordelen de impact van het model.
3. Durende verbetering: Loblaw Digital blijft observability-services verbeteren en centraliseren voor bredere organisatiebrede adoptie.

Vooruitgang in Generatieve AI

Boeiende vooruitgang in Generatieve AI

Loblaw Digital maakt aanzienlijke vorderingen op het gebied van generatieve AI. Het team verkent tal van mogelijkheden in dit domein. Intern is er een enorm enthousiasme, niet alleen qua gebruik van bekende chat-interfaces, maar ook bij het bouwen van innovatieve producten en het hosten van eigen modellen.

Diepe betrokkenheid bij Generatieve AI

Loblaw Digital investeert sterk in het potentieel van generatieve AI. De organisatie overweegt actief de ontwikkeling van producten die gebruikmaken van generatieve AI. Er is een sterke wens om de mogelijkheid te onderzoeken om in de toekomst hun eigen modellen te hosten.

Toekomstgerichte aanpak van het management

Het management van Loblaw Digital staat open voor het verkennen van een breed scala aan mogelijkheden op het gebied van generatieve AI. De ambitie van de organisatie reikt verder dan het gebruik van externe leveranciers tot het voorzien van een toekomst waarin ze hun eigen generatieve AI-modellen kunnen maken en hosten. Loblaw Digital beschouwt zichzelf als gelukkig om voorop te lopen bij zulke boeiende ontwikkelingen.

Lees onze eerdere blogs in de TrueML-serie

‍

True ML Talks #20 - Transformers, Embedding, LLMS @ Turnitin

Diepgaande duik in een nieuwe manier van denken over Transformers en LLMs, via Embeddings. We spreken met Sumeet, Distinguished ML Scientist @ Turnitin.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML youtube-serie en lees de volledige TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en implementeren van modellen en volledige beveiliging en controle voor het Infra-team worden gegarandeerd. Via ons platform stellen we machine learning-teams in staat om modellen te deployen en monitoren in 15 minuten met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden terug te draaien - waardoor ze kosten besparen en modellen sneller naar productie brengen, wat leidt tot het realiseren van echte zakelijke waarde.