True ML Talks #21 - Loblaw Digitalにおける機械学習プラットフォーム

「True ML Talks」の新しいエピソードをお届けします。今回は、深く掘り下げていきます。 Loblaw Digital MLプラットフォームについて、 Adhithya Ravichandran

Adhithya氏はLoblaw Digitalのシニアソフトウェアエンジニアです。彼は機械学習プラットフォームチームの一員として、プラットフォームの構築と保守を担当しています。

📌

Adhitihya氏との対談では、以下の点について取り上げます。
- LoblawのMLプラットフォームチーム
- カスタマイズされたMLツールとコンポーネント
- Heliosレコメンデーションエンジン
- レコメンデーションシステム：パーソナライゼーションとリアルタイムコンテキストの処理
- 機械学習の可観測性の強化
- 生成AIの進歩

全編はこちらからご覧ください：

LoblawのMLプラットフォームチーム

機械学習のプラットフォーム化を担うMLプラットフォームチームは、5年以上にわたり活動しています。その設立は、大規模な組織内で業務を効率的に最適化する必要性から生まれました。チームは10名未満の小規模ですが、ニッチな製品やツールセットの実装において重要な役割を担っています。

カスタマイズされたMLツールとコンポーネント

AirFlowおよびその他のニッチなツールセット

ロブローデジタル社のMLプラットフォームチームは、ワークフローオーケストレーターであるAirflowなど、特定の製品やツールセットを活用しています。Airflowは、機械学習チームだけでなく、データエンジニアリング、ビジネスインテリジェンス、アナリティクスチームによっても幅広く利用されています。同チームはオープンソースツールの利用を重視し、効率的なツール活用のため、強固な実践方法を確立しています。

コードテンプレートによるワークフローの効率化

MLプラットフォームチームは、ユースケースを担当する特定のチームと密接に連携しています。彼らはタスクを達成するための効率的な方法を特定し、これらのベストプラクティスを再利用可能なコードテンプレートやPythonパッケージに変換しています。これらの実践は、時間の経過とともにすべてのチームが利用できる一連の体系化された中核的な実践へと発展し、ワークフローをより効率的かつ合理的なものにしています。

Heliosレコメンデーションエンジン

ロブローデジタル社のEコマースプラットフォームの要であるHeliosレコメンデーションエンジンは、ユーザーエクスペリエンスを向上させ、同社が保有する膨大なデータを活用する必要性から生まれました。カナダ最大の小売業者であり、大規模な顧客ロイヤルティプログラムを持つロブローデジタル社は、比類のないデータセットにアクセスできました。この豊富な情報は、カナダの顧客の好みに合わせたカスタムレコメンデーションモデルを構築する機会をもたらしました。

当初、ロブローデジタル社はレコメンデーションにサードパーティツールを利用していました。しかし、プロジェクトが勢いを増すにつれて、社内でレコメンデーションエンジンを構築することが実現可能であるだけでなく、費用対効果も高いことが明らかになりました。自社モデルのデプロイに関する専門知識が深まるにつれて、チームはGoogle Cloud Platform (GCP) 上のGoogle Kubernetes Engine (GKE) やオープンソースのモデルサービングツールであるSeldonなどのツールを活用しました。これらのコンポーネントが、レコメンデーションモデルのAPIラッパーを作成するための基盤となりました。

モデルサービングは、Heliosレコメンデーションエンジンが解決を目指した極めて重要な課題でした。ロブローデジタル社は、高度なレコメンデーションモデルをトレーニングする能力を持ち、Eコマースプラットフォームの様々な側面に取り組む社内チームを多数抱えていました。しかし、サードパーティプロバイダーを利用した場合、自社モデルをプラットフォームにシームレスに統合することは複雑な作業であることが判明しました。そのため、自社モデルを効率的に提供できるカスタムソリューションを開発するという決定が下されました。

彼らのソリューションで使用されているSeldonは、技術的にはサードパーティツールですが、ロブローデジタル社はSeldonオペレーターを維持し、特定のニーズに合わせてカスタマイズしました。このアプローチにより、彼らはモデルサービングインフラストラクチャをより詳細に制御できるようになり、Eコマースプラットフォームとのシームレスな統合を確実にしました。

Helioレコメンデーションエンジンについてさらに詳しく知りたい方は、ロブローデジタルチームが執筆したこちらのブログをご覧ください。

‍

Enriching the online shopping experience with Helios Recommendation Engine

Co-authored by: JC Seok, Mefta Sadat, Alex Yip, Indrani Gorti, Julia Lee

Loblaw Digital Alex Yip

‍

📌

推論の最適化：Heliosレコメンデーションエンジンにおけるリアルタイムとバッチのバランス

ロブローデジタル社の推論ニーズは多岐にわたり、ユーザーへの即時レコメンデーションのためのリアルタイムサービングと、その他のユースケースのためのバッチ推論が含まれます。歴史的に、彼らは主にバッチ推論を使用してきており、推論を事前に計算し、効率的な取得のために保存することで、費用対効果を最適化しています。

進化するEコマースの状況を認識し、ロブローデジタル社は、ユーザーの即時レコメンデーションへの要求に応え、シームレスなショッピング体験を優先するため、リアルタイム推論をますます採用しています。

レコメンデーションシステム：パーソナライゼーションとリアルタイムコンテキスト

パーソナライゼーションの強化

パーソナライゼーションを核に

ロブローデジタル社は、レコメンデーションシステム内でパーソナライゼーションの基盤をしっかりと確立しています。彼らは数年前から主要な技術であった行列乗算から始めました。その後、ロブローデジタル社は、パーソナライゼーションを強化するために、大規模なトランスフォーマーを含む、より洗練されたモデルを組み込みました。

リアルタイムコンテキストの課題への対応

リアルタイムコンテキスト：複雑な課題

レコメンデーションシステムにおいて、リアルタイムのコンテキストに対応することは大きな課題です。リアルタイムのコンテキストには、ユーザーの直前のクリックのような即時的なユーザーシグナルや、特定の製品における過去2年間の季節パターンといった、より広範なコンテキスト情報が含まれます。これらの極端なタイプの機能のバランスを取ることは、かなりのエンジニアリング上の課題となります。

プラットフォームチームによる他者への支援

Loblaw Digitalのプラットフォームチームは、これらの複雑な課題に対処する上で極めて重要な役割を担っています。彼らは、さまざまなステークホルダーにタイムリーなデータを提供するため、データコントラクトと「Data as a Service」のアプローチを開発しています。プラットフォームチームは、セッション内およびブラウザ内でのアクションに関する独自のサードパーティベンダーから、Snowplow analyticsと呼ばれるオープンソースソリューションへと移行しました。この移行により、Loblaw Digitalはデータパイプラインに対するより大きな制御権を得て、レコメンデーションモデルを含むバックエンドサービスへのデータ提供を迅速化できるようになりました。プラットフォームチームは、リアルタイムデータパイプラインやData as a Serviceを含む、さまざまなデータ関連機能を担当するデータおよび機械学習プラットフォーム組織内で活動しています。これらの機能がチーム内で一元化されることで、効率的な問題解決が促進され、組織のビジョンとの整合性が確保されます。

「私たちは現在、Snowplow analyticsのオープンソース版を導入しています。そのため、ブラウザアプリからのパイプラインをより詳細に制御できるようになりました。モデルを含むバックエンドサービスに、それらをより迅速に利用できるようにしており、すでにその効果が見られ始めています。」 - Adhithiya

機械学習の可観測性の強化

データと可観測性への統合的アプローチ

1. 独立性： Loblaw Digitalの成熟した組織は、機械学習エンジニアとデータサイエンティストが自身のモデルのためのデータパイプラインを独立して構築できるよう支援しています。
2. 自律性： 効率化されたプロセスとテンプレートが自律性を促進します。
3. データ発見性： 組織全体の戦略がデータの発見性を促進し、自律的なデータアクセスを可能にします。
   包括的な機械学習の可観測性
4. 重要な強調点： Adhithyaは機械学習の可観測性の重要性を強調しています。
5. メトリクス： 一般的な可観測性メトリクスには、リクエスト量、レイテンシ、エラー率、デプロイの健全性が含まれます。
6. 一元化されたアプローチ： Loblaw Digitalはモニタリングと可観測性を一元化し、既製のツールでプロセスを簡素化しています。

モデルオブザーバビリティの課題解決

1. データ中心: モデルの可観測性では、特定の期間における入力データの統計を評価することに重点を置いています。
2. 運用の俊敏性: データインサイトに基づいた迅速な対応を可能にし、運用ニーズを満たすことを目的としています。
3. ベンダーソリューション: ロブローデジタルは、短期間で高度なオブザーバビリティを実現するベンダーソリューションを模索しています。

専門ソリューションによるオブザーバビリティの強化

1. ベンダーの進歩: ベンダーは、リアルタイム分析に最適化されたPrometheusスタックに似たソリューションを開発しています。
2. 利点の活用: これらのソリューションは、「ビッグデータスタック」の利点を活かし、モデルオブザーバビリティに合わせたより高速なメトリクス計算を可能にします。
3. 導入の検討: ロブローデジタルは、セルフホスト型Prometheusの経験に基づき、こうしたソリューションの導入を検討しています。

集中ロギングの重要な役割

1. データ取得: ロブローデジタルは、機械学習APIのメッセージと応答をキャプチャするために、集中ロガーサービスを利用しています。
2. 効率的な運用: このサービスは、サービスへの影響を最小限に抑えながら非同期で動作します。
3. データ活用: 取得されたデータは組織の分析データウェアハウスに取り込まれ、包括的なレポート作成と分析を可能にします。

エンドツーエンドの可観測性の推進

1. 運用状況： 一元化されたロガーおよび可観測性ソリューションは、特定のユースケース向けに稼働しています。
2. パフォーマンス追跡： チームはモデルのパフォーマンスを追跡し、推論とユーザーアクションを関連付け、モデルの影響を評価しています。
3. 継続的な強化： Loblaw Digitalは、組織全体でのより広範な導入に向けて、可観測性サービスの強化と一元化を続けています。

生成AIの進歩

生成AIにおける興味深い進展

Loblaw Digitalは生成AIの分野で大きな進歩を遂げています。チームはこの領域で数多くの機会を模索しており、社内では、よく知られたチャットインターフェースの利用だけでなく、革新的な製品の構築や独自のモデルのホスティングにも大きな熱意が寄せられています。

生成AIへの深いコミットメント

Loblaw Digitalは生成AIの可能性に深く関心を持っています。組織は生成AIを活用した製品開発を積極的に検討しており、将来的には独自のモデルをホスティングする可能性も強く模索したいと考えています。

リーダーシップの先見的なアプローチ

Loblaw Digitalのリーダーシップは、生成AIの分野における幅広い可能性の探求に前向きです。組織の野心は、サードパーティベンダーの利用にとどまらず、独自の生成AIモデルを作成・ホスティングできる未来を描いています。Loblaw Digitalは、このような刺激的な発展の最前線にいることを幸運だと考えています。

TrueMLシリーズの過去のブログを読む

‍

True ML Talks #20 - Transformers, Embedding, LLMS @ Turnitin

Deep dive into a new way of thinking about Transformers and LLMs, via Embeddings . We talk with Sumeet, Distinguished ML Scientist @ Turnitin.

TrueFoundry Blog TrueFoundry

‍

TrueMLを引き続きご覧ください YouTubeシリーズ TrueMLのすべてを読み、 ブログシリーズ。

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを加速させるとともに、モデルのテストとデプロイにおいて完全な柔軟性を提供し、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームが デプロイと監視を 15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能を備えて行えるようにします。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。