True ML Talks #21 - Machine Learning Platform @ Loblaw Digital

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talks の新しいエピソードをお届けします。今回は、Loblaw Digital の ML Platform を深掘りし、Adhithya Ravichandran 氏にお話を伺います。
Adhithya 氏は Loblaw Digital の Senior Software Engineer です。彼は Machine Learning Platform チームの一員として、Machine Learning Platform の構築および運用保守を担当しています。
📌
Adhithya 氏との対談では、以下のテーマについて取り上げます。
- Loblaw における ML Platform チーム
- カスタマイズされた ML ツールとコンポーネント
- Helios レコメンデーションエンジン
- レコメンデーションシステム:パーソナライゼーションとリアルタイムコンテキストの処理
- Machine Learning Observability の強化
- Generative AI における進歩
フルエピソードは以下よりご視聴いただけます:
Loblaw における ML Platform チーム
Machine Learning のプラットフォーム化を担う ML Platform チームは、5年以上にわたり存在しています。その設立は、大規模な組織内でのオペレーションを効率的に最適化する必要性によるものでした。チームの規模は10名未満と小規模ですが、ニッチな製品やツールセットの実装において重要な役割を果たしています。
カスタマイズされた ML ツールとコンポーネント
Airflow とその他のニッチなツールセット
Loblaw Digital の ML Platform チームは、ワークフローオーケストレーターである Airflow をはじめとするニッチな製品やツールセットを採用しています。Airflow は Machine Learning チームだけでなく、データエンジニアリング、ビジネスインテリジェンス、アナリティクスの各チームでも広く活用されています。チームはオープンソースツールの活用を重視しており、効率的なツール利用のための堅牢なプラクティスを確立しています。
コードテンプレートによるワークフローの効率化
ML Platform チームは、特定のユースケースを担当するチームと密接に連携しています。タスクを遂行するための効率的な手法を特定し、これらのベストプラクティスを再利用可能なコードテンプレートや Python パッケージへと変換しています。時間をかけて、これらのプラクティスはコード化されたコアプラクティス集へと進化し、すべてのチームが利用可能になったことで、ワークフローがより円滑かつ効率的になりました。
Helios レコメンデーションエンジン
Loblaw Digital の e コマースプラットフォームの要である Helios レコメンデーションエンジンは、ユーザーエクスペリエンスを向上させ、同社が保有する膨大なデータを有効活用する必要性から誕生しました。カナダ最大の小売業者であり、大規模な顧客ロイヤルティプログラムを擁する Loblaw Digital は、他に類を見ないデータセットを保有していました。この豊富な情報は、カナダの顧客の好みに合わせたカスタムレコメンデーションモデルを構築する絶好の機会となりました。
当初、Loblaw Digital はレコメンデーションにサードパーティツールを依拠していました。しかし、プロジェクトが勢いを増すにつれ、インハウスのレコメンデーションエンジンを構築することが実現可能であるだけでなく、コスト効率も高いことが明確になりました。自社モデルのデプロイに関する専門知識が高まる中、チームは Google Cloud Platform(GCP)上の Google Kubernetes Engine(GKE)や、オープンソースのモデルサービングツールである Seldon などのツールを活用しました。これらのコンポーネントが、レコメンデーションモデルの周囲に API ラッパーを作成する基礎となりました。
モデルサービングは、Helios レコメンデーションエンジンが解決を目指した極めて重要な課題でした。Loblaw Digital は高度なレコメンデーションモデルをトレーニングする能力を備えており、e コマースプラットフォームの様々な側面に取り組む多数の社内チームが存在していました。しかし、サードパーティプロバイダーを使用する場合、モデルをプラットフォームにシームレスに統合することは複雑なタスクであることが判明しました。そのため、自社モデルを効率的に配信できるカスタムソリューションの開発が決定されました。
ソリューションで使用されている Seldon は技術的にはサードパーティツールですが、Loblaw Digital は Seldon オペレーターを維持管理し、特定のニーズに合わせてカスタマイズしました。このアプローチにより、モデルサービングインフラストラクチャをより大きく制御できるようになり、e コマースプラットフォームとのシームレスな統合が確保されました。
Helios レコメンデーションエンジンの詳細については、Loblaw Digital のチームによって執筆されたこちらのブログをお読みいただけます:
📌
推論の最適化:Helios レコメンデーションエンジンにおけるリアルタイムとバッチのバランス:
Loblaw Digital の推論ニーズは多岐にわたり、即時のユーザーレコメンデーションのためのリアルタイム配信から、その他のユースケースのためのバッチ推論まで網羅しています。歴史的には、主にバッチ推論を使用して推論を事前に計算・保存することでコスト効率を最適化し、効率的なデータ取得を実現してきました。
進化する e コマース環境を認識し、Loblaw Digital は即時のレコメンデーションに対するユーザーの需要に応えるため、リアルタイム推論を積極的に取り入れ、シームレスなショッピング体験を優先しています。
レコメンデーションシステム:パーソナライゼーションとリアルタイムコンテキスト
パーソナライゼーションの強化
中核となるパーソナライゼーション
Loblaw Digital は、レコメンデーションシステム内におけるパーソナライゼーションの基盤を確立しています。彼らは数年間定番の技術であった行列乗算からスタートしました。取り組みが進むにつれ、Loblaw Digital は大規模な Transformer を含むより高度なモデルを取り入れ、パーソナライゼーションを強化しました。
リアルタイムコンテキストの課題への対処
リアルタイムコンテキスト:複雑な課題
レコメンデーションシステムにおいて、リアルタイムコンテキストに応答することは大きな課題です。リアルタイムコンテキストには、ユーザーの直前のクリックといった即時的なユーザーシグナルや、特定の製品に関する過去2年間の季節パターンなど、より長期的なコンテキスト情報が含まれます。これらの対極にある特徴量のバランスを取ることは、重大なエンジニアリング上の課題となります。
Platform チームを通じた他チームへの支援
Loblaw Digital の Platform チームは、これらの複雑な課題に対処する上で極めて重要な役割を果たしています。彼らは様々なステークホルダーにタイムリーなデータを提供するため、データコントラクトや「Data as a Service」のアプローチを開発しています。Platform チームは、セッション内およびブラウザ内アクションの収集において、サードパーティの独自ベンダーから Snowplow analytics というオープンソースソリューションへと移行しました。この移行により、Loblaw Digital はデータパイプラインをより自社で制御できるようになり、レコメンデーションモデルを含むバックエンドサービスへの迅速なデータ供給が可能になりました。Platform チームは Data and Machine Learning Platform 組織内で運用されており、リアルタイムデータパイプラインや Data as a Service を含む、様々なデータ関連機能を担当しています。チーム内でのこれらの機能の集約により、効率的な問題解決が促進され、組織のビジョンとの整合性が確保されています。
現在、Snowplow analytics のオープンソース版を実装済みです。これにより、ユーザーのブラウザアプリからのパイプラインを大幅に制御できるようになりました。モデルを含むバックエンドサービスへのデータ提供速度が向上し、すでにその効果を実感しています。- Adhithiya
Machine Learning Observability の強化
データと Observability への統合的アプローチ
- 自律性: Loblaw Digital の成熟した組織では、Machine Learning エンジニアやデータサイエンティストがモデル用のデータパイプラインを自律的に構築できます。
- セルフサービス: 効率化されたプロセスとテンプレートにより、自給自足が促進されます。
- データの発見可能性: 組織全体にわたる戦略によりデータの発見可能性が高まり、自主的なデータアクセスが可能になります。
包括的な Machine Learning Observability - 重要性の強調: Adhithya 氏は Machine Learning Observability の重要性を強調しています。
- メトリクス: 一般的な Observability メトリクスには、リクエスト量、レイテンシ、エラー率、デプロイの健全性が含まれます。
- 中央集権的アプローチ: Loblaw Digital は監視と Observability を一元化し、標準提供されるツールでプロセスを簡素化しています。
モデル Observability の課題への対処
- データへの注力: モデル Observability は、特定時間枠内での入力データの統計評価に焦点を当てています。
- 運用の俊敏性: データのインサイトに基づいて迅速なレスポンスを可能にし、運用上のニーズを満たすことを目的としています。
- ベンダーソリューション: Loblaw Digital は、より短時間での高度な Observability を目指し、ベンダーソリューションを検討しています。
- ベンダーの進歩: ベンダーは、リアルタイムアナリティクス向けに最適化された Prometheus スタックに類似したソリューションを開発しています。
- 優位性の活用: これらのソリューションは「ビッグデータスタック」の強みを活かし、モデル Observability に適した高速なメトリクス計算を実現します。
- 導入の検討: Loblaw Digital は、セルフホスト型 Prometheus での経験に基づき、こうしたソリューションの導入を検討しています。
- データキャプチャ: Loblaw Digital は、Machine Learning API のメッセージとレスポンスをキャプチャするために、中央集権型のロガーサービスを採用しています。
- 効率的な運用: このサービスは非同期で動作し、サービスへの影響を最小限に抑えます。
- データの活用: キャプチャされたデータは組織のアナリティクスデータウェアハウスに投入され、包括的なレポートと分析を容易にします。
- 運用中: 中央集権型ロガーおよび Observability ソリューションは、特定のユースケースで稼働しています。
- パフォーマンス追跡: チームはモデルのパフォーマンスを追跡し、推論とユーザーアクションを関連付け、モデルの影響を評価します。
- 継続的な強化: Loblaw Digital は、組織内でのより広範な採用に向けて、Observability サービスの強化と一元化を継続しています。
専門ソリューションによる Observability の強化
中央集権的ログ記録の重要な役割
エンドツーエンド Observability の推進
Generative AI における進歩
Generative AI における注目の進展
Loblaw Digital は、Generative AI の領域で大きな進歩を遂げています。チームはこの分野における数多くの機会を探求しています。社内では、よく知られたチャットインターフェースの利用にとどまらず、革新的な製品の構築や独自のモデルのホスティングに関しても巨大な情熱が存在しています。
Generative AI への深い取り組み
Loblaw Digital は、Generative AI の可能性に深く注力しています。同組織は Generative AI を活用した製品開発を積極的に検討しています。将来的には自社モデルをホスティングする可能性を追求したいという強い意欲を持っています。
リーダーシップの先進的なアプローチ
Loblaw Digital のリーダーシップは、Generative AI 領域における幅広い可能性の探求にオープンです。組織の野心は、サードパーティベンダーを利用するだけにとどまらず、自社の Generative AI モデルを作成・ホスティングできる未来を描いています。Loblaw Digital は、このようなエキサイティングな開発の最前線に立てていることを幸運に感じています。
TrueML シリーズの過去のブログを読む
TrueML YouTube シリーズの視聴と、TrueML ブログシリーズの定期チェックをぜひお続けください。
TrueFoundry は、Kubernetes 上で動作する ML デプロイメント PaaS であり、インフラチームに完全なセキュリティとコントロールを保証しながら、開発者がモデルのテストやデプロイを柔軟に行えるようにし、開発者のワークフローを加速させます。当社のプラットフォームを通じて、Machine Learning チームは 100% の信頼性、スケーラビリティ、数秒でのロールバック機能を備えたモデルを 15 分で デプロイおよび監視できるようになり、コスト削減とモデルのプロダクションリリース高速化を実現し、真のビジネス価値の創出を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






