True ML Talks #13 - ML Platform @ Cookpad

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、世界最大級のレシピサービスプラットフォームであるCookpadにおけるMLアーキテクチャを深く掘り下げます。また、成功する機械学習プラットフォームを構築する際の課題や、モデルを実行するためにNvidia Triton Inference Serverをどのように活用しているかについても取り上げます。
今回はJose Navarro氏にお話を伺います。
Jose氏はCookpadのリードMLプラットフォームエンジニアであり、機械学習エンジニアやすべてのML実践者がMLシステムを迅速かつ信頼性高くデリバリーできるよう支援しています。
📌
Jose氏との対談では、以下のテーマを扱います:
- CookpadにおけるMLチームの構造
- GPUベースのMLインフラストラクチャ
- Cookpadにおけるモデルデプロイの自動化
- オンライン推論のためのFeature Storeの統合と設定
- モデル実験におけるデータソースと特徴量管理
- MLモデルの再学習のためのArgo Workflowsの活用
- Nvidia Triton Inference Serverとそのメリット
- MLflow Model RegistryとTriton Inference Serverの統合
- CookpadにおけるLLMとGen AIの活用
- ニーズに合わせたMLOpsアーキテクチャのカスタマイズ
エピソードの全編はこちらからご視聴いただけます:
CookpadにおけるMLチームの構造
- Machine Learning Engineers: コアMLチームは、機械学習とソフトウェアエンジニアリングの両方に専門知識を持つエンジニアで構成されています。彼らは、プロダクトチームと密接に連携しながら、機械学習モデルの開発、トレーニング、デプロイを担当しています。
- Platform Team: プラットフォームチームは、Kubernetesクラスタを含む基盤インフラストラクチャを管理することで、MLエンジニアをサポートしています。MLシステムの拡張性、信頼性、パフォーマンスを保証します。さらに、ML開発プロセスを効率化するための社内ツールやフレームワークの開発・維持も行っています。
GPUベースのMLインフラストラクチャ
- Cloud-based Infrastructure: Cookpadはクラウド上でMLインフラストラクチャを運用しており、主にAWSを使用し、一部のソースでGCPを利用しています。インフラストラクチャは、Cookpadのグローバルなユーザーベースの規模と要求に対応できるように設計されています。
- Data Processing and Feature Extraction: ユーザー生成コンテンツやアクションはKafkaを通じて取り込まれ、ストリーミングサービスで処理されます。特徴量が計算され、Amazon SageMaker Feature Storeに保存されます。データウェアハウスとしてはAmazon Redshiftが使用されています。
- Microservice Architecture and Inference Layer: CookpadのMLプラットフォームは、Kubernetes上にデプロイされたマイクロサービスアーキテクチャの上に構築されています。前処理はマイクロサービス内で行われ、ML推論にはNvidia Inference Serverが使用されます。
- ML Engineer Experimentation Platform: Cookpadは、データ探索やモデルトレーニング用のJupyter Serverを含む、MLエンジニア向けの実験プラットフォームを提供しています。実験のトラッキングとモデルレジストリにはMLflowが使用されています。
- Model Deployment and Automation: MLエンジニアはMLflowにモデルを登録し、自動化プロセスがNvidia Inference Server (Triton) 上でのモデルの変換とデプロイを処理します。
- GPU-Intensive Use Cases: CookpadのGPUインフラストラクチャは、多言語モデルや画像エンベダーを含む多様なモデルをサポートしています。多言語モデルは大規模型ニューラルネットワークを利用し、画像エンベダーは計算負荷が高いためです。モデルはNvidia Triton Inference Serverを使用してデフォルトでGPUにデプロイされます。
Cookpadにおけるモデルデプロイの自動化
- Jupyter Hub for Experimentation: CookpadのMLエンジニアは、実験を実施できるマネージドJupyter Hub環境にアクセスできます。チームは実験目的のためにJupyter Hub内で様々なカーネルをサポートしています。
- Publishing Models to MLflow: MLエンジニアがモデルを開発し納得のいく結果が得られたら、モデルレジストリおよび実験トラッキングプラットフォームとして機能するMLflowにモデルを公開できます。
- End-to-End Automation: Cookpadは、モデルデプロイのためのエンドツーエンドの自動化パイプラインを実装しています。自動化パイプラインはMLflowモデルレジストリから引き継ぎ、シームレスにモデルをデプロイプロセスに進めます。
- Supported Backend Frameworks: Cookpadの自動化パイプラインは、PyTorch、TensorFlow、ONNXを含む特定のバックエンドフレームワークのサブセットをサポートしています。これらのフレームワークは、モデルの最適化とデプロイを効果的に行うために利用されます。
- Defaulting to PyTorch and TensorFlow: Cookpadは複数のバックエンドフレームワークをサポートしていますが、その広範な使用実績とインフラストラクチャとの互換性から、モデルの開発およびデプロイにはPyTorchおよびTensorFlowをデフォルトとする傾向があります。
📌
MLflowとバックエンドサポートによる自動モデルデプロイ:
Cookpadで機械学習エンジニアが実験を行う際、実験を実行し多様なカーネルを利用できるマネージドJupyter Hubにアクセスします。モデルを開発したら、モデルレジストリとして機能するMLflowに公開します。そこからのプロセスは完全に自動化されています。
Cookpadの自動化パイプラインは、MLflowとTriton Inference Serverの両方と互換性のあるバックエンドのリストをサポートしています。サポートされているバックエンドには、PyTorch、TensorFlow、ONNXなどが含まれます。自動化パイプラインは登録されたモデルのデプロイを処理し、互換性に基づいて適切なバックエンドを活用します。デプロイのデフォルトの選択肢は通常PyTorchまたはTensorFlowであり、特定のニューラルネットワークの最適化にはONNXが使用されます。
オンライン推論のためのFeature Storeの統合と設定
Cookpadでは、データサイエンティストが実験とオンライン推論の両方でFeature Storeを活用しています。実験中、彼らはオフラインアクセスを通じてモデルのトレーニング用に既存の特徴量をクエリできます。新しい特徴量を探索する際は、データウェアハウスからデータを取得、変換し、新しい特徴量の作成に使用します。モデルのパフォーマンスに満足したら、データサイエンティストはリポジトリのスキーマを通じてFeature Store内に新しい特徴量グループを作成するだけです。
データはKafka経由でデータウェアハウスからFeature Storeへフローし、新しく作成された特徴量のストリーミングを可能にします。オンライン推論を有効にするために、データサイエンティストはストリーミングサービスを拡張して関連イベントを消費し、変換を実行します。モデル登録時に、データサイエンティストはモデルの構造と使用される特徴量を指定し、変換コードは特定の名前で特徴量を取得するように設定されます。
Feature Store、データウェアハウス、ストリーミングサービスのこの統合により、オンライン推論プロセスへの特徴量のシームレスな組み込みが保証され、必要に応じて調整や更新を行う柔軟性が提供されます。
モデル実験におけるデータソースと特徴量管理
モデル実験中、Cookpadのデータサイエンティストには2つのデータソース選択肢があります。必要な特徴量がすでにFeature Storeで利用可能な場合は、直接オフラインでクエリできます。一方、新しい特徴量を探索する場合は、データウェアハウスにアクセスしてデータを取得し、モデルのトレーニングに必要な変換を作成します。
新しい特徴量をFeature Storeに組み込む作業はシンプルです。データサイエンティストは特徴量のスキーマ詳細を含むプルリクエスト(PR)を送信し、自動化プロセスがAWSコールを使用して特徴量グループの作成を処理します。データウェアハウスで使用されたデータはKafkaを通じてストリーミングされ、新しく作成された特徴量でのオンライン推論を可能にします。既存のストリーミングサービスが拡張されてイベントを消費し変換を適用することで、Feature Storeへの特徴量のストリーミングフローが保証されます。
特徴量設定を維持するために、データサイエンティストはMLflowにモデルを登録する際に関連情報を含めます。変換コードはFeature Storeに直接アクセスし、設定を通じてデータサイエンティストは必要な特徴量名を指定します。この柔軟性により、必要に応じて特徴量設定を簡単に変更できます。
MLモデルの再学習のためのArgo Workflowsの活用
再学習パイプラインをアーキテクチャに組み込むプロセスは、Cookpadにおいて現在進行中の取り組みです。新しいML機能の迅速な反復(イテレーション)に焦点を当ててきた一方で、毎日または毎週モデルを置き換えたり再学習したりする成熟した再学習パイプラインの実装は、現在も開発段階にあります。Cookpadのレコメンデーションシステムはまだ初期段階にあり、反復的なアプローチにより、A/Bテストを通じた迅速な実験とモデルの置き換えが可能になっています。
Argo Workflowsを使用して再現可能なパイプラインを構築する可能性は存在するものの、Cookpadはこの実装の初期段階にあることを認識しています。まだ理想的なソリューションとは言えず、パイプラインの再現性は現在アクティブに取り組んでいる課題です。
小さくシンプルな実験から始めて、クリティカルなパイプラインコンポーネントを自動化することで、適切に考え抜かれたアーキテクチャが可能になります。Cookpadは推論の自動化をその重要性から優先事項とし、将来的に再学習パイプラインに焦点を当てる計画です。プラットフォーム構築に対するこの整理された漸進的なアプローチは、手法の有効性を際立たせるものであり、視聴者にとって貴重な学びとなります。
最初からエンドツーエンドのシステムを構築しようとすると、しばしば不要であったり不適合であったりするコンポーネントが生じます。彼は、Pythonラッパーを使用したり、MLエンジニアが慣れ親しんでいるKubernetesマニフェストやCI/CDプラクティスとより適合する別のツールを使用するなど、再現可能なパイプラインのためのArgo Workflowsに代わる選択肢を検討することを提案しています。
Nvidia's Triton Inference Serverとそのメリット
- Decision to Use Triton Inference Server: Cookpadは、コストとビジネス価値のバランスを考慮しながら、コストとパフォーマンスを最適化し、Kubernetes内のGPU上で推論を実行する課題に対処するためにTriton Inference Serverを選択しました。
- Benefits of Triton Inference Server: Triton Inference Serverは、モデルのアグリゲーション、GPUリソースの共有、リクエストのインテリジェントなルーティングによってコスト最適化を提供し、コストを削減します。モデルをデフォルトでGPUにデプロイすることによりパフォーマンスを強化し、より高速な推論を実現します。また、設定マップの1行変更とシームレスなモデルの取得・読み込みを通じてデプロイを簡素化し、MLエンジニアのユーザーエクスペリエンスを向上させます。
NvidiaのTriton Inference Serverを活用することで、Cookpadはコストの最適化、モデル推論パフォーマンスの向上、そしてMLエンジニアのためのデプロイの簡素化を実現しています。
MLflow Model RegistryとTriton Inference Serverの統合
Cookpadは、大規模なモデルデプロイを効率化するためにMLflow Model RegistryとTriton Inference Serverを統合しました。その実現方法は以下の通りです:
- MLflow Model Storage: モデルがMLflowに登録されると、MLflowの規約に基づいた特定のフォルダ構造でS3バケットに保存されます。モデルはTensorFlowまたはPyTorchのフォーマットで保存され、それぞれ独自の構造を持ちます。
- Triton's Model Structure: Triton Inference Serverは、設定ファイルを含む、モデル読み込み用の異なるフォルダ構造を要求します。この不一致のため、モデルをMLflowからTritonへ移動するには調整が必要となります。
- Sidecar Deployment: Cookpadは、Triton Inference Serverと一緒にデプロイされるサイドカーコンポーネントを開発しました。この小さなPythonコンテナは、1分ごとにMLflow APIをクエリして新しく登録されたモデルを特定します。また、Triton APIをクエリして現在どのモデルが読み込まれているかを確認します。
- Model Consolidation: Tritonに存在しない新しいモデルをMLflowで検出すると、サイドカーはS3バケットからモデルファイルを取得します。必要なファイルの移動を実行し、フォルダ構造がTritonの要求に適合していることを確認します。
- Loading Models: その後、サイドカーはモデルファイルをTritonのボリューム内の適切なフォルダに配置し、Triton APIを呼び出してモデルを読み込みます。モデルは、サーバーの再起動や手動での介入を必要とすることなく、Triton Inference Serverにシームレスに読み込まれます。
この統合を活用することで、CookpadはMLflowからTriton Inference Serverへの効率的なモデルデプロイを可能にし、進行中の推論運用を停止させることなく、拡張性と容易な更新を実現しています。
CookpadにおけるLLMとGen AIの活用
Cookpadは、プラットフォーム内での大規模言語モデル(LLM)および生成AI(Gen AI)技術の潜在的なユースケースとアプリケーションを積極的に模索しています。具体的な実装はまだ調査段階ですが、Cookpadがこれらの進歩の活用を見込んでいる領域をいくつか紹介します:
- レシピ作成の簡素化: Cookpadは、LLMを活用してユーザーがレシピを作成する際のハードルを下げることを目指しています。例えば、ユーザーは調理中にスマートフォン上の音声認識アプリケーションを使用してレシピの指示を吹き込むことができます。文字起こしされたデータはLLMに渡されてフォーマットされたレシピテキストが生成され、レシピを正確かつ効率的に記録するために必要な手間を削減します。
- スマートな食材認識: Cookpadは、Gen AI機能を統合して、ユーザーが冷蔵庫やパントリーの食材の写真を撮影し、レシピの提案を照会できるようにすることを想定しています。AIシステムは認識された食材を特定し、Cookpadの検索システムを使用してレシピのレコメンデーションを提供します。
- レシピのアシスタンスとカスタマイズ: LLMを使用して、Cookpadはレシピのアシスタンスやカスタマイズを提供する機能を開発することを計画しています。例えば、ユーザーは好みの違いや手元にある食材に合わせて、食材の代用や変更をリクエストできます。LLMベースのシステムは代替案を提示し、調理プロセスをスムーズにします。
これらのユースケースの開発および実装において、Cookpadはユーザーデータのプライバシーとコンプライアンスを最優先しています。
私たちはそのプロセスに従い、それらがセキュリティに準拠していることを確認しなければなりません。
ニーズに合わせたMLOpsアーキテクチャのカスタマイズ
MLOpsを用いたリアルタイム推論スタックの構築に関しては、万能なアプローチ(万能な一律の解決策)は存在しません。Jose Navarro氏は、企業内の機械学習(ML)実践の成熟度レベルと特定の要件に基づいてアーキテクチャをカスタマイズすることの重要性を強調しています。以下は、MLOpsアーキテクチャの必須コンポーネントに関する主要なインサイトです:
- Understanding Maturity: ML実装の現在の状態は、必須となるコンポーネントを決定する上で重要な役割を果たします。企業が実験とモデル提供に重点を置いた初期段階にある場合、重点はモデルの提供と推論層の構築に置かれる可能性があります。一方で、すでにMLモデルが本番環境で稼働しておりビジネスにとって極めて重要な企業の場合は、再現可能なパイプライン、Feature Store、およびモデルの可観測性(Observability)が不可欠なコンポーネントになります。
- Avoiding Overcomplication: Jose氏は、MLOpsスタックに不要なツールやコンポーネントを追加する傾向を避けるよう提案しています。代わりに、引き算を通じた単純化と課題解決に集中することが重要です。不要な要素を削除したり問題を単純化したりすることで、企業はより迅速に解決策に到達できることがよくあります。このアプローチにより、チームは複雑なツール導入に時間を投資する前に、価値の創出とML取り組みの影響度の評価を優先することができます。
- Agile Tool Adoption: あらかじめ決められた「必須リスト」に従うのではなく、Jose氏は必要に応じてツールを導入することを推奨しています。まずコアとなる課題と要件を特定し、それらの特定のニーズに対処するツールを段階的に導入します。例えば、Feature Storeの調査と統合に多大な時間を費やす代わりに、DynamoDBのようなサービスでクイックなキー・バリューストアを構築してプロジェクトを始動させ、その価値を評価することを検討します。この反復的なアプローチにより、不要な複雑さを最小限に抑えながら、MLの取り組みをより迅速に検証することができます。
True ML Talksシリーズの過去のブログを読む:
引き続きTrueMLのYouTubeシリーズの視聴と、TrueMLのブログシリーズをお楽しみください。
TrueFoundryは、Kubernetes上で動作するML Deployment PaaSです。インフラチームに完全なセキュリティと制御を保証しながら、開発者がモデルのテストやデプロイを完全な柔軟性をもって行えるよう、そのワークフローを高速化します。当社のプラットフォームを通じて、機械学習チームは100%の信頼性、拡張性、および数秒でのロールバック機能をもって、15分でモデルのデプロイとモニタリングを行うことができます。これによりコストを削減し、本番環境へのモデルのリリースを高速化して、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






