True ML Talks #2 - Stitch Fixにおける機械学習ワークフロー

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの第1エピソードには、非常に好意的な反響をいただきました。本シリーズでは、最先端を行くML企業のMLパイプラインを深く掘り下げていきます。本日のエピソードでは、Stefan Krawczyk氏にお話を伺います。
Stefan氏は、既存のMLOpsやデータインフラストラクチャにプラグインし、データサイエンスチームがモデルパイプラインを構築・保守するためのコラボレーション向けオープンソースプラットフォームを提供するDAGWorksを構築しています(同社のYC Launchをご覧ください)。同氏はNextdoor、LinkedIn、Stitch Fixなどの企業において、データおよび機械学習の分野で15年以上の経験を有しています。以前はStitch Fixでモデルライフサイクルチームを率い、社内MLOps機械学習プラットフォーム用のセルフサービスツールの構築において広範な経験を培いました。また、カンファレンスでの定期的な登壇者であり、人気のあるオープンソースフレームワークHamiltonの作者でもあります。
📌
Stefan氏との対話は、主に以下の4つの主要テーマを中心に進められます:
1. ビジネスにおける機械学習のユースケース。
2. ビジネス成果を最適化するためのStitch Fixのチーム組織構成。
3. 業界固有の課題を含む、MLスタック構築における課題。
4. MLインフラストラクチャの構築およびスケールプロセスで適用された最先端イノベーションの概要。
フルエピソードは以下よりご視聴いただけます:
Stitch FixにおけるMLユースケース:オンラインパーソナルスタイリングサービス
- レコメンデーションシステム → 予測およびシミュレーション用のモデル。サイズや割り当て範囲の細分化を提供します。
- 予測とシミュレーション → バイヤーが購入する洋服の量を決定する際、サイズと提供対象となるユーザー層を決定する必要があります。これには、シミュレーションや予測を支援するために社内で利用される一連の予測処理が含まれます。Stitch Fixのアリゴリズムチームはこの目的のためにモデルを構築し、サイズおよび割り当て範囲の内訳を提供しています。詳細についてはこちらをご覧ください。
- 社内企業資源計画(ERP)システム → Stitch Fixはアルゴリズムを活用して独自の社内ERPシステムを実質的に構築しています。このシステムは、在庫計画、倉庫管理、出荷コストの最適化に役立っています。詳細についてはこちらをご覧ください。
- 倉庫内のルート最適化 → Stitch Fixには倉庫内のルートを最適化するチームがあり、注文のピックアップ時に最短経路を通るように設計されています。この最適化により、注文処理のコストと時間の削減を実現しています。
- 倉庫ロジスティクス → Stitch Fixのアルゴリズムチームは、注文を満たすために棚から衣類をピックアップするプロセスの最適化にも取り組んでいます。Stitch Fixはこのプロセスを高速化することで、コストを削減し注文処理時間を最小限に抑えています。
Stitch FixにおけるMLシステムワークフロー
Stitch Fixでは、データサイエンスチームとプラットフォームチームの2つのチームが機械学習(ML)システムを担当しています。
- データサイエンスチーム: さまざまなビジネス部門を支援するバーティカルに組織されたデータサイエンスチームは、社内の他のチームが意思決定を行えるよう支援するモデルの構築を担当します。
- プラットフォームチーム: プラットフォームチームは抽象化とツーリングを構築し、データサイエンティストが業務を完了する際に行うエンジニアリング作業量を減らせるようにします。このチームは、Spark、Hadoop、Kafka、インフラストラクチャ、オーケストレーションシステム、環境などのいくつかのコンポーネントに分かれています。また、レコメンデーションスタックやマイクロサービスデプロイ、A/Bテストや実験を担当するチームもあります。同チームは、モデルのトレーニング、デプロイ、維持管理を容易にするなどの運用化要素に焦点を当てています。
👉
データサイエンスチームは、モデルの所有権と結果の責任を負います。プラットフォームチームは、デプロイインフラストラクチャとそのコンポーネントの可用性を保証します。
データサイエンスチームとプラットフォームチームの間でモデルの「ハンドオフ(引き継ぎ)」は存在しません。これにより、モデルによる反復作業(イテレーション)をより多く重ねることが可能になります。
インフラストラクチャ割り当ての管理
インフラストラクチャの割り当てはプラットフォームチームが管理し、一般的に利用可能なクォータを所有していました。データサイエンティストはUI上でノードや他のSparkクラスタを要求できました。コストが不当に跳ね上がらないよう、一定のアカウンティングが行われています。プラットフォームチームは、ユーザーが多大な労力をかけずに希望の環境を容易に入手できるように努め、クォータを所有してコストが管理下にあることを確認するチームが存在しました。
Stitch Fixの機械学習およびMLOpsにおける独自の課題
- Stitch Fixでは、100名以上のデータサイエンティストがモデルの開発に取り組んでいます。各データサイエンティストが平均寿命2年以上のモデルを所有しており、多くのチームが膨大な数のモデルを構築しているため、チームに所有権を持たせることが大きな課題となっていました。Stitch Fixのプラットフォームチームは、使用するライブラリやフレームワークの多様性(ヘテロジニアス性)のため、インハウスで多くのソリューションを構築し、購入したものはごく一部にとどまりました。標準化を行えば一部のプラットフォーム化は容易になったはずですが、異なるチームが異なる課題を抱えており、それらの課題にはそれぞれに適したライブラリが存在していました。Stitch Fixのプラットフォームチームは、自分たちのニーズに合致するオープンソースソリューションが存在しなかったため、Model EnvelopeやHamiltonといった独自のソリューションを構築する必要がありました。
- モデルを作成するのは簡単ですが、誰かがすべてのETLを保守しなければならず、誰かが退職した場合、問題を引き起こす可能性があります。コードを使い捨てるのは無駄であり、新しいチームメンバーは前任者が作成したものを理解して把握できるまで作業スピードが落ちてしまいます。さらに、他のチームのモデルを機能(フィーチャー)として利用するためにその上に構築を行うケースも多いため、考慮すべきETL間の相互依存関係が存在します。
- Model Envelopes: Stitch Fixのプラットフォームチームは、データサイエンティストがモデルを必要な他のコンポーネントとともにパッケージ化し、簡単に提供できるシステムを構築しました。これは大量の情報をキャプチャするAPIベースのシステムであり、データサイエンティストはボタン1つと追加の設定だけで、1時間未満でモデルを本番環境にデプロイできます。このシステムはバッチジョブにも対応しており、Spark上で分散形式でモデルを容易に実行できるようにしました。
- Configuration-Driven ETLs(設定駆動型ETL): Stitch Fixのプラットフォームチームは、YAMLとJinjaを使用して、データサイエンティストがモデル適合のためのSQLやPythonコードを含むETLプロセスを記述できるようにしました。このアイデアの狙いは、オーケストレーションシステムを抽象化し、プラットフォームチームがDockerコンテナから異なるコンポーネントを交換できるようにすることで、コードベースの管理と保守を容易にすることでした。
- Hamilton: Hamiltonは、データフローを記述するための宣言型マイクロフレームワークです。Stitch Fixのプラットフォームチームは、特に数千の機能を取り込みやすい時系列予測において、フィーチャーエンジニアリングを支援するために開発しました。Hamiltonは、SQLにおけるDBTのように、Pythonの変換処理向けに課題を構造化するのに役立ちます。Pythonスクリプトを管理することなく、データフローを記述することが可能になります。関数によってデータフローが宣言され、その定義はオフライン環境およびオンライン環境の双方は容易に共有・実行できます。
- コンテナ作成を高速化するためのキャッシュ機能 - Stitch Fixのプラットフォームチームは、頻繁に使用されるライブラリや環境をキャッシュすることで、Dockerコンテナの作成速度を向上させようと試みました。例えば、同じ要件が再び必要になった場合に再インストールが発生しないようキャッシュを追加しました。また、環境ファイルを保存してZIP圧縮し、それを引き戻すことでプロセスの高速化を図りました。
- コンテナのビルドおよびデバッグ時間を最小限に抑えるためのローカル開発 - Stitch Fixのプラットフォームチームは、開発者に対しローカルでの開発を推奨するか、Dockerコンテナの「ビルド・実行・デバッグ」という完全なサイクルの待ち時間を回避する方法を模索するよう促しました。開発者向けに一部のデータをローカルにダウンロードしてキャッシュする機能など、ユーザビリティ機能を充実させることで、ETLの個々のステップをローカルループで実行できるようにしました。このアプローチにより、開発およびデバッグプロセスの高速化が実現しました。
- コンテナのビルドおよびデバッグ時間を改善するための新しいアプローチの探求 - Stitch Fixのプラットフォームチームは、キャッシュやローカル開発によってビルドおよびデバッグ時間の改善を試みましたが、プロセスはさらに高速化できる可能性があると認識していました。一部の開発者は、特にモデル向けにこのプロセスを改善するためのDockerの改修に取り組んでいます。このアプローチには、Docker自体を変更し、再起動して、より優れて効率的なものにすることが含まれます。
- ライブラリやフレームワークの多様性を考慮する:使用するライブラリやフレームワークにかなりの多様性がある場合、ニーズに適合する市販のソリューションが存在しない可能性があるため、インハウスでのソリューション構築が必要になる場合があります。
- 標準化によって一部のプラットフォーム管理が容易になる場合がある:異なるチームが異なる問題を抱えている場合でも、特定のツールやプロセスを標準化することで、MLOpsプラットフォームの構築や保守が容易になります。
- ニーズに合うオープンソースソリューションがない?自分で構築する:ニーズに十分に適合するオープンソースソリューションが存在しない場合、MLOpsの目標を達成するために、Model EnvelopeやHamiltonのような独自のソリューションを構築することが必要になる場合があります。
「私がStitch Fixにこれほど長く在籍した理由の1つは、まさにそうした課題と、それをどのように解決するかを見極めることにありました。」 - Stefan
Stitch Fix MLプラットフォームにおけるイノベーション
👉
Dockerコンテナのコンポーネント交換に関して、プラットフォームチームは、データサイエンティストがプラットフォームの依存関係に悩まされることなく、実行したい内容を記述できるゴールデンAPIの作成を目指しました。これは設定駆動型のモデルパイプラインによって実現され、データサイエンティストは変更のサブセットを含むテキストを提供するだけで済みます。これにより、プラットフォームチームはデータサイエンティストチームにDockerコンテナの更新やアップグレードを要求することなく、裏側の仕様を変更できるようになりました。また、ユーザーがパイプラインを再デプロイしたり書き直したりすることなく、プラットフォームチーム側でログやメタ情報をアップグレードすることも可能になりました。これにより、チームが管理や更新を行う必要がなくなり、データサイエンティストチームからの移行作業を必要とせずに、プラットフォームチームがより効率的に管理・更新を行えるようになりました。
リモート開発におけるDockerコンテナのビルドおよびデバッグ時間の改善:Stitch Fixで採用された戦略
Stefan Krawczyk氏によるMLOpsツールキットの推薦
ビジネスへの影響とSLAに基づいてツールを選択することが重要です。単一ノードで実行可能な処理は、オーケストレーションシステムを使用して最適化する必要があります。データのバージョニングやモデルレジストリについては、構造化されたパス構成でS3にデータを保存し、メタデータを併せて保持する方法が機能する場合があります。モデルレジストリに関しては、MLflowのようなオープンソースツールが役立ちますが、TrueFoundryのようなホスト型の管理ソリューションも存在します。
モデルがビジネスにもたらす価値を理解するために、スタック内にA/Bテストシステムを組み込むことが重要です。これにより、モデルが持つ影響力に基づいて、MLOpsプラクティスのどこに投資すべきか意思決定を行うのに役立ちます。
MLOpsツールの推薦
機械学習におけるETLに関する課題
機械学習において、Extract, Transform, Load(ETL)は、生データを貴重なインサイトに変換するための重要なプロセスです。しかし、機械学習システムにおけるETLには、対処すべきいくつかの課題が存在します。
機械学習システム内のETLは、アップストリーム側の変更によってサイレントに停止(障害の検知が難しく)することがあり、データ実務者がモデルへの入力を追跡することを困難にし、ETLの保守における難易度を高めます。また、ETLの複雑さは時間とともに増大するため、チームが変化に追従し続けることが難しくなります。
DAGWorks:データサイエンスチーム向けオープンソースETLプラットフォーム
前節で述べた課題を解決するため、DAGWorksはデータサイエンスチーム向けに、エンジニアリングへの依存度を低減するオープンソースETLプラットフォームを構築しています。このオープンソースは上述したHamiltonをベースにしています。Hamiltonを使用することで、ソフトウェアエンジニアリングのバックグラウンドを持たないデータ実務者でも、本番環境で動作するコードを記述し、既存のインフラストラクチャ上で機械学習のETLアーティファクトを管理できるようになります。また、Hamiltonは中央集権的な機能定義ストアとリネージ(データ履歴)を提供するため、デバッグが容易になり、コンプライアンス要件にも活用できます。
Hamiltonは、AirflowやArgoなどのさまざまなオーケストレーションツールと組み合わせて使用できる抽象化レイヤーとして設計されています。Stefan氏は、データサイエンティストは処理が実行されるトポロジ(場所や構造)を気にする必要はなく、モデルの構築と反復作業に集中すべきだと考えています。DAGWorksは、コードを書き直すことなくデータクオリティプロバイダーを変更しやすくするための方法と抽象化を模索しています。
HamiltonはMetaflowのようなツールを補完するものであり、それらを置き換えることを目的としてはいません。むしろ、タスク内のミクロな処理をモデル化できるようにすることで、それらのシステム上で人々がより生産的になれるように支援します。全体として、DAGWorksはデータサイエンスチームが機械学習ETLアーティファクトをより簡単に管理・維持できるようにすることを目指しています。
以下は、Stefan氏とそのチームによる注目の記事です:
Deployment for Free - Stitch Fixのデータサイエンティスト向け機械学習プラットフォーム
関数、コンテキスト、そしてデータ—Stitch FixにおけるML Opsの実現
本シリーズの過去の記事を読む
TrueML YouTubeシリーズの視聴と、TrueML ブログシリーズの購読をぜひご継続ください。
TrueFoundryはKubernetes上で動作するMLデプロイPaaSであり、インフラチームの完全なセキュリティと制御を確保しながら、モデルのテストとデプロイにおいて開発者に完全な柔軟性を提供し、開発者ワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームは100%の信頼性と拡張性を備え、数秒でロールバック可能な環境で、モデルのデプロイとモニタリングを15分で実現できます。これによりコストを削減し、モデルの本番環境へのリリースを迅速化し、実質的なビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






