インパクトのあるMLモデル構築の難しさとは?

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
ビジネスのユースケースを解決するためにモデルを構築することは、誰もが素晴らしいアイデアだと感じます。WebサイトでMLを活用したパーソナライズによってエンゲージメントを5%向上できれば、売上も一定の割合で増加することは直感的に理解できます。
しかし、このプロジェクトを破綻させかねない、見落とされがちな2つの要因が存在します。
- パーソナライズを実際に5%向上させられるモデルを作成するのに十分なデータがあるかどうか
- その成果を持続的に提供できるモデルを構築し、デプロイするために必要な投資
では、この2点を検証するのは簡単なことではないのでしょうか?モデルを構築するというアイデアから、最終的にそのモデルをプロダクション環境に導入し、ビジネスインパクトを評価するまでに何が必要かを詳しく見ていきましょう。ここでは、フードデリバリーアプリにおいて、カスタマーがアプリで注文を完了した後に配達予想時間を表示したいというケースを考えてみます。配達時間は事前には分からないため、都市、レストラン、時間帯、カスタマーからレストランまでの距離などの特定の要因に基づいて予測を行えるMLモデルを構築する必要があります。
フードデリバリーアプリでユーザーに予想配達時間を表示する
このモデルをリリースするためのワークフローには、以下のチームが関与します。
プロジェクトの構想
Product Managerが配達時間を推定するプロジェクトを発案します。配達時間が相当な精度で予測できれば、ユーザー体験の向上につながると期待されます。配達時間に関するカスタマーからの問い合わせが減少し、全体的な顧客満足度スコアが向上するはずです。ビジネスチームは、Data Scienceチームに対してこのモデルの開発を依頼します。
データの収集
Data Scientistは、過去のすべての注文データとそれらの配達時間の収集を開始します。
- 場合によっては、過去のデータが適切に記録されていないこと があり、最初にデータをログに記録して収集する必要があります(Productチーム、Data Engineeringチーム)。
- 運が良いケースでは、このデータが容易に入手できること もあります。
- 多くのケースでは、データを適切な形式に変換するためにETLパイプラインを記述する必要 があります。Data Engineeringチームがパイプラインを記述し、必要な形式でデータを取得します。
データ分析
次にData Scientistは、データに問題がないかを分析 します。ヌル値や不正な値がなく、必要なデータがすべて揃っているかを確認します。多くの場合、DSはデータセット内のいくつかのバグを発見します。あるいは、一時的なバグによって数日分の不良データが含まれていることもあります。優れたモデルを構築するためには不正なデータを排除する必要があり、これがProductチームやData Engineeringチームとの数回のイテレーションにつながる可能性があります。
特徴量エンジニアリング
データが問題ない状態になったら、トレーニングとサービングの間の乖離(training-serving skew)を防止し、推論時に特徴量を簡単に取得できるように、 Data Scientistは特徴量を計算して保存するためのパイプラインを作成したいと考えます。
ただし、これはオプションのステップであり、データ規模や同じデータセット上に構築されるモデルの数が少ない場合はスキップされます。チームが特徴量エンジニアリングを行うことを決定した場合、AirflowやPrefectのようなパイプラインオーケストレーションシステムと、検索用に特徴量を保存するデータベース/キャッシュ(Feastなど)が必要になります。フィーチャーストアの構築自体が非常に大規模な取り組みであり、かなりの工数を要します。
モデルのトレーニング
データがすべて準備できたら、Data Scientistはさまざまなアルゴリズム、特徴量、モデルを試して、どれが最高のパフォーマンスを発揮するかを検証します。後で参照したり、他のチームメンバーと共有したりできるように、すべてのメトリクス、パラメータ、モデルを記録しておきたいと考えます。ここで実験トラッキングとモデルメタデータストアの出番となります。

モデルサービング
モデルが構築されたら、マイクロサービスまたはバッチ推論ジョブとしてホストする必要があります。今回の配達時間予測のケースでは、リアルタイムのオンラインサービスである必要があるため、オートスケーリングするサービスとしてデプロイするのが合理的です。この段階でML Engineerが参加し、モデルを受け取り、FlaskやFastAPIサービスにラップしてDockerイメージを構築します。その後、ML EngineerはDevOpsチームの協力を得て、インフラストラクチャ上にマイクロサービスとしてデプロイします。
プロダクトへの組み込み
モデルAPIがホストされたら、プロダクトチームまたはバックエンドチームは、予測された配達時間を活用してアプリ上に表示するために、自分たちのコードからAPIを呼び出す必要があります。これにはData Scientist、Product、ML Engineeringチーム間の連携が必要です。この間、Product Managerは予測結果をテストしたいと考える可能性があり、サンプル入力でモデルを迅速にテストできれば理想的です。これには、簡単なモデルデモの構築が必要になる場合があります。
モデルモニタリング
モデルがデプロイされ、プロダクト内で使用され始めたら、デプロイ済みモデルのメトリクスが必要になります。
- システムモニタリング:これにはCPU、メモリ、APIレイテンシー、エラー、モデルのクラッシュなどのメトリクスが含まれ、通常はPrometheus / Grafanaや、Datadog / New Relicといった有償ソリューションを使用して行われます。これはEngineering、Product、Data Scienceチームによって活用されます。

2. モデルモニタリング:これには、本番環境に入ってくるデータに対するモデル予測に関連するメトリクスが含まれます。これはData Scientistが主に関心を持つデータであり、モデルの精度、特徴量のドリフト、予測のドリフトなどのメトリクスが含まれます。これによりData Scientistは、モデルがトレーニング時と同様に動作しているか、外部入力データの分布が変化していないか、システムの他の場所にバグが存在しないかを判断できます。

モデルの完全なモニタリング環境を構築するには、Data Science、Engineering、DevOpsの各チームによる膨大な工数が必要となります。
完全自動化
すべてのモニタリングが整理された後、Data Scientistは理想的には再トレーニングループ全体を自動化したいと考えます。これにはKubeflowやAirflowのようなパイプラインオーケストレーションフレームワークが必要です。

ビジネスインパクトの評価:
次に、実際のユーザー満足度メトリクスに対するこのモデルのインパクトを評価する必要があります。この場合のいくつかのプロキシメトリクス(代替指標)としては、配達時間に関連するカスタマーからの問い合わせ件数や、注文に対するカスタマーの全体的な満足度スコアが挙げられます。ビジネスメトリクスとモデルメトリクスを結合する必要があり、Data EngineeringチームはETLパイプラインを記述してこのデータを取得し、ビジネスリーダーが観察できるように社内のダッシュボードツールにプロットすることになります。
大まかにまとめると、これには5つのステークホルダーが関与します。
- Product Manager / ビジネスチーム
- Data Engineeringチーム
- Data Scienceチーム
- ML Engineeringチーム
- バックエンドEngineeringチーム
- DevOpsチーム

このプロセス全体は、どのような企業であっても容易に2〜3ヶ月以上かかり、最初の数個のモデルでは最大6ヶ月に及ぶこともあります。複数のステークホルダーと多様なスキルセットが関与しているからこそ、MLでインパクトを生み出すには非常に多くの時間と初期投資が必要となるのです。
このプロセスに含まれる拡張性や信頼性の側面については、まだ触れていません。今後の記事で、以下のような側面について取り上げる予定です。
- インフラストラクチャのプロビジョニング
- CI/CDプロセス
- A/Bテストを含むモデルの実験
- インフラストラクチャのスケーラビリティ
- デプロイ手法の選択
ここでの解決策は、自動化できる部分を自動化し、Data Scientist / ML Engineerが関連するすべてのツールを学習することなく、ほとんどのステップを実行できる自律性を提供することです。この分野では多くの取り組みが進められており、数年後には、インパクトのあるMLモデルの作成が、今日のランディングページ構築と同じくらい簡単になることが期待されています!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






