True ML Talks #5 - Simpl における Machine Learning Platform

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talks の新しいエピソードをお届けします。今回は Simpl の ML Platform を深掘りし、Sheekha 氏にお話を伺います。
Sheekha 氏は Simpl の Data Science ディレクターです。Simpl はインドをリードするワンタップチェックアウトネットワークを構築しており、BNPL(後払い)から分割払い、その他の多様な付加価値サービスに至るまで、加盟店向けに一連の製品を提供しています。インド全土で 26,000 以上の加盟店と提携しており、これには最大手通信ネットワークの JIO プラットフォームや、国内最大級のフードデリバリーサービスである Zomato などが含まれます。
📌
Sheekha 氏とのトークでは、以下のテーマを取り上げます:
- Simpl における ML ユースケース
- Simpl の ML インフラストラクチャの概要
- ML トレーニングのコスト管理
- トレーニングパイプラインと推論パイプラインの個別管理
- ML モデルの再トレーニングにおける自動化
- Simpl の内製化への挑戦
- リアルタイムシステムと Data Science モデルにおける考慮事項
- ML デプロイメントをソフトウェアのようにシンプルにする方法
- Data Science へのエンジニアリング原則の浸透
エピソード全文は以下からご視聴いただけます:
Simpl における ML ユースケース
- 不正防止およびリスク評価: Simpl の ML システムはすべての取引を分析し、シンプルなルール、フィルター、Machine Learning モデル、ニューラルネットワークシステムを組み合わせて、アカウント乗っ取り、なりすまし、その他の疑わしいアクティビティなどの高リスクな取引を特定します。システムは不正取引を防ぎ、資金の損失や優良顧客へのサービス提供阻害を回避します。
- 与信審査(Underwriting): Simpl の ML システムは、ユーザーが提供したオンボーディングデータを分析することで、会社が与信判断を下すのを支援します。システムは、ユーザーが利用可能な与信額や利用限度額を決定します。Simpl のチームは与信審査プロセスに携わっており、よりリアルタイムなパイプラインやシステムへの移行を進めています。
- カスタマーサポート: Simpl の ML システムは、期日どおりの支払いに課題を抱える顧客への対応を支援します。システムは期日が近い支払いをリマインドしたり、双方にとって都合の良い代替支払いプランを提案したりします。Simpl のチームは顧客と協力して最適な解決策を見つけ出し、ポジティブなカスタマーエクスペリエンスを確保しています。
Simpl が不正検知に ML をどのように活用しているかに関する興味深いニュース記事を見つけました:
Simpl の Data Science チーム
Simpl の Data Science チームは、28 名のデータサイエンティストと 16 名のデータエンジニアで構成されています。チームは他のエンジニアリングチームとともに Simpl の中核をなしており、独立した DevOps チームも存在します。チームは ML、ニューラルネットワークシステム、ルール、グラフデータベース、およびグラフ Machine Learning モデルに取り組んでおり、不正ユーザーのコミュニティを分析しています。
Simpl の Data Science チームの技術スタックとワークフロー
現在の技術スタックの観点からは、会社はすべてをクラウド上に置いており、オンプレミスのシステムは一切導入していません。
Simpl の Data Science チームは、データエンジニアリングチームが構築した Python notebook とライブラリを備えたリモートマシンを使用してデータベースに接続し、探索的データ解析(EDA)を実行します。データ分析が完了すると、チームはデータエンジニアリングチームの協力を得てモデルをデプロイするためのパイプラインをセットアップします。バッチモデルの場合、チームはスケジューリングに Airflow を使用します。
モデルのモニタリングは、Simpl のダッシュボードを使用して出力の変化を追跡することにより行われます。MLOps に関しては、Simpl は現在この分野への投資を進めています。不正防止システムについて、同社には類似のメール ID や電話番号を分析するためのバッチシステムを使用するモデルがあります。また、取引の速度や取引額に基づいてリアルタイムで取引を監視するツールも稼働しています。
Simpl は取引監視のためにニューラルネットワークモデルもデプロイしました。このモデルは、現在のペイロードと過去 1 年間の履歴データを組み合わせ、それをニューラルネットモデルに投入して取引を許可するか拒否するかを判断します。データエンジニアリングチームは、ピーク時のトラフィックを管理し、70〜80 ミリ秒という低い SLA を確保するために Flink パイプラインを構築しました。
📌
Feature Store:
Feature Store は、Machine Learning モデルのトレーニングに使用されるデータの個別で測定可能な特性や属性である「特徴量(feature)」を保存・管理するための中央リポジトリです。
Simpl は現在、リアルタイムの可用性を確保するために Feature Store として DynamoDB を使用しています。しかし、これは高コストであるため、長期的なコスト削減に向けて内部 Feature Store を構築する取り組みが進められています。
Simpl における Data Science の進化に関する興味深いブログを見つけました:
ML モデルのコスト管理:課題と解決策
Machine Learning (ML) モデルの実装とスケーリングに伴うコストの管理は、重要な課題です。特に、大量のデータを必要とし、Flink パイプラインや仮想マシンなどの高価なリソースを使用するモデルにとっては極めて重要です。
ML チームはテラバイト規模のデータを扱うため、トレーニングジョブに仮想マシンを使用する必要があります。モデルの利点とコストのバランスを取ることが不可欠です。
コストを軽減するため、チームは DevOps やデータエンジニアリングチームと協力して費用対効果の高い選択肢を模索しています。また、DynamoDB の使用コストを削減するために内部 Feature Store の構築にも取り組んでいます。もう一つのコスト削減策として、重要度の低いタスクに対するスポットインスタンスの活用が挙げられます。
しかし、コスト管理は継続的なプロセスであり、モデルの費用対効果を絶えず評価する必要があります。精度と再現率のバランスや優良顧客の獲得・維持コストといった要素も、最適なコスト削減策を決定する際に考慮されます。
📌
ML チームと DevOps チームの連携:
Machine Learning プロジェクト用に仮想マシンをプロビジョニングするには、DevOps チームと Data Science チームの連携が必要であり、通常は最低 3 日間のリードタイムが発生します。DevOps チームは Data Science チームからの要求を含む複数のリクエストを受け取っており、それらを果たすにはコストの考慮やデータエンジニアリングチームとの協力が必要です。緊急のリクエストの場合、DevOps チームはコストの影響を考慮せずにプロビジョニングプロセスを迅速化できます。Data Science チームは、プロジェクトのデプロイ計画にこの 3 日間のタイムラグを考慮に入れて配慮しています。
トレーニングと推論パイプラインの個別管理:メリットとデメリット
トレーニングパイプラインと推論パイプラインを別々に管理すると、システム全体の効率に影響を与えるさまざまな問題が発生する可能性があります。その主な理由は、モデルの起源を追跡したり、コードを保持したり、結果を再現したりすることが困難になるためです。また、特にスタートアップにおいては、ヒューマンエラーや問題の乱立につながる可能性もあります。
一方で、これらのパイプラインを別々に管理することで、システムに対する柔軟性とコントロールを高め、各プロセスを独立して最適化できるようになります。また、必要に応じてトレーニングパイプラインや推論パイプラインに新しいリソースを追加することで、システムをより簡単に拡張できるようになります。
しかし理想的には、これらのパイプラインを統合し、再トレーニングを同じプロセスに組み込むことが望ましいでしょう。そうすることで、パイプラインを個別に管理することに伴う問題を回避できます。独立して管理することによる柔軟性とコントロールも引き続き維持できます。全体として、パイプラインを別々に管理するか統合するかという決断は、組織の特定のニーズと利用可能なリソースに依存します。
ML モデル再トレーニングにおける自動化の重要性
ML モデルの再トレーニングは、モデルの精度と関連性を維持するために不可欠なプロセスです。しかし、手動での再トレーニングは時間がかかり、エラーが発生しやすくなります。だからこそ、プロセスの効率性、信頼性、拡張性を確保する上で自動化が重要な役割を果たします。
再トレーニングを自動化することで、組織は再トレーニングを実行する特定のトリガー間隔を設定し、モデルが定期的に更新されるようにすることができます。また、自動化によって手動による介入の必要性がなくなるため、時間とリソースの節約にもつながります。
ただし、特別なハードウェアやソフトウェアを必要とする複雑なモデルの場合、再トレーニングの自動化に課題が生じることがあります。そのようなケースでは、自動化ソリューションが実装できるようになるまで、手動での再トレーニングが必要になる場合があります。
Simpl の内製化への挑戦
Machine Learning プロジェクトで SageMaker を使用する際の課題
SageMaker の使用は、Machine Learning プロジェクトで大規模なデータセットを扱う Data Science チームにとって劇的な変化をもたらしました。しかし、このプラットフォームにはチームの生産性に影響を与える可能性のあるいくつかの課題が依然として存在します。
- リソース割り当て: 複数のユーザーが同時に SageMaker にログインすると、大きなファイルやモデルの読み込みによって全員のシステムがクラッシュすることがあります。これはリクエストを開始した人物だけでなく、他の全員に影響を与えます。このことは、チーム側でこのような問題を管理できるシステムの必要性を浮き彫りにしています。
- GPU 実行コスト: 大量のデータを処理するために不可欠なニューラルネットワークモデル用の GPU インスタンス実行コストは非常に高額になる可能性があり、チームは注意して使用する必要があります。コスト削減のため、一定時間アイドル状態が続いた場合に notebook をシャットダウンするシステムを設定しています。ただし、使用状況に応じて自動的にスケールアップ・スケールダウンする、より自動化されたシステムへの移行を目指しています。
SageMaker はチームにとって有用なプラットフォームですが、Kubernetes など、まだ試していない他の選択肢もあります。しかし、SageMaker を使用する決定は主に、大量のデータを処理できるより高速なシステムが必要であったことが要因となっています。
SageMaker のより優れたバージョンを構築する計画
同社は、独自の Machine Learning Platform として、より進化させた SageMaker のバージョンを作成することを計画しています。最初は R&D の実験として始まりましたが、現在は自社開発が可能なより大きなチームの恩恵を受けています。彼らの仮想システムは SageMaker の一部の機能を備えていましたが、分散コンピューティングが不足していました。Py console の統合を通じて現在の仮想マシンに分散コンピューティングを追加することで、必要なソリューションが提供されます。
ユーザーアクセス制御管理とデータアクセシビリティのために、同社はさまざまな IAM ロールを構築し、コスト管理のためにデータチームに子アカウントを割り当てました。ただし、FinTech 企業として扱うセンシティブなデータや、RBI(インド準備銀行)による定期的な監査を考慮すると、特にさらなる作業が必要です。
外部プラットフォームを使用することもできますが、同社は SageMaker の独自バージョンを自社開発することを選択しました。彼らの決断は戦略的なものであり、データアクセシビリティやコストに関連する制約に基づくものではありません。プラットフォームをより高度にコントロールすることで、より効率的にスケーリングと成長を実現できます。同社はすでに DAS を介していくつかのシステムで分散コンピューティングを使用しています。
規模が拡大しチームが大きくなっている中で、社内で構築できるのであれば、挑戦しない手はないでしょう?
- Sheekha
リアルタイムシステムと Data Science モデルにおける考慮事項
- リアルタイムシステムの場合、厳格な SLA を遵守する必要があり、負荷の分散が均一でない場合があり、ワークロードが高くなる特定のピークタイムが存在します。
- リアルタイムシステムをデプロイする際は、レイテンシーとロードバランシングを考慮することが不可欠です。
- Data Science モデルは、単に「見た目が良い」からではなく、実際のビジネスインパクトのために作成されるべきです。
- モデルのインパクトを測定するために、阻止できた不正の量や影響を与えた優良ユーザーの数などのメトリクスが使用されます。
- リスクチームと CFO は、コストとビジネスインパクトの観点からどのポイントに納得できるかを決定します。
- DynamoDB の書き込み量や読み取り量などのバックエンドコストを考慮し、それをモデルのビジネスメトリクスと結び付けて、望ましいインパクトと整合しているか確認する必要があります。
ML デプロイメントをソフトウェアのようにシンプルに:開発者の生産性向上
Scikit-learn のようなライブラリの登場により ML モデルの開発は容易になりましたが、特にパイプラインや MLOps システムを持たない小規模な企業では、プロジェクトを開始してから本番稼働するまでの時間が依然として長くなっています。パイプラインのセットアップ、データのクレンジング、テストの検証、モデルのデプロイには 2〜3 か月かかることがあります。さらに、プロセスの標準化がなされていないため、モデル内のバグを見つけることは困難です。そのため、開発者の生産性を向上させるには、モデル開発をソフトウェア開発と同じくらいシームレスにするシステムが企業には必要です。そのシステムは、柔軟性、容易な統合、既存システム上への拡張を可能にするものであるべきです。また、バグ発見、出入力データのモニタリング、フィードバックループの標準化も備えている必要があります。
Data Science へのエンジニアリング原則浸透の重要性
Data Science の領域では、ML モデルを迅速かつ効率的にデプロイできるようにするために、データサイエンティストがエンジニアリングスキルを身に付ける必要性がますます強調されています。
データサイエンティストには、フィルターも含めてすべてを自分でデプロイできるようになってほしいと考えています。
- Sheekha
Sheekha 氏からの補足的な考え
MLOps:自社構築 vs サードパーティ購入
- カスタマイズ性:大規模なカスタマイズが必要な場合、サードパーティの ML プラットフォームを採用する代わりにゼロからの構築が必要になることがあります。
- データの機密性:センシティブなデータを扱う企業にとって厳格なユーザーアクセス制御管理は極めて重要であり、特定のセキュリティ要件に合わせてカスタマイズできる自社システムが必要になる場合があります。
- コスト意識:小規模な企業にとってみれば自社で MLOps システムを構築する方が費用対効果が高い場合がありますが、市場が成熟するにつれて、より高い ROI を求めて最終的にサードパーティのプラットフォームに投資することになるかもしれません。
LLM
Sheekha 氏は大規模言語モデル(LLM)とそれを取り巻く新しい動向に関心を示しましたが、現時点では業務で使用していません。しかし、同社では特にチャットボットへの統合において、LLM の興味深いユースケースを模索していることを認めました。
LLM には間違いなく多くの興味深いユースケースがあると予感しています
- Sheekha
TrueML シリーズの過去のブログもご覧ください
TrueML の YouTube シリーズの視聴と、TrueML の ブログシリーズの購読をぜひ続けてください。
TrueFoundry は Kubernetes 上で稼働する ML デプロイメント PaaS であり、インフラチームの完全なセキュリティと制御を確保しつつ、モデルのテストとデプロイにおける完全な柔軟性を開発者に与え、ワークフローをスピードアップさせます。当社のプラットフォームを通じて、Machine Learning チームは 100% の信頼性と拡張性を持ち、数秒でロールバックできる環境で、15 分でモデルを デプロイおよびモニタリングできるようになり、コストを削減してモデルをより迅速に本番環境へリリースし、真のビジネス価値を実現できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






