True ML Talks #7 - Edgeにおけるマシーンラーニングプラットフォーム

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回はEdgeのML Platformについて深掘りし、Rahul Kulhari氏にお話を伺います。
Edgeの共同創業者兼データサイエンス責任者であるRahul Kulhari氏をご紹介します。AIとマシーンラーニングにおける豊富なバックグラウンドを持つRahulは、同社のビジョンの実行とAI戦略の構築を担当しています。彼は、Edgeのタレントアクイジション(人材獲得)、タレントモビリティ、社内タレントマーケットプレイス製品を推進する最先端のAIシステムを開発するエキスパートチームを率いています。彼の専門知識と経験は、業界にとって貴重な資産であり、データサイエンスとAIの最新動向に関心があるすべての人にとって素晴らしいリソースとなります。
📌
Rahulとの対談では、以下の側面を取り上げます:
- EdgeにおけるMLユースケース
- Edgeのマシーンラーニングチーム
- マシーンラーニングスタックにおけるイノベーション
- 量子化 vs 蒸留
- マシーンラーニングの運用化における課題
- MLOpsツールの選定
以下のフルエピソードをご覧ください:
EdgeにおけるMLユースケース
- 自然言語処理(NLP):求人票や履歴書をより適切に理解し、求人に適した候補者や潜在的な候補者を推薦するためにEdgeで使用されています。
- ナレッジグラフ:社内の従業員にはパーソナライズされたキャリア機会を、求人には適切な候補者を提供するための検索・推薦システムとしてEdgeで使用されています。
- 強化学習:現在の行動や業界で起きている変化に基づいてユーザーが意思決定できるようにするための、Edgeにおける将来の潜在的なユースケースです。業界のトレンドや時間の経過に伴う変化を考慮した、より動的なアプローチへと移行します。
Edgeのマシーンラーニングチーム
Edgeのチーム構造は5つのサブカテゴリーに分かれています。各バーティカルは、AI製品開発ライフサイクルの特定の側面を担当しています。これら5つのバーティカルは以下の通りです:
- Applied Scientists / Research Scientists / Giga Scientists:このサブカテゴリーは、問題定義の理解と、実験、データクリーニング、データ処理、デプロイを含むエンドツーエンドのソリューション全体の構築を担当します。彼らは他のチームメンバーと密接に連携して、マシーンラーニングモデルの開発とデプロイを行います。
- Data Analysts:このバーティカルは、大規模で複雑なデータセットの収集、分析、解釈を担当します。彼らはデータサイエンティストと密接に連携し、使用されるデータが高品質であり、解決すべき問題に関連していることを確認します。
- Machine Learning Engineers:Machine Learning Engineersは、トレーニング、実験、デプロイ、モニタリングの一部としてツールを導入することで、マシーンラーニングパイプラインの一環としてデータサイエンティストをサポートします。彼らはApplied Scientistsと密接に連携して、モデルをプロダクション環境にデプロイします。
- AI Product Managers:AI Product Managersは、AIプロダクトの機能強化と構築を担当します。彼らはチーム内のステークホルダーからの問題定義を、データサイエンティストやその他のチームメンバーに伝達・変換します。彼らは他のチームメンバーと密接に連携し、AIプロダクトが会社のニーズを満たし、会社の目標に沿っていることを確認します。
- Domain Experts:このバーティカルには、HR、財務、セールスなどの特定領域の専門知識を持つ人々が含まれます。彼らはデータサイエンティストやマシーンラーニングエンジニアと密接に連携し、AIプロダクトが特定の領域に関連し、会社に価値を提供していることを確認します。
📌
AI Product Managerの役割:
AI Product Managerは、プロダクトチームやカスタマーサクセスチームと連携してビジネス目標を理解することにより、データサイエンスチームとMLエンジニアリングチームの間のビジネスギャップを埋めます。彼らはデータサイエンティスト、リサーチサイエンティスト、MLエンジニアリングチームが参加するディスカッションを組織し、各チームメンバーに必要な貢献を特定します。AI Product Managerは、全員の認識を合わせるために各チームの貢献に対するニーズとガイドラインを伝えます。彼らはプロジェクトを通じて関与し続け、ビジネス目標が達成され、全員が同じゴールに向かって作業していることを確認します。
マシーンラーニングスタックにおけるイノベーション
EdgeのMLチームは、マシーンラーニングワークフローにおけるデータの不足という重大な課題を認識しています。これに対処するため、彼らはデータ拡張のための様々なツール、プロセス、アルゴリズムを導入しました。彼らはスチューデント・ティーチャーアルゴリズムなどの機能を開発しました。これにより、これらのツールやアルゴリズムを使用して作成されたノイズを含むデータでモデルをトレーニングし、その後大量のラベル付きデータでファインチューニングできるようになりました。
データ拡張に使用する重要なツールの1つが Evidently AI です。これはデータドリフトやターゲットドリフトを特定するのに役立ち、作成されたノイズを含むデータがラベル付きデータや目標データと一致していることを確認できます。このツールにより、カテゴリカル特徴量と連続特徴量が整合し、正確なモデルの作成に役立つことを確認できます。
チームはマシーンラーニングパイプラインにおいてもイノベーションを起こしました。パイプラインは時間の経過とともに成熟してきましたが、構築当初は、単一のツールやプロダクトでエンドツーエンドのタスクすべてを解決できるものはなく、それらを相互に統合することが課題であることに気づきました。彼らはモデルレジストリと管理のために、Neptune、Comet、MLflowなどの異なるツールを活用してきました。
デプロイの観点からは、スケーラビリティ、レイテンシ、コストに重点を置きました。Kubernetesのデプロイメントポッドへのデプロイにおいて、量子化のためにTF servingやONNXなどのツールを使用しています。彼らはマシーンラーニングパイプライン全体で複数のツールを所有しており、これをイノベーションと考えています。最先端の取り組みを構築しながら財務を管理できているため、より高価になる可能性がある新しいツールに移行する必要性を感じていません。しかし、将来役立つ可能性のある新しいテクノロジーやツールには常に目を光らせるようチームに推奨しています。
量子化は蒸留よりも効果的:モデルレイテンシの最適化
モデルレイテンシの最適化はマシーンラーニング分野における非常に重要な課題であり、それを解決するために量子化、モデルプルーニング、蒸留などの手法が研究されてきました。Edgeのチームによる最近のレポートによると、モデルレイテンシの削減において、量子化は蒸留よりも効果的であることが示されています。
チームはDistilBERT、RoBERTa、ALBERTなどの異なるモデルで実験を行い、最終的に求人と履歴書の解釈においてより優れていたALBERTを選択しました。また、ALBERTとRoBERTaの両方に対して蒸留も実施しました。
実験の結果、量子化によって顕著な成果が得られ、CPU上でのモデルレイテンシが約1.2秒から約200ミリ秒に短縮されました。チームはGPUのみでトレーニングしたモデルに対して、ONNXとHugging Faceの量子化を活用しました。
適切なモデルを選択する際、チームはレイテンシ、モデルサイズ、同時実行性、CPU使用率、メモリ使用率などの様々な要因を考慮しました。データサイエンティストが量子化プロセスのフレームワークを提供し、マシーンラーニングエンジニアリングチームが実験を行って結果に基づいて最良のオプションを選択するというコラボレーションを行いました。
量子化によってプレシジョンに1%の影響があったものの、リコールには影響しませんでした。チームは、量子化はモデルレイテンシを削減するためのシンプルでありながら効果的な手法であるため、誰もが試してみるべきだと強調しています。
データを得るために、量子化前のモデルは約1200ミリ秒かかっていました。しかし量子化を行うと、約200ミリ秒に短縮されました。
マシーンラーニングの運用化における課題
課題:
- トレーニングに使用できるデータが限られている:検索、推薦エンジン、分類問題、目標指向のマシーンラーニングのようなユースケースを扱う場合、利用可能なデータが少ないため困難を極めることがあります。少ないデータを管理しながら最高の結果を達成する方法を特定することが不可欠です。
- MLツールの定着・導入:リサーチサイエンティストやデータサイエンティストがツールの重要性やそれがどのように役立つかを理解していない場合があるため、MLflowなどのツールの導入は容易ではありません。MLチームは彼らを教育し、そのようなツールを使用するメリットについての意識を高める努力をする必要があります。
- 記述的・処方的インサイトの開発:MLチームは、意思決定に役立つ記述的または処方的なインサイトを提供するツールの開発に集中すべきです。これにより、時間とコストがかかるリサーチサイエンティストの専門知識への依存を減らすことができます。
- データ、アルゴリズム、人間の専門知識のコラボレーション:最高の結果を達成し、適切な戦略を開発するには、データ、アルゴリズム、人間の専門知識を組み合わせて使用する必要があります。
- 実行すべき最も重要な実験の特定:限られたインフラストラクチャにおいて、マシーンラーニングには多数のハイパーパラメータが存在するため、実行すべき最適な実験を特定することが不可欠です。MLチームは、最高の結果を達成するために、実行すべき最も重要な実験を特定しハイパーパラメータを最適化するプロセスの開発に集中すべきです。
解決策:
MLOpsツールチェイン:プロセス全体を完了するためのいくつかの主要ツール
MLOpsトレーニングとデプロイのためのインフラストラクチャツール
MLOpsに関して言えば、インフラストラクチャは極めて重要なコンポーネントです。マシーンラーニングのトレーニングとデプロイに必要な処理能力をサポートするには、信頼性の高いインフラストラクチャが必要です。E2E NetworksのようなGPUプロバイダーを使用することで、インドで手頃な価格のGPUを利用できます。
MLOpsのためのモデルトレーニングおよび構築ツール
モデルのトレーニングと構築には、Gitと統合されたNeptune、Comet ML、またはTrueFoundryなどのツールを使用することで、再現性と規制コンプライアンスを確保できます。モデルの構築には、Hugging Face、TensorFlow、PyTorchも推奨されます。回帰問題や決定木にはCatBoostが良い選択肢です。
MLOpsのためのデプロイメントツール
デプロイに関してはONNXが推奨されるツールであり、あるいはMax.io、Banana.dev、Infrrdを使用したサーバーレスアプローチを採用することもできます。開発段階では、独自ツールやGreat Expectationsなどのサードパーティツール、可視化のためのStreamlit、データドリフトと分析のためのAlibi DetectやEvidently AIを通じてデータ品質を確保できます。ただしプロダクション環境では、データ品質、リネージ、その他のタイプの分析のために追加のツールが必要になる場合があります。
TrueMLシリーズの過去のブログを読む
TrueML YouTubeシリーズの視聴と、TrueML ブログシリーズの定期的なチェックをよろしくお願いします。
TrueFoundryは、Kubernetes上のMLデプロイPaaSであり、インフラチームの完全なセキュリティとコントロールを確保しながら、モデルのテストとデプロイにおいて開発者に完全な柔軟性を提供し、開発者ワークフローをスピードアップします。当社のプラットフォームを通じて、マシーンラーニングチームは100%の信頼性、スケーラビリティ、および数秒でのロールバック機能を備えたモデルを15分でデプロイおよびモニタリングできるようになり、コストを削減し、モデルをより迅速にプロダクション環境へリリースして、真のビジネス価値を実現できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






