True ML Talks #4 - Salesforceにおけるマシーン・ラーニング・プラットフォーム

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、SalesforceのML Platformを深く掘り下げ、Arpeet Kale氏にお話を伺います。
Arpeetは、SalesforceでMLプラットフォーム全体の構築を担当したエンジニアリングチームの一員でした。彼はBuilders Fundの創業者の一人であり、同ファンドで同僚とともに世界中のML/AI企業に投資およびアドバイスを行っています。同時に、Skiffのインフラストラクチャ責任者も務めています。
📌
Arpeetとの対談では、以下のテーマを取り上げます:
- SalesforceにおけるMLのユースケース
- Salesforce MLチームの組織構造
- Salesforce MLインフラストラクチャの概要
- SalesforceでのMLモデルのプロトタイピング
- クラウドにおける大規模MLプロジェクトのコスト管理
- モデル昇格の自動化フロー
- マルチテナントリアルタイム予測サービスの構築
- エンタープライズAI向けモデルの最適化
- Salesforce AI Platformにおけるセキュリティと信頼性の対策
- MLインフラストラクチャプラットフォーム vs ソフトウェアデプロイメントプラットフォーム
以下からフルエピソードをご視聴いただけます:
なぜSalesforceにとってMLが重要なのか
- パーソナライズされた顧客体験 → MLにより、顧客データを分析してインタラクションを改善するインサイトを生成できるため、Salesforceはパーソナライズされた顧客体験を提供できます。
- マーケティングキャンペーンの自動化 → 画像、テキスト、SNSデータを分析することで、Salesforceのユーザーがマーケティングキャンペーンを自動化し、ペルソナに集中して戦略を最適化できるよう支援します。
- 効率的なカスタマーサポートのためのチャットボット → MLを活用したチャットボットはカスタマーサポートの自動化をサポートし、待ち時間の短縮と企業コストの削減を実現します。
- セキュリティリスクの特定と軽減 → MLは、データを分析して異常を検知することにより、潜在的なセキュリティリスクを特定・軽減するのに役立ちます。
- 製品とサービスの継続的な改善 → MLを活用することで、Salesforceは顧客のフィードバックを分析し、その情報を新しい機能の開発や改善に役立て、製品とサービスを継続的に改善できます。
Salesforce MLチームの組織構造
Salesforceでは、MLチームは3つのチームに分かれていました:
SalesforceでのML活用に関する興味深いブログ記事をご紹介します:
Salesforce MLインフラストラクチャの概要
SalesforceのMLインフラストラクチャは、スケーラブルで信頼性の高いプラットフォームを提供するために厳選された技術スタックの上に構築されていました。以下は、そのインフラに関する代表的でユニークなポイントです:
- インフラはAWS上で稼働しており、すべてのコンピュートの管理にはKubernetesが使用されていました。Kubernetesを使用することで、TensorFlowやPyTorchなど、あらゆる種類のマシーン・ラーニング・フレームワークを簡単にデプロイすることができました。
- リサーチチーム、応用科学チーム、エンジニアリングチームの間でクラスタが分離されていました。これにより、コンピュート容量とリソースの管理が向上しました。
- プラットフォームは、トレーニング用オーケストレーター、リアルタイム予測サービス、バッチ予測サービス、および認証・認可などのユーザー操作を管理するフロントエンドAPIを中心に構築されていました。
- インフラは構造化SQLデータベースとS3のような非構造化ファイルストアで構成され、データ管理に使用されていました。プラットフォームはこれら2つ間のデータ管理を担当していました。
- ユースケースに応じて、GPUクラスタが混在して使用されていました。これにより、リソースの効率的な利用とより高いパフォーマンスが可能になりました。

📌
マシーン・ラーニング・インフラにおいてクラスタを分離することが重要な主な理由は以下の通りです:
1. セキュリティ: クラスタを分離することで、データ侵害や機密データへの不正アクセスのリスクが軽減されます。各チームは、必要なセキュリティ対策が施された環境で作業できます。
2. データコンプライアンス: チームごとに異なるデータコンプライアンス要件がある場合も、クラスタを分離することで対応できます。これにより、各チームが規制要件を満たしたデータを扱うことができます。
3. リソース管理: クラスタを分離することで、他のチームのリソースに干渉することなく、タスクの完了に必要なリソースを確保できます。これにより、リソースの効率的な利用が実現し、リソースの競合を防ぎます。
Salesforceにおけるプロトタイピング:主導的なアプローチ
Salesforceでは、プロトタイピングのフレームワークがJupyter Notebookを中心に構築されており、データサイエンティストがインタラクティブかつリアルタイムに短期的な実験を実行できるようになっていました。その後、実験は大容量クラスタ上の長期実行ジョブへと移行され、ジョブの実行に伴ってリアルタイムのメトリクスが生成されました。
トレーニングおよび実験用SDKは、ジョブのスケジューリング、データのプル・プッシュ、システム依存関係の複雑さを抽象化するために構築されました。データサイエンティストはPython APIや関数を呼び出すだけでこれらのタスクを処理し、ワークベンチダッシュボードで実験の進行状況、メトリクス、ログなどを追跡できました。
このフレームワークは主導的(opinionated)であり、抽象化されたソリューションを提供しつつも、プラットフォームの使用方法においてデータサイエンティストに一定の柔軟性を与えていました。ただし、完全に自由形式の実験というわけではなく、従うべき社内ガイドラインや標準が存在しました。
📌
機密データを扱う大規模環境でJupyter Notebookをホストする際の課題:
機密データを伴う大規模な環境でJupyter Notebookをホストする場合の主な課題は、認証に関する承認ワークフローです。データサイエンティストはデータにアクセスするために特定の担当者やマネージャーからの承認を得る必要があります。ノートブック環境は一時的(ephemeral)であり、実験完了後に破棄されますが、生成されたすべてのアーティファクトは永続化されます。認証はAPI主導で行われ、社内システムと統合されています。
クラウドにおける大規模マシーン・ラーニング・プロジェクトのコスト管理方法
大規模なマシーン・ラーニング・プロジェクトは、特にクラウド上でGPUリソースを利用する場合、急速に高コストになる可能性があります。プロトタイピング段階でコストを管理するために採用できる戦略がいくつかあります。
- リザーブド容量(予約済みキャパシティ): 必要な容量があらかじめわかっている場合は、事前予約することで割引価格の適用を受けられます。これは、長期的リソース要件の目途が立っている場合に有効です。
- オートスケーリング: 必要な容量が不明な場合やリソース要件が変動する場合は、オートスケーリングが役立ちます。需要に応じてリソースを自動的に拡張・縮小することで、未使用の容量に対する支払いを回避できます。
スポットインスタンスの活用など、コスト削減のための他の戦略もありますが、これらは多くのエンジニアリング工数を必要とすることが多く、長時間実行されるジョブには実用的でない場合があります。さらに、スポットインスタンスはGPUリソースが存在するリージョンで常に利用可能であるとは限りません。リザーブド容量とオートスケーリングを活用することで、マシーン・ラーニング・プロジェクトに必要なリソースを確保しながら、コストを効果的に管理できます。これらの戦略は現在でも有効であり、あらゆるパブリッククラウドプロバイダーに適用可能です。
モデル昇格の自動化フロー
モデルをある環境から別の環境へと移行するSalesforceの昇格フローは、すべてのドメインにおけるゴールデンデータセットの概念に依存していました。データサイエンティストは、これらのデータセットおよびランダム化されたデータセット上でモデルのパフォーマンスを評価し、さまざまな種類のデータで良好に機能するモデルの能力を判定できました。これにより、モデルをより上位の環境に昇格させるべきかどうかを判断するのに役立ちました。
昇格プロセスはワークベンチを通じて行われましたが、モデルがn+1種類のデータセット上で一定のしきい値を超えて機能することを確認するため、意図的にわずかに手動のステップが残されていました。Salesforceはマルチテナントシステムであり、顧客ごとに異なるデータセットが存在し、時には何十万にも及ぶため、これは困難な課題でした。Salesforceは何十万ものモデルを顧客やデータセットごとに個別に構築し、そのプロセスを可能な限り自動化しました。
全体として、Salesforceの昇格フローは、モデルが上位環境へ昇格される前に、多様なデータセットで徹底的に評価され、優れたパフォーマンスを発揮することを保証するように設計されていました。
複雑なモデルのためのマルチテナント・リアルタイム予測サービスの構築
マルチテナント・リアルタイム予測サービスの構築は、特定SLAの要件を満たしながら、異なるサイズやアーキテクチャを持つ多数のモデルをリアルタイムでサービングする必要がある複雑なタスクです。この課題に対応するため、Salesforceのエンジニアリングチームは数回のイテレーションを経てサービング層を開発しました。
初期段階において、チームはメタデータ用の構造化データベースとモデルアーティファクト用のファイルストアに依存していました。しかし、このアプローチはより大きく複雑なモデルに対してスケーラブルではありませんでした。これを解決するため、モデルの複雑さと必要なコンピュートの種類に基づいてクラスタをシャーディングしました。例えば、小規模モデルはCPU上で実行し、大規模モデルにはGPUを必要としました。クラスタは、NLPモデル、LSTMモデル、Transformerモデル、画像分類モデル、物体検出モデル、OCRモデルなどの特定のモデルタイプに専用化されました。
チームはまた、異なるクラスタやノードグループへのサービスのデプロイをオーケストレーションするレイヤーも開発しました。頻繁にリクエストされるモデルのレイテンシを低く抑えるために、キャッシングを実装しました。当初、データサイエンティストやリサーチサイエンティストはお気に入りのフレームワークを使用することが許可されていたため、モデルを均一にサービングすることが困難でした。チームはフレームワークを1つか2つに絞り込み、それらのフレームワーク向けにモデルを最適化しました。
最終的に、チームは元のトレーニングフレームワークに関係なくモデルを均一なフォーマットに変換し、モデルのタイプごとにサービングコードを最適化できるようにしました。全体として、チームの取り組みにより、スケーラブルで効率的かつ信頼性の高いリアルタイム予測サービスが実現しました。
リアルタイム推論は、私が一番気に入っていた取り組みでした。最終的には、それに関する特許も出願することができました。プラットフォームに追加した素晴らしいエンジニアリング機能でしたね。実際、最も利用された機能でした。1日あたり数千万件規模の予測を行っていたため、非常に多くの顧客に使われているのを見るのは本当に感慨深いものでした。
- Arpeet
ML LakeおよびSalesforceのデータプラットフォームアーキテクチャに関する興味深いブログ記事をご紹介します:
エンタープライズAI向けモデルの最適化
彼らはモデルのベンチマークを徹底的に行い、変換を容易にするため、フレームワーク内で広くサポートされている演算子やその他の操作の範囲内に収めることを目指しました。カスタム演算子は変換の摩擦が大きく、手厚いアプローチが必要でしたが、チームはユースケースの95%が斬新な手法を必要としない既存のモデルで簡単に解決できることを発見しました。これにより、大多数のユースケースに対して最適化を行い、広く使用されていない残り5%のモデルに時間を割くことができました。
またArpeetは、ONNX、Triton、NVIDIA Inference Serverなどのフレームワークがモデルフォーマットの標準化とベンチマークにおいて大きな進歩を遂げており、大規模なリアルタイム推論ユースケースにおいて価値あるツールになっていることにも言及しました。
Salesforce AI Platformにおけるセキュリティと信頼性の対策
Approvalワークフロー: モデルを本番環境にデプロイする前に、データのプライバシーを確保するためのデータセットに関する承認ワークフローが存在しました。- セキュリティの隔離: 本番環境は完全に隔離されており、HIPAAやISOコンプライアンスなどの認証を取得していました。
- マルチテナンシー: 特定の顧客のみが自身のデータにアクセスできるように、認証機能がすべてのテナントをカバーしていました。
- 冗長性と高可用性: 信頼性を担保するため、プラットフォームには十分な冗長性と高可用性対策が組み込まれていました。
MLインフラストラクチャプラットフォーム vs ソフトウェアデプロイメントプラットフォーム
AnuraagとArpeetのディスカッションによると、マシーン・ラーニング・インフラストラクチャプラットフォームとソフトウェアデプロイメントプラットフォームには多くの共通点があります。主なポイントは以下の通りです:
- 共通点: どちらもデータ層、コンピュート層、オーケストレーション層、認証サービスとAPIゲートウェイ、およびバックエンドサービスを必要とします。標準的なインフラではバックエンドサービスがアナリティクスやデータエンジニアリングのワークロードを実行するのに対し、MLインフラではMLワークロードを実行します。
- 相違点: MLインフラにはMLワークロード用のデータレイクやMLレイクが必要になる場合がありますが、標準的なインフラではそれが不要な場合があります。また、MLインフラでは専用のオーケストレーションシステムを使用することもあります。
- ツール類: 両プラットフォームのツール類は異なります。MLインフラではオーケストレーションのために専用ツールが必要になる場合がありますが、標準的なインフラではよりシンプルなものを使用できます。ただし、特にKubernetesクラスタにデプロイする場合、両インフラプラットフォームのデプロイメントツールはほとんどのケースで共通しています。
全体として、ワークロードの性質やオーケストレーションに必要なツール類を除けば、マシーン・ラーニング・インフラストラクチャプラットフォームとソフトウェアデプロイメントプラットフォームの間に大きな違いはありません。
Arpeetからの補足のアドバイス
MLOps: 自社構築(Build)vs 外部導入(Buy)
- 中規模企業やスタートアップ向けにMLインフラを構築する際は、多くの機能が箱から出してすぐに使える既存の代替ソリューションを活用しましょう。
- 初期段階のスタートアップの場合は、シンプルなPythonスクリプトを使用し、複数GPUを搭載した1台のマシンでトレーニングを行い、コスト削減のために何らかのオーケストレーションを実装しましょう。
- 小規模から中規模の企業でMLワークフローが確立している場合は、オープンソースツールを直接利用するか、TrueFoundryのようなすぐに使えるソリューションの導入を検討しましょう。
MLエンジニアへのアドバイス
現時点では、大規模なAIワークフローの運用化など、ニッチな領域にフォーカスすることが、次の難易度の高い課題に対応する上で重要になると考えています。
- Arpeet
TrueMLシリーズの過去のブログを読む
引き続き、TrueMLのYouTubeシリーズの視聴や、TrueMLブログシリーズの購読をお楽しみください。
TrueFoundryは、Kubernetes上で動作するMLデプロイメントPaaSであり、インフラチームの完全なセキュリティと制御を確保しつつ、モデルのテストとデプロイにおける完全な柔軟性を開発者に提供してワークフローをスピードアップします。当社のプラットフォームを通じて、マシーン・ラーニング・チームは100%の信頼性、拡張性、および数秒でのロールバック機能をもって、15分でモデルをデプロイおよび監視できるようになり、コスト削減と本番環境への迅速なモデルリリースを実現し、リアルなビジネス価値の創出を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






