True ML Talks #3 - Facebookにおける機械学習プラットフォーム

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、FacebookのAIの骨幹であるFBLearner Flowを深掘りし、Aditya Kalro氏にお話を伺います。
Adityaは現在GoogleのIdentityチームでSenior Engineering Managerを務めており、それ以前はFacebookでFBLearner Flowと呼ばれるMLワークフロー管理プラットフォーム全体の構築をリードしていました。本日のトークでは、その詳細について詳しく伺っていきます。
📌
Adityaとの対談では、以下のテーマを取り上げます:
- FBLearner Flowの概要。
- 大規模システムにおけるA/Bテストとシャドウテスト。
- 研究(Research)と本番環境(Production)のギャップを埋める方法。
- AI推論におけるコストとレイテンシの最適化。
- FBLearner Flowのアーキテクチャ。
- ソフトウェアとMLデプロイプラットフォーム間のギャップの解消。
- モニタリングと分散トレーニングの重要性。
- スケールに対応するMLシステムを構築するためのコア原則。
フルエピソードは以下からご視聴いただけます:
AIワークフローのスケールアップ
FBLearner Flowは、Facebookが自社のMLインフラストラクチャを管理するために構築した機械学習ワークフロー管理プラットフォームです。Adityaはこのプラットフォームの開発をリードし、700〜800のチームにわたって1日あたり数千件のトレーニングを支援する規模への成長を統括しました。
- FBLearner Flowは当初、ML用のワークフロー機構として開発されましたが、モバイルアプリのビルドを含む多様なタスクを処理できる汎用的なワークフロー機構へと進化しました。
- このプラットフォームは、1日あたり数千件のトレーニングをサポートし、同時に数十万個のモデルをデプロイしました。
- FBLearner Flowは推論プラットフォームと接続され、時間をかけて数百から数千台のマシン規模へと拡張されました。
- プラットフォームはあらゆるドメインに適用できる十分な汎用性を持つよう設計され、MLワークフロー管理のための多目的なツールとなりました。
FBLearner Flowの進化:MLエンジニアの生産性を高める歩み
以下は、FBLearner Flowの進化における3つのユニークで関連性の高い側面です:
- フィロソフィー(理念):FBLearnerの主な目的は、MLエンジニアの生産性を高めることでした。これを達成するため、当時Facebook内ではあまりサポートされていなかったPythonでプラットフォームが開発されました。また、実験の神聖性(再現性)も強調されました。これは、実験が完全に予測可能でなければならないことを意味します。これを実現するために、プラットフォームは各ワークフローやオペレーターに対して同じ量のメモリとCPUを割り当てました。
- ワークフローとオペレーター:FBLearner Flowはワークフローの概念から始まりました。これはMLエンジニアが実行すべきすべての処理を表現する方法です。ワークフローは複数のオペレーターを組み合わせたユニークな概念です。ワークフローの各コンポーネントはオペレーターに分割され、これらを異なるマシンに分散配置することで、ユーザー同士を繋ぎ合わせたり、マシン間でデータを移動したりすることが容易になりました。
- 実験管理:プラットフォームは、ユーザーが実験を管理しエラーをデバッグできるようにする実験管理ツールも提供します。FBLearner FlowのUIにより、ユーザーはエラーが発生した箇所を簡単に特定し、エラーの原因究明に必要なログを確認できるようになりました。このアプローチは、ユーザーが多数の実験を管理するのにも役立ちました。

評価システム
機械学習モデルは、未知のデータに対してどの程度適切に一般化できるかを判断するために評価する必要があります。ここで評価システムの出番となります。評価システムには、バッチ評価とオンライン評価の2つの部分があります。
- バッチ評価:バッチ評価はオフライン評価とも呼ばれます。データを読み込み、処理し、別のエンティティに戻す作業が含まれます。このアプローチはよく理解されており、パラメータ数が少ないモデルには最適です。しかし、数千のパラメータや特徴量を扱う場合には効果的でない可能性があります。
- オンライン評価:一方、オンライン評価システムはもう少し複雑で、特定MLモデルのデプロイを追跡し、モデルにサンプルを送信して即座に結果を取得できます。これにより、ML実践者が実験的モデルであっても迅速にテストするための優れたツールとなります。Facebookのアド(広告)チームは非常に特化した推論システムを持っていました。それをFacebookの他のチームでも利用できるようにするため、FBLearner Flowと密接に結合した推論プラットフォームの最初のバージョンを作成しました。
機械学習モデルのための効果的なA/Bテストフレームワークの構築
機械学習モデルを実際の運用環境にデプロイすることは、特にFacebookのような大規模システムを扱う場合、小さなエラーが重大な結果を招く可能性があるため、非常に困難です。この点において、機械学習モデルの最適なパフォーマンスを確保するためには、効果的なA/Bテストフレームワークの構築が不可欠です。
この目標の達成に貢献したFB Learnerプラットフォームの2つの重要なコンポーネントが、A/Bテストとシャドウテストでした。A/Bテストにより、システムまたはモデルの2つのバージョンを比較してどちらのパフォーマンスが優れているかを判断できるようになり、シャドウテストにより、既存のモデルと並行して新しいモデルをデプロイし、ユーザー体験に影響を与えることなくそのパフォーマンスを評価できるようになりました。これにより、本番環境に不具合のあるモデルをデプロイするリスクを軽減することができました。
FBLearnerプラットフォームのもう1つのユニークな機能は、ML実践者とデベロッパーの間でのモデルの受け渡しを円滑にする能力でした。デベロッパーはモデルを本番環境に簡単にデプロイし、既存の迅速な実験インフラストラクチャを使用してテストできるようになりました。これにより、既存システムのパフォーマンスと新しくデプロイされたMLモデルのパフォーマンスを迅速に比較し、システムの最適なパフォーマンスを確保することができました。
FacebookがFBLearner Flowを用いて研究と本番環境のギャップを埋めた方法
FacebookのAI研究チームは、研究者のニーズと本番環境運用チームのニーズとの間のギャップを埋めるという大きな課題に直面していました。研究者は迅速で新しいモデルをすばやくデプロイできるシステムを必要としていたのに対し、本番環境チームは安定性、信頼性、予測可能性を求めていました。
👉
この課題に対処するため、Facebookは機械学習プラットフォームの上にSlurmライクなインターフェースを構築しました。
Slurmは、学術界で実験管理のために広く使用されているコマンドラインインターフェースです。プラットフォーム用に同様のコマンドラインインターフェースを作成することで、Facebookは研究者がプラットフォームを簡単に使用できるようにしました。
両チームの要件には根本的な違いがあったものの、共通のインターフェースを持つことで、研究者が本番運用に向けて自らのモデルをFBLearner Flowへ移行することが容易になりました。小さなマシンセット上で実行するように設計されていたSlurmとは異なり、このシステムによって大規模なマシン群へのアクセスが可能になりました。
プラットフォーム上のSlurmライクなインターフェースにより、研究者はさまざまなモデルを迅速に実験し、結果に満足した段階で本番環境へと移行させることができるようになりました。
AI推論におけるコストとレイテンシの最適化:コンテナ化とマイクロサービスの役割
AIの分野において、レイテンシを犠牲にすることなくコスト最適化を達成することは永遠の課題です。しかし、新しい技術やアーキテクチャ設計の登場により、この問題に対処するためのソリューションが開発されてきました。
👉
コンテナ化とマイクロサービスは、AI推論におけるコストの最適化とレイテンシの削減に有効であることが証明されています。
コンテナ化とは、ソフトウェアコードとその依存関係を「コンテナ」と呼ばれる単一のユニットにパッケージ化する手法です。このコンテナは、あるコンピューティング環境から別の環境へと簡単に移動できるため、高度なスケーラビリティと柔軟性を備えています。コンテナ化を使用することで、企業は複数のAIモデルを単一のコンテナに詰め込み、迅速かつ効率的にデプロイとスケールを行うことができます。
さらに、コンテナ化によってビンパッキング(詰め込みの最適化)も可能になり、単一の物理マシン上に複数のコンテナを配置することでリソース割り当てを最適化できます。これにより、企業は利用可能なリソースを最大限に活用し、コストを削減できます。加えて、オートスケーリングを使用することで、要求に応じて迅速にスケールアップまたはスケールダウンを行い、コストをさらに最適化できます。
さらに、アプリケーションの小規模で独立したコンポーネントであるマイクロサービスを使用することで、効率的でアジャイルな推論プラットフォームを作成できます。複雑なアプリケーションをより小さくモジュール化されたサービスに分割することで、各サービスを独立してスケール、管理、更新できるようになります。これにより、プラットフォームの回復力が高まるだけでなく、レイテンシの削減にも役立ちます。
FBLearner Flowのアーキテクチャの理解:詳細な考察
堅牢でスケーラブルなAIシステムを構築するには、確固たるインフラストラクチャが必要です。この点において、FacebookのFBLearner FlowはAIイノベーションの最前線に立ち、規模に応じたAIモデルのトレーニングとデプロイのためのユニークなソリューションを提供してきました。
FBLearner Flowのアーキテクチャは、Facebookの既存インフラストラクチャを活用し、主に自社内で構築されました。初期は社内スケジューラであるKronosからスタートしましたが、取りつけ騒ぎ(stampeding herd)問題やうるさい同居人(noisy neighbor)問題を解消するためにコンテナ化へと移行せざるを得ませんでした。その後システムはオペレーターとワークフローのコンセプトを中心に構築され、当初構造化データのチャネルとしてHiveテーブルが使用されていましたが、最終的には画像などの非構造化データのためにファイルクラスタとBlobストレージが使用されるようになりました。
システムの実行機構は自己完結型かつバージョン管理されており、モデルの異なるバージョン間の比較が可能でした。出力メトリクスや評価セットを同じに保ちながら、特徴量、モデルのバージョン、またはトレーニングパラダイムを変更できるシステムの能力により、実験管理が容易になりました。
もし今日FBLearner Flowを再構築するとしたら、KubernetesとKubeflowが好ましいソリューションになるでしょう。Kubeflowはより自己完結したパラダイムを提供してデプロイを容易にし、他のコネクタを使用してインフラストラクチャの異なる部分に接続できます。
推論プラットフォームは、FacebookのサービスインフラストラクチャであるTupperwareの上に構築され、各モデルが固有のコンテナとして動作しました。オートスケーリング機能はKubernetesから取り入れられ、必要に応じてプラットフォームがスケールアップおよびスケールダウンできるようにしました。
全体として、FBLearner Flowのアーキテクチャは大規模なAIシステムを構築するためのユニークなソリューションを提供します。これは、堅牢でスケーラブルなAIシステムを構築する上でのインフラストラクチャの重要性を物語っています。
ソフトウェアエンジニアリングと機械学習デプロイプラットフォームのギャップを埋める
機械学習の分野が成長し進化し続ける中で、本番環境に機械学習モデルをデプロイするためのプラットフォームやプロセスの開発に対するニーズが高まっています。しかし、多くの企業は機械学習プラットフォームをソフトウェアエンジニアリングプラットフォームとは別物として捉えており、これが混乱や非効率につながる可能性があります。
👉
使用されるツールにはいくつかの違いがありますが、MLモデルの開発とデプロイのプロセスは、ソフトウェアエンジニアリングで使用されるものと非常によく似ています。
重要な側面の1つは、MLモデルの開発およびデプロイ方法について一定の規範(オピニオン)を持つことの重要性です。テストや、トレイン・テスト・スプリット(訓練データとテストデータの分割)などの必須ステップといった概念を導入することで、企業はML開発プロセスを効率化し、モデルが整合性のある効果的な方法でデプロイされることを確実にできます。
もう1つの類似点は、ソフトウェアエンジニアリングとMLデプロイプラットフォームの両方においてモニタリングとテレメトリが必要とされる点です。デベロッパーがアプリケーションやマイクロサービスのパフォーマンスを監視するのと同様に、MLデベロッパーやMLOpsエンジニアもモデルやインフラストラクチャのパフォーマンスを監視する必要があります。
両者の共通点を認識し、一貫したプロセスとツールを開発することで、企業は開発とデプロイのプロセスをストリームライン化し、エラーや非効率を減らし、MLモデルが適正かつ効果的な方法でデプロイされることを確保できます。
MLデプロイにおけるモニタリングの重要性
モニタリングは、あらゆるMLデプロイプロセスにおける極めて重要な側面です。これにより、モデルが期待通りに動作し、望ましい結果を出しているかを確認できます。システムが正しく機能しているか確認するには、インフラストラクチャと予測出力の双方をモニタリングすることが不可欠です。FBLearnerシステムのメトリクス生成部分は、モデルのパフォーマンスをモニタリングするためのメトリクスを自動生成していました。
デベロッパーがモデルのパフォーマンスを効果的に監視できるように、カスタマイズ可能なメトリクスが必要です。モニタリングを導入することで、デベロッパーはデプロイプロセス中に発生する可能性のある問題を迅速に特定・修正でき、パフォーマンスの向上とより正確な予測につながります。
結論として、モニタリングはMLデプロイの不可欠な要素であり、デベロッパーがモデルを効果的に監視できるシステムを備えることが非常に重要です。カスタマイズ可能なメトリクス、ならびにインフラストラクチャと予測出力の綿密なモニタリングにより、MLモデルが期待通りに動作することを担保し、パフォーマンスの向上と精度の高い予測をもたらします。
分散トレーニングとそれがワークフローアーキテクチャに与える影響
分散トレーニングと分散推論は、FBLearner Flowシステムにとって大きなパラダイムシフトでした。初期のシステムは単一のマシン上で動作するように設計されており、トレーニングも同じマシン上で行われる予定でした。しかし、システムに蓄積されるデータが増加するにつれ、分散トレーニングをサポートするためにシステムを再アーキテクトする必要が生じました。
この点における最大の課題は、構造化データに関するものでした。チームは、構造化データと非構造化データに対して、それぞれモデル並列トレーニングとデータ並列トレーニングの両方を採用する必要がありました。また、トレーニング自体とは異なる扱いを受けるパラメータサーバーのために特別なルールを追加する必要がありました。パラメータサーバーは、各トレーニング処理からのすべての出力を収集し、それらを統合します。チームはいくつかの異なるパラダイムを試し、最終的にチェックポイント機能を備えたパラメータサーバーパラダイムに落ち着きました。
1台のマシンが失敗しただけでもワークフロー全体が失敗するため、分散トレーニングでは信頼性が大きな懸念事項となりました。完全には自動化されていなかったため、チームはチェックポイントを可能にするAPIを構築する必要がありました。また、障害が発生した場合に適切なチェックポイントからワークフローを再起動できるように、再起動メカニズムも記述しなければなりませんでした。
分散トレーニングにより、より複雑なモデルのトレーニングが可能になった一方で、トレーニングに以前の5〜6倍の時間がかかるようになるなど、チームにとっての難易度も上がりました。それにもかかわらず、チームはこれらの変化に適応し、システムが信頼性高く動作し続けることを確実にしました。
スケールに対応するMLシステムの構築:成功のためのコア原則
- 継続的なフィードバックと自己変革(ディスラプション):成功するMLシステムを構築するには、ユーザーからの継続的なフィードバックが不可欠です。Adityaのチームは、顧客が社内にいたため、フィードバックを受け取って自らを変革できるという強みがありました。このように、スケールに対応するMLシステムを構築するには、ユーザーと継続的に関わり、フィードバックを得て適切に調整していくことが求められます。
- カスタマーサービス指向:スケールに対応するMLシステムを構築する上で不可欠な要素は、ユーザーの疑問に迅速に答えてブロックを解除することです。Adityaのチームはカスタマーサービス指向を採用し、これにより問題を迅速に解決しフィードバックを受け取ることができました。このアプローチはユーザーとの信頼関係を育み、体験を向上させるために極めて重要です。
- 進化と適応:最後に、MLは急速に変化する分野であるため、スケールに対応するMLシステムを構築するには、進歩し適応していく意欲が必要です。Adityaのチームは、すべてを1日で作ることはできず、システムの進化は継続的であることを認識していました。したがって、組織は変化に対してオープンであり、新しい技術が登場した際にはそれを受け入れる必要があります。
Facebookの機械学習に関する興味深い記事を以下に紹介します:
- Introducing FBLearner Flow: Facebook’s AI backbone
- TWIML podcast with Aditya Kalro
- Talk by Aditya & Pierre on Applied Machine Learning at scale
本シリーズの前回の記事を読む。
TrueMLのYouTubeシリーズの視聴と、TrueML ブログシリーズの購読をぜひ続けてください。
TrueFoundryは、Kubernetes上で動作するMLデプロイPaaSであり、インフラチームの完全なセキュリティと制御を確保しながら、モデルのテストとデプロイにおける高い柔軟性を実現し、デベロッパーのワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームは100%の信頼性、スケーラビリティ、数秒でのロールバック機能をもって、15分でモデルのデプロイとモニタリングを行うことができ、コストを削減し、モデルをより迅速に本番環境へリリースして、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






