TrueFoundryによりわずか2人のチームで150万人にモデルを配信

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
ここ数か月間、私たちは少人数ながら非常に優秀なチームと協力する機会に恵まれました。彼らは最先端のディープラーニングモデルを開発し、パートナーシップを結ぶことで、1000万人以上のユーザーにモデルを届ける準備を進めていました。
彼らのインパクトあるストーリーにおいて最後に残されたパズルのピースは、これらを実現するためのエンジニアリングの処理でした。モデルは計算負荷が高く、エンドユーザーに配信したい規模を考えると、2人(DevOps Engineer 1名、ML Engineer 1名)で管理できる信頼性とパフォーマンスに優れたインフラストラクチャスタックが必要でした。
非同期デプロイメントの必要性
このモデルは、さまざまなサイズの音声入力を処理するように構築されていました。処理時間が長いため(平均〜5秒)、これらのリクエストを処理して応答するには、各リクエストに対して非同期推論(async inference)を行う必要がありました。
AWS Sagemaker上で構築されたチームのスタック
チームはモデルを配信するための初期スタックをSagemaker上で構築していました。しかし、この設計で最初のパイロット運用を実施した際、このスタックでは目標とするスケールで信頼性の高いモデル配信を行うことが困難であると判明しました。
ユーザーが8〜10分の遅延に直面
Async構成を使用していたにもかかわらず、インスタンスのスケールアップに時間がかかったため(1マシンあたり8〜10分)、ユーザーはこの遅延に耐えなければならず、エンドユーザー体験が損なわれていました。

しかし、PoCの最中に応答時間の大きな遅延に直面しました。Sagemakerに関連する多くの管理機能になじみがなかったため、遅延の原因を突き止めるのに貴重な時間を費やしてしまいました。彼らが直面した主な課題は以下の通りです。
- 学習の難しさ: DS/MLEとして、Sagemakerを使用するために必要な新しい概念を理解するのが難しいと感じました。
- 限られた可視性: 直感的でないダッシュボードやインターフェースのため、特に本番環境での問題の根本原因分析(RCA)が困難でした。
- スケーリングの難しさ: Sagamakerのスケーリングは緩やかで、ユーザー応答の遅延や顧客体験の低下を引き起こしました。
- 別個のクォータ設定: AWSでは、SagemakerのリザーブドGPUインスタンスのキャパシティを取得するために別途申請を行う必要がありました。チームはこのプロセスが遅く制限的だと感じました。
- 高コスト: SagemakerでのGPU利用は、生のEKSに比べて25〜40%の上乗せ価格となるため、チームにとって高コストでした。
PoC終了後、チームはSagemakerへの信頼を失い、1000万人以上のターゲットオーディエンスに対して2人(ML Engineer 1名とDevOps Engineer 1名)で運用できるソリューションが必要だと判断しました。
TrueFoundry上で2日未満でシステムをデプロイ
私たちがチームと取り組みを開始した時点で、パイロット運用まであと約7日でした。私たちは、パイロットを本番環境に移行する前に十分なテスト時間を確保できるよう、スタック全体を移行し、TrueFoundryのモジュールを使って2日未満で再構築できることを約束しました。

大幅に高速化したスケーリング
チームは、Sagemakerとのパフォーマンスを比較ベンチマークするため、モデルに対して88件のリクエストをバースト送信するテストを実施しました。TrueFoundryはSagemakerよりも78%速くスケールアップし、ユーザーにはるかに迅速な応答を提供しました。TrueFoundryを使用することで、クエリへの応答にかかるエンドツーエンドの時間が40%高速化しました。
150以上のノードへの信頼性の高いスケーリング
チームがアプリケーションを150以上のGPUノードへ簡単にスケールできた理由は以下の通りです。
- 簡単な設定: UI上で引数を変更するだけで、受信リクエストのバックログに基づいてオートスケーリングルールを容易に設定できました。本来であればエンジニアリングチームとのやり取りが何度も必要になる作業です。

- GPUクォータの拡大: TrueFoundryを使用することで、SpotとRaw ECSの両方を活用できました。クラウドプロバイダーのGPU不足に対応するため、TrueFoundryは複数のGPUプロバイダーやリージョンにまたがってスケールする選択肢もチームに提供しました。

- Spotの活用とオートスケーリング: サービスにSpotインスタンスを使用するための設定に追加の労力は不要でした。トラフィックが少ない時にはインスタンスも自動でスケールダウンされました。TrueFoundryのSpot利用における信頼性メカニズムとオートスケーリング設定により、チームはパイロット期間中に10万ドル以上のコストを削減しました。
- DevおよびDemo環境: チームはフィードバック収集のためにモデルのDev環境とDemoサービスもデプロイしており、使用していない時はマシンをスケールダウンさせています。
すでに150万人のユーザーに配信完了、さらに日々増加中!
TrueFoundryを活用することで、2人のチームで、時に150以上のGPUノードにまでスケールするワークロード全体を自分たちだけで管理できています!!私たちと一緒に取り組む中で、チームにとって最も印象的だったのは、当社のカスタマーサポートと迅速な対応でした。TrueFoundryはクライアントの成功に全力で取り組んでおり、すべてのクライアントがこのプロジェクトと同じような規模でスケールし、インパクトを生み出せることを願っています。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






