Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

TrueFoundryによりわずか2人のチームで150万人にモデルを配信

By Chinmay Singh

Updated: November 3, 2026

Published: July 2, 2026

ここ数か月間、私たちは少人数ながら非常に優秀なチームと協力する機会に恵まれました。彼らは最先端のディープラーニングモデルを開発し、パートナーシップを結ぶことで、1000万人以上のユーザーにモデルを届ける準備を進めていました。

彼らのインパクトあるストーリーにおいて最後に残されたパズルのピースは、これらを実現するためのエンジニアリングの処理でした。モデルは計算負荷が高く、エンドユーザーに配信したい規模を考えると、2人(DevOps Engineer 1名、ML Engineer 1名)で管理できる信頼性とパフォーマンスに優れたインフラストラクチャスタックが必要でした。

非同期デプロイメントの必要性

このモデルは、さまざまなサイズの音声入力を処理するように構築されていました。処理時間が長いため(平均〜5秒)、これらのリクエストを処理して応答するには、各リクエストに対して非同期推論(async inference)を行う必要がありました。

AWS Sagemaker上で構築されたチームのスタック

チームはモデルを配信するための初期スタックをSagemaker上で構築していました。しかし、この設計で最初のパイロット運用を実施した際、このスタックでは目標とするスケールで信頼性の高いモデル配信を行うことが困難であると判明しました。

ユーザーが8〜10分の遅延に直面

Async構成を使用していたにもかかわらず、インスタンスのスケールアップに時間がかかったため(1マシンあたり8〜10分)、ユーザーはこの遅延に耐えなければならず、エンドユーザー体験が損なわれていました。

Sagemakerにおけるチームの初期構成

しかし、PoCの最中に応答時間の大きな遅延に直面しました。Sagemakerに関連する多くの管理機能になじみがなかったため、遅延の原因を突き止めるのに貴重な時間を費やしてしまいました。彼らが直面した主な課題は以下の通りです。

  1. 学習の難しさ: DS/MLEとして、Sagemakerを使用するために必要な新しい概念を理解するのが難しいと感じました。
  2. 限られた可視性: 直感的でないダッシュボードやインターフェースのため、特に本番環境での問題の根本原因分析(RCA)が困難でした。
  3. スケーリングの難しさ: Sagamakerのスケーリングは緩やかで、ユーザー応答の遅延や顧客体験の低下を引き起こしました。
  4. 別個のクォータ設定: AWSでは、SagemakerのリザーブドGPUインスタンスのキャパシティを取得するために別途申請を行う必要がありました。チームはこのプロセスが遅く制限的だと感じました。
  5. 高コスト: SagemakerでのGPU利用は、生のEKSに比べて25〜40%の上乗せ価格となるため、チームにとって高コストでした。

PoC終了後、チームはSagemakerへの信頼を失い、1000万人以上のターゲットオーディエンスに対して2人(ML Engineer 1名とDevOps Engineer 1名)で運用できるソリューションが必要だと判断しました。

TrueFoundry上で2日未満でシステムをデプロイ

私たちがチームと取り組みを開始した時点で、パイロット運用まであと約7日でした。私たちは、パイロットを本番環境に移行する前に十分なテスト時間を確保できるよう、スタック全体を移行し、TrueFoundryのモジュールを使って2日未満で再構築できることを約束しました。

TrueFoundryによる新しいスタック

大幅に高速化したスケーリング

チームは、Sagemakerとのパフォーマンスを比較ベンチマークするため、モデルに対して88件のリクエストをバースト送信するテストを実施しました。TrueFoundryはSagemakerよりも78%速くスケールアップし、ユーザーにはるかに迅速な応答を提供しました。TrueFoundryを使用することで、クエリへの応答にかかるエンドツーエンドの時間が40%高速化しました。

‍

オートスケーリングテスト結果 (G5.XLARGE, 2 WORKERS, 88 REQUESTS)
AWS Sagemaker TrueFoundry
88リクエストの処理にかかった合計時間 660s 395.9s

‍

オートスケーリングテスト結果 (G5.XLARGE, 2 WORKERS, 88 REQUESTS)
AWS Sagemaker TrueFoundry
88リクエストの処理にかかった合計時間 660s 395.9s

‍

150以上のノードへの信頼性の高いスケーリング

チームがアプリケーションを150以上のGPUノードへ簡単にスケールできた理由は以下の通りです。

  1. 簡単な設定: UI上で引数を変更するだけで、受信リクエストのバックログに基づいてオートスケーリングルールを容易に設定できました。本来であればエンジニアリングチームとのやり取りが何度も必要になる作業です。
  1. GPUクォータの拡大: TrueFoundryを使用することで、SpotとRaw ECSの両方を活用できました。クラウドプロバイダーのGPU不足に対応するため、TrueFoundryは複数のGPUプロバイダーやリージョンにまたがってスケールする選択肢もチームに提供しました。
シームレスなSpot利用
  1. Spotの活用とオートスケーリング: サービスにSpotインスタンスを使用するための設定に追加の労力は不要でした。トラフィックが少ない時にはインスタンスも自動でスケールダウンされました。TrueFoundryのSpot利用における信頼性メカニズムとオートスケーリング設定により、チームはパイロット期間中に10万ドル以上のコストを削減しました。
  2. DevおよびDemo環境: チームはフィードバック収集のためにモデルのDev環境とDemoサービスもデプロイしており、使用していない時はマシンをスケールダウンさせています。

すでに150万人のユーザーに配信完了、さらに日々増加中!

TrueFoundryを活用することで、2人のチームで、時に150以上のGPUノードにまでスケールするワークロード全体を自分たちだけで管理できています!!私たちと一緒に取り組む中で、チームにとって最も印象的だったのは、当社のカスタマーサポートと迅速な対応でした。TrueFoundryはクライアントの成功に全力で取り組んでおり、すべてのクライアントがこのプロジェクトと同じような規模でスケールし、インパクトを生み出せることを願っています。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

November 5, 2025
|
5 min read

エージェント型AI時代のデータレジデンシー:AIゲートウェイが実現する主権的スケールとコンプライアンス

October 5, 2023
|
5 min read

<Webinar> 企業向け生成AIショーケース

Best Fine Tuning Tools for Model Training
May 3, 2024
|
5 min read

2026年におけるモデル学習のためのファインチューニングツール トップ6

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour