大規模なLLMのデプロイ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
信頼性、低レイテンシー、コスト効率を確保しながらオープンソースの大型言語モデル(LLM)を大規模にデプロイすることは、容易ではない取り組みとなります。当社のLLMインフラ構築に関する豊富な経験とお客様への導入成功実績に基づき、このプロセスで一般的に直面する主要な課題をまとめました。
LLMデプロイにおける主な課題
モデルの単一インスタンスをホストする最適な方法の発見
LLMをホストするためのモデルサーバーには複数の選択肢があり、ユースケースで最高のパフォーマンスを得るために調整すべき構成パラメータも多様に存在します。TGI、VLLM、OpenLLMは、これらのLLMをホストするための代表的なフレームワークの一部です。詳細な分析はこちらのブログでご覧いただけます。ホスティングに適したフレームワークを選択するには、ご自身のユースケースにおけるパフォーマンスをベンチマーク評価し、最も適したものを選択することが重要です。また、これらのフレームワークには独自の調整可能なパラメータがあり、最適なベンチマーク結果を導き出すのに役立ちます。
GPUフリートの確保
GPUは高価であり、手に入れるのが困難です。AWS、GCP、Azureといった大手クラウドから、Runpod、Fluidstack、Paperspace、Coreweaveなどの小規模クラウドプロバイダーに至るまで、多様なGPUクラウドプロバイダーが存在します。各プロバイダーの価格やサービス内容には大きな差があります。また、新しいGPUクラウドプロバイダーの一部では信頼性も懸念事項として残ります。
信頼性の維持
これは実践においては言うほど簡単ではありません。プロダクション環境でLLMを運用してきた当社の経験から、プロセスが停止したりすべてのリクエストがタイムアウトしたりする原因となる、モデルサーバーの稀で風変わりなバグに備えておく必要があります。モデルサーバーが障害から復旧できるように、あるいは異常なインスタンスから正常なインスタンスへとトラフィックをシームレスに移行できるように、適切なプロセスマネージャーやReadiness/Livenessプローブを設定することが極めて重要です。
低レイテンシーと高スループットの両立
ベンチマーク評価の際、レイテンシーとスループットのトレードオフを把握することが非常に重要です。モデルへの同時実行リクエスト数を増やすと、ある時点まではレイテンシーが緩やかに上昇し、それを超えると劇的に悪化します。レイテンシー、スループット、コストの適切なバランスを見つける作業は時間がかかり、エラーも発生しやすくなります。当社では、Llama7BおよびLlama13Bのこうしたベンチマークの概要を解説したブログ記事をいくつか公開しています。
モデルの起動時間の高速化
LLMモデルはサイズが非常に大きく、数十GBから数百GBに及びます。モデルサーバーの準備が整ってからモデルをダウンロードし、ディスクからメモリにロードするまでに膨大な時間がかかる場合があります。プロセスが再起動した際にモデルを再度ダウンロードせずに済むよう、ディスク上にモデルをキャッシュしておくことが不可欠です。また、ネットワークコストを削減するためにも、各レプリカがインターネット経由で繰り返しモデルをダウンロードするのではなく、モデルを一度ダウンロードして複数のレプリカ間でディスクを共有することが推奨されます。
オートスケーリングの構築
LLMのホスティングにおけるオートスケーリングは、新しいレプリカの起動時間が長いため難易度が高くなります。負荷のスパイクが激しい場合、通常はピーク時のレプリカ数に合わせてインフラをプロビジョニングする必要があります。ただし、ピークが1日の特定の時間帯に予想される場合は、時間ベースのオートスケーリングが効果的に機能します。
LLMをプロダクション環境へ導入する方法
- まず、異なるモデルサーバー、GPU、パラメータを用いてLLMをベンチマーク評価し、どこで最高のパフォーマンスが得られるかを確認します。理想的には、このLlama7Bに関するブログにあるようなベンチマークデータを用意する必要があります。
- モデルは、Kubernetes上の複数のGPU、あるいはベアメタルインスタンス上にセットアップできます。ヘルスチェック、ルーティング、フェイルオーバーの機能が標準で利用できるため、当社としてはKubernetesを推奨します。
- モデルが繰り返しダウンロードされないようEFSなどの共有ボリュームに配置し、そのボリュームをすべてのPodにマウントします。
- インスタンスのモニタリングとアラートを設定します。
- 流入するトラフィックのパターンを把握しやすくするために、各リクエストでトークンカウントを行えるレイヤーを導入することが望ましいです。
- トラフィックパターンを観察し、それに応じてオートスケーリングポリシーを調整します。
- コストを削減するために、スポットインスタンスとオンデマンドインスタンスを組み合わせて保持します。
大規模なLLMホスティングのためのアーキテクチャ
当社も最初は上記のアプローチから始めましたが、極めて低いコストと高い信頼性でLLMをホストできる以下のアーキテクチャへとすぐに移行しました。

基本的には、異なるリージョンの異なるクラウドプロバイダー上に複数のGPUプールを作成します。AWS、GCP、Azureの場合は主にスポットインスタンスを使用し、小規模なクラウドプロバイダーからはオンデマンドノードを使用します。また、中央にキューを配置してすべてのリクエストを受け取り、異なるGPUプールがキューからリクエストを処理して応答をキューに戻し、そこからHTTPレスポンスがユーザーに返されるようにします。このアーキテクチャにはいくつかのメリットがあります。
- スポットインスタンスによる高い信頼性: 複数のクラウドプロバイダーやリージョンのスポットインスタンスに負荷を分散しているため、すべてのスポットインスタンスが同時にダウンする可能性は極めて低く、1つのプールがダウンしても各プールが拡張して負荷を引き受けることができます。
- 高負荷時の信頼性を高めるキューの役割: HTTPサービスは突発的なスパイクが発生すると503エラーを返し始めます。間にキューを置くことでスパイクのあるワークロードに対応でき、スパイク中のリクエストのレイテンシーはわずかに増加するものの、エラーによる失敗を防ぐことができます。中間にキューを追加することで全体で約10〜20ミリ秒のレイテンシーが加わりますが、LLM推論の全体的なレイテンシーは数秒オーダーであるため、このユースケースでは問題になりません。
- 大幅なコスト削減: LLMをオンデマンドインスタンスでホストする場合と比較して、コストを劇的に削減できます。具体的なコスト比較は以下で詳しく解説します。
- 詳細なアナリティクス: LLM Gatewayレイヤーにより、受信リクエストに関する詳細なアナリティクスを計算でき、リクエスト間のトークン分布も算出できます。また、将来のファインチューニングを可能にするためにリクエストのロギングを開始することもできます。
- 特定クラウドプロバイダーへの依存からの脱却: このアーキテクチャにより、より良い価格のプロバイダーが見つかった場合に、ダウンタイムなしでGPUプロバイダーを容易に切り替えることができます。また、1つのプロバイダーがダウンした場合でも、他のプールがシステムを正常に稼働させ続けます。
LLMホスティングにおけるコスト削減
ピーク時に1秒あたり10リクエスト(10 RPS)、平均で7 RPSのLLMをホストするシナリオを考えてみましょう。ベンチマーク評価により、1台のA100 80GB GPUマシンが0.5 RPSを処理できると判明したと仮定します。また、トラフィックは1日のうち12時間は多く(約9〜10 RPS)、残りの12時間は少ない(7〜8 RPS)と仮定します。
上記データに基づき、ピーク時の12時間と非ピーク時の12時間で必要なGPUマシン数を導き出せます。
ピーク時(12時間): GPU 20台
非ピーク時(12時間): GPU 15台
SageMakerを使用した場合、AWS、GCP、Azureのオンデマンドマシンでナイーブにホストした場合、およびオートスケーリングを備えた当社独自のアーキテクチャを使用した場合の運用コストを比較します。
SageMakerでホストする場合のコスト(us-east-1リージョン):
A100 80GB×8基搭載マシン(ml.p4de.24xlarge)のコスト -> 1時間あたり$47.11
非ピーク時には2台、ピーク時には3台のマシンが必要となります。
月額合計コスト: $85,000
AWSノード上で直接ホストする場合のコスト:
A100 80GB×8基搭載マシン(p4de.24xlarge)のコスト -> 1時間あたり$40.966
非ピーク時には2台、ピーク時には3台のマシンが必要となります。
月額合計コスト: $73,000
Truefoundryでホストする場合のコスト
スポットインスタンスやその他のGPUプロバイダーを活用することで、平均GPU単価を1時間あたり$2.5まで下げることができます。非ピーク時に15 GPU、ピーク時に20 GPUと仮定すると、合計コストは以下のようになります。
$2.5 * (15*12 + 20*12) * 30(日数/月) = $31,000
ご覧のように、高い信頼性を維持しながら、SageMakerの約30%の価格で同じLLMをホストすることが可能です。ただし、このアーキテクチャの構築と維持には相応の手間がかかります。TrueFoundryを活用すれば、コストを削減しながら、手間を一切かけずに自社クラウドアカウント上または当社環境上で簡単にホストを行うことができます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






