LLM Locust: LLMのパフォーマンスをベンチマークするためのツール

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
LLMのベンチマークとは?
LLMのベンチマーク(LLM Benchmarking)とは、負荷がかかった状態でLarge Language Model(LLM)推論サーバーがどれだけ効率的に機能するかを評価するプロセスです。これは従来のパフォーマンス領域にとどまらず、ユーザーエクスペリエンスやシステムの拡張性に直接影響を与えるリアルタイムの応答特性に焦点を当てています。
主な評価指標(メトリクス)には以下のようなものがあります。
- Time to First Token (TTFT):
リクエストを送信してから応答の最初のトークンを受信するまでの遅延時間。これはモデルの初期処理レイテンシを反映します。 - Output Tokens per Second (tokens/s):
モデルが応答トークンを生成するスピードを測定し、生成速度とシステムの応答性を示します。 - Inter-Token Latency:
ストリーミング応答において、連続するトークン間の時間。値が低いほど、リアルタイムアプリケーションにおいてよりスムーズで自然な出力となります。 - Requests per Second (RPS):
LLMが1秒あたりに処理できる推論リクエストの数。スループットの重要な指標です。
これらのメトリクスを追跡および分析することは、以下の点で不可欠です。
- LLMプロバイダーの比較
- CPU、GPU、または専用アクセラレータ全体でのデプロイの最適化
- レイテンシに敏感なアプリケーション向けのサーバー設定のファインチューニング
そこで登場するのが LLM Locust です。
従来のLocustのような負荷テストツールがLLMベンチマークに不十分な理由(とLLM Locustによる解決策)
LLMがより多くのリアルタイムおよびインタラクティブなアプリケーションの原動力となるにつれ、そのパフォーマンスを正確にベンチマークすることがかつてないほど重要になっています。Locust のようなツールは従来の負荷テストには優れていますが、LLMが必要とするストリーミングやトークンレベルの粒度には対応しきれません。
このギャップを埋めるために特別に設計されたツールが LLM Locust です。
Locustが従来の負荷テストに優れている理由
評価すべき点を見てみましょう。Locustは、以下の特徴により、負荷テストにおいて最も愛されているツールの1つであり続けています。
- Pythonネイティブなスクリプト作成: テストシナリオの作成に柔軟で直感的
- 軽量な並行処理: Greenletにより数千の擬似ユーザーをサポート
- リアルタイムWeb UI: 負荷テストをライブで監視するためのシンプルで強力なインターフェース
標準的なAPIやサービスにとって、これは素晴らしい選択肢です。しかし、LLMに対してはどうでしょうか?それだけでは十分ではありません。
問題点: LLMは従来の負荷テストの枠組みを壊す
1. LLM固有のメトリクスの非サポート
Locustは、次のようなLLM固有のパフォーマンス指標をネイティブには追跡しません。
- Time to First Token (TTFT)
- Output tokens per second
- Inter-token latency
これらのストリーミングの動態は、特にリアルタイムの使用領域において、LLMがどれだけ優れているかを理解するための基本となります。
2. トークンストリーミングの不均衡 + CPUボトルネック
LLM APIは不一致な形でトークンをストリーミングすることが多く、最初はゼロトークンを返すもの、1回に1トークンを送るもの、1つのチャンクで複数のトークンを届けるものなど様々です。
API応答が一定のフォーマットに従うとは限らないため、出力トークンを正確に測定するには、応答を再トークナイズ(re-tokenize)する必要があります。
しかし、ここに問題があります。トークナイゼーションはCPUバウンドなタスクであり、特にすべてのストリーミング応答に対して行う場合は負荷がかかります。Locustは軽量な並行処理のために greenlets を使用しますが、これらは依然としてPythonの Global Interpreter Lock (GIL) の下で動作します。つまり、トークナイゼーションのようなCPU重度の処理はイベントループをブロックし、スループットを低下させ、ベンチマーク結果を歪める可能性があります。
不均一なストリーミング挙動とPythonのGILの組み合わせにより、従来のLocust構成ではこれが重大なパフォーマンス上のボトルネックとなります。
3. カスタムチャートの欠如
TTFTやストリーミングスループットをグラフ化したい場合、LocustのUIはデフォルトでカスタムLLMメトリクスをサポートしていないため、テスト実行中に重要なデータが表示されません。
4. 競合ツールの限界
genai-perf のようなツールは有益ですが、多くの場合次のような制限があります。
- 一回限りのベンチマークスナップショットにとどまる
- 設定の自由度が限られている
- リアルタイムの視覚的フィードバックがない
実際のベンチマークに必要な、反復的で探索的な柔軟性が欠けています。
解決策: LLM Locustのご紹介
LLM Locustは、Locustのシンプルさと、LLM固有のベンチマークへの深いサポートを組み合わせています。BentoMLのllm-bench にインスパイアされ、モジュール式アーキテクチャとリアルタイムなインサイトのためのカスタムフロントエンドを導入しています。
LLM Locustの仕組み
1. 非同期リクエスト生成
擬似ユーザーがLLM APIに継続的な非同期リクエストを送信し、実際のトラフィックを模倣します。これは別個のPythonプロセスで実行されるため、トークナイゼーションのボトルネックが発生しません。
2. ストリーミング応答の収集
LLMの応答はストリーミングされ、軽量な解析と分析のためにメトリクスデーモンへルーティングされます。
3. メトリクス処理
デーモンが応答をトークナイズし、TTFT、tokens/s、およびinter-token latencyを計算して、結果をバケット化します。
4. 集約
2秒ごとに、データはLocustバックエンドを模倣した FastAPIバックエンド に送信され、メトリクスがグローバルに保存および集約されます。
5. リアルタイム可視化
カスタマイズされたLocustフロントエンドが以下を表示します。
- リクエストごとのTTFT
- 時間経過に伴うトークンスループット
- 📊 RPS、レイテンシ、その他の主要統計
詳細なアーキテクチャは以下の通りです:

実際の動きを示すデモはこちらです:


まとめ
Locustは優れた負荷テストツールですが、そのままではLLMに対応できません。
LLM Locust は、現代の強力な言語モデルを適切にベンチマークするために必要なストリーミング精度とトークンレベルの精密さをもたらします。
自社のインフラ上でオープンソースモデルをデプロイする場合でも、様々なLLM API間のパフォーマンスを比較する場合でも、LLM Locustは正しく評価するための明確さ、柔軟性、コントロールを提供します。
Githubリンク: https://github.com/truefoundry/llm-locust
よくある質問(FAQ)
LLM Locustとは何ですか?
LLM Locustは、Large Language Modelの評価用に特別に設計された、Locustフレームワークベースのオープンソースベンチマークツールです。標準的な負荷テストツールとは異なり、Time to First Token (TTFT) や tokens per second などのGenAI特有のメトリクスを測定し、本番環境でモデルが高い並列トラフィックを確実に処理できるかを評価します。
LLM Locustは言語モデルのパフォーマンスステストにどのように役立ちますか?
ストリーミング応答とトークン生成率を分析することにより、高負荷かつ同時アクセス環境でのモデルの挙動を詳細に可視化します。このデータにより、エンジニアはインフラを最適化し、デプロイ前に潜在的なボトルネックを特定し、多様なハードウェアやサービングエンジンの構成においてエンドユーザーへの安定した応答速度を確保できます。
Locustを使用してLLM APIの負荷テストを行うことはできますか?
はい。ただし、標準のLocustは基本的なAPIには機能しますが、LLM Locustは生成AI特有の要件に合わせて設計されています。ストリーミング応答を正確に追跡し、複数の同時リクエストにわたるスループットを計算することで、従来の負荷テストツールと比較して、LLMがどのようにスケールするかをより明確に提示します。
LLM LocustをLangfuseのようなオブザーバビリティツールと組み合わせるにはどうすればよいですか?
LLM LocustをLangfuseのようなプラットフォームと統合することで、高負荷テスト中のパフォーマンスのトレースをダッシュボード上で直接可視化できます。特定の負荷パターンをモデルのエラーやレイテンシのスパイクと関連付けることができ、実際の運用プレッシャー下における自律型エージェントの信頼性と品質に関する深いインサイトが得られます。
TrueFoundryでLLM Locustを使用するにはどうすればよいですか?
TrueFoundryでLLM Locustを実行すると、プライベートクラウド内にデプロイされたモデルのベンチマークを行うことができます。vLLMやTGIなどの異なるサービングエンジンを簡単にテストして、特定のハードウェアに最適な設定を見つけ出し、コストと速度の面でデプロイを完全に最適化できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






