Llama-2-13Bのベンチマーク

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
この記事では、レイテンシ、コスト、および1秒あたりのリクエスト数(RPS)の観点からLlama2-13Bのパフォーマンスをベンチマークします。これにより、ビジネス要件に基づいてLlama2-13Bが最適な選択肢となるかどうかを評価できます。なお、この記事では定性的なパフォーマンスについてはカバーしていません。LLMを比較するさまざまな方法についてはこちらを参照してください。
モデル:Llama2-13B
このブログでは、NousResearchのLlama-2-13Bモデルをベンチマークしました。これは、130億個のパラメータを持つLlama-2の事前学習済みバージョンです。
Metaは、大規模言語モデル(LLM)のLlama 2ファミリーを開発・公開しました。これは、70億から700億パラメータの規模に及ぶ、事前学習済みおよびファインチューニング済みの生成テキストモデルのコレクションです。
ベンチマークするメトリクス
- 1秒あたりのリクエスト数(RPS): モデルが処理している1秒あたりのリクエスト数。RPSが高くなると、通常レイテンシは増加します。
- レイテンシ: 推論リクエストの完了にかかる時間。
- 経済性(コスト): LLMのデプロイに関連するコスト。
ベンチマークしたユースケースとデプロイモード
ベンチマークを実施した主な要素は以下のとおりです:
GPUタイプ:
- A100 40GB GPU
- 2 x A10 24GB GPU
プロンプト長:
- 1500入力トークン、100出力トークン(Retrieval Augmented Generationのユースケースに類似)
- 50入力トークン、500出力トークン(生成重視のユースケース)
ベンチマーク設定
ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時に、Number of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。
デプロイ構成ごとの各ベンチマークテストでは、1ユーザーから開始し、RPSの安定した増加が見られるまでNumber of Usersを徐々に増やしていきました。テスト中、response times (in ms)とtotal requests per secondもプロットしました。
2つのデプロイ構成のそれぞれで、version=0.9.4を持つHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:
ベンチマーク結果の概要
レイテンシ、RPS、およびコスト
一度に1つのリクエストのみを送信した場合に基づいて、最善のレイテンシを計算します。スループットを向上させるため、LLMに並行してリクエストを送信します。最大スループットは、レイテンシを大幅に悪化させることなくモデルが入力リクエストを処理できる場合です。

1秒あたりのトークン数(TPS)
LLMは入力トークンと生成処理を異なる方法で処理するため、入力トークンと出力トークンの処理速度を分けて計算しました。

詳細な結果
2 x A10 24GB GPU(1500入力 + 100出力トークン)


上のグラフから、(1ユーザー時の)最善レスポンス時間は4.5 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することがわかります。0.8 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。
2 x A10 24GB GPU(50入力 + 500出力トークン)


上のグラフから、(1ユーザー時の)最善レスポンス時間は17 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが0.6 RPSまで増加することがわかります。0.6 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。
A100 40GB GPU(1500入力 + 100出力トークン)


上のグラフから、(1ユーザー時の)最善レスポンス時間は3.3 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが1.4 RPSまで増加することがわかります。1.4 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。
A100 40GB GPU(50入力 + 500出力トークン)


上のグラフから、(1ユーザー時の)最善レスポンス時間は13 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが1.2 RPSまで増加することがわかります。1.2 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。
本記事が、Llama2-13Bがお客様のユースケースに適しているかどうかの判断や、Llama2-13Bをホスティングする際に予想されるコストの把握に役立つことを願っております。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






