Llama-2-70Bのベンチマーク

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
この記事では、レイテンシ、コスト、1秒あたりのリクエスト数(RPS)の観点からLLama2-70Bのパフォーマンスをベンチマークします。これにより、ビジネス要件に基づいてこのモデルが優れた選択肢となり得るかを評価できます。なお、この記事では定性的なパフォーマンスについては取り上げていません。LLMを比較するためのさまざまな手法についてはこちらでご確認いただけます。
モデル:Llama2-70B
このブログでは、NousResearchのLlama-2-70Bモデルをベンチマークしました。これは700億のパラメータを持つLlama-2の事前学習済みバージョンです。
Metaは大規模言語モデル(LLM)のLlama 2ファミリーを開発・公開しました。これは70億から700億パラメータのスケールにわたる、事前学習済みおよびファインチューニング済みの生成テキストモデルのコレクションです。
ベンチマークするメトリクス
- 1秒あたりのリクエスト数(RPS):モデルが処理している1秒あたりのリクエスト数。RPSが高くなると、通常レイテンシが増大します。
- レイテンシ:推論リクエストが完了するまでにどれくらいの時間がかかるか?
- コスト(経済性):LLMのデプロイに関連するコストはいくらか?
ベンチマークしたユースケースとデプロイモード
ベンチマークを実施した主な要素は以下の通りです:
GPUタイプ:
- 4 x A100 40GB GPU
プロンプト長:
- 1500入力トークン、100出力トークン(Retrieval Augmented Generationのユースケースに類似)
- 50入力トークン、500出力トークン(テキスト生成主体のユースケース)
ベンチマークのセットアップ
ベンチマークには、オープンソースの負荷テストツールであるlocustを使用しました。Locustは、並列でリクエストを送信するユーザー/ワーカーを作成して動作します。各テストの開始時に、Number of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。
デプロイ構成ごとの各ベンチマークテストでは、1ユーザーから開始し、RPSの安定した増加が見られるまでNumber of Usersを段階的に増やしていきました。テスト中、response times (in ms)とtotal requests per secondもプロットしました。
2つのデプロイ構成のそれぞれで、version=0.9.4を備えたHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:
ベンチマーク結果の概要
レイテンシ、RPS、およびコスト
一度に1つのリクエストのみを送信する場合に基づいて、最善のレイテンシを計算します。スループットを向上させるために、LLMにリクエストを並列送信します。最大スループットは、レイテンシの大きな悪化なしにモデルが入力リクエストを処理できる場合を指します。

1秒あたりのトークン数
LLMは入力トークンと生成を異なる方法で処理するため、入力トークンと出力トークンの処理速度を個別に計算しました。

詳細結果
4 x A100 40GB GPU(1500入力 + 100出力トークン)


上記のグラフから、最善の応答時間(1ユーザー時)は7.4 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やすことができますが、レイテンシの大きな低下なしにスループットが1.1 RPSまで増加することがわかります。1.1 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに滞留していることを意味します。
4 x A100 40GB GPU(50入力 + 500出力トークン)


上記のグラフから、最善の応答時間(1ユーザー時)は33 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やすことができますが、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することがわかります。0.8 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに滞留していることを意味します。
この記事が、LLama2-70Bがお客様のユースケースに適しているか、またLLama2-70Bをホスティングする際に予想されるコストを決定するのに役立てば幸いです。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)










.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






