Mistral-7B のベンチマーク

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
この記事では、Mistral-7B のパフォーマンスをレイテンシ、コスト、および 1 秒あたりのリクエスト数(RPS)の観点からベンチマークします。これにより、ビジネス要件に基づいた最適な選択肢となり得るかを評価できます。なお、この記事では定性的なパフォーマンスについては扱っていません。LLM を比較するさまざまな方法についてはこちらをご覧ください。
モデル: Mistral-7B
本ブログでは、mistralai の Mistral-7B-Instruct-v0.1 モデルをベンチマークしました。 Mistral-7B-Instruct-v0.1 LLM は、生成テキストモデルである Mistral-7B-v0.1(パラメータ数 70 億)を、一般に公開されている多様な会話データセットを用いて指示チューニング(Instruct Fine-Tuning)したバージョンです。
ベンチマーク指標
- 1 秒あたりのリクエスト数(RPS): モデルが処理している 1 秒あたりのリクエスト数。RPS が高くなると、通常レイテンシも上昇します。
- レイテンシ: インファレンスリクエストの完了にかかる時間。
- コスト効率: LLM のデプロイに関連するコスト。
ベンチマークを実施したユースケースとデプロイモード
ベンチマークを行った主な要因は以下の通りです:
GPU タイプ:
- A100 40GB GPU
- A10 24GB GPU
プロンプト長:
- 入力 1500 トークン、出力 100 トークン(Retrieval Augmented Generation のユースケースに類似)
- 入力 50 トークン、出力 500 トークン(生成重視のユースケース)
ベンチマーク環境のセットアップ
ベンチマークには、オープンソースのロードテストツールである Locust を使用しました。Locust は、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時に、Number of Users と Spawn Rate を設定できます。ここで Number of Users は並行して生成/実行できる最大ユーザー数を意味し、Spawn Rate は 1 秒あたりに生成されるユーザー数を意味します。
各デプロイ設定のベンチマークテストでは、1 ユーザーから開始し、RPS の着実な増加が見られるまで Number of Users を徐々に増やしていきました。テスト中、response times (in ms) と total requests per second もプロットしました。
2 つのデプロイ設定のそれぞれにおいて、version=0.2.0-d849de0 を備えた vLLM モデルサーバーを使用しました。
ベンチマーク結果の概要
レイテンシ、RPS、コスト
一度に1つのリクエストのみを送信した場合に基づいて最良のレイテンシを計算しています。スループットを向上させるため、LLMへ並列にリクエストを送信します。最大スループットは、レイテンシの大きな劣化なしにモデルが入力リクエストを処理できる場合を指します。

1秒あたりのトークン数(Tokens Per Second)
LLMは入力トークンと生成トークンを異なる方法で処理するため、入力トークンと出力トークンの処理速度を分けて計算しています。

詳細結果
A10 24GB GPU(入力1500 + 出力100トークン)


上記のグラフから、最良レスポンス時間 (1ユーザー時)は4.6 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することが確認できます。0.8 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。
A10 24GB GPU(入力50 + 出力500トークン)


上記のグラフから、最良レスポンス時間 (1ユーザー時)は18 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが0.4 RPSまで増加することが確認できます。0.4 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。
A100 40GB GPU(入力1500 + 出力100トークン)


上記のグラフから、最良レスポンス時間 (1ユーザー時)は2.3 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが2.8 RPSまで増加することが確認できます。2.8 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。
A100 40GB GPU(入力50 + 出力500トークン)


上記のグラフから、最良レスポンス時間 (1ユーザー時)は9.7 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが1.5 RPSまで増加することが確認できます。1.5 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。
これが、Mistral-7B-Instructがあなたのユースケースに適しているかどうか、またMistral-7B-Instructをホスティングする際に予想されるコストを判断する上で役立つことを願っています。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






