人気オープンソースLLMのベンチマーク:Llama2、Falcon、Mistral

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
本ブログ記事では、当社がベンチマークを実施した各種オープンソースLLMの要約をご紹介します。レイテンシ、コスト、1秒あたりのリクエスト数(RPS)の観点からこれらのモデルをベンチマーク評価しました。これにより、ビジネス要件に基づいて最適な選択肢を評価するのに役立ちます。なお、この記事では定性的なパフォーマンスについては扱っていません。LLMを比較するその他の方法についてはこちらをご覧ください。
ベンチマーク対象のユースケース
ベンチマークを実施した主なユースケースは以下の通りです:
- 1500入力トークン、100出力トークン(Retrieval Augmented Generation(RAG)のユースケースに類似)
- 50入力トークン、500出力トークン(生成処理メインのユースケース)
ベンチマーク設定
ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時にNumber of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。
各デプロイ設定のベンチマークテストでは、1ユーザーから開始し、RPSが着実に増加するのを確認するまでNumber of Usersを徐々に増やしていきました。テスト中には、response times (in ms)とtotal requests per secondもプロットしました。
2つのデプロイ設定のそれぞれにおいて、version=0.9.4を持つHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:
ベンチマーク対象のLLM
ベンチマークを実施した5つのオープンソースLLMは以下の通りです:
以下の表は、LLMのベンチマーク結果の概要を示しています:
各LLMの詳細なベンチマークブログ記事
上記の各モデルについては、以下の詳細なLLMベンチマークブログ記事を参照してください:
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






