人気のオープンソースLLMのベンチマーク：Llama2、Falcon、Mistral

このブログでは、 概要 私たちがベンチマークした様々なオープンソースLLMについてご紹介します。これらのモデルを、レイテンシ、コスト、1秒あたりのリクエスト数の観点からベンチマークしました。これにより、ビジネス要件に基づいてそれが良い選択肢であるかどうかを評価するのに役立ちます。なお、この記事では定性的なパフォーマンスについては触れていません。LLMを比較する様々な方法については、 こちらをご覧ください。

ベンチマーク対象のユースケース

私たちがベンチマークを行った主要なユースケースは以下の通りです。

1. 入力トークン1500、出力トークン100 (RAG (検索拡張生成) のユースケースに類似)
2. 入力トークン50、出力トークン500 (生成負荷の高いユースケース)

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成してリクエストを並行して送信することで機能します。各テストの開始時に、 ユーザー数 と スポーンレートを設定できます。ここで、 ユーザー数 同時に生成/実行できるユーザーの最大数を示し、一方、 スポーンレート は1秒あたりに生成されるユーザー数を示します。

各デプロイ設定のベンチマークテストでは、 1 ユーザーから開始し、 ユーザー数 をRPSが着実に増加するまで徐々に増やしていきました。テスト中、私たちは 応答時間（ミリ秒単位） および 1秒あたりの総リクエスト数をプロットしました。

2つのデプロイ設定のそれぞれで、Hugging Faceの text-generation-inference モデルサーバー（バージョン version=0.9.4）を使用しました。以下は、 text-generation-inference イメージに渡された、異なるモデル構成のパラメータです。

ベンチマークされたLLM

ベンチマークされた5つのオープンソースLLMは以下の通りです。

1. Mistral-7B-Instruct
2. LLama2-7B
3. LLama2-13B
4. LLama2-70B
5. Falcon-40B-Instruct

以下の表は、LLMのベンチマークの概要を示しています。

各LLMの詳細なベンチマークブログ

上記の各モデルについては、以下に示す詳細なLLMベンチマークブログをご参照ください。

Benchmarking Mistral-7B

This blog captures Mistral-7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-7B

This blog captures Llama 2 7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment. In this blog, we have benchmarked the Llama-2-7B model from NousResearch on huggingface.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-70B

This blog captures Llama-2-70B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Falcon-40B

This blog captures Falcon-40B-Instruct benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry