Mistral-7Bのベンチマーク

本記事では、Mistral-7Bの性能をレイテンシー、コスト、1秒あたりのリクエスト数（RPS）の観点からベンチマークします。これにより、ビジネス要件に基づいてそれが良い選択肢となり得るかを評価するのに役立ちます。なお、本記事では定性的な性能については触れていません。LLMを比較する様々な方法については、 こちらで確認できます。

モデル: Mistral-7B

本ブログでは、 Mistral-7B-Instruct-v0.1 モデルをmistralaiからベンチマークしました。 Mistral-7B-Instruct-v0.1 LLMは、 Mistral-7B-v0.1 生成テキストモデル（70億のパラメータを持つ）を、様々な公開会話データセットを用いて指示チューニングしたバージョンです。

‍

mistralai/Mistral-7B-Instruct-v0.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

ベンチマークする指標

1. 1秒あたりのリクエスト数 (RPS): モデルが処理する1秒あたりのリクエスト数です。RPSが高くなると、通常レイテンシーも上昇します。
2. レイテンシー: 推論リクエストを完了するのにかかる時間です。
3. 経済性： LLMのデプロイにかかるコストは？

ベンチマーク対象のユースケースとデプロイモード

ベンチマークで評価した主な要素は以下の通りです。

GPUの種類：

1. A100 40GB GPU
2. A10 24GB GPU

プロンプト長：

1. 入力トークン1500、出力トークン100 （RAG（検索拡張生成）のユースケースに類似）
2. 入力トークン50、出力トークン500 （生成処理が中心となるユースケース）

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成してリクエストを並行して送信することで機能します。各テストの開始時に、 ユーザー数 と スポーンレートを設定できます。ここで ユーザー数 は、同時に生成/実行できるユーザーの最大数を示し、一方、 スポーンレート は、1秒あたりに生成されるユーザー数を示します。

各デプロイ設定のベンチマークテストでは、 1 ユーザーから開始し、 ユーザー数 を徐々に増やし、RPSが着実に増加するのを確認しました。テスト中、私たちは 応答時間（ミリ秒） および 1秒あたりの総リクエスト数をプロットしました。

2つのデプロイ構成のそれぞれで、私たちは vLLMモデルサーバー を使用しました。これは バージョン=0.2.0-d849de0です。

ベンチマーク結果の概要

レイテンシー、RPS、およびコスト

一度に1つのリクエストのみを送信した場合に基づいて、最適なレイテンシを計算します。スループットを向上させるため、LLMにはリクエストを並行して送信します。最大スループットとは、レイテンシが大幅に悪化することなく、モデルが入力リクエストを処理できる場合を指します。

1秒あたりのトークン数

LLMは入力トークンと生成を異なる方法で処理するため、入力トークンと出力トークンの処理速度は別々に計算しています。

詳細な結果

A10 24GB GPU（入力1500トークン + 出力100トークン）

上記のグラフから、 最適な応答時間 （ユーザー1人の場合） は 4.6秒です。モデルにより多くのトラフィックをかけるためにユーザー数を増やすと、スループットが 0.8 RPSまで、レイテンシの大幅な低下なしに増加していることがわかります。 0.8 RPSを超えると、レイテンシが劇的に増加し、リクエストがキューに積まれていることを意味します。

A10 24GB GPU（入力50トークン + 出力500トークン）

上記のグラフから、 最適な応答時間 （1ユーザー時） は 18秒。ユーザー数を増やしてモデルへのトラフィックを増やすと、スループットが 0.4RPSまではレイテンシの著しい低下なしに増加します。それを超えると 0.4 RPSでは、レイテンシが劇的に増加し、リクエストがキューに溜まっていることを意味します。

A100 40GB GPU（入力1500トークン + 出力100トークン）

上記のグラフから、 ベスト応答時間 （1ユーザー時） は 2.3秒。ユーザー数を増やしてモデルへのトラフィックを増やすと、スループットが 2.8 RPSまではレイテンシの著しい低下なしに増加します。それを超えると 2.8 RPSを超えると、レイテンシが大幅に増加し、リクエストがキューに溜まっていきます。

A100 40GB GPU（入力50トークン + 出力500トークン）

上記のグラフから、 最良応答時間 （1ユーザー時） は 9.7秒。ユーザー数を増やしてモデルへのトラフィックを増やすと、スループットが 1.5 RPSまで増加し、レイテンシの大幅な低下は見られません。しかし、 1.5 RPSを超えると、レイテンシが大幅に増加し、リクエストがキューに溜まっていきます。

この情報が、Mistral-7B-Instructが皆様のユースケースに適しているか、そしてホスティングにかかる費用を判断する上で役立つことを願っています。