Falcon-40Bのベンチマーク

この記事では、Falcon-40B-Instructのパフォーマンスをレイテンシー、コスト、1秒あたりのリクエスト数（RPS）の観点からベンチマークします。これにより、ビジネス要件に基づいてそれが良い選択肢となり得るかを評価するのに役立ちます。なお、この記事では定性的なパフォーマンスについては触れていません。LLMを比較するためのさまざまな方法については、 こちら。

モデル：Falcon-40B-Instruct

このブログでは、tiiuaeのFalcon-40B-Instructモデルをベンチマークしました。 Falcon-40B-Instructは、TIIによって開発された400億パラメータの因果デコーダーオンリーモデルで、 Falcon-40B をベースに、 Baizeの混合データでファインチューニングされています。Apache 2.0ライセンスの下で提供されています。

tiiuae/falcon-40b-instruct · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

ベンチマークする指標

1. 1秒あたりのリクエスト数（RPS）： モデルが処理する1秒あたりのリクエスト数です。RPSが高くなると、通常レイテンシーも上昇します。
2. レイテンシー： 推論リクエストを完了するのにどれくらいの時間がかかりますか？
3. 経済性： LLMの導入にかかる費用は？

ベンチマーク対象のユースケースとデプロイモード

ベンチマークの主要な評価項目は以下の通りです。

GPUの種類：

1. 4 x A100 40GB GPU

プロンプト長：

1. 入力トークン1500、出力トークン100 （検索拡張生成のユースケースに類似）
2. 入力トークン50、出力トークン500 （生成負荷の高いユースケース）

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成してリクエストを並行して送信することで機能します。各テストの開始時に、 ユーザー数 と スポーンレートを設定できます。ここで ユーザー数 は同時に生成/実行できる最大ユーザー数を意味し、一方 スポーンレート 1秒あたりに生成されるユーザー数を示します。

デプロイ設定ごとの各ベンチマークテストでは、 1 ユーザーから開始し、 ユーザー数 をRPSが着実に増加するのを確認できるまで徐々に増やしていきました。テスト中、私たちはまた、 応答時間（ミリ秒単位） と 1秒あたりの総リクエスト数をプロットしました。

2つのデプロイ設定のそれぞれで、Hugging Faceの text-generation-inference モデルサーバー（ version=0.9.4）を使用しました。以下は、 text-generation-inference イメージに渡された、異なるモデル構成のためのパラメータです。

‍

‍

ベンチマーク結果サマリー

レイテンシー、RPS、コスト

最高のレイテンシーは、一度に1つのリクエストのみを送信した場合に基づいて計算されます。スループットを向上させるため、LLMにはリクエストを並行して送信します。最大スループットとは、モデルがレイテンシーを大幅に悪化させることなく入力リクエストを処理できる状態を指します。

1秒あたりのトークン数

LLMは入力トークンと生成を異なる方法で処理するため、入力トークンと出力トークンの処理速度は別々に計算しています。

詳細な結果

4 x A100 40GB GPU (入力1500トークン + 出力100トークン)

上記のグラフから、 最適な応答時間 (ユーザー1人の場合) は 4.6秒です。ユーザー数を増やしてモデルへのトラフィックを増やすことができます。スループットは 2.0 RPSまでレイテンシーの大幅な低下なしに増加します。 2.0 RPSを超えると、レイテンシーが劇的に増加し、リクエストがキューに溜まっていることを意味します。

4 x A100 40GB GPU (入力50トークン + 出力500トークン)

上記のグラフから、 最速応答時間 (ユーザー1人の場合) は 20秒です。ユーザー数を増やしてモデルへのトラフィックを増やすことができます。スループットは、 2.5 RPSまではレイテンシが大幅に低下することなく維持されます。それを超えると、 2.5 RPSではレイテンシが劇的に増加し、リクエストがキューに溜まっていることを意味します。

この情報が、Falcon-40B-Instructがお客様のユースケースに適しているか、そしてFalcon-40B-Instructをホスティングする際に発生するであろうコストを判断する上で役立てば幸いです。