Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Falcon-40Bのベンチマーク

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

この記事では、Falcon-40B-Instructのパフォーマンスをレイテンシー、コスト、1秒あたりのリクエスト数(RPS)の観点からベンチマークします。これにより、ビジネス要件に基づいてそれが良い選択肢となり得るかを評価するのに役立ちます。なお、この記事では定性的なパフォーマンスについては触れていません。LLMを比較するためのさまざまな方法については、 こちら。

モデル:Falcon-40B-Instruct

このブログでは、tiiuaeのFalcon-40B-Instructモデルをベンチマークしました。 Falcon-40B-Instructは、TIIによって開発された400億パラメータの因果デコーダーオンリーモデルで、 Falcon-40B をベースに、 Baizeの混合データでファインチューニングされています。Apache 2.0ライセンスの下で提供されています。

‍

ベンチマークする指標

  1. 1秒あたりのリクエスト数(RPS): モデルが処理する1秒あたりのリクエスト数です。RPSが高くなると、通常レイテンシーも上昇します。
  2. レイテンシー: 推論リクエストを完了するのにどれくらいの時間がかかりますか?
  3. 経済性: LLMの導入にかかる費用は?

ベンチマーク対象のユースケースとデプロイモード

ベンチマークの主要な評価項目は以下の通りです。

GPUの種類:

  1. 4 x A100 40GB GPU

プロンプト長:

  1. 入力トークン1500、出力トークン100 (検索拡張生成のユースケースに類似)
  2. 入力トークン50、出力トークン500 (生成負荷の高いユースケース)

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成してリクエストを並行して送信することで機能します。各テストの開始時に、 Number of Users と Spawn Rateを設定できます。ここで Number of Users は同時に生成/実行できる最大ユーザー数を意味し、一方 Spawn Rate 1秒あたりに生成されるユーザー数を示します。

デプロイ設定ごとの各ベンチマークテストでは、 1 ユーザーから開始し、 Number of Users をRPSが着実に増加するのを確認できるまで徐々に増やしていきました。テスト中、私たちはまた、 response times (in ms) と total requests per secondをプロットしました。

2つのデプロイ設定のそれぞれで、Hugging Faceの text-generation-inference モデルサーバー( version=0.9.4)を使用しました。以下は、 text-generation-inference イメージに渡された、異なるモデル構成のためのパラメータです。

‍

PARAMETERS FALCON-40B-INSTRUCT ON A100
Max Batch Prefill Tokens 10000

‍

ベンチマーク結果サマリー

レイテンシー、RPS、コスト

最高のレイテンシーは、一度に1つのリクエストのみを送信した場合に基づいて計算されます。スループットを向上させるため、LLMにはリクエストを並行して送信します。最大スループットとは、モデルがレイテンシーを大幅に悪化させることなく入力リクエストを処理できる状態を指します。

Falcon-40B-Instructのベンチマーク結果

1秒あたりのトークン数

LLMは入力トークンと生成を異なる方法で処理するため、入力トークンと出力トークンの処理速度は別々に計算しています。

詳細な結果

4 x A100 40GB GPU (入力1500トークン + 出力100トークン)

上記のグラフから、 最適な応答時間 (ユーザー1人の場合) は 4.6 secondsです。ユーザー数を増やしてモデルへのトラフィックを増やすことができます。スループットは 2.0 RPSまでレイテンシーの大幅な低下なしに増加します。 2.0 RPSを超えると、レイテンシーが劇的に増加し、リクエストがキューに溜まっていることを意味します。

4 x A100 40GB GPU (入力50トークン + 出力500トークン)

上記のグラフから、 最速応答時間 (ユーザー1人の場合) は 20 seconds。ユーザー数を増やしてモデルへのトラフィックを増やすことができます。スループットは、 2.5 RPSまではレイテンシが大幅に低下することなく維持されます。それを超えると、 2.5 RPSではレイテンシが劇的に増加し、リクエストがキューに溜まっていることを意味します。

この情報が、Falcon-40B-Instructがお客様のユースケースに適しているか、そしてFalcon-40B-Instructをホスティングする際に発生するであろうコストを判断する上で役立てば幸いです。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour