Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

人気オープンソースLLMのベンチマーク:Llama2、Falcon、Mistral

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

本ブログ記事では、当社がベンチマークを実施した各種オープンソースLLMの要約をご紹介します。レイテンシ、コスト、1秒あたりのリクエスト数(RPS)の観点からこれらのモデルをベンチマーク評価しました。これにより、ビジネス要件に基づいて最適な選択肢を評価するのに役立ちます。なお、この記事では定性的なパフォーマンスについては扱っていません。LLMを比較するその他の方法についてはこちらをご覧ください。

ベンチマーク対象のユースケース

ベンチマークを実施した主なユースケースは以下の通りです:

  1. 1500入力トークン、100出力トークン(Retrieval Augmented Generation(RAG)のユースケースに類似)
  2. 50入力トークン、500出力トークン(生成処理メインのユースケース)

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時にNumber of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。

各デプロイ設定のベンチマークテストでは、1ユーザーから開始し、RPSが着実に増加するのを確認するまでNumber of Usersを徐々に増やしていきました。テスト中には、response times (in ms)とtotal requests per secondもプロットしました。

2つのデプロイ設定のそれぞれにおいて、version=0.9.4を持つHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:

ベンチマーク対象のLLM

ベンチマークを実施した5つのオープンソースLLMは以下の通りです:

  1. Mistral-7B-Instruct
  2. LLama2-7B
  3. LLama2-13B
  4. LLama2-70B
  5. Falcon-40B-Instruct

以下の表は、LLMのベンチマーク結果の概要を示しています:

モデル 入力 / 出力トークン 同時実行ユーザー数 / スループット GPUタイプ AWSマシンタイプ(コスト/時間)リージョン: US-EAST-1 GCPマシンタイプ(コスト/時間)リージョン: US-EAST4 AZUREマシンタイプ(コスト/時間)リージョン: EAST US (VIRGINIA) SAGEMAKERインスタンスタイプ(コスト/時間)リージョン: US-EAST-1
Mistral 7b 1500入力, 100出力 7ユーザー / 2.8 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
Mistral 7b 50入力, 500出力 40ユーザー / 1.5 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 7b 1500入力, 100出力 20ユーザー / 3.6 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 7b 50入力, 500出力 62ユーザー / 3.5 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 13b 1500入力, 100出力 7ユーザー / 1.4 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 13b 50入力, 500出力 23ユーザー / 1.5 A100 40 GB (数量: 1) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-1g (スポット: $1.21/時間, オンデマンド: $3.93/時間) Standard_NC24ads_A100_v4 (スポット: $0.95/時間, オンデマンド: $3.67/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 70b 1500入力, 100出力 15ユーザー / 1.1 A100 40 GB (数量: 4) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-4g (スポット: $4.85/時間, オンデマンド: $15.73/時間) Standard_NC96ads_A100_v4 (スポット: $3.82/時間, オンデマンド: $14.69/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
LLama 2 70b 50入力, 500出力 38ユーザー / 0.8 A100 40 GB (数量: 4) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-4g (スポット: $4.85/時間, オンデマンド: $15.73/時間) Standard_NC96ads_A100_v4 (スポット: $3.82/時間, オンデマンド: $14.69/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
Falcon 40b 1500入力, 100出力 16ユーザー / 2 A100 40 GB (数量: 4) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-4g (スポット: $4.85/時間, オンデマンド: $15.73/時間) Standard_NC96ads_A100_v4 (スポット: $3.82/時間, オンデマンド: $14.69/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)
Falcon 40b 50入力, 500出力 75ユーザー / 2.5 A100 40 GB (数量: 4) p4d.24xlarge (スポット: $7.79/時間, オンデマンド: $32.77/時間) a2-highgpu-4g (スポット: $4.85/時間, オンデマンド: $15.73/時間) Standard_NC96ads_A100_v4 (スポット: $3.82/時間, オンデマンド: $14.69/時間) ml.p4d.24xlarge (オンデマンド: $37.68/時間)

各LLMの詳細なベンチマークブログ記事

上記の各モデルについては、以下の詳細なLLMベンチマークブログ記事を参照してください:

‍

‍

‍

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour