Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Mistral-7B のベンチマーク

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

この記事では、Mistral-7B のパフォーマンスをレイテンシ、コスト、および 1 秒あたりのリクエスト数(RPS)の観点からベンチマークします。これにより、ビジネス要件に基づいた最適な選択肢となり得るかを評価できます。なお、この記事では定性的なパフォーマンスについては扱っていません。LLM を比較するさまざまな方法についてはこちらをご覧ください。

モデル: Mistral-7B

本ブログでは、mistralai の Mistral-7B-Instruct-v0.1 モデルをベンチマークしました。 Mistral-7B-Instruct-v0.1 LLM は、生成テキストモデルである Mistral-7B-v0.1(パラメータ数 70 億)を、一般に公開されている多様な会話データセットを用いて指示チューニング(Instruct Fine-Tuning)したバージョンです。

‍

‍

ベンチマーク指標

  1. 1 秒あたりのリクエスト数(RPS): モデルが処理している 1 秒あたりのリクエスト数。RPS が高くなると、通常レイテンシも上昇します。
  2. レイテンシ: インファレンスリクエストの完了にかかる時間。
  3. コスト効率: LLM のデプロイに関連するコスト。

ベンチマークを実施したユースケースとデプロイモード

ベンチマークを行った主な要因は以下の通りです:

GPU タイプ:

  1. A100 40GB GPU
  2. A10 24GB GPU

プロンプト長:

  1. 入力 1500 トークン、出力 100 トークン(Retrieval Augmented Generation のユースケースに類似)
  2. 入力 50 トークン、出力 500 トークン(生成重視のユースケース)

ベンチマーク環境のセットアップ

ベンチマークには、オープンソースのロードテストツールである Locust を使用しました。Locust は、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時に、Number of Users と Spawn Rate を設定できます。ここで Number of Users は並行して生成/実行できる最大ユーザー数を意味し、Spawn Rate は 1 秒あたりに生成されるユーザー数を意味します。

各デプロイ設定のベンチマークテストでは、1 ユーザーから開始し、RPS の着実な増加が見られるまで Number of Users を徐々に増やしていきました。テスト中、response times (in ms) と total requests per second もプロットしました。

2 つのデプロイ設定のそれぞれにおいて、version=0.2.0-d849de0 を備えた vLLM モデルサーバーを使用しました。

ベンチマーク結果の概要

レイテンシ、RPS、コスト

一度に1つのリクエストのみを送信した場合に基づいて最良のレイテンシを計算しています。スループットを向上させるため、LLMへ並列にリクエストを送信します。最大スループットは、レイテンシの大きな劣化なしにモデルが入力リクエストを処理できる場合を指します。

Mistral-7B-Instructのベンチマーク結果

1秒あたりのトークン数(Tokens Per Second)

LLMは入力トークンと生成トークンを異なる方法で処理するため、入力トークンと出力トークンの処理速度を分けて計算しています。

詳細結果

A10 24GB GPU(入力1500 + 出力100トークン)

上記のグラフから、最良レスポンス時間 (1ユーザー時)は4.6 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することが確認できます。0.8 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。

A10 24GB GPU(入力50 + 出力500トークン)

上記のグラフから、最良レスポンス時間 (1ユーザー時)は18 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが0.4 RPSまで増加することが確認できます。0.4 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。

A100 40GB GPU(入力1500 + 出力100トークン)

上記のグラフから、最良レスポンス時間 (1ユーザー時)は2.3 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが2.8 RPSまで増加することが確認できます。2.8 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。

A100 40GB GPU(入力50 + 出力500トークン)

上記のグラフから、最良レスポンス時間 (1ユーザー時)は9.7 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増加させることができますが、レイテンシの大きな低下なしにスループットが1.5 RPSまで増加することが確認できます。1.5 RPSを超えると、レイテンシが劇的に増加します。これはリクエストがキューに溜まっていることを意味します。

これが、Mistral-7B-Instructがあなたのユースケースに適しているかどうか、またMistral-7B-Instructをホスティングする際に予想されるコストを判断する上で役立つことを願っています。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

November 17, 2026
|
5 min read

Claude Codeの制限について解説(2026年版)

No items found.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 17, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour