Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Llama-2-13Bのベンチマーク

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 2026

この記事では、レイテンシ、コスト、および1秒あたりのリクエスト数(RPS)の観点からLlama2-13Bのパフォーマンスをベンチマークします。これにより、ビジネス要件に基づいてLlama2-13Bが最適な選択肢となるかどうかを評価できます。なお、この記事では定性的なパフォーマンスについてはカバーしていません。LLMを比較するさまざまな方法についてはこちらを参照してください。

モデル:Llama2-13B

このブログでは、NousResearchのLlama-2-13Bモデルをベンチマークしました。これは、130億個のパラメータを持つLlama-2の事前学習済みバージョンです。

‍

Metaは、大規模言語モデル(LLM)のLlama 2ファミリーを開発・公開しました。これは、70億から700億パラメータの規模に及ぶ、事前学習済みおよびファインチューニング済みの生成テキストモデルのコレクションです。

ベンチマークするメトリクス

  1. 1秒あたりのリクエスト数(RPS): モデルが処理している1秒あたりのリクエスト数。RPSが高くなると、通常レイテンシは増加します。
  2. レイテンシ: 推論リクエストの完了にかかる時間。
  3. 経済性(コスト): LLMのデプロイに関連するコスト。

ベンチマークしたユースケースとデプロイモード

ベンチマークを実施した主な要素は以下のとおりです:

GPUタイプ:

  1. A100 40GB GPU
  2. 2 x A10 24GB GPU

プロンプト長:

  1. 1500入力トークン、100出力トークン(Retrieval Augmented Generationのユースケースに類似)
  2. 50入力トークン、500出力トークン(生成重視のユースケース)

ベンチマーク設定

ベンチマークには、オープンソースの負荷テストツールであるLocustを使用しました。Locustは、ユーザー/ワーカーを作成して並行してリクエストを送信することで動作します。各テストの開始時に、Number of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。

デプロイ構成ごとの各ベンチマークテストでは、1ユーザーから開始し、RPSの安定した増加が見られるまでNumber of Usersを徐々に増やしていきました。テスト中、response times (in ms)とtotal requests per secondもプロットしました。

2つのデプロイ構成のそれぞれで、version=0.9.4を持つHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:

‍

パラメータ A100上のLLAMA-2-13B A10G上のLLAMA-2-13B
Max Batch Prefill Tokens 10100 10100

‍

ベンチマーク結果の概要

レイテンシ、RPS、およびコスト

一度に1つのリクエストのみを送信した場合に基づいて、最善のレイテンシを計算します。スループットを向上させるため、LLMに並行してリクエストを送信します。最大スループットは、レイテンシを大幅に悪化させることなくモデルが入力リクエストを処理できる場合です。

Llama-2 13Bのベンチマーク結果

1秒あたりのトークン数(TPS)

LLMは入力トークンと生成処理を異なる方法で処理するため、入力トークンと出力トークンの処理速度を分けて計算しました。

詳細な結果

2 x A10 24GB GPU(1500入力 + 100出力トークン)

上のグラフから、(1ユーザー時の)最善レスポンス時間は4.5 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することがわかります。0.8 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。

2 x A10 24GB GPU(50入力 + 500出力トークン)

上のグラフから、(1ユーザー時の)最善レスポンス時間は17 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが0.6 RPSまで増加することがわかります。0.6 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。

A100 40GB GPU(1500入力 + 100出力トークン)

上のグラフから、(1ユーザー時の)最善レスポンス時間は3.3 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが1.4 RPSまで増加することがわかります。1.4 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。

A100 40GB GPU(50入力 + 500出力トークン)

上のグラフから、(1ユーザー時の)最善レスポンス時間は13 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やしていくと、レイテンシの大きな低下なしにスループットが1.2 RPSまで増加することがわかります。1.2 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに溜まっていることを意味します。

本記事が、Llama2-13Bがお客様のユースケースに適しているかどうかの判断や、Llama2-13Bをホスティングする際に予想されるコストの把握に役立つことを願っております。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour