Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

Llama-2-70Bのベンチマーク

By TrueFoundry

Updated: November 3, 2026

Published: July 2, 20265

この記事では、レイテンシ、コスト、1秒あたりのリクエスト数(RPS)の観点からLLama2-70Bのパフォーマンスをベンチマークします。これにより、ビジネス要件に基づいてこのモデルが優れた選択肢となり得るかを評価できます。なお、この記事では定性的なパフォーマンスについては取り上げていません。LLMを比較するためのさまざまな手法についてはこちらでご確認いただけます。

モデル:Llama2-70B

このブログでは、NousResearchのLlama-2-70Bモデルをベンチマークしました。これは700億のパラメータを持つLlama-2の事前学習済みバージョンです。

‍

Metaは大規模言語モデル(LLM)のLlama 2ファミリーを開発・公開しました。これは70億から700億パラメータのスケールにわたる、事前学習済みおよびファインチューニング済みの生成テキストモデルのコレクションです。

ベンチマークするメトリクス

  1. 1秒あたりのリクエスト数(RPS):モデルが処理している1秒あたりのリクエスト数。RPSが高くなると、通常レイテンシが増大します。
  2. レイテンシ:推論リクエストが完了するまでにどれくらいの時間がかかるか?
  3. コスト(経済性):LLMのデプロイに関連するコストはいくらか?

ベンチマークしたユースケースとデプロイモード

ベンチマークを実施した主な要素は以下の通りです:

GPUタイプ:

  1. 4 x A100 40GB GPU

プロンプト長:

  1. 1500入力トークン、100出力トークン(Retrieval Augmented Generationのユースケースに類似)
  2. 50入力トークン、500出力トークン(テキスト生成主体のユースケース)

ベンチマークのセットアップ

ベンチマークには、オープンソースの負荷テストツールであるlocustを使用しました。Locustは、並列でリクエストを送信するユーザー/ワーカーを作成して動作します。各テストの開始時に、Number of UsersとSpawn Rateを設定できます。ここでNumber of Usersは同時に生成/実行できる最大ユーザー数を表し、Spawn Rateは1秒あたりに生成されるユーザー数を表します。

デプロイ構成ごとの各ベンチマークテストでは、1ユーザーから開始し、RPSの安定した増加が見られるまでNumber of Usersを段階的に増やしていきました。テスト中、response times (in ms)とtotal requests per secondもプロットしました。

2つのデプロイ構成のそれぞれで、version=0.9.4を備えたHugging Faceのtext-generation-inferenceモデルサーバーを使用しました。以下は、異なるモデル構成に対してtext-generation-inferenceイメージに渡されたパラメータです:

‍

パラメータ A100上のLLAMA-2-70B
Max Batch Prefill Tokens 14000

‍

ベンチマーク結果の概要

レイテンシ、RPS、およびコスト

一度に1つのリクエストのみを送信する場合に基づいて、最善のレイテンシを計算します。スループットを向上させるために、LLMにリクエストを並列送信します。最大スループットは、レイテンシの大きな悪化なしにモデルが入力リクエストを処理できる場合を指します。

LLama-2 70Bのベンチマーク結果

1秒あたりのトークン数

LLMは入力トークンと生成を異なる方法で処理するため、入力トークンと出力トークンの処理速度を個別に計算しました。

詳細結果

4 x A100 40GB GPU(1500入力 + 100出力トークン)

上記のグラフから、最善の応答時間(1ユーザー時)は7.4 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やすことができますが、レイテンシの大きな低下なしにスループットが1.1 RPSまで増加することがわかります。1.1 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに滞留していることを意味します。

4 x A100 40GB GPU(50入力 + 500出力トークン)

上記のグラフから、最善の応答時間(1ユーザー時)は33 secondsであることが確認できます。ユーザー数を増やしてモデルへのトラフィックを増やすことができますが、レイテンシの大きな低下なしにスループットが0.8 RPSまで増加することがわかります。0.8 RPSを超えるとレイテンシが急激に増加し、リクエストがキューに滞留していることを意味します。

この記事が、LLama2-70Bがお客様のユースケースに適しているか、またLLama2-70Bをホスティングする際に予想されるコストを決定するのに役立てば幸いです。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro:ベンチマークとGateway経由での利用方法

July 20, 2023
|
5 min read

LLMOps CoE: MLOpsランドスケープにおける次のフロンティア

May 25, 2023
|
5 min read

オープンソースLLM:受け入れるか、淘汰されるか

August 27, 2025
|
5 min read

オンプレミスAI市場のマッピング:チップからコントロールプレーンまで

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph:どちらが最適か?

比較
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API、ベンチマーク、料金、使い方

エンジニアリングとプロダクト
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLMとOpenRouter:あなたに最適なのはどちらか?

比較
November 16, 2026
|
5 min read

大規模言語モデルにおけるトランスフォーマーアーキテクチャ

LLM用語
November 3, 2026
|
5 min read

LLAMA 2モデルの性能評価ベンチマークを理解する

LLM・生成AI
November 3, 2026
|
5 min read

Llama-2-13Bのベンチマーク

LLM・生成AI
November 3, 2026
|
5 min read

Falcon-40Bのベンチマーク

LLM・生成AI
November 3, 2026
|
5 min read

Mistral-7B のベンチマーク

LLM・生成AI
November 3, 2026
|
5 min read

Llama 2 LLM: 自社クラウドでのデプロイとファインチューニング

エンジニアリングとプロダクト
LLM・生成AI

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour