Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Benchmarking do Llama-2-70B

By TrueFoundry

Updated: novembro 3, 2026

Published: maio 20, 20265

Fazemos o benchmarking do desempenho do Llama2-70B neste artigo sob a perspectiva de latência, custo e requisições por segundo. Isso nos ajudará a avaliar se ele pode ser uma boa escolha com base nos requisitos de negócios. Observe que não cobrimos o desempenho qualitativo neste artigo - existem diferentes métodos para comparar LLMs que podem ser encontrados aqui.

Modelo: Llama2-70B

Neste blog, realizamos o benchmarking do modelo Llama-2-70B da NousResearch. Esta é uma versão pré-treinada do Llama-2 com 70 bilhões de parâmetros.

‍

A Meta desenvolveu e lançou publicamente a família Llama 2 de grandes modelos de linguagem (LLMs), uma coleção de modelos de texto generativo pré-treinados e ajustados que variam em escala de 7 bilhões a 70 bilhões de parâmetros.

Métricas para Benchmarking

  1. Requisições por segundo (RPS): Requisições por segundo que o modelo está processando. Com um RPS mais alto, a latência geralmente aumenta.
  2. Latência: Quanto tempo é levado para concluir uma requisição de inferência?
  3. Economia: Quais são os custos associados à implantação de um LLM?

Casos de Uso e Modos de Implantação Avaliados

Os principais fatores com base nos quais fizemos o benchmarking são:

Tipo de GPU:

  1. 4 GPUs A100 de 40 GB

Tamanho do Prompt:

  1. 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Retrieval Augmented Generation)
  2. 50 tokens de entrada, 500 tokens de saída (Casos de uso com foco em geração)

Configuração do Benchmarking

Para o benchmarking, usamos o locust, uma ferramenta de teste de carga open-source. O Locust funciona criando usuários/workers para enviar requisições em paralelo. No início de cada teste, podemos definir o Number of Users e o Spawn Rate. Aqui, o Number of Users significa o número máximo de usuários que podem ser criados/executados concorrentemente, enquanto o Spawn Rate significa quantos usuários serão criados por segundo.

Em cada teste de benchmarking para uma configuração de implantação, começamos com 1 usuário e fomos aumentando o Number of Users gradualmente até vermos um aumento constante no RPS. Durante o teste, também plotamos o response times (in ms) e o total requests per second.

Em cada uma das 2 configurações de implantação, usamos o servidor de modelo text-generation-inference da Hugging Face com version=0.9.4. A seguir estão os parâmetros passados para a imagem do text-generation-inference para diferentes configurações de modelo:

‍

PARÂMETROS LLAMA-2-70B NA A100
Max Batch Prefill Tokens 14000

‍

Resumo dos Resultados do Benchmarking

Latência, RPS e Custo

Calculamos a melhor latência com base no envio de apenas uma requisição por vez. Para aumentar o throughput, enviamos requisições em paralelo para o LLM. O throughput máximo é o caso em que o modelo consegue processar as requisições de entrada sem uma deterioração significativa na latência.

Resultados do Benchmarking para Llama-2 70B

Tokens por Segundo

Os LLMs processam tokens de entrada e geração de forma diferente — portanto, calculamos a taxa de processamento de tokens de entrada e tokens de saída separadamente.

Resultados Detalhados

4 GPUs A100 de 40 GB (1500 tokens de entrada + 100 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é 7.4 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo — podemos ver o throughput aumentando até 1.1 RPS sem uma queda significativa na latência. Além de 1.1 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

4 GPUs A100 de 40 GB (50 tokens de entrada + 500 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é 33 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo — podemos ver o throughput aumentando até 0.8 RPS sem uma queda significativa na latência. Além de 0.8 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

Esperamos que isso seja útil para você decidir se o Llama2-70B se adequa ao seu caso de uso e para entender os custos que pode esperar ao hospedar o Llama2-70B.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

agosto 26, 2026
|
5 min read

Gemini 3 Pro: Benchmarks e como usá-lo via Gateway

julho 20, 2023
|
5 min read

LLMOps CoE: A próxima fronteira no cenário de MLOps

maio 25, 2023
|
5 min read

LLMs Open Source: Adote ou Desapareça

agosto 27, 2025
|
5 min read

Mapeando o mercado de AI On-Premise: Das placas de vídeo aos planos de controle

novembro 18, 2026
|
5 min read

Limites do Claude Code Explicados (Edição 2026)

No items found.
Analyzing how Cloudflare detects MCP traffic
novembro 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
novembro 18, 2026
|
5 min read

What Is AI Search? How It Works, Architecture, and Enterprise Use Cases

No items found.
Explaining LLM fine-tuning for enterprise AI teams
novembro 18, 2026
|
5 min read

A Practical Guide to LLM Fine-Tuning: Methods, Data, Costs, and Deployment

No items found.
novembro 3, 2026
|
5 min read

Entendendo os Benchmarks do Modelo LLAMA 2 para Avaliação de Desempenho

LLMs & GenAI
novembro 3, 2026
|
5 min read

Benchmarking do Llama-2-13B

LLMs & GenAI
novembro 3, 2026
|
5 min read

Benchmark do Falcon-40B

LLMs & GenAI
novembro 3, 2026
|
5 min read

Benchmarking do Mistral-7B

LLMs & GenAI
novembro 3, 2026
|
5 min read

Llama 2 LLM: Fazer Deploy e Fine-Tuning na sua nuvem

Engenharia e Produto
LLMs & GenAI

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour