Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Benchmarking do Llama-2-13B

By TrueFoundry

Updated: November 3, 2026

Published: May 20, 2026

Avaliamos o desempenho do LLama2-13B neste artigo sob as perspectivas de latência, custo e requisições por segundo. Isso ajudará a avaliar se ele pode ser uma boa escolha com base nos requisitos do seu negócio. Note que não cobrimos o desempenho qualitativo neste artigo - existem métodos diferentes para comparar LLMs que podem ser encontrados aqui.

Modelo: Llama2-13B

Neste blog, realizamos o benchmarking do modelo Llama-2-13B da NousResearch. Esta é uma versão pré-treinada do Llama-2 com 13 bilhões de parâmetros.

‍

A Meta desenvolveu e lançou publicamente a família de grandes modelos de linguagem (LLMs) Llama 2, uma coleção de modelos de texto generativo pré-treinados e ajustados com escala variando de 7 bilhões a 70 bilhões de parâmetros.

Métricas para Benchmarking

  1. Requisições por segundo (RPS): Requisições por segundo que o modelo está processando. Com maior RPS, a latência geralmente aumenta.
  2. Latência: Quanto tempo é necessário para concluir uma requisição de inferência?
  3. Aspectos econômicos: Quais são os custos associados à implantação de um LLM?

Casos de uso e modos de implantação avaliados

Os principais fatores nos quais realizamos o benchmarking são:

Tipo de GPU:

  1. A100 40GB GPU
  2. 2 x A10 24GB GPU

Tamanho do prompt:

  1. 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Retrieval Augmented Generation)
  2. 50 tokens de entrada, 500 tokens de saída (Casos de uso com foco em geração)

Configuração do benchmarking

Para o benchmarking, usamos o locust, uma ferramenta open-source para teste de carga. O Locust funciona criando usuários/workers para enviar requisições em paralelo. No início de cada teste, podemos definir Number of Users e Spawn Rate. Aqui, o Number of Users significa o número máximo de usuários que podem ser gerados/executados concorrentemente, enquanto o Spawn Rate significa quantos usuários serão criados por segundo.

Em cada teste de benchmarking para uma configuração de implantação, começamos a partir de 1 usuário e fomos aumentando o Number of Users gradualmente até observar um aumento constante no RPS. Durante o teste, também plotamos response times (in ms) e total requests per second.

Em cada uma das 2 configurações de implantação, usamos o servidor de modelos text-generation-inference da huggingface com version=0.9.4. A seguir estão os parâmetros passados para a imagem do text-generation-inference para diferentes configurações de modelo:

‍

PARÂMETROS LLAMA-2-13B NA A100 LLAMA-2-13B NA A10G
Max Batch Prefill Tokens 10100 10100

‍

Resumo dos resultados de benchmarking

Latência, RPS e Custo

Calculamos a melhor latência com base no envio de apenas uma requisição por vez. Para aumentar o throughput, enviamos requisições em paralelo para o LLM. O throughput máximo é o cenário em que o modelo consegue processar as requisições de entrada sem uma deterioração significativa da latência.

Resultados de benchmarking para o LLama-2 13B

Tokens por segundo

Os LLMs processam tokens de entrada e geração de forma diferente - portanto, calculamos a taxa de processamento de tokens de entrada e tokens de saída separadamente.

Resultados detalhados

2 x A10 24GB GPU (1500 tokens de entrada + 100 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 4.5 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 0.8 RPS sem uma queda significativa na latência. Acima de 0.8 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

2 x A10 24GB GPU (50 tokens de entrada + 500 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 17 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 0.6 RPS sem uma queda significativa na latência. Acima de 0.6 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

A100 40GB GPU (1500 tokens de entrada + 100 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 3.3 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 1.4 RPS sem uma queda significativa na latência. Acima de 1.4 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

A100 40GB GPU (50 tokens de entrada + 500 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 13 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 1.2 RPS sem uma queda significativa na latência. Acima de 1.2 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.

Esperamos que isso seja útil para você decidir se o LLama2-13B se adequará ao seu caso de uso e para entender os custos que pode esperar ao hospedar o LLama2-13B.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

August 26, 2026
|
5 min read

Gemini 3 Pro: Benchmarks e como usá-lo via Gateway

July 20, 2023
|
5 min read

LLMOps CoE: A próxima fronteira no cenário de MLOps

May 25, 2023
|
5 min read

LLMs Open Source: Adote ou Desapareça

August 27, 2025
|
5 min read

Mapeando o mercado de AI On-Premise: Das placas de vídeo aos planos de controle

Guide to Langgraph vs Langchain
November 16, 2026
|
5 min read

LangChain vs LangGraph: qual é o melhor para você?

comparação
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min read

Claude Fable 5: API, Benchmarks, Preço e Como Usar

Engenharia e Produto
openrouter vs litellm
November 16, 2026
|
5 min read

LiteLLM Vs OpenRouter: Qual É o Ideal para Você?

comparação
November 16, 2026
|
5 min read

Arquitetura Transformer em Grandes Modelos de Linguagem

Terminologia de LLM
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour