Benchmarking do Llama-2-13B

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Avaliamos o desempenho do LLama2-13B neste artigo sob as perspectivas de latência, custo e requisições por segundo. Isso ajudará a avaliar se ele pode ser uma boa escolha com base nos requisitos do seu negócio. Note que não cobrimos o desempenho qualitativo neste artigo - existem métodos diferentes para comparar LLMs que podem ser encontrados aqui.
Modelo: Llama2-13B
Neste blog, realizamos o benchmarking do modelo Llama-2-13B da NousResearch. Esta é uma versão pré-treinada do Llama-2 com 13 bilhões de parâmetros.
A Meta desenvolveu e lançou publicamente a família de grandes modelos de linguagem (LLMs) Llama 2, uma coleção de modelos de texto generativo pré-treinados e ajustados com escala variando de 7 bilhões a 70 bilhões de parâmetros.
Métricas para Benchmarking
- Requisições por segundo (RPS): Requisições por segundo que o modelo está processando. Com maior RPS, a latência geralmente aumenta.
- Latência: Quanto tempo é necessário para concluir uma requisição de inferência?
- Aspectos econômicos: Quais são os custos associados à implantação de um LLM?
Casos de uso e modos de implantação avaliados
Os principais fatores nos quais realizamos o benchmarking são:
Tipo de GPU:
- A100 40GB GPU
- 2 x A10 24GB GPU
Tamanho do prompt:
- 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Retrieval Augmented Generation)
- 50 tokens de entrada, 500 tokens de saída (Casos de uso com foco em geração)
Configuração do benchmarking
Para o benchmarking, usamos o locust, uma ferramenta open-source para teste de carga. O Locust funciona criando usuários/workers para enviar requisições em paralelo. No início de cada teste, podemos definir Number of Users e Spawn Rate. Aqui, o Number of Users significa o número máximo de usuários que podem ser gerados/executados concorrentemente, enquanto o Spawn Rate significa quantos usuários serão criados por segundo.
Em cada teste de benchmarking para uma configuração de implantação, começamos a partir de 1 usuário e fomos aumentando o Number of Users gradualmente até observar um aumento constante no RPS. Durante o teste, também plotamos response times (in ms) e total requests per second.
Em cada uma das 2 configurações de implantação, usamos o servidor de modelos text-generation-inference da huggingface com version=0.9.4. A seguir estão os parâmetros passados para a imagem do text-generation-inference para diferentes configurações de modelo:
Resumo dos resultados de benchmarking
Latência, RPS e Custo
Calculamos a melhor latência com base no envio de apenas uma requisição por vez. Para aumentar o throughput, enviamos requisições em paralelo para o LLM. O throughput máximo é o cenário em que o modelo consegue processar as requisições de entrada sem uma deterioração significativa da latência.

Tokens por segundo
Os LLMs processam tokens de entrada e geração de forma diferente - portanto, calculamos a taxa de processamento de tokens de entrada e tokens de saída separadamente.

Resultados detalhados
2 x A10 24GB GPU (1500 tokens de entrada + 100 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 4.5 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 0.8 RPS sem uma queda significativa na latência. Acima de 0.8 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
2 x A10 24GB GPU (50 tokens de entrada + 500 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 17 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 0.6 RPS sem uma queda significativa na latência. Acima de 0.6 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
A100 40GB GPU (1500 tokens de entrada + 100 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 3.3 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 1.4 RPS sem uma queda significativa na latência. Acima de 1.4 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
A100 40GB GPU (50 tokens de entrada + 500 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 13 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo - podemos ver o throughput aumentando até 1.2 RPS sem uma queda significativa na latência. Acima de 1.2 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
Esperamos que isso seja útil para você decidir se o LLama2-13B se adequará ao seu caso de uso e para entender os custos que pode esperar ao hospedar o LLama2-13B.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






