Benchmarking do Llama-2-70B

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Fazemos o benchmarking do desempenho do Llama2-70B neste artigo sob a perspectiva de latência, custo e requisições por segundo. Isso nos ajudará a avaliar se ele pode ser uma boa escolha com base nos requisitos de negócios. Observe que não cobrimos o desempenho qualitativo neste artigo - existem diferentes métodos para comparar LLMs que podem ser encontrados aqui.
Modelo: Llama2-70B
Neste blog, realizamos o benchmarking do modelo Llama-2-70B da NousResearch. Esta é uma versão pré-treinada do Llama-2 com 70 bilhões de parâmetros.
A Meta desenvolveu e lançou publicamente a família Llama 2 de grandes modelos de linguagem (LLMs), uma coleção de modelos de texto generativo pré-treinados e ajustados que variam em escala de 7 bilhões a 70 bilhões de parâmetros.
Métricas para Benchmarking
- Requisições por segundo (RPS): Requisições por segundo que o modelo está processando. Com um RPS mais alto, a latência geralmente aumenta.
- Latência: Quanto tempo é levado para concluir uma requisição de inferência?
- Economia: Quais são os custos associados à implantação de um LLM?
Casos de Uso e Modos de Implantação Avaliados
Os principais fatores com base nos quais fizemos o benchmarking são:
Tipo de GPU:
- 4 GPUs A100 de 40 GB
Tamanho do Prompt:
- 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Retrieval Augmented Generation)
- 50 tokens de entrada, 500 tokens de saída (Casos de uso com foco em geração)
Configuração do Benchmarking
Para o benchmarking, usamos o locust, uma ferramenta de teste de carga open-source. O Locust funciona criando usuários/workers para enviar requisições em paralelo. No início de cada teste, podemos definir o Number of Users e o Spawn Rate. Aqui, o Number of Users significa o número máximo de usuários que podem ser criados/executados concorrentemente, enquanto o Spawn Rate significa quantos usuários serão criados por segundo.
Em cada teste de benchmarking para uma configuração de implantação, começamos com 1 usuário e fomos aumentando o Number of Users gradualmente até vermos um aumento constante no RPS. Durante o teste, também plotamos o response times (in ms) e o total requests per second.
Em cada uma das 2 configurações de implantação, usamos o servidor de modelo text-generation-inference da Hugging Face com version=0.9.4. A seguir estão os parâmetros passados para a imagem do text-generation-inference para diferentes configurações de modelo:
Resumo dos Resultados do Benchmarking
Latência, RPS e Custo
Calculamos a melhor latência com base no envio de apenas uma requisição por vez. Para aumentar o throughput, enviamos requisições em paralelo para o LLM. O throughput máximo é o caso em que o modelo consegue processar as requisições de entrada sem uma deterioração significativa na latência.

Tokens por Segundo
Os LLMs processam tokens de entrada e geração de forma diferente — portanto, calculamos a taxa de processamento de tokens de entrada e tokens de saída separadamente.

Resultados Detalhados
4 GPUs A100 de 40 GB (1500 tokens de entrada + 100 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é 7.4 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo — podemos ver o throughput aumentando até 1.1 RPS sem uma queda significativa na latência. Além de 1.1 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
4 GPUs A100 de 40 GB (50 tokens de entrada + 500 tokens de saída)


Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é 33 seconds. Podemos aumentar o número de usuários para enviar mais tráfego ao modelo — podemos ver o throughput aumentando até 0.8 RPS sem uma queda significativa na latência. Além de 0.8 RPS, a latência aumenta drasticamente, o que significa que as requisições estão ficando enfileiradas.
Esperamos que isso seja útil para você decidir se o Llama2-70B se adequa ao seu caso de uso e para entender os custos que pode esperar ao hospedar o Llama2-70B.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

















.webp)
.webp)
.webp)







.webp)


.webp)
.webp)
.png)

.png)
.png)
.png)






