Avaliação de LLMs de Código Aberto Populares: Llama2, Falcon e Mistral

Neste blog, mostraremos o resumo de vários LLMs de código aberto que avaliamos. Avaliamos esses modelos sob as perspectivas de latência, custo e requisições por segundo. Isso o ajudará a avaliar se pode ser uma boa escolha com base nos requisitos de negócio. Observe que não abordamos o desempenho qualitativo neste artigo – existem diferentes métodos para comparar LLMs, que podem ser encontrados aqui.

Casos de Uso Avaliados

Os principais casos de uso que avaliamos são:

1. 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Geração Aumentada por Recuperação)
2. 50 tokens de entrada, 500 tokens de saída (Casos de uso com forte geração)

Configuração do Benchmarking

Para o benchmarking, utilizamos o Locust, uma ferramenta de teste de carga de código aberto. O Locust funciona criando usuários/trabalhadores para enviar requisições em paralelo. No início de cada teste, podemos definir o Número de Usuários e Taxa de Geração. Aqui, o Número de Usuários representam o número máximo de utilizadores que podem ser gerados/executados simultaneamente, enquanto que a Taxa de Geração significa quantos utilizadores serão gerados por segundo.

Em cada teste de benchmarking para uma configuração de deployment, começámos com 1 utilizador e fomos aumentando o Número de Utilizadores gradualmente até vermos um aumento constante no RPS. Durante o teste, também traçámos os tempos de resposta (em ms) e total de pedidos por segundo.

Em cada uma das 2 configurações de deployment, utilizámos o servidor de modelo huggingface text-generation-inference com version=0.9.4. Os seguintes são os parâmetros passados para a imagem text-generation-inference para diferentes configurações de modelo:

LLMs Avaliados

Os 5 LLMs de código aberto avaliados são os seguintes:

1. Mistral-7B-Instruct
2. LLama2-7B
3. LLama2-13B
4. LLama2-70B
5. Falcon-40B-Instruct

A tabela a seguir apresenta um resumo da avaliação de LLMs:

Detalhes dos Blogs de Avaliação de LLMs para cada LLM

Para cada um dos modelos mencionados acima, consulte os blogs detalhados de avaliação de LLMs, conforme mostrado abaixo:

Benchmarking Mistral-7B

This blog captures Mistral-7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-7B

This blog captures Llama 2 7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment. In this blog, we have benchmarked the Llama-2-7B model from NousResearch on huggingface.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-70B

This blog captures Llama-2-70B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Falcon-40B

This blog captures Falcon-40B-Instruct benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry