Benchmark do Falcon-40B

Neste artigo, avaliamos o desempenho do Falcon-40B-Instruct sob a perspectiva de latência, custo e requisições por segundo. Isso nos ajudará a verificar se ele pode ser uma boa escolha com base nos requisitos de negócios. Observe que não abordamos o desempenho qualitativo neste artigo — existem diferentes métodos para comparar LLMs que podem ser encontrados aqui.

Modelo: Falcon-40B-Instruct

Neste blog, fizemos o benchmarking do modelo Falcon-40B-Instruct da tiiuae. O Falcon-40B-Instruct é um modelo causal decoder-only de 40 bilhões de parâmetros construído pela TII com base no Falcon-40B e ajustado (finetuned) em uma mistura de Baize. Ele está disponível sob a licença Apache 2.0.

tiiuae/falcon-40b-instruct · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

Métricas para Benchmarking

1. Requisições por segundo (RPS): Requisições por segundo que o modelo está processando. Com um RPS mais alto, a latência geralmente aumenta.
2. Latência: Quanto tempo é necessário para completar uma requisição de inferência?
3. Economia: Quais são os custos associados à implantação de um LLM?

Casos de Uso e Modos de Implantação Avaliados

Os principais fatores que avaliamos são:

Tipo de GPU:

1. 4 x A100 40GB GPU

Comprimento do Prompt:

1. 1500 tokens de entrada, 100 tokens de saída (Semelhante a casos de uso de Geração Aumentada por Recuperação)
2. 50 tokens de entrada, 500 tokens de saída (Casos de uso com foco intenso em geração)

Configuração do Benchmarking

Para o benchmarking, utilizamos o Locust, uma ferramenta de teste de carga de código aberto. O Locust funciona criando usuários/trabalhadores para enviar requisições em paralelo. No início de cada teste, podemos definir o Número de Usuários e a Taxa de Geração. Aqui o Número de Usuários significa o número máximo de usuários que podem ser gerados/executados simultaneamente, enquanto a Taxa de Geração indica quantos usuários serão gerados por segundo.

Em cada teste de benchmarking para uma configuração de implantação, começamos com 1 usuário e continuamos aumentando o Número de Usuários gradualmente até vermos um aumento constante no RPS. Durante o teste, também plotamos os tempos de resposta (em ms) e total de requisições por segundo.

Em cada uma das 2 configurações de implantação, usamos o huggingface text-generation-inference servidor de modelo com version=0.9.4. Os seguintes são os parâmetros passados para a text-generation-inference imagem para diferentes configurações de modelo:

‍

‍

Resumo dos Resultados de Benchmarking

Latência, RPS e Custo

Calculamos a melhor latência com base no envio de apenas uma solicitação por vez. Para aumentar o throughput, enviamos solicitações em paralelo ao LLM. O throughput máximo ocorre quando o modelo é capaz de processar as solicitações de entrada sem uma deterioração significativa na latência.

Tokens Por Segundo

LLMs processam tokens de entrada e geração de forma diferente - por isso calculamos a taxa de processamento de tokens de entrada e tokens de saída de forma diferente.

Resultados Detalhados

4 x A100 40GB GPU (1500 tokens de entrada + 100 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é 4.6 segundos. Podemos aumentar o número de usuários para direcionar mais tráfego ao modelo - podemos ver o throughput aumentando até 2.0 RPS sem uma queda significativa na latência. Acima de 2.0 RPS, a latência aumenta drasticamente, o que significa que as solicitações estão sendo enfileiradas.

4 x A100 40GB GPU (50 tokens de entrada + 500 tokens de saída)

Podemos observar nos gráficos acima que o Melhor Tempo de Resposta (com 1 usuário) é de 20 segundos. Podemos aumentar o número de usuários para direcionar mais tráfego ao modelo - podemos ver o rendimento aumentar até 2.5 RPS sem uma queda significativa na latência. Acima de 2.5 RPS, a latência aumenta drasticamente, o que significa que as requisições estão sendo enfileiradas.

Esperamos que isso seja útil para você decidir se o Falcon-40B-Instruct se adequa ao seu caso de uso e aos custos que você pode esperar ter ao hospedar o Falcon-40B-Instruct.