Analyse comparative Llama-2-70B

Dans cet article, nous comparons les performances de LLama2-70b du point de vue de la latence, du coût et des demandes par seconde. Cela nous aidera à évaluer s'il peut s'agir d'un bon choix en fonction des besoins de l'entreprise. Veuillez noter que nous n'abordons pas les performances qualitatives dans cet article. Il existe différentes méthodes pour comparer les LLM, que vous pouvez trouver ici.

Modèle : Llama2-70B

Dans ce blog, nous avons comparé Lama-2-70B modèle de Aucune recherche. Il s'agit d'une version pré-entraînée de Llama-2 avec 70 milliards de paramètres.

NousResearch/Llama-2-70b-hf · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

Meta a développé et publié la famille de grands modèles linguistiques (LLM) Llama 2, une collection de modèles de texte génératifs pré-entraînés et affinés dont l'échelle varie de 7 milliards à 70 milliards de paramètres.

Métriques à comparer

1. Demandes par seconde. (3 HEURES PAR SECONDE) : Demandes par seconde traitées par le modèle. Avec un RPS plus élevé, la latence augmente généralement.
2. Latence : Combien de temps faut-il pour traiter une demande d'inférence ?
3. Économie : Quels sont les coûts associés au déploiement d'un LLM ?

Cas d'utilisation et modes de déploiement évalués

Les principaux facteurs sur lesquels nous avons effectué des analyses comparatives sont les suivants :

Type de processeur graphique :

1. 4 x A100 40 Go GPU

Longueur du message :

1. 1500 jetons d'entrée, 100 jetons de sortie (Similaire aux cas d'utilisation de Retrieval Augmented Generation)
2. 50 jetons d'entrée, 500 jetons de sortie (Cas d'utilisation de Generation Heavy)

Configuration de l'analyse comparative

Pour l'analyse comparative, nous avons utilisé Locust, un outil de test de charge open source. Locust fonctionne en créant des utilisateurs/travailleurs pour envoyer des demandes en parallèle. Au début de chaque test, nous pouvons définir Nombre d'utilisateurs et Taux d'apparition. Voici le Nombre d'utilisateurs signifie le nombre maximum d'utilisateurs pouvant être généré/exécuter simultanément, alors que Taux d'apparition indique le nombre d'utilisateurs qui seront générés par seconde.

Lors de chaque test d'analyse comparative d'une configuration de déploiement, nous sommes partis de 1 utilisateur et a continué à augmenter le Nombre d'utilisateurs progressivement jusqu'à ce que nous constations une augmentation constante du RPS. Au cours du test, nous avons également tracé temps de réponse (en ms) et nombre total de demandes par seconde.

Dans chacune des 2 configurations de déploiement, nous avons utilisé le huggingface inférence par génération de texte serveur modèle ayant version = 0.9.4. Voici les paramètres transmis au inférence par génération de texte image pour différentes configurations de modèles :

‍

‍

Résumé des résultats de l'analyse comparative

Latence, RPS et coût

Nous calculons la meilleure latence sur la base de l'envoi d'une seule demande à la fois. Pour augmenter le débit, nous envoyons les demandes en parallèle au LLM. Le débit maximal est le cas lorsque le modèle est capable de traiter les demandes d'entrée sans détérioration significative de la latence.

Jetons par seconde

Les LLM traitent les jetons d'entrée et les génèrent différemment. C'est pourquoi nous avons calculé différemment le taux de traitement des jetons d'entrée et des jetons de sortie.

Résultats détaillés

4 GPU A100 de 40 Go (1500 jetons d'entrée + 100 jetons de sortie)

Nous pouvons observer dans les graphiques ci-dessus que Meilleur temps de réponse (pour 1 utilisateur) est 7,4 secondes. Nous pouvons augmenter le nombre d'utilisateurs pour générer plus de trafic vers le modèle. Nous pouvons voir le débit augmenter jusqu'à 1,1 RPS sans baisse significative de la latence. Au-delà 1,1 RPS, la latence augmente considérablement, ce qui signifie que les demandes sont mises en file d'attente.

4 x GPU A100 de 40 Go (50 jetons d'entrée + 500 jetons de sortie)

Nous pouvons observer dans les graphiques ci-dessus que Meilleur temps de réponse (pour 1 utilisateur) est 33 secondes. Nous pouvons augmenter le nombre d'utilisateurs pour générer plus de trafic vers le modèle. Nous pouvons voir le débit augmenter jusqu'à 0,8 RPS sans baisse significative de la latence. Au-delà 0,8 RPS, la latence augmente considérablement, ce qui signifie que les demandes sont mises en file d'attente.

J'espère que cela vous sera utile pour décider si LLama2-70b convient à votre cas d'utilisation et aux coûts que vous pouvez vous attendre à encourir pour héberger LLama2-70b.