Benchmarking Llama-2-70B

We benchmarken de prestaties van Llama-2-70B in dit artikel vanuit het perspectief van latency, kosten en requests per seconde. Dit helpt ons te evalueren of het een goede keuze kan zijn op basis van de zakelijke vereisten. Houd er rekening mee dat we de kwalitatieve prestaties in dit artikel niet behandelen - er zijn verschillende methoden om LLMs te vergelijken die hier te vinden zijn.

Model: Llama2-70B

In deze blog hebben we het Llama-2-70B-model van NousResearch gebenchmarkt. Dit is een pre-trained versie van Llama-2 met 70 miljard parameters.

NousResearch/Llama-2-70b-hf · Hugging Face

We zijn op een missie om kunstmatige intelligentie te bevorderen en te democratiseren via open source en open wetenschap.

‍

Meta heeft de Llama 2-familie van large language models (LLMs) ontwikkeld en publiekelijk uitgebracht, een verzameling pre-trained en fine-tuned generatieve tekstmodellen variërend in schaal van 7 miljard tot 70 miljard parameters.

Metrieken om te benchmarken

1. Requests per second (RPS): Het aantal requests per seconde dat het model verwerkt. Bij een hogere RPS gaat de latency meestal omhoog.
2. Latency: Hoeveel tijd kost het om een inference request te voltooien?
3. Kosten: Wat zijn de kosten die gepaard gaan met het deployen van een LLM?

Gebruiksdoelen & Deployment Modes Gebenchmarkt

De belangrijkste factoren waarop we hebben gebenchmarkt zijn:

GPU-type:

1. 4 x A100 40GB GPU

Prompt-lengte:

1. 1500 Input-tokens, 100 output-tokens (Vergelijkbaar met Retrieval Augmented Generation use cases)
2. 50 Input-tokens, 500 output-tokens (Generatie-zware use cases)

Benchmarking-setup

Voor de benchmarking hebben we Locust gebruikt, een open-source load-testing tool. Locust werkt door users/workers aan te maken om parallel requests te versturen. Aan het begin van elke test kunnen we de Number of Users en Spawn Rate instellen. Hier geven de Number of Users het maximale aantal gebruikers aan dat gelijktijdig kan worden gestart/uitgevoerd, terwijl de Spawn Rate aangeeft hoeveel gebruikers er per seconde worden gestart.

In elke benchmarkingtest voor een deploymentconfiguratie zijn we begonnen vanaf 1 gebruiker en hebben we de Number of Users geleidelijk verhoogd totdat we een gestage toename van de RPS zagen. Tijdens de test hebben we ook de response times (in ms) en total requests per second in kaart gebracht.

In elk van de 2 deploymentconfiguraties hebben we de Hugging Face text-generation-inference model server gebruikt met version=0.9.4. De volgende parameters zijn doorgegeven aan de text-generation-inference image voor verschillende modelconfiguraties:

‍

‍

Samenvatting Benchmarkresultaten

Latency, RPS en Kosten

We berekenen de beste latency op basis van het versturen van slechts één request tegelijk. Om de throughput te verhogen, sturen we parallel requests naar het LLM. De maximale throughput is de situatie waarin het model in staat is de inkomende requests te verwerken zonder aanzienlijke verslechtering van de latency.

Tokens Per Seconde

LLMs verwerken input-tokens en generatie op een andere manier - daarom hebben we de verwerkingssnelheid van input-tokens en output-tokens afzonderlijk berekend.

Gedetailleerde Resultaten

4 x A100 40GB GPU (1500 input + 100 output tokens)

We kunnen in de bovenstaande grafieken zien dat de Beste Responstijd (bij 1 gebruiker) 7.4 seconds is. We kunnen het aantal gebruikers verhogen om meer verkeer naar het model te sturen - we zien de throughput toenemen tot 1.1 RPS zonder noemenswaardige daling in latency. Boven 1.1 RPS neemt de latency drastisch toe, wat betekent dat requests in de wachtrij komen te staan.

4 x A100 40GB GPU (50 input + 500 output tokens)

We kunnen in de bovenstaande grafieken zien dat de Beste Responstijd (bij 1 gebruiker) 33 seconds is. We kunnen het aantal gebruikers verhogen om meer verkeer naar het model te sturen - we zien de throughput toenemen tot 0.8 RPS zonder noemenswaardige daling in latency. Boven 0.8 RPS neemt de latency drastisch toe, wat betekent dat requests in de wachtrij komen te staan.

Hopelijk is dit nuttig voor u om te bepalen of Llama2-70B geschikt is voor uw use case en welke kosten u kunt verwachten bij het hosten van Llama2-70B.