Benchmarking van Falcon-40B

In dit artikel benchmarken we de prestaties van Falcon-40B-Instruct vanuit het perspectief van latency, kosten en requests per second. Dit helpt bij het evalueren of het een goede keuze is op basis van de bedrijfsvereisten. Houd er rekening mee dat we de kwalitatieve prestaties in dit artikel niet behandelen - er zijn verschillende methoden om LLM's te vergelijken, die u hier kunt vinden.

Model: Falcon-40B-Instruct

In deze blog hebben we het Falcon-40B-Instruct-model van tiiuae gebenchmarkt. Falcon-40B-Instruct is een causal decoder-only model met 40B parameters, gebouwd door TII op basis van Falcon-40B en gefinetuned op een mengsel van Baize. Het is beschikbaar gesteld onder de Apache 2.0-licentie.

tiiuae/falcon-40b-instruct · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

Te benchmarken metrieken

1. Requests per second (RPS): Het aantal requests per seconde dat het model verwerkt. Bij een hogere RPS neemt de latency meestal toe.
2. Latency: Hoeveel tijd er nodig is om een inference request te voltooien?
3. Economie: Wat zijn de kosten die gepaard gaan met het implementeren van een LLM?

Gebenchmarkte use cases & deployment-modi

De belangrijkste factoren waarop we hebben gebenchmarkt zijn:

GPU-type:

1. 4 x A100 40GB GPU

Prompt-lengte:

1. 1500 input tokens, 100 output tokens (Vergelijkbaar met Retrieval Augmented Generation use cases)
2. 50 input tokens, 500 output tokens (Generatie-zware use cases)

Benchmarking setup

Voor de benchmarking hebben we locust gebruikt, een open-source load-testing tool. Locust werkt door users/workers aan te maken om parallel requests te versturen. Aan het begin van elke test kunnen we de Number of Users en Spawn Rate instellen. Hier geven de Number of Users het maximale aantal gebruikers aan dat gelijktijdig kan worden gestart/uitgevoerd, terwijl de Spawn Rate aangeeft hoeveel gebruikers er per seconde worden gestart.

In elke benchmarkingtest voor een deployment config begonnen we vanaf 1 gebruiker en verhoogden we de Number of Users geleidelijk totdat we een gestage toename in de RPS zagen. Tijdens de test hebben we ook de response times (in ms) en total requests per second uitgezet in een grafiek.

In elk van de 2 deployment-configuraties hebben we de huggingface text-generation-inference model server gebruikt met version=0.9.4. De volgende parameters zijn doorgegeven aan de text-generation-inference image voor verschillende modelconfiguraties:

‍

‍

Samenvatting benchmarkingresultaten

Latency, RPS en kosten

We berekenen de beste latency op basis van het versturen van slechts één request tegelijk. Om de throughput te verhogen, sturen we parallelle requests naar de LLM. De maximale throughput is de situatie waarin het model de inkomende requests kan verwerken zonder aanzienlijke verslechtering van de latency.

Tokens per seconde

LLM's verwerken input tokens en generatie op een verschillende manier - daarom hebben we de verwerkingssnelheid voor input tokens en output tokens afzonderlijk berekend.

Gedetailleerde resultaten

4 x A100 40GB GPU (1500 input + 100 output tokens)

In de bovenstaande grafieken kunnen we observeren dat de beste responstijd (bij 1 gebruiker) 4.6 seconds is. We kunnen het aantal gebruikers verhogen om meer verkeer naar het model te sturen - we zien de throughput toenemen tot 2.0 RPS zonder noemenswaardige stijging van de latency. Boven 2.0 RPS neemt de latency drastisch toe, wat betekent dat requests in de wachtrij komen te staan.

4 x A100 40GB GPU (50 input + 500 output tokens)

In de bovenstaande grafieken kunnen we observeren dat de beste responstijd (bij 1 gebruiker) 20 seconds is. We kunnen het aantal gebruikers verhogen om meer verkeer naar het model te sturen - we zien de throughput toenemen tot 2.5 RPS zonder noemenswaardige stijging van de latency. Boven 2.5 RPS neemt de latency drastisch toe, wat betekent dat requests in de wachtrij komen te staan.

Hopelijk is dit nuttig voor u om te bepalen of Falcon-40B-Instruct geschikt is voor uw use case en welke kosten u kunt verwachten bij het hosten van Falcon-40B-Instruct.