Benchmarking von Falcon-40B

In diesem Artikel führen wir ein Benchmarking der Leistung von Falcon-40B-Instruct aus der Perspektive von Latenz, Kosten und Requests per second (RPS) durch. Dies hilft bei der Bewertung, ob das Modell basierend auf den geschäftlichen Anforderungen eine gute Wahl sein kann. Bitte beachten Sie, dass wir in diesem Artikel die qualitative Leistung nicht abdecken – es gibt verschiedene Methoden zum Vergleichen von LLMs, die Sie hier finden.

Modell: Falcon-40B-Instruct

In diesem Blog haben wir das Modell Falcon-40B-Instruct von tiiuae gebenchmarkt. Falcon-40B-Instruct ist ein Causal-Decoder-Only-Modell mit 40B Parametern, das von TII basierend auf Falcon-40B entwickelt und mit einer Mischung von Baize feingetunt wurde. Es wird unter der Apache 2.0-Lizenz zur Verfügung gestellt.

tiiuae/falcon-40b-instruct · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

Zu benchmarkende Metriken

1. Requests per second (RPS): Anfragen pro Sekunde, die das Modell verarbeitet. Bei höherer RPS steigt in der Regel die Latenz.
2. Latenz: Wie viel Zeit wird benötigt, um eine Inference-Anfrage abzuschließen?
3. Wirtschaftlichkeit: Welche Kosten sind mit der Bereitstellung eines LLM verbunden?

Gebenchmarkte Anwendungsfälle & Deployment-Modi

Die wesentlichen Faktoren, anhand derer wir gebenchmarkt haben, sind:

GPU-Typ:

1. 4 x A100 40GB GPU

Prompt-Länge:

1. 1500 Input-Tokens, 100 Output-Tokens (Ähnlich wie bei Retrieval Augmented Generation-Anwendungsfällen)
2. 50 Input-Tokens, 500 Output-Tokens (Generationsintensive Anwendungsfälle)

Benchmarking-Setup

Für das Benchmarking haben wir Locust verwendet, ein Open-Source-Tool für Lasttests. Locust funktioniert, indem es User/Worker erstellt, um Anfragen parallel zu senden. Zu Beginn jedes Tests können wir die Number of Users und Spawn Rate festlegen. Hier bezeichnen die Number of Users die maximale Anzahl von Benutzern, die gleichzeitig gestartet werden/laufen können, während die Spawn Rate angibt, wie viele Benutzer pro Sekunde gestartet werden.

In jedem Benchmarking-Test für eine Deployment-Konfiguration haben wir bei 1 Benutzer begonnen und die Number of Users schrittweise erhöht, bis wir einen stetigen Anstieg der RPS sahen. Während des Tests haben wir auch die response times (in ms) und total requests per second aufgezeichnet.

In jeder der 2 Deployment-Konfigurationen haben wir den Hugging-Face-text-generation-inference-Modellserver mit version=0.9.4 verwendet. Die folgenden Parameter wurden an das text-generation-inference-Image für verschiedene Modellkonfigurationen übergeben:

‍

‍

Zusammenfassung der Benchmarking-Ergebnisse

Latenz, RPS und Kosten

Wir berechnen die beste Latenz basierend auf dem Senden von nur einer Anfrage zur gleichen Zeit. Um den Durchsatz zu erhöhen, senden wir Anfragen parallel an das LLM. Der maximale Durchsatz ist der Fall, in dem das Modell in der Lage ist, die eingehenden Anfragen ohne erhebliche Verschlechterung der Latenz zu verarbeiten.

Tokens pro Sekunde

LLMs verarbeiten Input-Tokens und die Generierung unterschiedlich – daher haben wir die Verarbeitungsrate von Input-Tokens und Output-Tokens separat berechnet.

Detaillierte Ergebnisse

4 x A100 40GB GPU (1500 Input- + 100 Output-Tokens)

In den obigen Diagrammen können wir beobachten, dass die beste Antwortzeit (bei 1 Benutzer) 4.6 seconds beträgt. Wir können die Anzahl der Benutzer erhöhen, um dem Modell mehr Traffic zuzuführen – wir können sehen, dass der Durchsatz bis zu 2.0 RPS steigt, ohne dass die Latenz erheblich abfällt. Jenseits von 2.0 RPS steigt die Latenz drastisch an, was bedeutet, dass sich Anfragen in der Warteschlange stauen.

4 x A100 40GB GPU (50 Input- + 500 Output-Tokens)

In den obigen Diagrammen können wir beobachten, dass die beste Antwortzeit (bei 1 Benutzer) 20 seconds beträgt. Wir können die Anzahl der Benutzer erhöhen, um dem Modell mehr Traffic zuzuführen – wir können sehen, dass der Durchsatz bis zu 2.5 RPS steigt, ohne dass die Latenz erheblich abfällt. Jenseits von 2.5 RPS steigt die Latenz drastisch an, was bedeutet, dass sich Anfragen in der Warteschlange stauen.

Hoffentlich ist dies nützlich für Sie, um zu entscheiden, ob Falcon-40B-Instruct für Ihren Anwendungsfall geeignet ist und welche Kosten beim Hosting von Falcon-40B-Instruct zu erwarten sind.