Benchmarking beliebter OpenSource-LLMs: Llama2, Falcon und Mistral

In diesem Blog zeigen wir die Zusammenfassung verschiedener Open-Source-LLMs, die wir verglichen haben. Wir haben diese Modelle im Hinblick auf Latenz, Kosten und Anfragen pro Sekunde verglichen. Auf diese Weise können Sie anhand der Geschäftsanforderungen beurteilen, ob dies eine gute Wahl sein kann. Bitte beachten Sie, dass wir in diesem Artikel nicht auf die qualitative Leistung eingehen. Es gibt verschiedene Methoden, um LLMs zu vergleichen hier.

Anwendungsfälle im Benchmarking

Die wichtigsten Anwendungsfälle, für die wir ein Benchmarking durchgeführt haben, sind:

1. 1500 Eingangstoken, 100 Ausgangstoken (Ähnlich den Anwendungsfällen von Retrieval Augmented Generation)
2. 50 Eingangstoken, 500 Ausgangstoken (Anwendungsfälle der Generation Heavy)

Einrichtung des Benchmarkings

Für das Benchmarking haben wir Locust verwendet, ein Open-Source-Tool zum Testen von Lasten. Locust arbeitet, indem es Benutzer/Worker erstellt, um Anfragen parallel zu senden. Zu Beginn jedes Tests können wir Folgendes festlegen Number of Users und Spawn Rate. Hier die Number of Users gibt die maximale Anzahl von Benutzern an, die gleichzeitig spawnen/laufen können, wohingegen die Spawn Rate gibt an, wie viele Benutzer pro Sekunde gestartet werden.

Bei jedem Benchmarking-Test für eine Bereitstellungskonfiguration begannen wir mit 1 Benutzer und erhöhte ständig den Number of Users allmählich, bis wir einen stetigen Anstieg des RPS sahen. Während des Tests haben wir auch das geplottet response times (in ms) und total requests per second.

In jeder der beiden Bereitstellungskonfigurationen haben wir das Huggingface verwendet Inferenz zur Textgenerierung Modellserver mit version=0.9.4. Im Folgenden sind die Parameter aufgeführt, die an den übergeben werden text-generation-inference Bild für verschiedene Modellkonfigurationen:

LLMs im Benchmarking

Die 5 Open-Source-LLMs, die als Benchmark bewertet wurden, lauten wie folgt:

1. Mistral-7B-Instruktion
2. Lama 2-7B
3. Lama 2-13B
4. Lama 2-70B
5. Falcon-40B-Instruktion

Die folgende Tabelle zeigt eine Zusammenfassung der Benchmarking-LLMs:

Einzelheiten zu den LLM-Benchmarking-Blogs zu den einzelnen LLMs

Lesen Sie für jedes der oben genannten Modelle die detaillierten LLM-Benchmarking-Blogs, wie unten dargestellt:

Benchmarking Mistral-7B

This blog captures Mistral-7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-7B

This blog captures Llama 2 7B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment. In this blog, we have benchmarked the Llama-2-7B model from NousResearch on huggingface.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Llama-2-70B

This blog captures Llama-2-70B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry

‍

Benchmarking Falcon-40B

This blog captures Falcon-40B-Instruct benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog Truefoundry