Populaire open-source LLM's benchmarken: Llama2, Falcon en Mistral

In deze blog tonen we de samenvatting van verschillende open-source LLM's die we hebben gebenchmarkt. We hebben deze modellen gebenchmarkt vanuit het perspectief van latency, kosten en verzoeken per seconde. Dit helpt u te evalueren of het een goede keuze kan zijn op basis van de zakelijke vereisten. Houd er rekening mee dat we de kwalitatieve prestaties in dit artikel niet behandelen - er zijn verschillende methoden om LLM's te vergelijken die u hier kunt vinden.

Gebenchmarkte use cases

De belangrijkste use cases waarop we hebben gebenchmarkt zijn:

1. 1500 Input tokens, 100 output tokens (Vergelijkbaar met Retrieval Augmented Generation use cases)
2. 50 Input tokens, 500 output tokens (Generation Heavy use cases)

Benchmarking-setup

Voor het benchmarken hebben we locust gebruikt, een open-source load-testing tool. Locust werkt door gebruikers/workers aan te maken om parallel verzoeken te versturen. Aan het begin van elke test kunnen we de Number of Users en Spawn Rate instellen. Hier geeft Number of Users het maximale aantal gebruikers aan dat gelijktijdig kan worden opgestart/actief kan zijn, terwijl Spawn Rate aangeeft hoeveel gebruikers er per seconde worden opgestart.

In elke benchmarkingtest voor een deployment-configuratie begonnen we bij 1 gebruiker en verhoogden we Number of Users geleidelijk totdat we een gestage toename in de RPS zagen. Tijdens de test hebben we ook response times (in ms) en total requests per second uitgezet.

In elk van de 2 deployment-configuraties hebben we de huggingface text-generation-inference model server gebruikt met version=0.9.4. Dit zijn de parameters die aan de text-generation-inference image zijn doorgegeven voor verschillende modelconfiguraties:

Gebenchmarkte LLM's

De 5 gebenchmarkte open-source LLM's zijn als volgt:

1. Mistral-7B-Instruct
2. LLama2-7B
3. LLama2-13B
4. LLama2-70B
5. Falcon-40B-Instruct

De volgende tabel toont een samenvatting van de LLM-benchmarking:

Gedetailleerde LLM-benchmarkingblogs voor elke LLM

Raadpleeg voor elk van de hierboven genoemde modellen de gedetailleerde LLM-benchmarkingblogs zoals hieronder weergegeven:

Mistral-7B benchmarken

Deze blog bevat Mistral-7B-benchmarks - waar een model in uitblinkt en de gebieden waar het moeite mee heeft. Neem weloverwogen beslissingen over de praktische uitrol ervan.

TrueFoundry Blog Truefoundry

‍

Llama-2-7B benchmarken

Deze blog bevat Llama 2 7B-benchmarks - waar een model in uitblinkt en de gebieden waar het moeite mee heeft. Neem weloverwogen beslissingen over de praktische uitrol ervan. In deze blog hebben we het Llama-2-7B-model van NousResearch op huggingface gebenchmarkt.

TrueFoundry Blog Truefoundry

‍

Llama-2-13B benchmarken

Deze blog bevat Llama 2-13B-benchmarks - waar een model in uitblinkt en de gebieden waar het moeite mee heeft. Neem weloverwogen beslissingen over de praktische uitrol ervan.

TrueFoundry Blog Truefoundry

‍

Llama-2-70B benchmarken

Deze blog bevat Llama-2-70B-benchmarks - waar een model in uitblinkt en de gebieden waar het moeite mee heeft. Neem weloverwogen beslissingen over de praktische uitrol ervan.

TrueFoundry Blog Truefoundry

‍

Falcon-40B benchmarken

Deze blog bevat Falcon-40B-Instruct-benchmarks - waar een model in uitblinkt en de gebieden waar het moeite mee heeft. Neem weloverwogen beslissingen over de praktische uitrol ervan.

TrueFoundry Blog Truefoundry