July 20, 2023
|
5 minutos de lectura
Evaluación comparativa de los LLM populares de código abierto: Llama2, Falcon y Mistral
Por TrueFoundry
Actualizado: November 23, 2023
Resumir con
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
En este blog, mostraremos la resumen de varios LLM de código abierto que hemos comparado. Hemos comparado estos modelos desde la perspectiva de la latencia, el costo y las solicitudes por segundo. Esto le ayudará a evaluar si puede ser una buena opción en función de los requisitos empresariales. Tenga en cuenta que en este artículo no abordamos el rendimiento cualitativo; existen diferentes métodos para comparar los LLM que se pueden encontrar aquí.
Casos de uso comparados
Los casos de uso clave que hemos comparado son:
- 1500 fichas de entrada, 100 fichas de salida (Similar a los casos de uso de Retrieval Augmented Generation)
- 50 fichas de entrada, 500 fichas de salida (Casos de uso intensivo de la generación)
Configuración de evaluación comparativa
Para la evaluación comparativa, hemos utilizado Locust, una herramienta de prueba de carga de código abierto. Locust funciona creando usuarios/trabajadores para que envíen solicitudes en paralelo. Al principio de cada prueba, podemos establecer el Número de usuarios y Tasa de aparición. Aquí el Número de usuarios significan el número máximo de usuarios que pueden generarse o ejecutarse simultáneamente, mientras que el Tasa de aparición significa cuántos usuarios se generarán por segundo.
En cada prueba de evaluación comparativa para una configuración de implementación, partimos de 1 usuario y siguió aumentando la Número de usuarios gradualmente hasta que vimos un aumento constante en el RPS. Durante la prueba, también trazamos el tiempos de respuesta (en ms) y número total de solicitudes por segundo.
En cada una de las 2 configuraciones de implementación, hemos utilizado el abrazo inferencia de generación de texto servidor modelo que tiene versión=0.9.4. Los siguientes son los parámetros que se pasan al inferencia de generación de texto imagen para diferentes configuraciones de modelos:
LLMs comparados
Los 5 LLM de código abierto comparados son los siguientes:
La siguiente tabla muestra un resumen de la evaluación comparativa de los LLM:
Detalles de los blogs de evaluación comparativa de LLM sobre cada LLM
Para cada uno de los modelos mencionados anteriormente, consulte los blogs detallados de evaluación comparativa de LLM que se muestran a continuación:
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
La forma más rápida de crear, gobernar y escalar su IA
Inscríbase
¿Cómo se puede evitar que los costos de GenAI se disparen a gran escala?
Tabla de contenido
.png)
.webp)
.webp)
