Evaluación comparativa de Mistral-7B

En este artículo comparamos el rendimiento del Mistral-7B desde la perspectiva de la latencia, el costo y las solicitudes por segundo. Esto nos ayudará a evaluar si puede ser una buena opción en función de los requisitos empresariales. Tenga en cuenta que en este artículo no abordamos el rendimiento cualitativo; existen diferentes métodos para comparar los LLM que se pueden encontrar aquí.

Modelo: Mistral-7B

En este blog, hemos comparado los Mistral-7B-Instruct-v0.1 modelo de mistralai. El LLM Mistral-7b-Instruct-v0.1 es una versión perfeccionada para instruir del Mistral-7b-v0.1 modelo de texto generativo (con 7 mil millones de parámetros) que utiliza una variedad de conjuntos de datos de conversación disponibles públicamente.

‍

mistralai/Mistral-7B-Instruct-v0.1 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

‍

Métricas para comparar

1. Solicitudes por segundo. (RPS): Solicitudes por segundo que gestiona el modelo. Con un RPS más alto, la latencia suele aumentar.
2. Latencia: ¿Cuánto tiempo se tarda en completar una solicitud de inferencia?
3. Economía: ¿Cuáles son los costos asociados con la implementación de un LLM?

Casos de uso y modos de implementación comparados

Los factores clave que hemos analizado son los siguientes:

Tipo de GPU:

1. A100 40 GB GPU
2. A10 24 GB GPU

Longitud del mensaje:

1. 1500 fichas de entrada, 100 fichas de salida (Similar a los casos de uso de Retrieval Augmented Generation)
2. 50 fichas de entrada, 500 fichas de salida (Casos de uso intensivo de la generación)

Configuración de evaluación comparativa

Para la evaluación comparativa, hemos utilizado Locust, una herramienta de prueba de carga de código abierto. Locust funciona creando usuarios/trabajadores para que envíen solicitudes en paralelo. Al principio de cada prueba, podemos establecer el Número de usuarios y Tasa de aparición. Aquí el Número de usuarios significan el número máximo de usuarios que pueden generarse o ejecutarse simultáneamente, mientras que el Tasa de aparición significa cuántos usuarios se generarán por segundo.

En cada prueba de evaluación comparativa para una configuración de implementación, partimos de 1 usuario y siguió aumentando la Número de usuarios gradualmente hasta que vimos un aumento constante en el RPS. Durante la prueba, también trazamos el tiempos de respuesta (en ms) y número total de solicitudes por segundo.

En cada una de las dos configuraciones de despliegue, hemos utilizado el Servidor modelo vLLM teniendo versión=0.2.0-d849de0.

Resumen de los resultados de la evaluación comparativa

Latencia, RPS y costo

Calculamos la mejor latencia en función del envío de una sola solicitud a la vez. Para aumentar el rendimiento, enviamos las solicitudes de forma paralela al LLM. El rendimiento máximo se da cuando el modelo puede procesar las solicitudes de entrada sin un deterioro significativo de la latencia.

Tokens por segundo

Los LLM procesan los tokens de entrada y la generación de manera diferente; por lo tanto, hemos calculado la velocidad de procesamiento de los tokens de entrada y los tokens de salida de manera diferente.

Resultados detallados

GPU A10 de 24 GB (1500 entradas + 100 tokens de salida)

Podemos observar en los gráficos anteriores que Mejor tiempo de respuesta (con 1 usuario) es 4.6 segundos. Podemos aumentar la cantidad de usuarios para atraer más tráfico al modelo; podemos ver que el rendimiento aumenta hasta 0,8 RPS sin una caída significativa de la latencia. Más allá 0,8 RPS, la latencia aumenta drásticamente, lo que significa que las solicitudes están en cola.

GPU A10 de 24 GB (50 entradas y 500 tokens de salida)

Podemos observar en los gráficos anteriores que Mejor tiempo de respuesta (con 1 usuario) es 18 segundos. Podemos aumentar la cantidad de usuarios para atraer más tráfico al modelo; podemos ver que el rendimiento aumenta hasta 0,4RPS sin una caída significativa de la latencia. Más allá 0,4 RPS, la latencia aumenta drásticamente, lo que significa que las solicitudes están en cola.

GPU A100 de 40 GB (1500 entradas + 100 tokens de salida)

Podemos observar en los gráficos anteriores que Mejor tiempo de respuesta (con 1 usuario) es 2.3 segundos. Podemos aumentar la cantidad de usuarios para atraer más tráfico al modelo; podemos ver que el rendimiento aumenta hasta 2.8 RPS sin una caída significativa de la latencia. Más allá 2.8 RPS, la latencia aumenta drásticamente, lo que significa que las solicitudes están en cola.

GPU A100 de 40 GB (50 entradas y 500 tokens de salida)

Podemos observar en los gráficos anteriores que Mejor tiempo de respuesta (con 1 usuario) es 9.7 segundos. Podemos aumentar la cantidad de usuarios para atraer más tráfico al modelo; podemos ver que el rendimiento aumenta hasta 1,5 RPS sin una caída significativa de la latencia. Más allá 1,5 RPS, la latencia aumenta drásticamente, lo que significa que las solicitudes están en cola.

Con suerte, esto le será útil para decidir si Mistral-7B-Instruct se adapta a su caso de uso y a los costos en los que puede incurrir al hospedar Mistral-7B-Instruct.