Hemos comprobado los cálculos de Alibaba: la ventaja de precio de Qwen3.8-Max no sobrevive al contacto con tareas reales

El 3 de agosto, Alibaba lanzó Qwen3.8-Max, un modelo de 2,4 billones de parámetros (95B activos por inferencia) con un precio de 2 $/6 $ por millón de tokens de entrada/salida, aproximadamente 5 veces más barato que GPT-5.6 Sol en la salida. Junto con él, Alibaba publicó cinco puntuaciones de referencia, incluido un salto en FrontierSWE de 40,7 a 73,5 en comparación con su predecesor.

Realizamos nuestra propia comprobación independiente. Diez tareas de programación autónomas, un conjunto escrito a mano por separado (no una reproducción de FrontierSWE o DeepSWE) que abarca desde la manipulación sencilla de cadenas hasta un resolvedor de orden de dependencias y un comparador de glob sin expresiones regulares, a través de un punto de conexión de TrueFoundry AI Gateway, frente a Qwen3.8-Max, GPT-5.6 Sol y Kimi K3. Evaluamos el código generado con pruebas unitarias reales nosotros mismos, no con otro modelo, y ejecutamos el conjunto completo tres veces por modelo para comprobar si algo de ello era solo ruido.

Qwen3.8-Max superó todas las tareas y, aun así, termina siendo el modelo más caro por tarea completada de los tres. Los tres modelos resolvieron 10/10 tareas en la mayoría de las ejecuciones (Kimi K3 falló una, un caso extremo de entrada vacía en la tarea de aplanamiento de JSON, en una de sus tres ejecuciones). En cuanto a la tasa de acierto bruta, Qwen3.8-Max parece una victoria clara a una fracción del precio. Sin embargo, si se normaliza por lo que realmente costó obtener una respuesta correcta, la clasificación cambia. GPT-5.6 Sol se situó entre 0,0067 $ y 0,0070 $ por tarea resuelta en las tres ejecuciones, de forma precisa y repetible. Qwen3.8-Max se situó entre 0,0144 $ y 0,0284 $ por tarea resuelta: aproximadamente 2,15 veces GPT-5.6 Sol en el extremo inferior y más de 4 veces en el superior, a pesar de un precio por token 5 veces más barato. Kimi K3 se situó en medio, entre 0,0084 $ y 0,0101 $.

¿Por qué? Qwen3.8-Max es drásticamente más verboso en los problemas más difíciles y, en ocasiones, entra en bucle. Promediado en las cuatro tareas "difíciles" de nuestro conjunto, su longitud de finalización fue de 5364 tokens por respuesta, frente a 729 para Kimi K3 y 282 para GPT-5.6 Sol: unos 19 veces más tokens que GPT-5.6 Sol para resolver los mismos problemas, ambos correctamente. El ejemplo más claro es la tarea de comparación de glob sin expresiones regulares. Una de las tres ejecuciones de Qwen3.8-Max generó 13 430 tokens de finalización y tardó 298 segundos en responder a un problema que GPT-5.6 Sol resolvió en 3,5 segundos utilizando aproximadamente 200 tokens. Ambos acertaron. Eso no es un error de redondeo, es una pausa para el café de cinco minutos frente a un abrir y cerrar de ojos. En la tarea de aplanamiento de JSON, la longitud de finalización de Qwen3.8-Max aumentó de hecho en nuestras tres ejecuciones repetidas (6104, luego 7752, luego 13 965 tokens) mientras que la respuesta seguía siendo correcta cada vez. El camino hacia la respuesta correcta simplemente seguía haciéndose más largo y costoso.

Esa es la pieza que la comparación de precios por token pasa por alto. Seis dólares por millón de tokens de salida suena a ganga al lado de los treinta de GPT-5.6 Sol, hasta que el modelo utiliza 20 veces más tokens para llegar allí. El coste por respuesta correcta, no el coste por token, es la cifra que debería guiar una decisión de cambio de modelo, y no es la cifra con la que Alibaba encabeza sus precios de lanzamiento.