Verificamos os cálculos do Alibaba: a vantagem de preço do Qwen3.8-Max não sobrevive ao contato com tarefas reais

Em 3 de agosto, o Alibaba lançou o Qwen3.8-Max, um modelo de 2,4 trilhões de parâmetros (95B ativos por inferência) com preço de US$ 2/US$ 6 por milhão de tokens de entrada/saída, aproximadamente 5 vezes mais barato que o GPT-5.6 Sol na saída. Junto com ele, o Alibaba publicou cinco pontuações de benchmark, incluindo um salto no FrontierSWE de 40,7 para 73,5 em comparação com seu antecessor.

Nós mesmos realizamos uma verificação independente. Dez tarefas de codificação autônomas, um conjunto separado escrito manualmente (não uma reprodução do FrontierSWE ou DeepSWE) que abrange desde manipulação simples de strings até um resolvedor de ordem de dependência e um comparador de glob sem regex, através de um endpoint do TrueFoundry AI Gateway, contra o Qwen3.8-Max, GPT-5.6 Sol e Kimi K3. Avaliamos o código gerado com testes unitários reais por conta própria, não com outro modelo, e executamos o conjunto completo três vezes por modelo para verificar se algo era apenas ruído.

O Qwen3.8-Max passou em todas as tarefas e, ainda assim, acaba sendo o modelo mais caro por tarefa concluída dos três. Todos os três modelos resolveram 10/10 tarefas na maioria das execuções (o Kimi K3 errou uma, um caso de borda de entrada vazia na tarefa de nivelamento de JSON, em uma de suas três execuções). Na taxa de acerto bruta, o Qwen3.8-Max parece uma vitória clara por uma fração do preço. No entanto, ao normalizar pelo custo real para obter uma resposta correta, o ranking se inverte. O GPT-5.6 Sol ficou entre US$ 0,0067 e US$ 0,0070 por tarefa resolvida em todas as três execuções, de forma consistente e repetível. O Qwen3.8-Max ficou entre US$ 0,0144 e US$ 0,0284 por tarefa resolvida: aproximadamente 2,15 vezes o GPT-5.6 Sol no limite inferior e mais de 4 vezes no limite superior, apesar de um preço por token 5 vezes menor. O Kimi K3 ficou no meio, entre US$ 0,0084 e US$ 0,0101.

Por quê? O Qwen3.8-Max é dramaticamente mais prolixo em problemas mais difíceis e, ocasionalmente, entra em um ciclo. Com uma média das quatro tarefas "difíceis" em nosso conjunto, o comprimento de sua conclusão foi de 5.364 tokens por resposta, contra 729 para o Kimi K3 e 282 para o GPT-5.6 Sol: cerca de 19 vezes mais tokens que o GPT-5.6 Sol para resolver os mesmos problemas, ambos corretamente. O exemplo mais claro é a tarefa de correspondência de glob sem regex. Uma das três execuções do Qwen3.8-Max gerou 13.430 tokens de conclusão e levou 298 segundos para responder a um problema que o GPT-5.6 Sol resolveu em 3,5 segundos usando cerca de 200 tokens. Ambos acertaram. Isso não é um erro de arredondamento, é uma pausa para o café de cinco minutos versus um piscar de olhos. Na tarefa de nivelamento de JSON, o comprimento da conclusão do Qwen3.8-Max na verdade cresceu ao longo de nossas três execuções repetidas (6.104, depois 7.752, depois 13.965 tokens), enquanto a resposta permaneceu correta a cada vez. O caminho para a resposta certa simplesmente continuou ficando mais longo e mais caro.

Essa é a parte que a comparação de preços por token ignora. Seis dólares por milhão de tokens de saída parece uma pechincha perto dos trinta do GPT-5.6 Sol, até que o modelo usa 20 vezes mais tokens para chegar lá. O custo por resposta correta, não o custo por token, é o número que deve orientar uma decisão de troca de modelo, e não é o número que o preço de lançamento do Alibaba destaca.