Wir haben Alibabas Rechnung überprüft: Der Preisvorteil von Qwen3.8-Max hält der Praxis nicht stand

Am 3. August veröffentlichte Alibaba Qwen3.8-Max, ein Modell mit 2,4 Billionen Parametern (95 Mrd. aktiv pro Inferenz), das mit 2 $ bzw. 6 $ pro Million Eingabe-/Ausgabetokens bepreist ist – etwa fünfmal günstiger als GPT-5.6 Sol bei der Ausgabe. Gleichzeitig veröffentlichte Alibaba fünf Benchmark-Ergebnisse, darunter einen Sprung bei FrontierSWE von 40,7 auf 73,5 im Vergleich zum Vorgängermodell.

Wir haben selbst eine unabhängige Überprüfung durchgeführt. Zehn in sich geschlossene Programmieraufgaben – eine separate, handgeschriebene Suite (keine Reproduktion von FrontierSWE oder DeepSWE), die von einfacher String-Manipulation bis hin zu einem Dependency-Order-Resolver und einem Regex-freien Glob-Matcher reicht – wurden über einen TrueFoundry AI Gateway-Endpunkt gegen Qwen3.8-Max, GPT-5.6 Sol und Kimi K3 getestet. Wir haben den generierten Code mit echten Unit-Tests bewertet, nicht mit einem anderen Modell, und die gesamte Suite pro Modell dreimal ausgeführt, um zu prüfen, ob die Ergebnisse nur Zufall waren.

Qwen3.8-Max hat jede Aufgabe bestanden, ist aber dennoch das teuerste der drei Modelle pro abgeschlossener Aufgabe. Alle drei Modelle lösten in den meisten Durchläufen 10 von 10 Aufgaben (Kimi K3 verfehlte in einem seiner drei Durchläufe eine Aufgabe, einen Edge-Case mit leerer Eingabe bei der JSON-Flattening-Aufgabe). Bei der reinen Erfolgsquote scheint Qwen3.8-Max ein klarer Gewinner zu einem Bruchteil des Preises zu sein. Normalisiert man jedoch die tatsächlichen Kosten für eine korrekte Antwort, kehrt sich das Ranking um. GPT-5.6 Sol lag über alle drei Durchläufe hinweg bei 0,0067 $ bis 0,0070 $ pro gelöster Aufgabe – präzise und reproduzierbar. Qwen3.8-Max lag bei 0,0144 $ bis 0,0284 $ pro gelöster Aufgabe: am unteren Ende etwa 2,15-mal so teuer wie GPT-5.6 Sol und am oberen Ende über 4-mal so teuer, trotz eines fünfmal günstigeren Token-Preises. Kimi K3 lag mit 0,0084 $ bis 0,0101 $ dazwischen.

Warum? Qwen3.8-Max ist bei schwierigeren Problemen deutlich gesprächiger und verliert sich gelegentlich in Endlosschleifen. Im Durchschnitt über die vier „schweren“ Aufgaben unserer Suite betrug die Länge der Antwort 5.364 Tokens, gegenüber 729 bei Kimi K3 und 282 bei GPT-5.6 Sol: Das Modell verbrauchte etwa 19-mal mehr Tokens als GPT-5.6 Sol, um dieselben Probleme korrekt zu lösen. Das deutlichste Beispiel ist die Regex-freie Glob-Matching-Aufgabe. Einer der drei Durchläufe von Qwen3.8-Max generierte 13.430 Completion-Tokens und benötigte 298 Sekunden für ein Problem, das GPT-5.6 Sol in 3,5 Sekunden mit etwa 200 Tokens löste. Beide kamen zum richtigen Ergebnis. Das ist kein Rundungsfehler, sondern der Unterschied zwischen einer fünfminütigen Kaffeepause und einem Wimpernschlag. Bei der JSON-Flattening-Aufgabe nahm die Länge der Antwort von Qwen3.8-Max über unsere drei wiederholten Durchläufe sogar zu (6.104, dann 7.752, dann 13.965 Tokens), während die Antwort jedes Mal korrekt blieb. Der Weg zur richtigen Lösung wurde einfach immer länger und teurer.

Genau das übersehen Preisvergleiche auf Token-Basis. Sechs Dollar pro Million Ausgabetokens klingen im Vergleich zu den dreißig Dollar von GPT-5.6 Sol wie ein Schnäppchen, bis man feststellt, dass das Modell 20-mal mehr Tokens verbraucht, um zum Ziel zu kommen. Die Kosten pro korrekter Antwort, nicht die Kosten pro Token, sollten die Entscheidung für einen Modellwechsel bestimmen – und das ist nicht die Kennzahl, mit der Alibaba bei seiner Markteinführung wirbt.