We controleerden de wiskunde van Alibaba: het prijsvoordeel van Qwen3.8-Max overleeft het contact met echte taken niet

Op 3 augustus uitgebracht door Alibaba: Qwen3.8-Max, een model met 2,4 biljoen parameters (95B actief per inference) geprijsd op $2/$6 per miljoen input/output tokens, ongeveer 5x goedkoper dan GPT-5.6 Sol op output. Samen hiermee publiceerde Alibaba vijf benchmarkscores, waaronder een sprong op FrontierSWE van 40,7 naar 73,5 vergeleken met zijn voorganger.

We voerden zelf een onafhankelijke controle uit. Tien zelfstandige coderingstaken, een afzonderlijke handgeschreven suite (geen reproductie van FrontierSWE of DeepSWE) variërend van eenvoudige stringmanipulatie tot een resolver voor afhankelijkheidsvolgorde en een regex-vrije glob-matcher, via één TrueFoundry AI Gateway endpoint, tegen Qwen3.8-Max, GPT-5.6 Sol en Kimi K3. We beoordeelden de gegenereerde code zelf met echte unit tests, niet met een ander model, en voerden de volledige suite drie keer per model uit om te controleren of het niet zomaar ruis was.

Qwen3.8-Max slaagde voor elke taak, en toch eindigt het als het duurste model per voltooide taak van de drie. Alle drie de modellen loosten 10/10 taken op in de meeste runs (Kimi K3 miste er één, een randgeval met lege invoer bij de JSON-flattening taak, in een van de drie runs). Op basis van het bruto slagingspercentage lijkt Qwen3.8-Max een duidelijke overwinning voor een fractie van de prijs. Normaliseer dit echter naar wat het daadwerkelijk kostte om een juist antwoord te krijgen, en de rangschikking draait om. GPT-5.6 Sol kwam uit op $0.0067 tot $0.0070 per opgeloste taak over alle drie de runs, strak en herhaalbaar. Qwen3.8-Max kwam uit op $0.0144 tot $0.0284 per opgeloste taak: ongeveer 2.15x GPT-5.6 Sol aan de lage kant en meer dan 4x aan de hoge kant, ondanks een 5x goedkopere prijs per token. Kimi K3 zat er tussenin op $0.0084 tot $0.0101.

Waarom? Qwen3.8-Max is aanzienlijk meanderender en langdradiger bij moeilijkere problemen, en raakt af en toe in een spiraal. Gemiddeld over de vier "moeilijke" taken in onze suite, was de lengte van de completion 5.364 tokens per antwoord, tegenover 729 voor Kimi K3 en 282 voor GPT-5.6 Sol: ongeveer 19x meer tokens dan GPT-5.6 Sol om dezelfde problemen op te lossen, beide correct. Het duidelijkste voorbeeld is de regex-vrije glob-matching taak. Een van de drie runs van Qwen3.8-Max genereerde 13.430 completion tokens en kostte 298 seconden om een probleem op te lossen dat GPT-5.6 Sol in 3,5 seconden oploste met ongeveer 200 tokens. Beide hadden het goed. Dat is geen afrondingsfout, dat is een koffiepauze van vijf minuten versus een knipperen met de ogen. Bij de JSON-flattening taak werd de lengte van de completion van Qwen3.8-Max zelfs groter gedurende onze drie herhaalde runs (6.104, daarna 7.752, daarna 13.965 tokens) terwijl het antwoord elke keer correct bleef. De weg naar het juiste antwoord werd gewoon steeds langer en duurder.

Dat is het onderdeel dat de prijsvergelijking per token mist. Zes dollar per miljoen output tokens klinkt als een koopje naast de dertig van GPT-5.6 Sol, totdat het model 20x meer tokens gebruikt om er te komen. Kosten per correct antwoord, niet kosten per token, is het getal dat een beslissing tot model-swap zou moeten sturen, en het is niet het getal waar de lanceringsprijzen van Alibaba mee openen.