تحققنا من حسابات علي بابا: ميزة السعر في Qwen3.8-Max لا تصمد أمام المهام الواقعية

في 3 أغسطس، أطلقت شركة علي بابا نموذج Qwen3.8-Max، وهو نموذج يضم 2.4 تريليون معلمة (95 مليار معلمة نشطة لكل عملية استنتاج)، بسعر يتراوح بين 2 و6 دولارات لكل مليون رمز (token) للمدخلات والمخرجات، وهو أرخص بنحو 5 أضعاف من نموذج GPT-5.6 Sol من حيث تكلفة المخرجات. وإلى جانب ذلك، نشرت علي بابا خمس نتائج لاختبارات الأداء، بما في ذلك قفزة في اختبار FrontierSWE من 40.7 إلى 73.5 مقارنة بإصداره السابق.

لقد أجرينا فحصاً مستقلاً بأنفسنا. قمنا بتنفيذ عشر مهام برمجية مستقلة، باستخدام مجموعة اختبارات مكتوبة يدوياً (ليست نسخة من FrontierSWE أو DeepSWE) تتراوح من معالجة السلاسل النصية البسيطة وصولاً إلى حل ترتيب التبعيات ومطابقة الأنماط (glob matcher) بدون استخدام التعبيرات النمطية (regex)، وذلك عبر نقطة نهاية واحدة لبوابة TrueFoundry AI، ومقارنتها بنماذج Qwen3.8-Max وGPT-5.6 Sol وKimi K3. قمنا بتقييم الكود المولد باستخدام اختبارات وحدة حقيقية بأنفسنا، وليس عبر نموذج آخر، وأجرينا الاختبار الكامل ثلاث مرات لكل نموذج للتأكد مما إذا كانت النتائج مجرد صدفة.

نجح نموذج Qwen3.8-Max في اجتياز جميع المهام، ومع ذلك انتهى به الأمر ليكون النموذج الأكثر تكلفة لكل مهمة مكتملة من بين النماذج الثلاثة. حلت النماذج الثلاثة 10 من أصل 10 مهام في معظم المحاولات (أخفق Kimi K3 في مهمة واحدة، وهي حالة استثنائية للمدخلات الفارغة في مهمة تسطيح ملفات JSON، في واحدة من محاولاته الثلاث). من حيث معدل النجاح الخام، يبدو Qwen3.8-Max فائزاً بوضوح وبجزء بسيط من السعر. ولكن عند حساب التكلفة الفعلية للوصول إلى إجابة صحيحة، ينقلب الترتيب. فقد بلغت تكلفة GPT-5.6 Sol ما بين 0.0067 و0.0070 دولار لكل مهمة تم حلها عبر المحاولات الثلاث، وهي نتائج دقيقة وقابلة للتكرار. أما Qwen3.8-Max فقد تراوحت تكلفته بين 0.0144 و0.0284 دولار لكل مهمة، أي ما يعادل تقريباً 2.15 ضعف تكلفة GPT-5.6 Sol في حدها الأدنى وأكثر من 4 أضعاف في حدها الأعلى، على الرغم من أن سعره لكل رمز أرخص بـ 5 أضعاف. وجاء Kimi K3 في المنتصف بتكلفة تتراوح بين 0.0084 و0.0101 دولار.

لماذا؟ لأن Qwen3.8-Max يميل إلى الإطالة بشكل كبير في المسائل الأكثر صعوبة، وأحياناً يدخل في دوامة من التكرار. وبحساب المتوسط عبر المهام الأربع "الصعبة" في مجموعتنا، بلغ طول مخرجاته 5,364 رمزاً لكل إجابة، مقابل 729 لنموذج Kimi K3 و282 لنموذج GPT-5.6 Sol؛ أي أنه استخدم رموزاً أكثر بنحو 19 ضعفاً مقارنة بـ GPT-5.6 Sol لحل نفس المشكلات وبشكل صحيح. المثال الأوضح هو مهمة مطابقة الأنماط (glob-matching) بدون تعبيرات نمطية؛ حيث ولدت إحدى محاولات Qwen3.8-Max الثلاث 13,430 رمزاً واستغرقت 298 ثانية للإجابة على مسألة حلها GPT-5.6 Sol في 3.5 ثانية باستخدام حوالي 200 رمز فقط. كلاهما أجاب بشكل صحيح. هذا ليس خطأ تقريبياً، بل هو الفرق بين استراحة قهوة لمدة خمس دقائق وبين رمشة عين. وفي مهمة تسطيح ملفات JSON، ازداد طول مخرجات Qwen3.8-Max فعلياً عبر محاولاتنا الثلاث المتكررة (6,104 ثم 7,752 ثم 13,965 رمزاً) بينما ظلت الإجابة صحيحة في كل مرة. لقد أصبح المسار نحو الإجابة الصحيحة أطول وأكثر تكلفة باستمرار.

هذا هو الجانب الذي تغفله مقارنة الأسعار لكل رمز. قد تبدو ستة دولارات لكل مليون رمز مخرجات صفقة رابحة مقارنة بثلاثين دولاراً لنموذج GPT-5.6 Sol، حتى تكتشف أن النموذج يستخدم رموزاً أكثر بـ 20 ضعفاً للوصول إلى النتيجة. إن التكلفة لكل إجابة صحيحة، وليس التكلفة لكل رمز، هي الرقم الذي يجب أن يوجه قرار اختيار النموذج، وهو ليس الرقم الذي تروج له علي بابا في أسعار إطلاقها.