سؤال الـ 360 ألف دولار حول اقتصاديات Large Language Models

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
الهدف من هذا المقال هو تثقيف القارئ حول كيفية عمل تسعير Large Language Models (LLM). يأتي هذا الدافع من محادثاتنا مع العديد من الشركات التي تستخدم LLMs تجاريًا. ولقد أدركنا في هذه المحادثات أن اقتصاديات LLM غالبًا ما يُساء فهمها، مما يترك مجالاً هائلاً للتحسين.
هل تدرك أن تنفيذ نفس المهمة قد يكلف إما 3500 دولار باستخدام نموذج معين أو 1,260,000 دولار باستخدام نموذج آخر؟ يأتي هذا التفاوت بالطبع على حساب الاختلاف في الأداء، ولكنه يترك مجالاً كبيراً للتفكير في طبيعة الموازنة بين التكلفة والأداء. هل المهمة من النوع الذي يمكنني فيه استخدام خيار أقل تكلفة؟
لقد وجدنا شركات، مرارًا وتكرارًا، تبالغ في تقدير أو تسيء تقدير إنفاقها على Large Language Models. لذا سنحاول هنا فهم تكلفة تشغيل بعض من أحدث Large Language Models الشائعة وفهم كيفية عمل تسعيرها.
ℹ️
الهدف من هذه المدونة ليس تثقيف القارئ حول LLMs أو أدائها. هذه مدونة تعتمد بشكل مكثف على الرياضيات وتركز على فهم تسعير LLM. وللتبسيط، لن نقوم بلمس مقارنة الأداء بين هذه النماذج.
تلخيص Wikipedia
The عينة لتحليل التسعير
لفهم كيفية عمل التسعير لـ LLMs، سنقوم بمقارنة التكلفة المترتبة على نفس المهمة، وهي تلخيص Wikipedia إلى نصف حجمها الأصلي.
تفاصيل حجم المهمة
سنستخدم بعض التقريبات لتبسيط الحسابات وجعلها سهلة الفهم
حجم محتوى Wikipedia Corpus
- ~ 6 مليون مقالة إجمالاً
- ~ 750 كلمة لكل مقالة
- ~ 1000 tokens لكل مقالة
❓
الـ Tokens هي أجزاء فرعية من الكلمات لا تعتمد بدقة على بداية الكلمات أو نهايتها. وهي الوحدة التي تقسم بها OpenAI APIs المدخلات إلى tokens قبل معالجتها. يمكن أن تتضمن الـ Tokens مسافات لاحقة وحتى كلمات فرعية.
الحجم المتوقع للمخرجات المُلخَّصة
لهذه المهمة، نفترض أن كل مقالة تضغط فقط إلى نصف حجمها لغرض التبسيط. وبناءً عليه ستكون المخرجات التي نتوقعها كالتالي:
- ~ 6 مليون مقالة
- ~ 375 كلمة لكل مقالة ملخصة
- ~ 500 Tokens لكل مقالة

فهم التكاليف
مقارنة ما التكلفة التي سيتطلبها استخدام نماذج مختلفة لهذه المهمة
عوامل التسعير في OpenAI/3rd Party APIs
عادة ما تفرض OpenAI و 3rd party APIs الأقسام بناءً على عاملين أساسيين؛ إذا كنت تريد الاستدلال باستخدام APIs الخاصة بها
تكلفة المدخلات (Input Cost)
تعتمد هذه التكلفة على عدد الـ tokens (الموضحة أعلاه) الممررة كـ context/prompt/instruction إلى الـ API.
تكلفة المخرجات (Output Cost)
هي التكلفة القائمة على عدد الـ tokens التي تعيدها الـ API كاستجابة.
بالنسبة لمهمة مثل التلخيص، ولأنك تحتاج إلى تمرير المستند بأكمله أو المقتطف المراد تلخيصه إلى النموذج، فإن عدد الـ tokens التي تشكل جزءًا من الـ prompt يمكن أن يصبح كبيراً جداً، ومن هنا تأتي تكلفة المدخلات.
أساس التكلفة المترتبة على النماذج المستضافة ذاتياً (Self-hosted)
مع النماذج المستضافة ذاتياً، يحتاج المستخدم إلى إدارة/توفير الجهاز (machine) المطلوب لتشغيل النموذج. ورغم أنها قد تشمل تكلفة إدارة هذه الموارد، إلا أن التسعير سهل الفهم نسبياً لأنه يعتمد فقط على تكلفة تشغيل الجهاز (عادةً ما يتقاضاه مزودو الخدمات السحابية، ما لم يكن لديك cluster خاص بك في المقر on-prem)
تكلفة الجهاز (Cost of Machine)
تكلفة توفير الجهاز المطلوب لتشغيل/استضافة النموذج. وبما أن معظم هذه النماذج الكبيرة أكبر مما يمكن تشغيله على جهاز كمبيوتر محمول أو جهاز محلي واحد، فإن استخدام مزود سحابي لهذه الأجهزة هو الخيار الأكثر شيوعاً.
يوفر مزودو الخدمات السحابية هذه الـ instances، على الرغم من أن المستخدمين قد يواجهون مشكلات في توفر GPU لأن هذه النماذج تتطلب GPU.
تكاليف Microsoft Azure Instances
Spot instances
يقدم مزودو الخدمات السحابية سعتهم الفائضة بتكلفة أرخص بنسبة 40-90% من on-demand instances
مقارنة تكلفة النماذج المختلفة
GPT 4 - 8K context length
تكلفة الوحدة
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $30 (/مليون tokens) = $180,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $60 (/مليون tokens) = $180,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $360,000
GPT 4 - 32K context length
تكلفة الوحدة
تكلفة المدخلات (/مليون Tokens) تكلفة المخرجات (/مليون Tokens) $60 $120
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $60 (/مليون tokens) = $360,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $120 (/مليون tokens) = $360,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $720,000
Anthropic Claude V1
تكلفة الوحدة
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $11 (/مليون tokens) = $66,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $60 (/مليون tokens) = $96,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $162,000
InstructGPT - DaVinci
تكلفة الوحدة
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $20 (/مليون tokens) = $120,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $20 (/مليون tokens) = $60,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $180,000
Curie
تكلفة الوحدة
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $2 (/مليون tokens) = $12,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $60 (/مليون tokens) = $6,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $18,000
نموذج 7B مستضاف ذاتياً (Self-Hosted)
تكلفة الوحدة
تكلفة تشغيل الجهاز (/ساعة لـ Spot A100-80GB) $10
معادلة التكلفة
التكلفة = عدد الـ Tokens (لكل 1000 مقالة) X عدد المقالات (بالآلاف) X تكلفة الوحدة (لكل 1 مليون Tokens)
تكلفة المدخلات
1K (tokens/مقالة) X 6,000K (مقالة) X $30 (/مليون tokens) = $180,000
تكلفة المخرجات
0.5 K (tokens/مقالة) X 6,000K (مقالة) X $60 (/مليون tokens) = $180,000
التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $360,000
نماذج الضبط الدقيق (Fine Tuning Models)
معظم حالات الاستخدام لدى الشركات تتطلب إجراء fine-tune للنماذج المخصصة لبياناتها الخاصة ولمهام معينة. وأفادت شركات متعددة أن النماذج مفتوحة المصدر المعدلة بدقة تكون على قدم المساواة أو حتى أفضل أحياناً من 3rd party APIs مثل OpenAI في المهمة المحددة.
Fine Tuned DaVinci

التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $1,260,000
Fine Tuned Curie

التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $126,000
نموذج 7B مستضاف ذاتياً ومع ضبط دقيق

التكلفة الإجمالية
تكلفة المدخلات + تكلفة المخرجات
= $126,000
تجميع كل المعطيات معاً
أمور يجب ملاحظتها من التسعير:
- نموذجا DaVinci و Curie أغلَى بحوالي 7 مرات إذا قمت بإجراء fine-tuning لهما لحالة الاستخدام الخاصة بك
- تزداد التكلفة مع زيادة نافذة الـ context بما يقارب مرتين (2X)
- تزداد تكلفة استخدام النموذج مع زيادة عدد المعاملات (params) للنموذج
تأثير الضبط الدقيق (fine-tuning) على الأداء
نستخدم المعيار التالي لتحليل تأثير fine-tuning للنماذج على أداء النماذج. ومن المثير للاهتمام ملاحظة ما يلي:
- يمكن للنماذج ذات المعاملات الأقل أن تؤدي أيضاً بشكل أفضل من النماذج الكبيرة عند إجراء fine-tuned لها لحالة استخدام محددة.
- من الممكن تحقيق توفير كبير في التكلفة دون الإضرار بالأداء كثيراً إذا تم تحقيق الموازنة الصحيحة بين التكلفة والأداء.
نوع المهمة أصلح نموذج 6B/7B OOTB Few-shotMoveLM 7B Zero-shotGPT-3.5 Turbo Zero-shotGPT-3.5 Turbo Few-shotGPT-4 Zero-shotGPT-4 Few-shotالصلة - مجموعة بيانات داخلية0.330.930.840.840.920.95الاستخراج - مخرجات مهيكلة للاستعلامات0.380.980.220.720.380.73الاستدلال - تفعيل مخصص0.620.930.870.880.90.88التصنيف - مجال استعلام المستخدم0.210.790.60.730.70.76الاستخراج - مخرجات مهيكلة من تحديد نوع الكيان0.830.870.90.890.890.89
ما نقوم به
تؤمن TrueFoundry بأن مستقبل LLMs يكمن في التعايش بين النماذج مفتوحة المصدر والنماذج التجارية ضمن التطبيق نفسه!
نحن نؤمن بحالة للتطبيقات حيث يتم التعامل مع المهام الأسهل بواسطة LLMs خفيفة الوزن ومفتوحة المصدر، بينما يتم تفويض المهام الأكثر تعقيدًا أو تلك التي تتطلب إمكانيات متميزة (مثل البحث عبر الويب، ونداءات API، وما إلى ذلك)، والتي تقدمها فقط Closed source commercial LLMs، إليها.
إذا كنت تستخدم OpenAI
نحن نساعد في تقليل عدد الـ tokens المرسلة إلى OpenAI APIs. ولماذا قررنا العمل على هذا؟ لأننا:
- لاحظنا أن أكثر من نصف التكلفة كان يذهب لمعالجة tokens الخاصة بالـ context / prompt.
- ليست كل الكلمات ضرورية. تتمتع LLMs بقدرة كبيرة على التعامل مع الجمل غير مكتملة.
لذلك TrueFoundry تقوم ببناء API للضغط من أجل توفير تكلفة OpenAI بنسبة ~ 30%.

إذا كنت تريد استخدام Open Source LLMs
نحن نبسط تشغيل هذه النماذج داخل البنية التحتية الخاصة بك من خلال عروضنا التالية:
- كتالوج النماذج: من LLMs مفتوحة المصدر - مجهزة ومحسّنة للاستدلال و fine-tuning.
- Drop-in APIs: يمكن استبدالها مباشرة بـ HuggingFace & OpenAI APIs التي تشغلها بالفعل في تطبيقاتك.
- تحسين التكلفة: عبر السحابة على K8s من خلال الاستفادة من الرصيد السحابي أو الميزانية الخاصة بك.

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






