نشر نموذج Falcon-40B على AWS: أرخص بنسبة 40% من Sagemaker

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
في هذه المقالة، نناقش كيفية نشر نموذج Falcon على سحابتك الخاصة.
قام معهد الابتكار التكنولوجي في أبوظبي بتطوير Falcon، وهي سلسلة مبتكرة من نماذج اللغة. تم إصدار هذه النماذج بموجب ترخيص Apache 2.0، وتعد تقدمًا كبيرًا في هذا المجال. وبشكل خاص، يبرز Falcon-40B كنموذج مفتوح بحق، متفوقًا على العديد من النماذج مغلقة المصدر في قدراته. يتيح هذا التطوير فرصًا هائلة للمحترفين والمتحمسين والقطاع ككل، حيث يمهد الطريق لمختلف التطبيقات المثيرة.
في منشور المدونة هذا، سنشرح عملية LLMOps على SageMaker - استضافة نموذج Falcon على حسابك الخاص في سحابة AWS والخيارات المختلفة المتاحة. علاوة على ذلك، نخطط لإصدار منشور مدونة آخر في المستقبل، يركز على تشغيل Falcon على سحابات أخرى.
لقد كتبنا أيضًا منشور مدونة آخر حول نشر Llama 2 على سحابتك. تحقق من الرابط أدناه:
بالانتقال إلى عائلة Falcon، فهي تضم نموذجين أساسيين: Falcon-40B و Falcon-7B. يتصدر النموذج ذو 40 مليار معامل حاليًا قائمة Open LLM Leaderboard، في حين يعتبر النموذج ذو 7 مليارات معامل الأفضل في فئته الوزنية. سنناقش خيارات نشر نموذج Falcon 40B.
يتطلب Falcon-40B سعة ذاكرة GPU تبلغ ~90 جيجابايت - لذلك لن يتناسب مع مثيل A100 واحد بذاكرة RAM سعة 80 جيجابايت. نوع المثيل الذي سيعمل في AWS هو g5.12xlarge (https://aws.amazon.com/ec2/instance-types/g5/). يمكننا نشر النموذج إما كـ API endpoint للاستدلال في الوقت الفعلي أو تحميله في الكود نفسه لحالات استخدام batch inference.
الكود الخاص بتحميل النموذج وتشغيل مهمة توليد النصوص عليه هو كما يلي:
# pip install "transformers[tokenizers]>=4.29.2,<5.0.0" # "sentencepiece==0.1.99" "accelerate>=0.19.0,<1.0.0" # "safetensors>=0.3.1,<0.4.0"
import torch
from transformers import pipeline
generator = pipeline(
"text-generation",
model="tiiuae/falcon-40b-instruct",
tokenizer="tiiuae/falcon-40b-instruct",
torch_dtype=torch.bfloat16,
device_map="balanced_low_0",
)
output = generator(
"Explain to me the difference between nuclear fission and fusion.",
min_new_tokens=30,
max_new_tokens=50
)
print(output)
كود Python لتحميل Falcon40B في notebook
نشر النموذج كـ API
يمكننا نشر النموذج كـ endpoint إما على AWS Sagemaker أو EKS cluster أو جهاز EC2 عادي. لنشر النموذج على Sagemaker، يمكنك اتباع هذا الدرس التعليمي: https://aws.amazon.com/blogs/machine-learning/deploy-falcon-40b-with-large-model-inference-dlcs-on-amazon-sagemaker/.

لنشر النموذج على EKS، سنحتاج إلى إنشاء EKS cluster، وإعداد GPU nodepool وgpu operator عليه، وطبقة ingress لنتمكن من الوصول إلى api endpoint. يمكن لـ TrueFoundry جعل هذه الرحلة بأكملها أسهل بكثير من خلال جعل نشر النموذج عملية بنقرة واحدة.

تحليل التكلفة
دعنا نتعمق في تكلفة تشغيل Falcon LLM على حسابك الخاص في AWS. سنقارن بين تكلفة تشغيله على Sagemaker مقابل TrueFoundry.
تكلفة Sagemaker
تكلفة مثيل Sagemaker (ml.g5.12xlarge) لكل ساعة (us-east-1): 7.09 $
لقد قمنا بتشغيل اختبار قياسي سريع لحساب معدل إنتاجية الطلبات وزمن الانتقال لنموذج falcon على AWS Jumpstart. ستختلف الأرقام الدقيقة بناءً على أطوال Prompt وتزامن الطلبات لديك، ولكن هذا يمنح فكرة تقريبية:


كما نرى في الرسوم البيانية أعلاه، فإن زمن الانتقال p50 يبلغ حوالي 5.7 ثانية وp90 حوالي 9.4 ثانية. نحن قادرون على تحقيق إنتاجية تصل إلى حوالي 6-7 طلبات في الثانية.
نشر النموذج على EKS باستخدام TrueFoundry
تقوم TrueFoundry بنشر النموذج على EKS ويمكننا استخدام spot instances وon-demand instances لتقليل التكلفة بشكل كبير. دعنا نقارن الأسعار بالساعة لمثيلات on-demand وspot وreserved لجهاز g5.12xlarge في منطقة us-east-1.
On Demand: 5.672 $ (أرخص بنسبة 20% من Sagemaker)
Spot: 2.076 $ (أرخص بنسبة 70% من Sagemaker)
1 Yr Reserved: 3.573 $ (أرخص بنسبة 50% من Sagemaker)
3 Yr Reserved: 2.450 $ (أرخص بنسبة 65% من Sagemaker)
دعنا نقارن معدل الإنتاجية وزمن الانتقال للنموذج المنشور على EKS باستخدام TrueFoundry.


كما نرى من الإحصائيات أعلاه، فإن زمن الانتقال p50 يبلغ 5.8 ثانية وp90 يبلغ 9.5 ثانية. ومعدل الإنتاجية حوالي 6-7 طلبات في الثانية. كما نرى أعلاه، فإن
حاسبة الأسعار
دعنا نحاول تقدير تكلفة استضافة نموذج Falcon لحالة استخدام فعلية مع حركة مرور حية. لنفترض أننا نتلقى 100 ألف طلب يوميًا ونرسل طلبات لنموذج Falcon لكل طلب منفرد. لخدمة حركة المرور هذه، يجب أن يكون مثيل واحد من g5.2xlarge كافيًا للتعامل مع حركة المرور نظرًا لأن كل مثيل يمكنه تنفيذ 6 طلبات في الثانية و100 ألف طلب يوميًا يعني طلبًا واحدًا في الثانية. ومع ذلك، ولأسباب تتعلق بالموثوقية، سنرغب في تشغيل مثيلين على الأقل. دعنا نقارن تكلفة تشغيل المثيلين:
Sagemaker: 7.1 $ * 2 ($ لكل ساعة) = 10000 $ شهريًا
EKS:
باستخدام spot instances: 2 $ * 2 ($ لكل ساعة) = 2880 $ شهريًا
باستخدام on-demand instances: = 8000 $ شهريًا
يمكننا أيضًا استخدام مزيج من مثيل spot واحد ومثيل on-demand واحد لتقليل التكلفة بنسبة 40% تقريبًا وتوليد مستوى عالٍ من الموثوقية أيضًا.
تحدث معنا
إذا كنت تتطلع إلى تعظيم العوائد من مشاريع LLM الخاصة بك وتمكين شركتك من الاستفادة من AI بالطريقة الصحيحة، فنحن نرحب بالتحدث وتبادل الأفكار معك.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






