مقارنة التكلفة مع SageMaker

تتيح TrueFoundry نهجًا فعالاً من حيث التكلفة لنشر أعباء عمل التعلم الآلي من خلال الاستفادة من Kubernetes على EKS، مما يوفر تخفيضات في التكلفة بنسبة 40-60% مقارنة بتشغيل أعباء عمل مماثلة على SageMaker.

باختصار: توفير في التكلفة بنسبة 40-60% لأعباء عمل الذكاء الاصطناعي/التعلم الآلي

1) بدون أي زيادة على تكاليف الحوسبة، وفر 15-30% على مثيلات EC2 مقارنة بـ SageMaker

2) قم بتكوين مثيلات Spot بسهولة لكل من التدريب والاستدلال، على عكس SageMaker (للتدريب فقط)، مما يوفر ما يصل إلى 70%

3) يبسط الموارد التحجيم إلى الصفر للدفاتر (notebooks) ووحدات المعالجة المركزية (CPUs) ووحدات معالجة الرسوميات (GPUs)، مما يقلل تكاليف التطوير بنسبة 30-70%

4) يستبدل عمليات القراءة/الكتابة في S3 بالتخزين المؤقت لـ EFS، مما يقلل تكاليف البيانات بنسبة 20%

5) يستخدم أطر عمل تقديم متقدمة مثل VLLM و SGLang، مما يقلل زمن الاستجابة ويعزز الإنتاجية بنسبة 40%

6) يضبط الموارد ديناميكيًا باستخدام البنية التحتية ذاتية التشغيل ، مما يخفض تكاليف الإنتاج بنسبة 40-50%

7) يدعم وحدات المعالجة المركزية ووحدات معالجة الرسوميات الجزئية، مما يوفر 20-50% من تكاليف الحوسبة 

لا توجد زيادة على تكاليف الحوسبة

عدم وجود زيادة على تكاليف الحوسبة هو عامل رئيسي في إجمالي التوفير، مما يحقق توفيرًا بنسبة 15-30% على نفقات مثيلات الحوسبة وحدها.

دعم سلس لاستخدام Spot Instances

Truefoundry يجعل من السهل جدًا تهيئة Spot Instances ويقوم بتبديل المثيل الأساسي بسلاسة إذا تم استرداد Spot Instance، مع توفير يصل إلى 70%.

يستخدم Truefoundry Karpenter ويقوم بتهيئته على النحو الأمثل، والذي يحتوي على خوارزميات متقدمة لجلب نوع المثيل الصحيح بناءً على التوفر والتكلفة باستخدام واجهات برمجة تطبيقات AWS. من ناحية أخرى، بينما يدعم SageMaker Spot Instances لمهام التدريب، فإنه لا يوسع هذه الإمكانية لتشمل خدمات الاستدلال.

مقارنة تكاليف الاستدلال على عدد قليل من مثيلات الاستدلال الشائعة - 

 الإيقاف التلقائي والتقليص إلى الصفر

توفر Truefoundry ميزة الإيقاف التلقائي لوحدات المعالجة المركزية (CPU) ووحدات معالجة الرسوميات (GPU) ودفاتر الملاحظات (Notebook) ونسخ SSH، مع توفير بنسبة 30-70% في التطوير

يؤدي هذا إلى إيقاف تشغيل الأجهزة تلقائيًا عندما لا يستخدم المطورون موارد الحوسبة - على سبيل المثال، دفاتر ملاحظات Jupyter، أو العروض التوضيحية المستضافة مثل Streamlit و Gradio.

 في Sagemaker، من الممكن تهيئة الإيقاف التلقائي على دفاتر ملاحظات Jupyter، لكنه مرهق للغاية لعلماء البيانات لتهيئته مما يؤدي إلى عدم قيامهم بتهيئته على الإطلاق. في Sagemaker، لا يوجد إيقاف تلقائي لنسخ وحدات معالجة الرسوميات (GPU).

دعم أصلي لأحجام التخزين

توصي Sagemaker بقراءة وكتابة البيانات إلى S3 أثناء تكرارات التدريب. يؤدي هذا إلى تكاليف قراءة وكتابة هائلة على S3، خاصة إذا كان العديد من علماء البيانات يدربون نماذج على نفس البيانات. تدعم Truefoundry تخزين البيانات مؤقتًا في أحجام التخزين، والتي تتميز بتكاليف قراءة وكتابة أقل بكثير مقارنة بـ S3، مع تخفيض بنسبة 20% تقريبًا في تكاليف القراءة/الكتابة على S3، مما يعزز مكانتها كبديل موثوق به وصديق للميزانية لـ Sagemaker. يُستخدم هذا النهج على نطاق واسع من قبل شركات مثل Salesforce و Netflix لتقليل تكاليف القراءة والكتابة.

يصبح Amazon S3 مكلفًا بسبب التسعير لكل طلب لعمليات القراءة عالية التردد.

زمن استجابة أقل وإنتاجية أعلى للنماذج

يدعم Truefoundry أصلاً أطر عمل تقديم متقدمة مثل Sglang وVLLM، والتي يمكن أن توفر إنتاجية أعلى مع زمن استجابة أقل.

يخطو Truefoundry خطوة أبعد من خلال التوصية تلقائيًا بخادم النموذج الأمثل بناءً على بنية النموذج وحالة الاستخدام، مما يلغي التخمين لعلماء البيانات ويؤدي إلى تخفيض بنسبة 40% تقريبًا لنماذج LLM والنماذج المدعومة من Triton

 على النقيض من ذلك، غالبًا ما يتضمن الخيار الافتراضي لـ SageMaker صورًا كبيرة قد لا تكون محسّنة لأعباء عمل محددة. وهذا يتطلب من علماء البيانات اختيار واختبار التكوينات المثلى يدويًا، مما يؤدي إلى عدم الكفاءة. 

ميزة الطيار الآلي لتقليل التكلفة تلقائيًا

يحلل Truefoundry تلقائيًا أعباء العمل الجارية ويقترح تحسينات ممكنة في التكلفة بناءً على الموارد المطلوبة والاستخدام الفعلي وحركة المرور الواردة وما إلى ذلك. وقد أظهر هذا تحسينًا في التكلفة يصل إلى 40-50% في بعض الحالات. لا يمتلك SageMaker أي ميزة طيار آلي.

وحدة معالجة مركزية وذاكرة مجزأة

يوفر Truefoundry دعمًا لحوسبة وذاكرة وحدة المعالجة المركزية المجزأة، مما يسمح بتشغيل أعباء عمل متعددة على جهاز واحد. توفر تعبئة الحاويات توفيرًا بنسبة 20% أو أكثر في أعباء عمل وحدة المعالجة المركزية. وهذا هو نفس السبب الذي يجعل Kubernetes يمكنه استخدام الموارد بشكل أفضل من تشغيل أعباء العمل على الأجهزة الافتراضية (VMs). في SageMaker، تكون وحدات المعالجة المركزية/الذاكرة الدنيا هي نفسها التكوين الخاص بالجهاز الافتراضي الذي توفره AWS.

وحدة معالجة رسوميات مجزأة

يدعم Truefoundry تقسيم وحدة معالجة الرسوميات (GPU) القائم على تقسيم الوقت والقائم على MIG، مما يؤدي إلى توفير بنسبة 40-50% تقريبًا في حوسبة وحدة معالجة الرسوميات. وهذا يسمح للمطورين بتشغيل أعباء عمل متعددة على جهاز GPU واحد وتوسيع نطاقها بسلاسة. وهذا أمر بالغ الأهمية نظرًا لأن موارد GPU باهظة الثمن للغاية ومشاركتها يمكن أن تؤدي إلى تخفيض هائل في التكلفة. لا يوفر SageMaker دعمًا لوحدة معالجة الرسوميات المجزأة.

دراسة حالة

منصة ألعاب بارزة، واجهت فاتورة شهرية قدرها 40,000 دولار لتشغيل أعباء عمل التعلم الآلي الخاصة بها على SageMaker. من خلال الانتقال إلى منصة TrueFoundry المحسّنة التكلفة، تمكنوا من خفض نفقاتهم بشكل كبير إلى 6,000 دولار فقط شهريًا. وقد تحقق هذا التوفير في التكاليف بنسبة 85% دون المساس بقابلية التوسع أو الأداء أو سهولة الاستخدام.

كما أبرزت دراسات حالة خارجية تخفيضات كبيرة في التكاليف عند الانتقال من SageMaker إلى EKS. على سبيل المثال، أبلغت منظمات مثل LeBonCoin عن توفير بنسبة 30-40% بعد ترحيل أعباء عمل التعلم الآلي الخاصة بها من SageMaker إلى EKS القائم على Kubernetes. اقرأ المزيد - https://medium.com/leboncoin-tech-blog/migrating-our-machine-learning-platform-from-aws-sagemaker-to-kubernetes-kubeflow-166c56f40e5c

الأسئلة الشائعة

كم تبلغ تكلفة AWS SageMaker؟

تتضمن تسعيرة SageMaker مجموعة من الرسوم القائمة على المثيلات لأجهزة الكمبيوتر الدفترية والتدريب والاستضافة. نظرًا لأن AWS تضيف هامش ربح ممتازًا على الحوسبة الأساسية، يمكن أن تتصاعد التكاليف بسرعة. تعتمد النفقات على أنواع المثيلات وحجم معالجة البيانات ومتطلبات التخزين، مما يجعل تتبع أنماط الاستخدام ضروريًا لتجنب الفواتير الشهرية غير المتوقعة.

هل SageMaker أفضل من TrueFoundry؟

يعتمد الاختيار على أهداف البنية التحتية المحددة لديك. يقدم SageMaker مجموعة واسعة من الأدوات ضمن نظام AWS البيئي. غالبًا ما يكون TrueFoundry أفضل للفرق التي تعطي الأولوية للسرعة وقابلية النقل لأنه يعمل بشكل أصلي على Kubernetes داخل سحابتك الخاصة. يوفر هذا تحكمًا أكبر في تخصيص الموارد وتجربة مطور أكثر سلاسة.

ما الذي يجعل TrueFoundry بديلاً مثاليًا لـ SageMaker؟

يُعد TrueFoundry بديلاً مثاليًا للفرق التي ترغب في تجنب التعقيد التشغيلي والتكاليف العامة المرتفعة لـ SageMaker. فهو يوفر مستوى تحكم مركزيًا للنشر والمراقبة مع الحفاظ على أمان البيانات في شبكتك الافتراضية الخاصة (VPC). تركيزه على الإدارة الآلية للموارد واستقلالية المطورين يجعله خيارًا أكثر مرونة للإنتاج.

أيهما أغلى، TrueFoundry أم SageMaker؟

عند مقارنة تسعيرة SageMaker مقابل TrueFoundry، عادةً ما تكون تكاليف SageMaker أعلى بسبب هوامش البنية التحتية ورسوم الإدارة. يساعد TrueFoundry في خفض النفقات من خلال استخدام الحوسبة السحابية الخام والمثيلات الفورية. يمكن لهذا النهج، جنبًا إلى جنب مع التوسع التلقائي واكتشاف الموارد الخاملة، أن يقلل من إجمالي الإنفاق على البنية التحتية.