قلل تكاليف البنية التحتية لنماذج تعلم الآلة (ML) / نماذج اللغة الكبيرة (LLM)

تشتهر أعباء عمل التعلم الآلي (ML) ونماذج اللغة الكبيرة (LLM) بارتفاع تكلفتها عند تشغيلها في السحابة. ويرجع ذلك إلى أنها تتطلب كميات كبيرة من قوة الحوسبة والذاكرة والتخزين. ومع ذلك، هناك طرق لتقليل تكاليف السحابة لأعباء عمل التعلم الآلي/النماذج اللغوية الكبيرة دون التضحية بقابلية التوسع أو الموثوقية.  

مبادئ أساسية لتقليل التكاليف

1. رؤية أفضل لمهندسي DevOps والمطورين: من الصعب الحصول على رؤية واضحة لتكاليف السحابة، خاصة عندما يكون لديك مكونات متعددة منتشرة عبر سحابات متعددة. يوفر TrueFoundry رؤية لتكاليف السحابة على مستويات المجموعات ومساحات العمل وعمليات النشر، مما يمكّن فرق DevOps والمطورين من تحديد فرص توفير التكاليف وتحسينها طوال دورة حياة التعلم الآلي/النماذج اللغوية الكبيرة.
2. سهولة تعديل الموارد: يمكّن TrueFoundry فرق DevOps والمطورين من اتخاذ إجراءات بناءً على رؤية التكلفة التي اكتسبوها.
3. فرق DevOps يمكنها تعيين قيود الموارد على مستوى المشروع، مما يضمن حصول أعباء عمل كل فريق على الموارد التي يحتاجونها دون تجاوز الميزانية.
4. المطورون يمكنهم أيضًا تعديل الموارد بسهولة أثناء العمل، بناءً على الرؤى التي يحصلون عليها. بالإضافة إلى ذلك، يسهّل TrueFoundry تقليص حجم التطبيقات وبيئات التطوير المتكاملة (IDEs) إلى الصفر في بيئات غير الإنتاج، مما يلغي تكلفة الموارد الخاملة ويجعل دورات التكرار لخفض التكاليف أكثر كفاءة.
5. تحسين البنية التحتية للتكلفة: تم تصميم بنية TrueFoundry القائمة على Kubernetes وتحسينات البنية التحتية لتقليل تكاليف السحابة. 

بشكل عام، توفر ميزات TrueFoundry الموفرة للتكاليف لفرق DevOps والمطورين إمكانيات الرؤية والتحكم والتحسين التي يحتاجونها لتقليل تكاليف السحابة طوال دورة حياة التعلم الآلي/النماذج اللغوية الكبيرة.

الانتقال من AMI إلى Docker: سهّلت منصتنا على العديد من الشركات الهجرة من AMI إلى Docker، حيث حققت الشركات بالفعل وفورات في التكاليف تتراوح بين 30 و 40 بالمائة.

TrueFoundry: منصتك التي تضع التكلفة أولاً

Truefoundry هي منصة "تضع التكلفة أولاً" منصة مبنية حول Kubernetes، مصممة بهندسة معمارية تعطي الأولوية للكفاءة وقابلية التوسع وتخفيض التكاليف.

دعنا نستكشف كيف تمكنك الهندسة المعمارية الفريدة لـ TrueFoundry من توفير التكاليف مع تحسين الموثوقية وقابلية التوسع. إليك الهيكل الهرمي للمنصة:

1. المجموعات: اربط جميع مجموعاتك، سواء كانت AWS EKS أو Azure AKS أو GCP GKE أو مجموعة محلية، بالمنصة. يتيح لك ذلك دمج جميع مجموعاتك بسلاسة في مكان واحد. هذه المجموعات هي الأساس لنشر مجموعة واسعة من الخدمات والنماذج والمهام.
2. مساحات العمل: ضمن المجموعات، نقدم مساحات العمل، مما يوفر نهجًا مبسطًا لإضافة التحكم في الوصول والعزل لضمان أن كل مشروع أو بيئة لديها مواردها المخصصة ومحمية من الوصول غير المصرح به. فكر فيها كمجموعات من عمليات النشر.
3. عمليات النشر: ضمن مساحات العمل هذه، لدينا عمليات نشر وندعمك لنشر أنواع مختلفة من الأشياء. مع TrueFoundry، يمكنك تغطية كل جانب من جوانب دورة حياة تطوير تعلم الآلة (ML) بسهولة.
4. بيئات التطوير التفاعلية: انشر Jupyter Notebook و VS Code للتجارب التعاونية.
5. مهام التدريب والضبط الدقيق: درب نماذج تعلم الآلة (ML) بكفاءة أو اضبط نماذج LLM بدقة عن طريق نشرها كمهام.
6. نماذج LLM المدربة مسبقًا: انشر نماذج اللغات الكبيرة (LLM) المدربة مسبقًا بسرعة لحالات استخدام محددة باستخدام كتالوج النماذج الخاص بنا.
7. الخدمات والتطبيقات: انشر مجموعة متنوعة من الخدمات والتطبيقات، بما في ذلك النماذج وتطبيقات الويب وما إلى ذلك.
8. كتالوج التطبيقات: انشر برامج شائعة مثل Label Studio و Redis و Qdrant وما إلى ذلك بسهولة.

توفير التكاليف على مستوى المجموعة

بنية تحتية قائمة على Kubernetes

تساهم Kubernetes في تقليل التكاليف من خلال استخدام "تعبئة الحاويات" (bin packing) لتحسين استخدام الموارد، ووضع الحاويات بكفاءة، مما يؤدي في النهاية إلى خفض تكاليف البنية التحتية.

لمعرفة المزيد حول كيفية استفادة TrueFoundry من Kubernetes، اقرأ هنا.

💡

ترحيل EC2 إلى Kubernetes:
نجحت العديد من الشركات في الانتقال من أجهزة EC2 إلى Kubernetes بعد الانضمام إلى منصتنا، مما أدى إلى توفير في التكاليف بفضل تحسين تخصيص الموارد.

دعم السحابة المتعددة

تسهل بنية TrueFoundry متعددة السحابات الاتصال بمقدمي الخدمات السحابية المختلفين.

1. مرونة التبديل بين السحابات: من خلال القدرة على التبديل بين مقدمي الخدمات السحابية المختلفين بسهولة، يمكنك الاستفادة من أفضل الأسعار والميزات من مقدمي الخدمات المتنوعين.
2. توزيع أعباء العمل عبر السحابات والمناطق: من خلال توزيع أعباء عملك عبر العديد من مقدمي الخدمات السحابية والمناطق. يمكن أن يساعد ذلك في تقليل التكاليف عن طريق توزيع أعباء عملك عبر مستويات تسعير ومناطق مختلفة. كما يساعد على تحسين الأداء والموثوقية عن طريق تقليل اعتمادك على مزود سحابي واحد.
3. توفر حصة عالية من المثيلات: باستخدام العديد من مقدمي الخدمات السحابية، يمكنك الوصول إلى المزيد من الموارد. يمكن أن يساعدك هذا في توفير المال وتجنب أي قيود على الموارد التي تحتاجها.

💡

يعمل مزود روبوت محادثة يعمل بالذكاء الاصطناعي متوسط المستوى، ولديه حركة مرور عالية من المستخدمين (أكثر من 20 طلبًا في الثانية وأكثر من مليوني طلب يوميًا)، بالكامل على مثيلات GPU الفورية الموزعة عبر خمس مجموعات في سحابات ومناطق مختلفة باستخدام خدمتنا غير المتزامنة. يقلل هذا من تكاليف البنية التحتية لديهم بنسبة 60% مع تحسين الموثوقية والإنتاجية.

رؤية محسّنة

لكل مجموعة، يمكنك عرض عدد العقد التي تعمل فيها. يمكنك أيضًا الحصول على رؤى حول تفاصيل خاصة بالعقدة مثل

1. تحليل التوفير: اطلع على نسبة التكلفة التي يتم توفيرها لكل عقدة
2. رؤى تخصيص الموارد: اطلع على الاستخدام الحالي وطلب الموارد والحد الأقصى لها لاتخاذ قرار مستنير.
3. رؤى نوع السعة: اطلع على نوع العقد التي تعمل في مجموعتك، سواء كانت عقد فورية (spot) أو عند الطلب (on-demand).

توفير التكاليف على مستوى مساحة العمل

حدود الموارد

يتيح لك TrueFoundry إنشاء مساحات عمل متعددة ضمن مجموعة واحدة. يساعد هذا التقسيم على تنظيم عمليات النشر الخاصة بك لفرق أو بيئات مختلفة.

1. قيود الموارد: خصص قيود الموارد لكل مساحة عمل، بما في ذلك وحدة المعالجة المركزية والذاكرة والتخزين وحتى عائلات المثيلات. يتيح لك ذلك تخصيص الموارد لتلبية المتطلبات المحددة لمشروعك أو بيئتك.

2. عائلات المثيلات المدعومة: صمم مساحة عملك لتناسب متطلبات الأداء والميزانية المحددة عن طريق اختيار عائلات المثيلات التي ستدعمها.
   
   على سبيل المثال، إذا كان المشروع لا يتطلب حوسبة عالية الأداء، يمكنك تعطيل المثيلات الأكبر حجمًا في مساحة عمله. سيساعد هذا في منع المطورين من الإفراط في توفير الموارد، مما يوفر المال.

3. مجموعات العقد المدعومة: مجموعات العقد هي مجموعات من العقد التي توفر الموارد الحاسوبية لأعباء عملك. يمكنك اختيار مجموعات العقد التي تناسب أعباء عملك وميزانيتك بشكل أفضل.
   
   على سبيل المثال، يمكنك إنشاء مجموعة عقد تحتوي على وحدات معالجة رسوميات A100. بعد ذلك، يمكنك تمكين مجموعة العقد المحددة هذه فقط لمساحات عمل المشاريع التي تتطلب الوصول إلى هذا النوع من وحدات معالجة الرسوميات.

تتبع تكلفة مستوى مساحة العمل

كما نوفر لك رؤية لتتبع تكلفة مستوى مساحة العمل الخاصة بك بناءً على الاستخدام السابق. سيتيح لك ذلك تحديد المشاريع أو البيئات التي تستخدم أكبر قدر من الموارد وأين يمكنك تحقيق وفورات.

توفير التكاليف على مستوى النشر

نقدم ميزات متقدمة على مستوى التطبيق لمساعدتك في تحقيق وفورات كبيرة في التكاليف:

1. الخوادم الفورية مع الرجوع إلى الخوادم حسب الطلب: عادةً ما تواجه التطبيقات صعوبة في الموازنة بين التكلفة والموثوقية. يتيح لك TrueFoundry اختيار نوع السعة لعقدك، بما في ذلك الخوادم الفورية مع الرجوع إلى الموارد حسب الطلب. يضمن ذلك بقاء تطبيقاتك متاحة حتى في حالة إزالة خادم فوري، مما يوفر التوازن الأمثل بين التكلفة والتوافر.

2. إيقاف الخدمات مؤقتًا: أوقف الخدمات مؤقتًا عندما لا تكون قيد الاستخدام لتوفير التكاليف. يمكنك بسهولة إيقاف الخدمات مؤقتًا أو استئنافها من صفحة عمليات النشر.

3. تحسين الموارد: تأكد من تخصيص مواردك على النحو الأمثل وأن خدماتك تعمل بالسعة الصحيحة.

• مراقبة الموارد: تتبع استخدام موارد خدمتك في الوقت الفعلي، بما في ذلك تخصيص وحدة المعالجة المركزية ووحدة معالجة الرسوميات. احصل على تنبيهات بشأن التخصيص الزائد أو الناقص، وتلقى توصيات بشأن الموارد.

• تعديل الموارد الديناميكي: عدّل مستويات الموارد بشكل فوري لتقليص حجمها إلى موارد وحدة معالجة مركزية (CPU) أقل، وأعد نشر خدمتك وفقًا لذلك.

4. التوسع التلقائي المجدول زمنيًا: جدولة تعديلات الموارد بناءً على الوقت لتقليل التكاليف في بيئات غير الإنتاجية خلال فترات الاستخدام المنخفض.

💡

يوفر العديد من عملائنا أكثر من 60% من تكاليف السحابة لبيئات التطوير الخاصة بهم عن طريق جدولة إيقاف التشغيل خلال ساعات عدم العمل، مما يقلل من استخدام الحوسبة بمقدار 128 ساعة أسبوعيًا.

توفير التكاليف على مستوى محررات الأكواد

نحن نقدم ميزات معينة لمحررات الأكواد، يمكنك من خلالها تحقيق وفورات كبيرة في التكاليف على مستوى دفاتر الملاحظات (Notebook) وVSCode:

1. وحدات التخزين المشتركة: استخدم وحدات التخزين بناءً على المتطلبات لمشاركة البيانات الكبيرة بين دفاتر الملاحظات (Notebooks) ونسخ VSCode وتسهيل التعاون. تقلل وحدات التخزين المشتركة من التكرار وتعزز الكفاءة، خاصة عندما يحتاج عدة مستخدمين إلى الوصول إلى كميات كبيرة من البيانات عبر دفاتر الملاحظات ونسخ VSCode.
2. الاستخدام التكيفي للموارد: يمكنك التبديل بسهولة بين وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسوميات (GPU) على نفس الجهاز لتحسين تخصيص الموارد. لا يتعين عليك الاحتفاظ بمورد GPU بشكل دائم، بل فقط عند الحاجة.

💡

وفرت شركة ذكاء اصطناعي توليدي تعمل في قطاع توليد الفيديو، والتي تشغل المئات من دفاتر ملاحظات Jupyter على مثيلات فورية لأعباء العمل غير الإنتاجية، حوالي 50-60% من تكاليف السحابة عن طريق تشغيل وحدات معالجة الرسوميات (GPUs) فقط عند الحاجة.

3. الإيقاف المؤقت اليدوي: يمكنك إيقاف دفاتر الملاحظات/نسخ VSCode مؤقتًا بسهولة عندما لا تكون قيد الاستخدام. يتم الاحتفاظ بالرمز والبيانات، مما يضمن إعادة تشغيل سلسة عند الحاجة.

4. الإيقاف المؤقت التلقائي: قم بتكوين مثيلات Notebooks/VSCode الخاصة بك للتوقف مؤقتًا تلقائيًا بعد فترة معينة من عدم النشاط لتوفير موارد قيمة.

💡

المقارنة المعيارية للتكلفة
لقد أجرينا مقارنة معيارية عبر AWS و GCP و Azure لمقارنة وفورات التكلفة لتشغيل Notebooks و VSCode عند الطلب أو باستخدام السحابة المقابلة.

Serving LoRA fine-tuned models

LoRA and QLoRA allow you to tailor models for diverse tasks efficiently. This blog details serving LoRA fine-tuned models, especially if you have many of them.

TrueFoundry Blog Abhishek Choudhary

‍

وفورات التكلفة في نشر وتحسين نماذج اللغة الكبيرة (LLMs):

يوفر كتالوج النماذج الخاص بنا مركزًا شاملاً ومريحًا لنشر وتحسين نماذج اللغة الكبيرة المدربة مسبقًا والمعروفة. لقد اتخذنا هذه الخطوات لضمان أن نشر وتحسين هذه النماذج فعال من حيث التكلفة قدر الإمكان:

1. تكوين خدمة النماذج المُحسّن: بناءً على المقارنة المعيارية لمختلف خوادم النماذج وتخصيصات الموارد، نوفر لك تكوينات جاهزة توفر أفضل زمن استجابة وإنتاجية. هذا يبسط عملية نشر نماذج اللغة الكبيرة ويساعدك على جعل عمليات النشر الخاصة بك فعالة من حيث الموارد وفعالة من حيث التكلفة.

2. تكوين الضبط الدقيق الفعال: نوفر طرقًا فعالة للضبط الدقيق، مثل LoRA و Q-LoRA، والتي تساعد على تقليل استهلاك الموارد وتسمح لك بتحقيق أهدافك بتكاليف أقل.

إليك مدونة حول الضبط الدقيق الفعال:

‍

Serving LoRA fine-tuned models

LoRA and QLoRA allow you to tailor models for diverse tasks efficiently. This blog details serving LoRA fine-tuned models, especially if you have many of them.

TrueFoundry Blog Abhishek Choudhary

‍

3. عمليات نشر قابلة للتوسع مع دعم غير متزامن: انشر نماذج اللغة الكبيرة على نطاق واسع مع دعم غير متزامن للاستفادة من حصص وحدات معالجة الرسوميات (GPU) الخاصة بك في جميع السحابات الثلاث والحصول بشكل موثوق على وحدات معالجة الرسوميات التي تحتاجها للضبط الدقيق والنشر. تتيح لك هذه الموثوقية الإضافية استخدام مثيلات Spot، مما يوفر المال.

اقرأ المزيد عن نشر نماذج LLM على نطاق واسع باستخدام عمليات النشر غير المتزامنة

💡

قياس الأداء
لقد أجرينا قياسًا معياريًا للتكلفة لمقارنة نفقات نشر نماذج اللغة الكبيرة (LLMs) على AWS EKS مقابل SageMaker. يمكنك قراءة المزيد في المدونة أدناه.

‍

Deploy Falcon-40B on AWS: 40% Cheaper than Sagemaker

Deploy Falcon-40B on AWS at a 40% cheaper cost than Sagemaker. Comparing the cost of running it on Sagemaker vs Truefoundry.

TrueFoundry Blog Abhishek Choudhary

💡

لقد حققت العديد من شركات فورتشن 100 والشركات متوسطة الحجم وفورات كبيرة باستخدام منصتنا. حتى أن بعضها استبدل منصات SageMaker الداخلية أو منصات السحابة الخاصة بها بنظامنا، مما وفر 30-40%.

لقد قمنا أيضًا بقياس أداء العديد من نماذج LLM مفتوحة المصدر الشائعة في هذه السلسلة من المقالات من منظور زمن الاستجابة والتكلفة وعدد الطلبات في الثانية. يمكنك الاطلاع عليها على مدونات TrueFoundry

‍

Benchmarking Llama-2-13B

This blog captures Llama 2-13B benchmarks - where a model excels and the areas where it struggles. Make informed decisions about its practical deployment.

TrueFoundry Blog TrueFoundry

‍

يمكنك أيضًا مشاهدة هذا الفيديو للحصول على عرض توضيحي مباشر لجميع الميزات التي تناولناها في هذه المدونة:

TrueFoundry هي منصة كخدمة (PaaS) لنشر تعلم الآلة (ML) فوق Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، وضمان أمان وتحكم كاملين لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق تعلم الآلة من نشر ومراقبة النماذج في 15 دقيقة بموثوقية وقابلية للتوسع بنسبة 100%، والقدرة على العودة إلى إصدار سابق في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإطلاق النماذج إلى الإنتاج بشكل أسرع، مما يمكّن من تحقيق قيمة تجارية حقيقية.