خفض تكاليف البنية التحتية لنماذج ML / LLM الخاصّة بك

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
من المعروف أن أحمال عمل تعلم الآلة (ML) والنماذج اللغوية الكبيرة (LLM) مكلفة للغاية عند تشغيلها في السحابة. ويرجع ذلك إلى أنها تتطلب كميات كبيرة من القوة الحوسبية والذاكرة والتخزين. ومع ذلك، هناك طرق لخفض تكاليف السحابة لأحمال عمل ML/LLM دون التضحية بالقابلية للتوسع أو الموثوقية.
المبادئ الأساسية لتقليل التكاليف
- رؤية أفضل لمهندسي DevOps والمطورين: يعد الحصول على رؤية واضحة لتكاليف السحابة أمرًا صعبًا، خاصة عندما يكون لديك مكونات متعددة تم نشرها عبر سحب متعددة. توفر TrueFoundry رؤية لتكاليف السحابة على مستوى العنقود (Cluster)، ومساحة العمل (Workspace)، والنشر (Deployment)، مما يمكن فرق DevOps والمطورين من تحديد فرص توفير التكاليف وتحسينها طوال دورة حياة ML/LLM.
- سهولة تعديل الموارد: تمكن TrueFoundry فرق DevOps والمطورين من اتخاذ إجراءات بناءً على رؤية التكاليف التي اكتسبوها.
- فرق DevOps يمكنها تحديد قيود الموارد على مستوى المشروع، مما يضمن وصول أحمال العمل الخاصة بكل فريق إلى الموارد التي يحتاجونها دون التجاوز عن الميزانية.
- المطورون يمكنهم أيضًا تعديل الموارد بسهولة أثناء التنقل، بناءً على الرؤى التي يحصلون عليها. بالإضافة إلى ذلك، تسهل TrueFoundry توسيع التطبيقات وبيئات IDE وتخفيضها إلى الصفر في البيئات غير الإنتاجية، مما يلغي تكلفة الموارد العاطلة ويجعل دورات التكرار لتقليل التكاليف أكثر كفاءة.
- تحسين البنية التحتية من حيث التكلفة: تم تصميم البنية التحتية القائمة على Kubernetes وتحسينات البنية التحتية لـ TrueFoundry لتقليل تكاليف السحابة.
بشكل عام، توفر ميزات توفير التكاليف من TrueFoundry لفرق DevOps والمطورين الرؤية والتحكم وإمكانيات التحسين التي يحتاجونها لتقليل تكاليف السحابة طوال دورة حياة ML/LLM.
الانتقال من AMI إلى Docker: سهلت منصتنا للعديد من الشركات الانتقال من AMI إلى Docker، حيث شهدت الشركات بالفعل توفيرًا في التكاليف يتراوح بين 30 إلى 40 بالمائة.
TrueFoundry: منصتك التي تضع التكلفة أولاً
Truefoundry هي منصة "تضع التكلفة أولاً"، مَبنيّة حول Kubernetes ومصممة ببنية معمارية تعطي الأولوية للكفاءة، القابلية للتوسع في السحابة، وتخفيض التكاليف.
دعنا نستكشف كيف تتيح لك البنية المعمارية الفريدة لـ TrueFoundry التوفير في التكاليف مع التحسين من أجل الموثوقية والقابلية للتوسع. إليك الهيكل الهرمي للمنصة:
- العناقيد (Clusters): قم بتوصيل جميع العناقيد الخاصة بك، سواء كانت AWS EKS أو Azure AKS أو GCP GKE أو عنقودًا محليًا (on-prem)، بالمنصة. يتيح لك هذا دمج جميع العناقيد الخاصة بك بسلاسة في مكان واحد. هذه العناقيد هي الأساس لنشر مجموعة واسعة من الخدمات والنماذج والوظائف.
- مساحات العمل (Workspaces): داخل العناقيد، نقدم مساحات العمل، مما يوفر نهجًا مبسطًا لإضافة التحكم في الوصول والعزل لضمان أن كل مشروع أو بيئة لديه موارده المخصصة ومحمي من الوصول غير المصرح به. فكر فيها كمجموعات من عمليات النشر.
- عمليات النشر (Deployments): داخل مساحات العمل هذه، لدينا عمليات نشر وندعمك لنشر أنواع مختلفة من العناصر. مع TrueFoundry، يمكنك تغطية كل جانب من جوانب دورة حياة تطوير ML الخاصة بك بسهولة.
- بيئات التطوير التفاعلية: قم بنشر Jupyter Notebook وVS Code للتجريب التعاوني.
- وظائف التدريب والضبط الدقيق: قم بتدريب نماذج ML بكفاءة أو ضبط نماذج LLM دقيقًا من خلال النشر كـ job.
- نماذج LLM المدربة مسبقًا: قم بنشر النماذج اللغوية الكبيرة المدربة مسبقًا بسرعة لحالات استخدام محددة باستخدام كتالوج النماذج الخاص بنا (Model Catalogue).
- الخدمات والتطبيقات: قم بنشر مجموعة متنوعة من الخدمات والتطبيقات، بما في ذلك النماذج وتطبيقات الويب وما إلى ذلك.
- كتالوج التطبيقات: قم بنشر البرامج الشهيرة مثل Label Studio وRedis وQdrant وغيرها بسبل سهلة.
توفير التكاليف على مستوى العنقود (Cluster Level)
بنية تحتية قائمة على Kubernetes
يساهم Kubernetes في تقليل التكاليف باستخدام حزم الصناديق (bin packing) لتحسين استخدام الموارد، وتوزيع الحاويات بكفاءة وخفض تكاليف البنية التحتية في النهاية.
لمعرفة المزيد حول كيفية استغلال TrueFoundry لـ Kubernetes اقرأ هنا.
💡
الانتقال من EC2 إلى Kubernetes:
نجحت العديد من الشركات في الانتقال من أجهزة EC2 إلى Kubernetes بعد الانضمام إلى منصتنا، مما أدى إلى توفير التكاليف بسبب تحسين تخصيص الموارد
دعم السحب المتعددة (Multi-cloud)

تجعل بنية TrueFoundry المعمارية المتعددة السحب من السهل الاتصال بمزودي خدمات سحابية مختلفين.
- المرونة في التنقل بين السحب: من خلال القدرة على التنقل بين مزودي الخدمات السحابية المختلفة بسهولة، يمكنك الاستفادة من أفضل الأسعار والميزات من مزودين مختلفين.
- توزيع أحمال العمل عبر السحب والمناطق: عن طريق توزيع أحمال العمل الخاصة بك عبر العديد من مزودي السحابة والمناطق الجغرافية. يمكن أن يساعد ذلك في تقليل التكاليف من خلال توزيع أحمال العمل الخاصة بك عبر فئات تسعير ومناطق مختلفة. كما يساعد أيضًا في تحسين الأداء والموثوقية عن طريق تقليل الاعتماد على مزود سحابة واحد.
- توافر حصص مثيلات عالية (Instance Quota Availability): باستخدام العديد من مزودي السحابة، يمكنك الحصول على إمكانية الوصول إلى المزيد من الموارد. هذا يمكن أن يساعدك في توفير المال وتجنب أي قيود على الموارد التي تحتاجها.

💡
يعمل مزود روبوتات دردشة ذكاء اصطناعي تفاعلي متوسط المستوى بترافيك عالي من المستخدمين (أكثر من 20 RPS وأكثر من مليوني طلب يوميًا) بالكامل على مثيلات spot GPU موزعة عبر خمسة عناقيد في سحب ومناطق مختلفة باستخدام خدمتنا غير التزامنية (asynchronous service). يقلل هذا من تكاليف البنية التحتية الخاصة بهم بنسبة 60% مع تحسين الموثوقية والإنتاجية.
رؤية معززة

لكل عنقود، يمكنك عرض عدد العقد (Nodes) المشغلة في العنقود. يمكنك أيضًا الحصول على رؤى حول تفاصيل محددة لكل عقدة مثل
- تحليل التوفير: عرض نسبة التكلفة التي يتم توفيرها لكل عقدة
- رؤى تخصيص الموارد: عرض الاستخدام الحالي، وطلب الموارد وحدها لاتخاذ قرارات مستنيرة.
- رؤى نوع السعة: معرفة نوع العقد المشغلة في العنقود الخاص بك، سواء كانت عقد spot أو on-demand.
توفير التكاليف على مستوى مساحة العمل (Workspace Level)
قيود الموارد
تتيح لك TrueFoundry إنشاء مساحات عمل متعددة داخل العنقود. يساعد هذا التقسيم في تنظيم عمليات النشر الخاصة بك لفرق أو بيئات مختلفة.
- قيود الموارد: تخصيص قيود الموارد لكل مساحة عمل، بما في ذلك CPU والذاكرة والتخزين وحتى عائلات المثيلات (instance families). يتيح لك هذا تخصيص الموارد لتلبية المتطلبات المحددة لمشروعك أو بيئتك.

- عائلات المثيلات المدعومة: قم بتخصيص مساحة العمل الخاصة بك لمتطلبات أداء وميزانية محددة عن طريق تحديد عائلات المثيلات التي ستدعمها.
على سبيل المثال، إذا كان المشروع لا يتطلب حوسبة عالية الأداء، يمكنك تعطيل المثيلات الأكبر في مساحة العمل الخاصة به. سيساعد هذا في منع المطورين من الإفراط في تخصيص الموارد، مما يعود بتوفير الأموال.

- مجموعات العقد المدعومة (Supported node pools): تعتبر Nodepools مجموعات من العقد التي توفر الموارد الحوسبية لأحمال العمل الخاصة بك. يمكنك اختيار مجموعات العقد التي تناسب أحمال العمل والميزانية الخاصة بك بشكل أفضل.
على سبيل المثال، يمكنك إنشاء node pool باستخدام A100 GPUs. بعد ذلك، يمكنك تمكين مجموعة العقد المحددة هذه فقط لمساحات عمل المشاريع التي تتطلب الوصول إلى هذا النوع من GPU.

تتبع التكلفة على مستوى مساحة العمل
نمنحك أيضًا رؤية لتتبع تكلفة مساحة العمل الخاصة بك بناءً على الاستخدام السابق. سيسمح لك هذا بتحديد المشاريع أو البيئات التي تستهلك أكبر قدر من الموارد وأين يمكنك إجراء التوفير.

توفير التكاليف على مستوى النشر (Deployment Level)
نقدم ميزات متقدمة على مستوى التطبيق لمساعدتك في تحقيق توفير كبير في التكاليف:
- مثيلات Spot مع احتياطي للتحول إلى On-Demand: عادة ما تواجه التطبيقات صعوبة في الموازنة بين التكلفة والموثوقية. تتيح لك TrueFoundry تحديد نوع السعة للعقد الخاصة بك، بما في ذلك مثيلات spot مع الاحتياطي للتحول إلى موارد on-demand. يضمن ذلك بقاء تطبيقاتك متاحة حتى لو تم طرد مثيل spot، مما يقدم التوازن الأمثل بين التكلفة والإتاحة.

- إيقاف الخدمات مؤقتًا: قم بإيقاف الخدمات مؤقتًا عندما لا تكون قيد الاستخدام لتوفير التكاليف. يمكنك إيقاف الخدمات مؤقتًا أو استئنافها بسهولة من صفحة عمليات النشر.

- تحسين الموارد: تأكد من تخصيص الموارد بشكل مثالي وتشغيل خدماتك بالسعة المناسبة.
- مراقبة الموارد: تتبع استخدام موارد الخدمة في الوقت الفعلي، بما في ذلك تخصيص CPU وGPU. احصل على تنبيهات بشأن التخصيص المفرط، والتخصيص المنخفض، واستلم توصيات الموارد.

- التعديل الديناميكي للموارد: تعديل مستويات الموارد أثناء التشغيل للتخفيض إلى موارد CPU أقل وإعادة نشر الخدمة وفقًا لذلك.

- التوسيع التلقائي المستند إلى الوقت: جدولة تعديلات الموارد بناءً على الوقت لتقليل التكاليف في البيئات غير الإنتاجية خلال فترات الاستخدام المنخفض.

💡
يوفر العديد من عملائنا أكثر من 60% من تكاليف السحابة لبيئة التطوير الخاصة بهم من خلال جدولة عمليات الإغلاق خلال ساعات العمل غير الرسمية، مما يقلل من استخدام الحوسبة بمقدار 128 ساعة في الأسبوع.
توفير التكاليف على مستوى محررات الأكواد
نقدم ميزات معينة لمحررات الأكواد، يمكنك تحقيق توفير كبير في التكاليف على مستوى Notebook وVSCode:
- أحجام التخزين المشتركة (Shared Volumes): استخدم أحجام التخزين بناءً على المتطلبات لمشاركة البيانات الكبيرة بين مثيلات Notebook وVSCode وتسهيل التعاون. تقلل التخزينات المشتركة من التكرار وتعزز الكفاءة، خاصة عندما يحتاج عدة مستخدمين إلى الوصول إلى بيانات ضخمة عبر مثيلات Notebook وVSCode.
- الاستخدام التكيفي للموارد: سُهولة التنقل بين CPU وGPU على نفس الجهاز لتحسين تخصيص الموارد. ليس عليك الاحتفاظ بمورد GPU بشكل مستمر، بل عند الحاجة فقط.

💡
شركة ذكاء اصطناعي توليدي تعمل في قطاع إنشاء الفيديو، والتي تشغل المئات من Jupyter Notebooks على مثيلات spot لأحمال العمل غير الإنتاجية، وفرت حوالي 50-60% من تكاليف السحابة عن طريق تشغيل GPUs عند الحاجة فقط.
- الإيقاف المؤقت اليدوي: قم بإيقاف مثيلات Notebooks/VSCode مؤقتًا بسهولة عندما لا تكون قيد الاستخدام. يتم حفظ الكود والبيانات، مما يضمن إعادة تشغيل سلسة عند الحاجة.

- الإيقاف المؤقت التلقائي: قم بتكوين مثيلات Notebooks/VSCode الخاصة بك لتتوقف مؤقتًا تلقائيًا بعد فترة معينة من الخمول لتوفير الموارد الثمينة.

💡
معايرة التكاليف (Cost Benchmarking)
لقد أجرينا معايرة مرجعية عبر AWS وGCP وAzure لمقارنة توفير التكاليف بين تشغيل Notebooks وVSCode على حسب الطلب (on-demand) أو استخدام السحابة المقابلة.

توفير التكاليف في نشر وتعديل ضبط النماذج اللغوية الكبيرة (LLMs):
يوفر كتالوج النماذج (Model Catalogue) الخاص بنا متجرًا شاملاً ومريحًا لنشر وضبط النماذج اللغوية الكبيرة (LLMs) الشهيرة والمدربة مسبقًا. لقد اتخذنا هذه الخطوات لضمان أن نشر وضبط هذه الـ LLMs يتم بأكبر قدر ممكن من كفاءة التكلفة:
- تكوين خدمة النماذج المـحسَّن: بناءً على المعايرة المرجعية لمختلف خوادم النماذج وتخصصات الموارد، نقدم لك تكوينات مملوءة مسبقًا تمنح أفضل زمن انتقال (latency) وإنتاجية (throughput). يسهل هذا عملية نشر LLMs ويساعدك على جعل عمليات النشر الخاصة بك كفؤة في الموارد وذات تكلفة فعالة.

- تكوين الضبط الدقيق الكفء: نقدم طرقًا كفؤة للضبط الدقيق، مثل LoRA وQ-LoRA، والتي تساعد في تقليل استخدام الموارد وتسمح لك بتحقيق أهدافك بتكاليف أقل.

إليك مدونة حول الضبط الدقيق الكفء:
- عمليات نشر قابلة للتوسع مع دعم غيـر التزامني (Async Support): انشر LLMs على نطاق واسع مع الدعم غير التزامني للاستفادة من حصص GPU الخاصة بك في جميع السحب الثلاث والحصول بشكل موثوق على GPUs التي تحتاجها للضبط الدقيق والنشر. تتيح لك هذه الموثوقية المضافة استخدام مثيلات spot، مما يوفر المال.
اقرأ المزيد حول نشر LLMs على نطاق واسع باستخدام عمليات النشر غير التزامنية
💡
المعايرة المرجعية (Benchmarking)
لقد أجرينا معايرة مرجعية للتكلفة لمقارنة نفقات نشر LLMs على AWS EKS مقابل SageMaker. يمكنك قراءة المزيد في المدونة أدناه.
💡
وفرت العديد من شركات Fortune 100 والشركات متوسطة الحجم مبالغ كبيرة باستخدام منصتنا. حتى إن بعضها استبدل منصات SageMaker أو السحابة الداخلية الخاصة بها بنظامنا، مما وفر 30-40%.
لقد قمنا أيضًا بمعايرة أداء الكثير من نماذج LLM الشائعة مفتوحة المصدر في هذه السلسلة من المقالات من منظور زمن الانتقال، والتكلفة، والطلبات في الثانية. يمكنك الاطلاع عليها في مدونات TrueFoundry
يمكنك أيضًا مشاهدة هذا الفيديو للحصول على عرض توضيحي مباشر لجميع الميزات التي غطيناها في هذه المدونة:
TrueFoundry هي منصة كخدمة (PaaS) لنشر ML عبر Kubernetes لتسريع مسارات عمل المطورين مع منحهم المرونة الكاملة في اختبار النماذج ونشرها مع ضمان الأمان والتحكم الكاملين لفريق البنية التحتية. من خلال منصتنا، نمكن فرق تعلم الآلة من نشر ومراقبة النماذج في 15 دقيقة بموثوقية 100%، وقابلية للتوسع، والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإصدار النماذج للإنتاج بشكل أسرع، وتحقيق قيمة عمل حقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

















.webp)
.webp)
.webp)


.webp)


.webp)
.webp)
.png)

.png)
.png)
.png)






