هل منصة TrueFoundry للتعلم الآلي مناسبة لك؟

يزخر مشهد البنية التحتية للتعلم الآلي ببعض الحلول الأكثر إثارة للإعجاب لتبسيط مسار عمل التعلم الآلي. يمكن أن تكون TrueFoundry حلاً إذا كنت تواجه بعض المشكلات المذكورة أدناه:

يستغرق منا وقتًا طويلاً لوضع نماذج التعلم الآلي الخاصة بنا في الإنتاج، وهناك الكثير من الاعتمادية بين أصحاب المصلحة المتعددين.

أكبر سبب وجدناه للتأخير في الجداول الزمنية هو الاعتمادية بين الفرق ونقص المهارات لدى مختلف الشخصيات. تسهّل TrueFoundry على علماء البيانات التدريب والنشر على Kubernetes باستخدام بايثون. كما أنها تتيح لفرق البنية التحتية إعداد قيود الأمان وميزانيات التكلفة. في معظم الشركات التي تحدثنا إليها، يكون سير العمل للتنفيذ كالتالي:

تساعدك TrueFoundry على تقليل وقت التطوير بمقدار 3-4 أضعاف على الأقل من خلال تمكين علماء البيانات من نشر وتقييم النموذج بأنفسهم دون الاعتماد على فريق البنية التحتية/DevOps.

مع TrueFoundry، يكون سير العمل مشابهًا لما يلي:

ترغب في استخدام البنية التحتية القياسية لـ Kubernetes الخاصة بنا للتدريب والنشر في التعلم الآلي

TrueFoundry متوافقة أصلاً مع Kubernetes وتعمل عبر EKS وAKS وGKE (مجموعات قياسية وتلقائية) أو مجموعات محلية. يتطلب التعلم الآلي بعض الأمور المخصصة مقارنة بالبنية التحتية البرمجية القياسية - مثل توفير العقد الديناميكي، ودعم وحدات معالجة الرسوميات (GPU)، ووحدات التخزين للوصول الأسرع، وميزانية التكلفة، واستقلالية المطورين. نحن نتولى جميع التفاصيل الدقيقة عبر المجموعات حتى تتمكن من التركيز على بناء أفضل التطبيقات على بنية تحتية حديثة ومتطورة.

لا ينبغي لعلماء البيانات أن يضطروا للتعامل مع البنية التحتية أو YAML

نحن نوفر واجهات برمجة تطبيقات بايثون (APIs) - لذلك لن تحتاج أبدًا إلى التفاعل مع YAML. نحن نوفر دعم YAML أيضًا إذا كنت ترغب في استخدامه في مسارات CI/CD الخاصة بك. على سبيل المثال، باستخدام TrueFoundry، يمكنك نشر واجهة برمجة تطبيقات استنتاجية (inference API) باستخدام الكود أدناه:

service =
   name="fastapi",
   image=Build(
       build_spec=PythonBuild(
           command="uvicorn app:app --port 8000 --host 0.0.0.0",
           requirements_path="requirements.txt",
       )
   ),
   ports=[
       Port(
           port=8000,
           host="<حدد قيمة المضيف بناءً على النطاق الذي قمت بتهيئته>"
       )
   ],
   resources=Resources(
       cpu_request=0.5,
       cpu_limit=1,
       memory_request=1000,
       memory_limit=1500
   ),
   env={
       "UVICORN_WEB_CONCURRENCY": "1",
       "ENVIRONMENT": "dev"
   }
)
service.deploy(workspace_fqn="tfy-cluster/my-workspace")


نحتاج إلى بنية تحتية للتعلم الآلي لا تتطلب منا نقل البيانات خارج سحابتنا.

يتم نشر TrueFoundry بالكامل على مجموعة Kubernetes الخاصة بك. تبقى البيانات في شبكتك الافتراضية الخاصة (VPC)، ويتم حفظ صور Docker في سجل Docker الخاص بك، وتبقى جميع النماذج في نظام تخزين الكائنات الثنائية الكبيرة (blob storage) الخاص بك. يمكنك قراءة المزيد عن بنية TrueFoundry هنا.

التوسع التلقائي للنماذج بطيء جدًا بسبب وقت تنزيل نماذج التعلم الآلي

يدعم Kubernetes عادةً التوسع التلقائي باستخدام HPA بناءً على وحدة المعالجة المركزية والذاكرة. ومع ذلك، بالنسبة لأعباء عمل التعلم الآلي، يكون التوسع التلقائي بناءً على عدد الطلبات أفضل بكثير في العديد من الحالات. يمكن أن يكون التحدي الآخر في التوسع التلقائي هو وقت بدء التشغيل الطويل للنماذج بسبب أحجام الصور الكبيرة وأوقات تنزيل النماذج. يحل Truefoundry هذه المشكلات من خلال توفير وقت بدء تشغيل الحاويات في ثوانٍ، وتخزين النماذج مؤقتًا لتحميل أسرع، وتوفير أوقات استدلال أسرع.

نرغب في استخدام قوة نماذج اللغات الكبيرة (LLMs) لأعمالنا، ولكن لا يمكننا السماح بخروج البيانات من بيئتنا

هل يمكننا استخدام بعض نماذج LLM مفتوحة المصدر؟

يتيح لك TrueFoundry نشر وتعديل نماذج LLM مفتوحة المصدر على البنية التحتية الخاصة بك. لقد قمنا بالفعل بتحديد أفضل الإعدادات لمعظم النماذج مفتوحة المصدر الشائعة حتى تتمكن من تدريبها ونشرها بأفضل الإعدادات وبأقل تكلفة.

أرغب في السماح لجميع مطوريّ بتجربة نماذج LLM مختلفة بسرعة

نستضيف ساحة لعب داخلية لـ LLM حيث يمكنك تحديد نماذج LLM التي ترغب في إدراجها في القائمة البيضاء لمطوري الشركة، بما في ذلك النماذج المستضافة داخليًا، ويمكن للمطورين المختلفين تجربة البيانات الداخلية. إليك فيديو سريع حول هذا الموضوع:

أرغب في توفير دفاتر Jupyter (Jupyter Notebooks) لعلماء البيانات على أساس الخدمة الذاتية بطريقة متعددة المستأجرين ومحسّنة التكلفة

تعد دفاتر Jupyter (Jupyter Notebooks) ضرورية لدورة التطوير اليومية لعلماء البيانات. تشغيل دفاتر Jupyter محليًا على جهاز المرء ليس خيارًا دائمًا للأسباب التالية:

1. قد نحتاج إلى موارد أعلى قد لا تكون متوفرة على جهاز كمبيوتر محمول محلي
2. قد لا يُسمح بالوصول إلى البيانات في البيئة المحلية.

لقد بذلنا الكثير من الجهد لتشغيل دفاتر Jupyter (Jupyter Notebooks) بسلاسة على Kubernetes. توفر دفاتر Jupyter على TrueFoundry الفوائد التالية مقارنة بـ JupyterLab أو دفاتر Kubeflow:

1. وقت بدء تشغيل سريع لدفاتر الملاحظات (أقل من 10 ثوانٍ)
2. ميزة الإيقاف التلقائي التي تغلق دفاتر الملاحظات بعد فترة معينة قابلة للتكوين من عدم النشاط. يقلل هذا من التكلفة نظرًا لأن عالم البيانات قد يعمل 8 ساعات فقط في اليوم. سيؤدي هذا إلى تقليل التكلفة بنحو 60% مقارنة بتشغيل Jupyter على مثيلات EC2.
3. استمرارية البيئة والبيانات وتوابع Python عبر عمليات إعادة التشغيل.
4. القدرة على إضافة التبعيات ديناميكيًا إلى الصورة الأساسية.
5. القدرة على مشاركة دفاتر الملاحظات مع أعضاء الفريق الآخرين.
6. القدرة على تكوين الوصول إلى مجموعات البيانات باستخدام حسابات الخدمة بدلاً من المفاتيح/كلمات المرور.

هل ترغب في تتبع جميع النماذج داخل الشركة في مكان واحد، ومعرفة أي منها تم نشره في أي بيئة؟

توفر TrueFoundry سجل نماذج يمكنه تتبع النماذج في أي مرحلة، بالإضافة إلى مخطط وواجهة برمجة تطبيقات جميع النماذج في السجل.

هل ترغب في عكس أو تقسيم حركة المرور إلى الإصدار الجديد من النموذج لاختباره على حركة المرور الحية قبل طرحه بالكامل؟

تسمح TrueFoundry بتقسيم أو عكس حركة المرور من نموذج إلى آخر. وهذا مفيد بشكل خاص عندما ترغب في اختبار إصدار جديد من النموذج على حركة المرور الحية لبعض الوقت قبل طرحه للإنتاج. تدعم TrueFoundry أيضًا استراتيجيات الطرح التدريجي (canary) والأزرق-الأخضر (blue-green) في نشر النماذج.

هل ترغب في استخدام الأجهزة والحوسبة عبر السحابات وفي أماكن العمل؟ كيف يمكنني ربطها بحيث يتمكن المطورون من نقل أعباء العمل بسلاسة من بيئة إلى أخرى؟

لقد بذلنا الكثير من الجهد للتأكد من أننا نعتني بالفروق الدقيقة في مجموعات Kubernetes عبر السحابات. يمكن للمطورين كتابة ونشر نفس الكود في أي بيئة دون القلق بشأن البنية التحتية الأساسية. نحن نتولى التحقق مما إذا كانت المكونات الأساسية لـ Kubernetes مثبتة، والتحقق من عمليات الترحيل غير المتوافقة، وإبلاغ المطورين بذلك.

نتكبد الكثير من التكاليف على البنية التحتية للتعلم الآلي (ML infra) ويصبح من الصعب تتبعها وتقليلها.

نحن نتيح للمطورين رؤية تكاليف الخدمات ونقدم رؤى لتقليل التكلفة. وقد شهد جميع عملائنا الحاليين تخفيضًا في التكاليف بنسبة 30% على الأقل بعد اعتماد TrueFoundry.

TrueFoundry هي منصة كخدمة (PaaS) لنشر التعلم الآلي (ML) تعمل فوق Kubernetes، مصممة لتبسيط نشر نماذج الذكاء الاصطناعي، وتسريع سير عمل المطورين، والحفاظ على التحكم الكامل في البنية التحتية. من خلال منصتنا، نمكّن فرق التعلم الآلي من نشر ومراقبة النماذج في 15 دقيقة بموثوقية وقابلية للتوسع بنسبة 100%، والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإطلاق النماذج إلى الإنتاج بشكل أسرع، مما يتيح تحقيق قيمة تجارية حقيقية.