True ML Talks #23 - تطبيقات MLOps ونماذج اللغة الكبيرة (LLMs) في GitLab

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
عدنا إليكم بحلقة أخرى من محادثات ML حقيقية. في هذه الحلقة، نتعمق مرة أخرى في تطبيقات MLOps ونماذج اللغة الكبيرة (LLMs) في GitLab، ونتحدث مع Monmayuri Ray.
تقود Monmayuri قسم أبحاث الذكاء الاصطناعي في GitLab مع تركيز كبير على نماذج اللغة الكبيرة (LLMs) خلال العام الماضي. وقبل ذلك، كانت مديرة هندسية في قسم ModelOps في GitLab. كما عملت مع شركات أخرى مثل Microsoft و eBay.
📌
ستغطي محادثاتنا مع Monmayuri الجوانب التالية:
- حالات استخدام التعلم الآلي (ML) ونماذج اللغة الكبيرة (LLM) في GitLab
- تطور البنية التحتية للتعلم الآلي (ML) في GitLab لدعم نماذج اللغة الكبيرة (LLMs)
- رحلة GitLab مع نماذج اللغة الكبيرة (LLMs): من المصادر المفتوحة إلى الضبط الدقيق
- تدريب نماذج اللغة الكبيرة في GitLab
- Triton مقابل PyTorch، ووحدات معالجة الرسوميات المجمعة (Ensembled GPUs)، والتجميع الديناميكي (Dynamic Batching) لاستدلال نماذج اللغة الكبيرة (LLM Inference)
- التحديات والأبحاث في تقييم نماذج اللغة الكبيرة (LLMs) في GitLab
- بنية نماذج اللغة الكبيرة (LLM) في GitLab ومستقبلها
شاهد الحلقة الكاملة أدناه:
حالات استخدام التعلم الآلي (ML) ونماذج اللغة الكبيرة (LLM) في GitLab
يُحدث التعلم الآلي (ML) تحولًا في دورة حياة تطوير البرمجيات، وتتصدر GitLab هذا الابتكار. تستخدم GitLab التعلم الآلي لتمكين المطورين طوال رحلتهم، بدءًا من إنشاء المشكلات ووصولًا إلى دمج الطلبات ونشر التطبيقات.
تُعد نماذج اللغة الكبيرة (LLMs) إحدى حالات الاستخدام الأكثر إثارة للتعلم الآلي في GitLab. تستخدم GitLab نماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي لتطوير ميزات جديدة لمنتجاتها، مثل إكمال التعليمات البرمجية وتلخيص المشكلات.
فوائد التعلم الآلي لمستخدمي GitLab
- زيادة الإنتاجية: يمكن للتعلم الآلي مساعدة المطورين على أن يكونوا أكثر إنتاجية من خلال أتمتة المهام مثل إكمال التعليمات البرمجية وتلخيص المشكلات.
- تحسين جودة التعليمات البرمجية: يمكن للتعلم الآلي مساعدة المطورين على كتابة تعليمات برمجية أفضل من خلال تحديد الأخطاء المحتملة واقتراح التحسينات.
- تقليل وقت التطوير: يمكن للتعلم الآلي مساعدة المطورين على تقليل الوقت المستغرق لتطوير البرمجيات من خلال أتمتة المهام ومساعدتهم على تحديد المشكلات وإصلاحها بسرعة أكبر.
- تحسين تجربة المطور: يمكن للتعلم الآلي أن يساعد في تحسين تجربة المطور من خلال تسهيل استخدام منتجات GitLab وتقديم الدعم والإرشاد.
كيف تطورت البنية التحتية للتعلم الآلي في GitLab لدعم نماذج اللغة الكبيرة (LLMs)
كانت GitLab في طليعة استخدام نماذج اللغة الكبيرة (LLMs) لتمكين المطورين. ونتيجة لذلك، كان على GitLab تطوير بنيتها التحتية للتعلم الآلي لدعم هذه النماذج المعقدة.
التحديات
- الحجم والتعقيد: نماذج اللغة الكبيرة أكبر وأكثر تعقيدًا بكثير من نماذج التعلم الآلي التقليدية، مما يعني أنها تتطلب أجهزة وبرامج أكثر قوة للتدريب والنشر.
- التكامل: منتجات GitLab مكتوبة بلغة Ruby on Rails و JavaScript. وهذا يعني أن GitLab كان عليها إيجاد طرق لدمج بنيتها التحتية للتعلم الآلي مع هذه التقنيات.
- البنية التحتية الموزعة: البنية التحتية للتعلم الآلي في GitLab موزعة عبر العديد من موفري الخدمات السحابية المختلفين. وهذا يعني أن GitLab كان عليها تطوير طرق لإدارة بنيتها التحتية للتعلم الآلي بطريقة متسقة وفعالة.
الحلول
لمواجهة التحديات المذكورة أعلاه، أجرت GitLab عددًا من التغييرات على بنيتها التحتية للتعلم الآلي (ML). يمكن تصنيف هذه التغييرات ضمن المجالات التالية:
- الأجهزة: استثمرت GitLab في أجهزة جديدة، مثل وحدات معالجة الرسوميات (GPUs) ووحدات معالجة الموترات (TPUs)، لدعم تدريب ونشر نماذج اللغة الكبيرة (LLMs).
- البرمجيات: طورت GitLab مسارات تدريب ونشر جديدة لنماذج اللغة الكبيرة (LLMs). كما طورت GitLab عددًا من حلول التكامل للسماح لبنيتها التحتية للتعلم الآلي بالعمل مع تطبيقاتها المبنية على Ruby on Rails و JavaScript.
- الإدارة: طورت GitLab عددًا من الأدوات والعمليات للمساعدة في إدارة بنيتها التحتية الموزعة للتعلم الآلي.
رحلة GitLab مع نماذج اللغة الكبيرة (LLMs): من المصادر المفتوحة إلى الضبط الدقيق
كانت GitLab في طليعة الشركات التي تستخدم نماذج اللغة الكبيرة (LLMs) لتمكين المطورين. في البداية، بدأت GitLab باستخدام نماذج اللغة الكبيرة مفتوحة المصدر، مثل Salesforce code gen. ومع ذلك، ومع تغير المشهد وأصبحت نماذج اللغة الكبيرة (LLMs) أكثر قوة، تحولت GitLab إلى الضبط الدقيق لنماذج اللغة الكبيرة الخاصة بها لحالات استخدام محددة، مثل توليد الأكواد.
يتطلب الضبط الدقيق لنماذج اللغة الكبيرة (LLMs) استثمارًا كبيرًا في البنية التحتية، نظرًا لأن هذه النماذج كبيرة ومعقدة للغاية. اضطرت GitLab إلى تطوير مسارات تدريب ونشر جديدة لنماذج اللغة الكبيرة، بالإضافة إلى طرق جديدة لإدارة بنيتها التحتية للتعلم الآلي في بيئة موزعة.
أحد التحديات الرئيسية التي واجهتها GitLab في الضبط الدقيق لنماذج اللغة الكبيرة هو إيجاد التوازن الصحيح بين التكلفة وزمن الاستجابة. يمكن أن تكون نماذج اللغة الكبيرة مكلفة للغاية للتدريب والنشر، وقد تكون بطيئة في توليد النتائج. اضطرت GitLab إلى تجربة أحجام مجموعات مختلفة، وتكوينات وحدات معالجة الرسوميات (GPU)، وتقنيات التجميع لإيجاد التوازن المناسب لاحتياجاتها.
تحدٍ آخر واجهته GitLab هو ضمان دقة وموثوقية نماذج اللغة الكبيرة الخاصة بها. يمكن تدريب نماذج اللغة الكبيرة على مجموعات بيانات ضخمة من النصوص والأكواد، ولكن هذه المجموعات قد تحتوي أيضًا على أخطاء وتحيزات. اضطرت GitLab إلى تطوير تقنيات جديدة لتقييم نماذج اللغة الكبيرة الخاصة بها وإزالة التحيز منها.
على الرغم من التحديات، حققت GitLab تقدمًا كبيرًا في استخدام نماذج اللغة الكبيرة لتمكين المطورين. أصبحت GitLab الآن قادرة على تدريب ونشر نماذج اللغة الكبيرة على نطاق واسع، وهي تستخدم هذه النماذج لتطوير ميزات ومنتجات جديدة من شأنها أن تجعل عملية تطوير البرمجيات أكثر كفاءة ومتعة.
تدريب نماذج اللغة الكبيرة في GitLab
يعد تدريب نماذج اللغة الكبيرة (LLMs) مهمة صعبة تتطلب استثمارًا كبيرًا في البنية التحتية والموارد. كانت GitLab في طليعة الشركات التي تستخدم نماذج اللغة الكبيرة لتمكين المطورين، وقد تعلمت الشركة الكثير على طول الطريق.
فيما يلي بعض الرؤى والدروس المستفادة من تجربة GitLab في تدريب نماذج اللغة الكبيرة:
- ابدأ صغيرًا ثم قم بالتوسع. عند تقدير كمية موارد وحدات معالجة الرسوميات (GPU) اللازمة للتدريب، من الأفضل البدء صغيرًا والتوسع تدريجيًا. سيساعدك هذا على تجنب إهدار الموارد وتحديد أي اختناقات محتملة في وقت مبكر.
- استخدم التجميع الديناميكي. يمكن أن يساعدك التجميع الديناميكي على تحسين عملية التدريب الخاصة بك عن طريق تجميع المدخلات المتشابهة معًا. يمكن أن يؤدي هذا إلى تحسينات كبيرة في الأداء، خاصة لمجموعات البيانات الكبيرة.
- اختر المعلمات الصحيحة لتحسينها. لا يوجد نهج واحد يناسب الجميع لاختيار المعلمات الصحيحة لتحسينها عند الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs). ستختلف أفضل المعلمات اعتمادًا على النموذج اللغوي الكبير المحدد، وبيانات التدريب، والنتيجة المرجوة. ومع ذلك، من المهم تجربة معلمات مختلفة للعثور على أفضل تركيبة لاحتياجاتك الخاصة.
- فكر في استخدام التدريب الموزع. يمكن أن يساعدك التدريب الموزع على تسريع عملية التدريب عن طريق توزيع عبء العمل عبر وحدات معالجة رسومية (GPUs) أو أجهزة متعددة. يمكن أن يكون هذا مفيدًا بشكل خاص لتدريب النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات كبيرة.
- جرب وضع التكيف منخفض الرتبة. وضع التكيف منخفض الرتبة هو تقنية يمكن استخدامها للضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) بعدد أقل من المعلمات. يمكن أن يكون هذا مفيدًا في الحالات التي لا تتوفر لديك فيها موارد كافية للضبط الدقيق للنموذج بأكمله.
بالإضافة إلى الرؤى المذكورة أعلاه، تعلمت GitLab أيضًا عددًا من الدروس القيمة حول أهمية الفهم الجيد للنموذج الأساسي وبيانات التدريب. على سبيل المثال، وجدت GitLab أنه من المهم معرفة بنية النموذج الأساسي وكيفية تنظيم بيانات التدريب لتحسينها لحالة الاستخدام المطلوبة.
Triton مقابل PyTorch، ووحدات معالجة الرسوميات المجمعة، والتجميع الديناميكي لاستدلال النماذج اللغوية الكبيرة (LLM)
تستخدم GitLab Triton لاستدلال النماذج اللغوية الكبيرة (LLM) لأنه أكثر ملاءمة للتوسع للتعامل مع الحجم الكبير من الطلبات التي تتلقاها GitLab. كما أن Triton أسهل في التغليف والتوسع من خوادم النماذج الأخرى، مثل خوادم PyTorch.
لم تجرب GitLab بعد خوادم نماذج TGI أو VLLM من Hugging Face، حيث كانت هذه الخوادم لا تزال في المراحل المبكرة من التطوير عندما نشرت GitLab خط أنابيب استدلال النماذج اللغوية الكبيرة (LLM) الخاص بها لأول مرة.
عندما يتعلق الأمر بالتجميع الديناميكي، تتمثل استراتيجية GitLab في التحسين لحالة الاستخدام المحددة، والحمل، ومستوى الاستعلام، والحجم، وعدد وحدات معالجة الرسوميات (GPUs) المتاحة. على سبيل المثال، إذا كان لدى GitLab 500 وحدة معالجة رسوميات (GPUs) لنموذج 7B، فيمكنها استخدام استراتيجية تجميع مختلفة عما لو كان لديها عدد قليل فقط من وحدات معالجة الرسوميات (GPUs) لنموذج أصغر.
تستخدم GitLab أيضًا مجموعة من وحدات معالجة الرسوميات (GPUs) للتعامل مع الطلبات. هذا يعني أن GitLab تستخدم مزيجًا من أنواع مختلفة من وحدات معالجة الرسوميات (GPUs)، بما في ذلك وحدات معالجة الرسوميات عالية الأداء ووحدات معالجة الرسوميات الأقل أداءً. توازن GitLab الحمل للطلبات عبر مجموعة وحدات معالجة الرسوميات (GPUs) لتحسين الأداء والتكلفة.
إليك بعض النصائح لتصميم بنية لتجميع وحدات معالجة الرسوميات (GPUs) وتحسين موازنة الحمل:
- افهم أنماط حركة المرور الخاصة بك. متى تكون أوقات الذروة لحركة المرور لديك؟ ما أنواع الطلبات التي تتلقاها غالبًا؟
- استخدم اختبار A/B لتجربة تكوينات مختلفة لوحدات معالجة الرسوميات (GPUs) واستراتيجيات موازنة الحمل.
- راقب أداءك وزمن الاستجابة لضمان أن بنيتك تلبي احتياجاتك.
إليك بعض الأمثلة المحددة لكيفية قيام GitLab بتحسين بنيتها لوحدات معالجة الرسوميات المجمعة والتجميع الديناميكي:
- تستخدم GitLab نظام تنسيق ديناميكيًا لتعيين الطلبات إلى وحدات معالجة الرسوميات (GPUs) بناءً على نوعها وأدائها وتوفرها.
- تستخدم GitLab تقنية تسمى "GPU warm-up" لضمان جاهزية وحدات معالجة الرسوميات (GPUs) للتعامل مع الطلبات عند الحاجة إليها.
- تستخدم GitLab التكميم لتقليل حجم نماذجها دون التضحية بالدقة.
باتباع هذه النصائح، يمكنك تصميم بنية يمكنها التعامل بكفاءة مع أحجام كبيرة من طلبات استدلال نماذج اللغة الكبيرة (LLM).
لقد جربنا التدفق أيضًا، وأعتقد أننا نبحث في إمكانية توفير التدفق لأطرافنا الثالثة أيضًا - Monmayuri
التحديات والأبحاث في تقييم نماذج اللغة الكبيرة (LLMs) في GitLab
يُعد تقييم أداء نماذج اللغة الكبيرة (LLMs) مهمة صعبة. تعمل GitLab على هذه المشكلة وقد واجهت العديد من التحديات، منها:
- حالات الاستخدام المختلفة لها احتياجات مختلفة. حالات استخدام نماذج اللغة الكبيرة (LLM) المختلفة، مثل الدردشة، واقتراح التعليمات البرمجية، وشرح الثغرات الأمنية، لها احتياجات مختلفة وتتطلب مقاييس تقييم مختلفة.
- من الصعب معرفة أي نموذج يعمل بشكل أفضل لاستعلام معين. من الصعب تحديد أي نموذج لغة كبير (LLM) سيؤدي أفضل أداء لاستعلام معين، خاصة في بيئة الإنتاج.
- من الصعب الموازنة بين الدقة ومعدلات القبول. من المهم إيجاد توازن بين دقة نتائج نموذج اللغة الكبير (LLM) ومعدل قبول المستخدمين لهذه النتائج.
تتصدى GitLab لهذه التحديات من خلال:
- تنسيق مجموعة بيانات جيدة لكل حالة استخدام. تقوم GitLab بتنسيق مجموعة بيانات لكل حالة استخدام لنموذج اللغة الكبير (LLM) تكون ممثلة لأنواع الاستعلامات التي سيقدمها المستخدمون في بيئة الإنتاج.
- تحليل البيانات التاريخية. تقوم GitLab بتحليل البيانات التاريخية لفهم كيفية أداء نماذج اللغة الكبيرة (LLMs) لأنواع مختلفة من الاستعلامات في الماضي.
- تطوير مقاييس تقييم جديدة. تقوم GitLab بتطوير مقاييس تقييم جديدة مصممة خصيصًا لحالات استخدام نماذج اللغة الكبيرة (LLM) المحددة.
- استخدام البيانات لدفع عملية اتخاذ القرار. تستخدم GitLab البيانات لاتخاذ قرارات بشأن نماذج اللغات الكبيرة (LLMs) التي يجب استخدامها لحالات استخدام مختلفة وكيفية ضبط معلمات هذه النماذج.
هدف GitLab هو تطوير نهج قابل للتطوير ومدفوع بالبيانات لتقييم نماذج اللغات الكبيرة (LLMs). سيساعد هذا النهج GitLab على ضمان أن نماذج اللغات الكبيرة الخاصة بها تعمل بشكل جيد في بيئة الإنتاج وتلبي احتياجات مستخدميها.
اتجاهات البحث
تجري GitLab أيضًا أبحاثًا حول طرق جديدة لتقييم نماذج اللغات الكبيرة (LLMs). تتضمن بعض اتجاهات البحث التي تستكشفها GitLab ما يلي:
- استخدام بيانات التفاعل بين الإنسان والحاسوب (HCI) لتقييم نماذج اللغات الكبيرة (LLMs). يمكن لبيانات التفاعل بين الإنسان والحاسوب (HCI) أن توفر رؤى حول كيفية تفاعل المستخدمين مع نماذج اللغات الكبيرة (LLMs) وكيف ينظرون إلى نتائج هذه التفاعلات. يمكن استخدام هذه البيانات لتطوير مقاييس تقييم جديدة لنماذج اللغات الكبيرة (LLMs).
- استخدام الأساليب العدائية لتقييم نماذج اللغات الكبيرة (LLMs). يمكن استخدام الأساليب العدائية لتوليد مدخلات مصممة لخداع نماذج اللغات الكبيرة (LLMs) لارتكاب الأخطاء. يمكن استخدام هذه البيانات لتقييم مدى قوة نماذج اللغات الكبيرة (LLMs) في مواجهة أنواع مختلفة من الأخطاء.
- استخدام التعلم التحويلي لتقييم نماذج اللغات الكبيرة (LLMs). يمكن استخدام التعلم التحويلي لتقييم نماذج اللغات الكبيرة (LLMs) في مهام جديدة دون الحاجة إلى جمع مجموعة بيانات جديدة لكل مهمة. يمكن أن يكون هذا مفيدًا لتقييم نماذج اللغات الكبيرة (LLMs) في المهام التي يصعب أو يكلف جمع البيانات لها.
أبحاث GitLab حول تقييم نماذج اللغات الكبيرة (LLMs) مستمرة. تلتزم GitLab بتطوير طرق جديدة ومبتكرة لتقييم نماذج اللغات الكبيرة (LLMs) لضمان أن نماذج اللغات الكبيرة الخاصة بها تلبي احتياجات مستخدميها.
هندسة نماذج اللغات الكبيرة (LLM) في GitLab ومستقبل نماذج اللغات الكبيرة (LLMs)
تُعد هندسة نماذج اللغات الكبيرة (LLM) في GitLab نهجًا شاملاً للتدريب والتقييم و نشر نماذج اللغات الكبيرة (LLMs). صُممت هذه الهندسة لتكون مرنة وقابلة للتطوير، حتى تتمكن GitLab من تبني التقنيات الجديدة بسهولة وتلبية احتياجات مستخدميها.

تتكون هذه الهندسة من عدة مكونات رئيسية:
- المعالجة المسبقة للبيانات والترميز: تبدأ هندسة نماذج اللغات الكبيرة (LLM) في GitLab بالمعالجة المسبقة وترميز البيانات التي ستُستخدم لتدريب نموذج اللغة الكبير (LLM). تتضمن هذه العملية تنظيف البيانات وإزالة الضوضاء وتحويل النص إلى تنسيق يمكن لنموذج اللغة الكبير (LLM) فهمه.
- أخذ العينات والتقصير: بمجرد معالجة البيانات مسبقًا وتحويلها إلى رموز، تقوم بنية LLM الخاصة بـ GitLab بأخذ عينات من البيانات واختصارها. يتم ذلك لتقليل التكلفة الحسابية لتدريب نموذج اللغة الكبير (LLM).
- مجموعات وحدات معالجة الرسوميات (GPU): تستخدم بنية LLM الخاصة بـ GitLab مجموعات وحدات معالجة الرسوميات (GPU) لتدريب نموذج اللغة الكبير (LLM). وحدات معالجة الرسوميات هي معالجات متخصصة ومناسبة تمامًا لتدريب نماذج LLM.
- مجموعة التقييم: تتضمن بنية LLM الخاصة بـ GitLab مجموعة تقييم لتقييم أداء نموذج اللغة الكبير (LLM). تتضمن مجموعة التقييم مجموعة متنوعة من المقاييس، مثل الدقة والطلاقة والاتساق.
- نقاط فحص النموذج: تخزن بنية LLM الخاصة بـ GitLab نقاط فحص النموذج على فترات منتظمة. يتيح ذلك لـ GitLab استئناف التدريب من نقطة سابقة إذا حدث خطأ ما.
- مكتبة المطالبات: تتضمن بنية LLM الخاصة بـ GitLab مكتبة مطالبات، وهي مجموعة من المطالبات التي يمكن استخدامها لإنشاء أنواع مختلفة من النصوص من نموذج اللغة الكبير (LLM).
- سجل النماذج: تتضمن بنية LLM الخاصة بـ GitLab سجل نماذج، وهو مستودع مركزي لجميع نماذج LLM الخاصة بـ GitLab.
- محرك النشر: تتضمن بنية LLM الخاصة بـ GitLab محرك نشر يقوم بنشر نموذج اللغة الكبير (LLM) في بيئة الإنتاج. يتضمن محرك النشر موازن تحميل لتوزيع حركة المرور عبر عدة نُسخ من نموذج LLM.
تُعد بنية LLM الخاصة بـ GitLab أداة قوية تمكّن GitLab من تدريب وتقييم ونشر نماذج اللغة الكبيرة (LLMs) على نطاق واسع. تم تصميم البنية لتكون مرنة وقابلة للتوسع، بحيث يمكن لـ GitLab تبني التقنيات الجديدة بسهولة وتلبية احتياجات مستخدميها.
مستقبل نماذج اللغة الكبيرة (LLMs)
لا تزال نماذج اللغة الكبيرة (LLMs) تقنية جديدة نسبيًا، ولكن لديها القدرة على إحداث ثورة في العديد من الصناعات. تعتقد GitLab أن نماذج LLMs سيكون لها تأثير كبير على صناعة تطوير البرمجيات.
تستخدم GitLab بالفعل نماذج LLMs لتحسين منتجاتها وخدماتها. على سبيل المثال، تستخدم GitLab نماذج LLMs لإنشاء اقتراحات التعليمات البرمجية، وشرح الثغرات الأمنية، وتحسين تجربة المستخدم لمنتجاتها.
تعتقد GitLab أنه يجب على المنظمات الأخرى أيضًا الاستثمار في نماذج اللغة الكبيرة (LLMs). تتمتع نماذج LLMs بالقدرة على تحسين الإنتاجية والكفاءة والجودة في العديد من الصناعات.
مجالات الاستثمار
توصي GitLab المنظمات بالاستثمار في المجالات التالية للبقاء في الطليعة في مجال نماذج اللغة الكبيرة (LLM):
- البنية التحتية: تتطلب نماذج اللغة الكبيرة (LLMs) استثمارًا كبيرًا في البنية التحتية. تحتاج المؤسسات إلى الاستثمار في وحدات معالجة الرسوميات (GPUs) والتخزين والشبكات لدعم هذه النماذج.
- الأدوات والتقنيات: يتوفر عدد من الأدوات والتقنيات التي يمكن أن تساعد المؤسسات على تدريب وتقييم ونشر نماذج اللغة الكبيرة (LLMs). يجب على المؤسسات الاستثمار في الأدوات والتقنيات المناسبة لاحتياجاتها.
- الكفاءات: تعد نماذج اللغة الكبيرة (LLMs) تقنية معقدة. تحتاج المؤسسات إلى الاستثمار في الكفاءات التي تمتلك المهارات والمعرفة اللازمة لتدريب وتقييم ونشر هذه النماذج.
من خلال الاستثمار في هذه المجالات، يمكن للمؤسسات البقاء في طليعة مجال نماذج اللغة الكبيرة (LLM) وجني ثمار هذه التقنية القوية.
اقرأ مدوناتنا السابقة ضمن سلسلة True ML Talks:
تابعوا مشاهدة TrueML سلسلة يوتيوب وقراءة TrueML سلسلة المدونات.
TrueFoundry هي منصة كخدمة (PaaS) لنشر تعلم الآلة (ML) عبر Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، مع ضمان الأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق تعلم الآلة من نشر ومراقبة النماذج في 15 دقيقة بموثوقية وقابلية للتوسع بنسبة 100%، والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكاليف وإطلاق النماذج إلى الإنتاج بشكل أسرع، وبالتالي تحقيق قيمة تجارية حقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
The fastest way to build, govern and scale your AI


















.png)
.webp)










.webp)






