True ML Talks #23 - تطبيقات MLOps و LLMs في GitLab

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
عدنا إليكم بحلقة جديدة من True ML Talks. في هذه الحلقة، نتعمق مجددًا في تطبيقات MLOps و LLMs في GitLab ونتحدث مع Monmayuri Ray.
تقود Monmayuri عمود أبحاث AI في GitLab مع تركيز كبير على LLMs خلال العام الماضي. وقبل ذلك، عملت كمديرة هندسة في قسم ModelOps في GitLab. كما عملت سابقًا مع شركات أخرى مثل Microsoft و eBay.
📌
ستغطي محادثتنا مع Monmayuri الجوانب التالية:
- حالات استخدام ML و LLM في GitLab
- تطور البنية التحتية لـ ML في GitLab لدعم نماذج اللغات الكبيرة (LLMs)
- رحلة GitLab مع LLMs: من المصدر المفتوح إلى الضبط الدقيق (Fine-Tuning)
- تدريب نماذج اللغات الكبيرة في GitLab
- المقارنة بين Triton و PyTorch، و Ensembled GPUs، و Dynamic Batching لاستدلال LLM
- التحديات والأبحاث في تقييم LLMs في GitLab
- معمارية LLM في GitLab ومستقبل LLMs
شاهد الحلقة الكاملة أدناه:
حالات استخدام ML و LLM في GitLab
يعمل تعلم الآلة (ML) على تحول دورة حياة تطوير البرمجيات، وتأتي GitLab في طليعة هذا الابتكار. تستخدم GitLab الـ ML لتمكين المطورين خلال رحلتهم بالكامل، بدءًا من إنشاء المشكلات (issues) إلى طلبات الدمج (merge requests) وحتى نشر التطبيقات.من أكثر حالات الاستخدام إثارة لـ ML في GitLab هي نماذج اللغات الكبيرة (LLMs). تستخدم GitLab الـ LLMs و GenAI لتطوير ميزات جديدة لمقومات منتجاتها، مثل إكمال الكود وتلخيص المشكلات.
فوائد ML لمستخدمي GitLab
- زيادة الإنتاجية: يمكن لـ ML مساعدة المطورين على أن يكونوا أكثر إنتاجية من خلال أتمتة المهام مثل إكمال الكود وتلخيص المشكلات.
- تحسين جودة الكود: يمكن لـ ML مساعدة المطورين على كتابة كود أفضل من خلال تحديد الأخطاء المحتملة واقتراح التحسينات.
- تقليل وقت التطوير: يمكن لـ ML مساعدة المطورين على تقليل الوقت الاستغراقي لتطوير البرمجيات عن طريق أتمتة المهام ومساعدتهم على تحديد المشكلات وإصلاحها بسرعة أكبر.
- تحسين تجربة المطور: يمكن لـ ML المساعدة في تحسين تجربة المطورين وجعل استخدام منتجات GitLab أكثر سهولة مع تقديم الدعم والإرشاد.
كيف تطورت البنية التحتية لـ ML في GitLab لدعم نماذج اللغات الكبيرة (LLMs)
كانت GitLab في المقدمة باستخدام نماذج اللغات الكبيرة (LLMs) لتمكين المطورين. ونتيجة لذلك، كان على GitLab تطوير بنيتها التحتية لـ ML لدعم هذه النماذج المعقدة.
التحديات
- الحجم والتعقيد: تعد LLMs أكبر بكثير وأكثر تعقيدًا من نماذج ML التقليدية، مما يعني أنها تتطلب عتادًا (hardware) وبرمجيات أكثر قوة للتدريب والنشر.
- التكامل: منتجات GitLab مكتوبة بلغة Ruby on Rails و JavaScript. هذا يعني أن GitLab كان عليها إيجاد طرق لدمج بنيتها التحتية لـ ML مع هذه التقنيات.
- البنية التحتية الموزعة: تتوزع البنية التحتية لـ ML في GitLab عبر العديد من مزودي الخدمات السحابية المختلفين. هذا يعني أن GitLab كان عليها تطوير طرق لإدارة بنيتها التحتية لـ ML بطريقة متسقة وفعالة.
الحلول
لمعالجة التحديات المذكورة أعلاه، أجرت GitLab عددًا من التغييرات على بنيتها التحتية لـ ML. ويمكن تصنيف هذه التغييرات في المجالات التالية:
- العتاد (Hardware): استثمرت GitLab في عتاد جديد، مثل GPUs و TPUs، لدعم تدريب ونشر LLMs.
- البرمجيات: قامت GitLab بتطوير خطوط أنابيب (pipelines) جديدة للتدريب والنشر مخصصة لـ LLMs. كما طورت GitLab عددًا من حلول التكامل للسماح لبنيتها التحتية لـ ML بالعمل مع تطبيقات Ruby on Rails و JavaScript الخاصة بها.
- الإدارة: طورت GitLab مجموعة من الأدوات والعمليات للمساعدة في إدارة بنيتها التحتية الموزعة لـ ML.
رحلة GitLab مع LLMs: من المصدر المفتوح إلى الضبط الدقيق (Fine-Tuning)
كانت GitLab في طليعة استخدام نماذج اللغات الكبيرة (LLMs) لتمكين المطورين. في الأيام الأولى، بدأت GitLab باستخدام open source LLMs، مثل Salesforce code gen. ومع ذلك، مع تغير المشهد وزيادة قوة LLMs، تحولت GitLab إلى ضبط الدقيق (fine-tuning) لنماذج LLMs الخاصة بها لحالات استخدام محددة، مثل توليد الكود.
يتطلب الضبط الدقيق (fine-tuning) لنماذج LLMs استثماراً كبيراً في البنية التحتية، نظراً لأن هذه النماذج كبيرة جداً ومعقدة. كان على GitLab تطوير أنابيب تدريب ونشر جديدة لنماذج LLMs، بالإضافة إلى طرق جديدة لإدارة البنية التحتية لـ ML الخاصة بها في بيئة موزعة.
أحد التحديات الرئيسية التي واجهتها GitLab في الضبط الدقيق (fine-tuning) لنماذج LLMs هو إيجاد التوازن الصحيح بين التكلفة وزمن الانتقال (latency). يمكن أن تكون نماذج LLMs مكلفة للغاية من حيث التدريب والنشر، كما يمكن أن تكون بطيئة في توليد النتائج. كان على GitLab التجريب باستخدام أحجام مختلفة من العناقيد (clusters)، وتكوينات GPU، وتقنيات التجميع (batching) لإيجاد التوازن المناسب لاحتياجاتها.
تحدٍ آخر واجهته GitLab تمثل في ضمان دقة وموثوقية نماذج LLMs الخاصة بها. يمكن تدريب نماذج LLMs على مجموعات بيانات ضخمة من النصوص والأكواد، ولكن يمكن لهذه البيانات أيضاً أن تحتوي على أخطاء وتحيزات. كان على GitLab تطوير تقنيات جديدة لتقييم وإزالة التحيز من نماذج LLMs الخاصة بها.
على الرغم من التحديات، حققت GitLab تقدماً كبيراً في استخدام LLMs لتمكين المطورين. أصبحت GitLab الآن قادرة على تدريب ونشر نماذج LLMs على نطاق واسع، وتستخدم هذه النماذج لتطوير ميزات ومنتجات جديدة من شأنها جعل عملية تطوير البرمجيات أكثر كفاءة ومتعة.
تدريب نماذج اللغات الكبيرة في GitLab
يعد تدريب نماذج اللغات الكبيرة (LLMs) مهمة مليئة بالتحديات تتطلب استثماراً كبيراً في البنية التحتية والموارد. كانت GitLab في طليعة استخدام LLMs لتمكين المطورين، وتعلمت الشركة الكثير خلال هذه الرحلة.
إليك بعض الرؤى والدروس المستفادة من تجربة GitLab في تدريب LLMs:
- ابدأ بصغير ثم توسع. عند تقدير كمية موارد GPU المطلوبة للتدريب، من الأفضل البدء بحجم صغير والتوسع تدريجياً. سيساعدك هذا في تجنب هدر الموارد والتعرف على أي اختناقات محتملة في وقت مبكر.
- استخدم التجميع الديناميكي (dynamic batching). يمكن أن يساعدك التجميع الديناميكي (dynamic batching) في تحسين عملية التدريب عن طريق تجميع المدخلات المتشابهة معاً. يمكن أن يؤدي ذلك إلى تحسينات كبيرة في الأداء، خاصة بالنسبة لمجموعات البيانات الكبيرة.
- اختر المعلمات (parameters) الصحيحة للتحسين عليها. لا يوجد نهج واحد يناسب الجميع عند اختيار المعلمات المناسبة للتحسين عليها عند الضبط الدقيق (fine-tuning) لنماذج LLMs. ستختلف أفضل المعلمات بناءً على نموذج LLM المحدد، وبيانات التدريب، والنتيجة المرجوة. ومع ذلك، من المهم التجريب بمعلمات مختلفة لإنشاء أفضل مزيج يلبي احتياجاتك المحددة.
- فكر في استخدام التدريب الموزع. يمكن أن يساعدك التدريب الموزع في تسريع عملية التدريب عن طريق توزيع عبء العمل عبر العديد من وحدات GPU أو الأجهزة. يمكن أن يكون هذا مفيداً بشكل خاص لتدريب نماذج LLMs الكبيرة على مجموعات بيانات ضخمة.
- جرب وضع التكيف منخفض الرتبة (low rank adaptation mode). وضع التكيف منخفض الرتبة هو تقنية يمكن استخدامها للضبط الدقيق (fine-tuning) لنماذج LLMs بعدد أقل من المعلمات. يمكن أن يكون هذا مفيداً للحالات التي لا تملك فيها موارد كافية للضبط الدقيق للنموذج بأكمله.
بالإضافة إلى الرؤى أعلاه، تعلمت GitLab أيضاً عدداً من الدروس القيمة حول أهمية الفهم الجيد للنموذج الأساسي وبيانات التدريب. على سبيل المثال، وجدت GitLab أنه من المهم معرفة هيكل النموذج الأساسي وكيفية تنظيم بيانات التدريب للتحسين بما يتناسب مع حالة الاستخدام المرجوة.
مقارنة Triton مقابل PyTorch، وحدات GPU المجمعة (Ensembled GPUs)، والتجميع الديناميكي (Dynamic Batching) للاستدلال بواسطة LLM
تستخدم GitLab خادم Triton للاستدلال الخاص بـ LLM لأنه أنسب للتوسع لمواجهة الحجم الكبير من الطلبات التي تتلقاها GitLab. كما أن Triton أسهل في التغليف والتوسع مقارنة بخوادم النماذج الأخرى، مثل خوادم PyTorch.
لم تقم GitLab بعد بالتجريب مع خوادم النماذج TGI من Hugging Face أو VLLM، حيث كانت هذه الخوادم لا تزال في المراحل الأولى من التطوير عندما نشرت GitLab لأول مرة أنبوب الاستدلال الخاص بـ LLM.
عندما يتعلق الأمر بالتجميع الديناميكي (dynamic batching)، فإن استراتيجية GitLab هي التحسين بناءً على حالة الاستخدام المحددة، والتحميل، ومستوى الاستعلام، والحجم، وعدد وحدات GPU المتاحة. على سبيل المثال، إذا كان لدى GitLab عدد 500 وحدة GPU لنموذج 7B، فيمكنها استخدام استراتيجية تجميع مختلفة عما إذا كان لديها فقط بضع وحدات GPU لنموذج أصغر.
تستخدم GitLab أيضاً مصفوفة مجمعة من وحدات GPU لمعالجة الطلبات. هذا يعني أن GitLab تستخدم مزيجاً من أنواع مختلفة من وحدات GPU، بما في ذلك GPUs عالية الأداء وGPUs أقل في الأداء. تقوم GitLab بموازنة حمل الطلبات (load balance) عبر مصفوفة وحدات GPU للتحسين من حيث الأداء والتكلفة.
إليك بعض النصائح لتصميم بنية معمارية مخصصة لتجميع وحدات GPU وتحسين توزيع الأحمال (load balancing):
- فهم أنماط الحركة الخاصة بك. متى تكون أوقات ذروة حركة المرور؟ ما هي أنواع الطلبات التي تتلقاها في أغلب الأحيان؟
- استخدم اختبار A/B للتجريب مع تهيئات GPU واستراتيجيات موازنة الحمل المختلفة.
- قم بمراقبة الأداء وزمن الانتقال لتأكيد أن بنيتك تلبي احتياجاتك.
فيما يلي بعض الأمثلة المحددة لكيفية تحسين GitLab لبنيتها لشبكات GPUs المجمعة والدفعات الديناميكية:
- تستخدم GitLab نظام تدبير ديناميكي لتعيين الطلبات لـ GPUs بناءً على نوعها وأدائها وتوافرها.
- تستخدم GitLab تقنية تُسمى "الإحماء لـ GPU" لضمان جاهزية GPUs للتعامل مع الطلبات عند الحاجة إليها.
- تستخدم GitLab التكميم لتقليل حجم نماذجها دون التضحية بالدقة.
باتباع هذه النصائح، يمكنك تصميم بنية يمكنها التعامل بكفاءة مع أحجام كبيرة من طلبات استدلال LLM.
لقد جربنا البث أيضًا، وأعتقد أننا ننظر في البث لأطرافنا الخارجية أيضًا - Monmayuri
التحديات والأبحاث في تقييم LLMs في GitLab
يُعد تقييم أداء نماذج اللغات الكبيرة (LLMs) مهمة صعبة. لقد عملت GitLab على هذه المشكلة وواجهت عدة تحديات، بما في ذلك:
- حالات الاستخدام المختلفة لها احتياجات مختلفة. حالات استخدام LLM المختلفة، مثل الدردشة، واقتراح الكود، وشرح الثغرات الأمنية، لها احتياجات مختلفة وتتطلب مقاييس تقييم مختلفة.
- من الصعب معرفة النموذج الذي يعمل بشكل أفضل لطلب معين. من الصعب تحديد أي LLM سيعمل بشكل أفضل على طلب معين، خاصة في الإنتاج.
- من الصعب الموازنة بين الدقة ومعدلات القبول. من المهم إيجاد توازن بين دقة نتائج LLM ومعدل قبول هذه النتائج من قبل المستخدمين.
تعالج GitLab هذه التحديات من خلال:
- تنظيم مجموعة بيانات جيدة لكل حالة استخدام. تقوم GitLab بتنظيم مجموعة بيانات لكل حالة استخدام LLM تمثل أنواع الاستعلامات التي سيرسلها المستخدمون في الإنتاج.
- تحليل البيانات التاريخية. تقوم GitLab بتحليل البيانات التاريخية لفهم كيفية أداء LLMs على أنواع مختلفة من الاستعلامات في الماضي.
- تطوير مقاييس تقييم جديدة. تقوم GitLab بتطوير مقاييس تقييم جديدة مصممة خصيصًا لحالات استخدام LLM المحددة.
- استخدام البيانات لتوجيه اتخاذ القرارات. تستخدم GitLab البيانات لاتخاذ قرارات بشأن أي LLMs يجب استخدامها لحالات الاستخدام المختلفة وكيفية ضبط معلمات هذه الـ LLMs.
هدف GitLab هو تطوير نهج قابل للتوسع وموجه بالبيانات لتقييم LLMs. سيساعد هذا النهج GitLab على ضمان أداء LLMs بشكل جيد في الإنتاج وتلبية احتياجات مستخدميها.
اتجاهات البحث
تجري GitLab أيضًا أبحاثًا حول طرق جديدة لتقييم LLMs. تشمل بعض اتجاهات البحث التي تستكشفها GitLab ما يلي:
- استخدام بيانات التفاعل بين الإنسان والكمبيوتر (HCI) لتقييم LLMs. يمكن لبيانات HCI تقديم رؤى حول كيفية تفاعل المستخدمين مع LLMs وكيفية إدراكهم لنتائج هذه التفاعلات. يمكن استخدام هذه البيانات لتطوير مقاييس تقييم جديدة لـ LLMs.
- استخدام الأساليب التنافسية لتقييم LLMs. يمكن استخدام الأساليب التنافسية لإنشاء مدخلات مصممة لخدع LLMs لارتكاب الأخطاء. يمكن استخدام هذه البيانات لتقييم متانة LLMs أمام أنواع مختلفة من الأخطاء.
- استخدام التعلم المنقول لتقييم LLMs. يمكن استخدام التعلم المنقول لتقييم LLMs على مهام جديدة دون الحاجة إلى جمع مجموعة بيانات جديدة لكل مهمة. يمكن أن يكون هذا مفيدًا لتقييم LLMs على المهام التي يصعب أو يكلف جمع البيانات لها.
أبحاث GitLab حول تقييم LLMs مستمرة. تلتزم GitLab بتطوير طرق جديدة ومبتكرة لتقييم LLMs حتى تتمكن من ضمان تلبية LLMs لاحتياجات مستخدميها.
بنية LLM في GitLab ومستقبل LLMs
بنية LLM في GitLab هي نهج شامل لتدريب وتقييم و نشر LLMs. تم تصميم البنية لتكون مرنة وقابلة للتوسع، بحيث يمكن لـ GitLab اعتماد التقنيات الجديدة بسهولة وتلبية احتياجات مستخدميها.

تتكون البنية من عدة مكونات رئيسية:
- المعالجة المسبقة للبيانات والترميز: تبدأ بنية LLM في GitLab بمعالجة البيانات مسبقًا وترميزها التي ستُستخدم لتدريب LLM. تتضمن هذه العملية تنظيف البيانات، وإزالة الضوضاء، وتحويل النص إلى تنسيق يمكن لـ LLM فهمه.
- أخذ العينات وتقصيرها: بمجرد معالجة البيانات مسبقًا وترميزها، تقوم بنية LLM في GitLab بأخذ عينات وتقصير البيانات. يتم ذلك لتقليل التكلفة الحسابية لتدريب LLM.
- مجموعات GPU: تستخدم بنية LLM في GitLab مجموعات GPU لتدريب LLM. GPUs هي معالجات متخصصة ملائمة تمامًا لتدريب LLMs.
- مجموعة التقييم: تتضمن بنية LLM في GitLab مجموعة تقييم لتقييم أداء LLM. تتضمن مجموعة التقييم مجموعة متنوعة من المقاييس، مثل الدقة والطلاقة والترابط.
- نقاط التحقق للنموذج: تقوم بنية LLM في GitLab بتخزين نقاط التحقق للنموذج على فترات منتظمة. يتيح هذا لـ GitLab استئناف التدريب من نقطة سابقة إذا حدث خطأ ما.
- مكتبة المطالبات: تتضمن بنية LLM في GitLab مكتبة مطالبات، وهي مجموعة من المطالبات التي يمكن استخدامها لتوليد أنواع مختلفة من النصوص من LLM.
- سجل النموذج: تتضمن بنية LLM في GitLab سجل نموذج، وهو مستودع مركزي لجميع نماذج LLM الخاصة بـ GitLab.
- محرك النشر: تتضمن بنية LLM في GitLab محرك نشر يقوم بنشر LLM إلى الإنتاج. يتضمن محرك النشر موازن حمل لتوزيع حركة المرور عبر مثيلات متعددة من LLM.
بنية LLM في GitLab هي أداة قوية تمكّن GitLab من تدريب وتقييم ونشر LLMs في النطاق واسع. تم تصميم البنية لتكون مرنة وقابلة للتوسع، بحيث يمكن لـ GitLab اعتماد التقنيات الجديدة بسهولة وتلبية احتياجات مستخدميها.
مستقبل LLMs
ما زالت LLMs تقنية جديدة نسبياً، ولكن لديها القدرة على إحداث ثورة في العديد من الصناعات. تعتقد GitLab أن LLMs سيكون لها تأثير كبير على صناعة تطوير البرمجيات.
تستخدم GitLab بالفعل LLMs لتحسين منتجاتها وخدماتها. على سبيل المثال، تستخدم GitLab الـ LLMs لتوليد اقتراحات الكود، وشرح الثغرات الأمنية، وتحسين تجربة المستخدم لمنتجاتها.
تعتقد GitLab أن المنظمات الأخرى يجب أن تستثمر أيضاً في LLMs. تتمتع LLMs بالقدرة على تحسين الإنتاجية والكفاءة والجودة في العديد من الصناعات.
المجالات التي ينبغي الاستثمار فيها
توصي GitLab المنظمات بالاستثمار في المجالات التالية للبقاء في الطليعة في مجال LLM:
- البنية التحتية: تتطلب LLMs استثماراً كبيراً في البنية التحتية. تحتاج المنظمات إلى الاستثمار في GPUs والتخزين والشبكات لدعم LLMs.
- الأدوات والتقنيات: هناك عدد من الأدوات والتقنيات التي يمكن أن تساعد المنظمات على تدريب وتقييم ونشر LLMs. يجب على المنظمات الاستثمار في الأدوات والتقنيات المناسبة لاحتياجاتهم.
- المواهب: تعد LLMs تقنية معقدة. تحتاج المنظمات إلى الاستثمار في المواهب ذات المهارات والمعرفة لتدريب وتقييم ونشر LLMs.
من خلال الاستثمار في هذه المجالات، يمكن للمنظمات البقاء في الطليعة في مجال LLM وجني فوائد هذه التقنية القوية.
اقرأ مدوناتنا السابقة في سلسلة True ML Talks:
تابع مشاهدة سلسلة youtube الخاصة بـ TrueML وقراءة سلسلة مدونات TrueML.
TrueFoundry هي منصة PaaS لنشر ML فوق Kubernetes لتسريع سير عمل المطورين مع السماح لهم بالمرونة الكاملة في اختبار ونشر النماذج مع ضمان والأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق التعلم الآلي من نشر ومراقبة النماذج في 15 دقيقة بموثوقية 100٪ وقابلية للتوسع والقدرة على التراجع في ثوانٍ - مما يتيح لهم توفير التكلفة وإصدار النماذج للإنتاج بشكل أسرع، وتحقيق قيمة عمل حقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






