كيف تحسن NVIDIA استخدام مجموعات وحدات معالجة الرسوميات (GPU) باستخدام وكلاء نماذج اللغة الكبيرة (LLM)

كيف تحسن NVIDIA استغلال مجموعات وحدات معالجة الرسوميات باستخدام وكلاء نماذج اللغة الكبيرة

ملخص

تعد NVIDIA المورد الرائد عالميًا لوحدات معالجة الرسوميات (GPUs). ومع وجود طلب غير مسبوق على وحدات معالجة الرسوميات عالميًا، أراد الفريق تحسين أداء واستغلال مجموعات وحدات معالجة الرسوميات في مراكز البيانات. سيساعد هذا الحل في توفير وحدات معالجة الرسوميات لعدد أكبر من العملاء وتحسين تجربة المستخدم عن طريق تقليل وقت التأخير بين طلبات وحدات معالجة الرسوميات وتلبيتها.

كان الحل الذي تم ابتكاره نظام ذكاء اصطناعي يعالج جميع بيانات القياس عن بعد لوحدات معالجة الرسوميات (الاستخدام، استهلاك الطاقة، استخدام الذاكرة، الأخطاء، إلخ) المجمعة في الوقت الفعلي من مجموعاتهم، ويقيم وحدات معالجة الرسوميات بناءً على استخدامها، ويقترح خطوات لتحسين أعباء العمل.

قام الفريق ببناء ونشر نظام محادثة جديد متعدد الوكلاء ونماذج لغوية كبيرة (LLMs) خاصة بالمجال على منصة TrueFoundry. قام الوكلاء ببناء نماذج تعلم آلي وخوارزميات تحسين باستخدام بيانات القياس عن بعد لتحسين استغلال وحدات معالجة الرسوميات!

NVIDIA مرادف للذكاء الاصطناعي اليوم

تعد NVIDIA واحدة من أكثر الشركات قيمة في العالم اليوم وسط حمى الذهب للذكاء الاصطناعي. تأسست عام 1993 لبناء حوسبة معجلة تحل تحديات خاصة بالألعاب وحالات استخدام أخرى لم تستطع الحوسبة للأغراض العامة حلها.

قصة تسمية NVIDIA مضحكة! قبل أن يكون للشركة اسم، أطلق المؤسسون المشاركون على جميع ملفاتهم اسم NV، اختصارًا لـ "next version" (الإصدار التالي). دفع تأسيس الشركة المؤسسين المشاركين إلى مراجعة جميع الكلمات التي تحتوي على هذين الحرفين. في إحدى المراحل، أراد المؤسسون المشاركون تسمية الشركة NVision، لكن شركة مصنعة لورق التواليت كانت قد استخدمت هذا الاسم بالفعل. اقترح هوانغ اسم NVIDIA من "invidia"، الكلمة اللاتينية التي تعني "الحسد".

بالانتقال سريعًا إلى عام 2024. تعد وحدات معالجة الرسوميات من NVIDIA القوة الدافعة لمعظم الأبحاث وخلق القيمة باستخدام نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي التوليدي (GenAI). في ربع معين، حققت NVIDIA إيرادات تجاوزت 25 مليار دولار، وأصبحت وحدات معالجة الرسوميات من NVIDIA ذات قيمة كبيرة لدرجة أنها تُنقل في سيارات مصفحة إلى مراكز البيانات. هناك طلب كبير جدًا على وحدات معالجة الرسوميات من NVIDIA لدرجة أن المستخدمين الخارجيين والداخليين غالبًا ما يضطرون إلى الانتظار للحصول على أفضل الإصدارات.

الدافع: تحسين استغلال وحدات معالجة الرسوميات يساعد في تلبية الطلب الهائل عليها

نظرًا لمدى قيمة وحدة معالجة الرسوميات اليوم وكيف يتزايد الطلب عليها بشكل كبير، أنشأت NVIDIA فريقًا داخل الشركة بالأهداف التالية:

1. زيادة العائد على الاستثمار من مجموعات وحدات معالجة الرسوميات: تعظيم أداء واستغلال كل مجموعة من وحدات معالجة الرسوميات.
2. تلبية أسرع لطلبات وحدات معالجة الرسوميات: تحسين تجربة المستخدم وخلق القيمة من وحدات معالجة الرسوميات الحالية.

النهج التقليدي مع نماذج التعلم الآلي له قيود

تقليديًا، تم حل هذه المشكلة من خلال النظر إلى بيانات القياس عن بعد التاريخية واستخدام المعرفة المتخصصة لبناء نماذج التعلم الآلي التي تحسن أداء/استخدام العناقيد على أي محاور معينة.

المشكلة في هذا النهج هي أنه يتأثر بـ:

1. التحيزات البشرية: يقتصر على المحاور التي يمكن لفرق التطوير التفكير في تحسينها
2. غير قابل للتوسع: لا يتناسب مع عدد أنواع أعباء العمل، أو فئات المشكلات، أو أنواع العناقيد، حيث قد يتطلب كل منها تقنية التحسين الخاصة به!

يؤدي هذا إلى عدم استغلال العديد من وحدات معالجة الرسوميات (GPUs) بشكل كامل، وانتظار العديد من أعباء العمل، وتأجيل الكثير من الابتكارات، وعدم رضا العديد من الأشخاص.

نهج جديد تمامًا للتحسين باستخدام وكلاء نماذج اللغة الكبيرة (LLM Agents)

فكر الفريق في الاستفادة من نماذج اللغة الكبيرة (LLMs) لقدرتها على معالجة مجموعات البيانات الكبيرة واستنتاج إجراءات منطقية لتحسين وتوسيع نطاق تحسين وحدات معالجة الرسوميات (GPU). سيتطلب الحل ما يلي:

1. جمع البيانات: يجب جمع بيانات القياس عن بعد للعناقيد (استخدام وحدات معالجة الرسوميات، درجة الحرارة، أعباء العمل) من مراكز البيانات عبر المناطق الجغرافية ومقدمي الخدمات السحابية.
2. لوحة تحكم للمراقبة والتحليل: توفير طريقة سلسة للمشغلين لطرح الأسئلة وتحليل البيانات الواردة، ومراقبتها في الوقت الفعلي، وإنشاء تصورات مرئية
3. التحسين التلقائي: وكيل يراقب باستمرار يمكنه معالجة البيانات واتخاذ إجراءات لتحسين أعباء عمل العناقيد واستغلال الموارد.

أراد فريق NVIDIA أن يساعد نظام وكيل نماذج اللغة الكبيرة (LLM Agent) الخبراء المتخصصين والمشغلين على توليد رؤى قابلة للتنفيذ من خلال السماح لهم بطرح أسئلة ذات صلة بالمجال. يجب أن يكون وكيل نماذج اللغة الكبيرة (LLM Agent) قادرًا على القيام بجميع عمليات معالجة البيانات وتنفيذ التعليمات البرمجية وبناء النماذج اللازمة للحصول على هذه الرؤى. يمكن للمستخدمين طرح أسئلة مجردة مثل:

• ماذا يمكنك أن تخبرني عن المهام الملغاة؟ كيف تختلف عن تلك التي طلب المستخدم إنهاءها؟ لماذا؟
• ما هي الفرق التي تواجه أكبر المشكلات مع وحدات معالجة الرسوميات (GPUs)؟ هل هناك أي سمات مشتركة؟
• هل توجد أي حالات شاذة أخرى في هذه البيانات التي تجدها غير عادية؟ إذا كان الأمر كذلك، يرجى توضيح السبب.

الحل: توصل فريق NVIDIA إلى نهج جديد قائم على وكلاء متعددين

توصل فريق عملاء المراقبة الذاتية في NVIDIA إلى نهج فريد لحل هذه المشكلة، حيث قرروا أتمتة هذا التحسين باستخدام عملاء الذكاء الاصطناعي القادرين على:

1. يؤدي كل منهم مجموعة محددة من المهام
2. يتواصلون مع بعضهم البعض
3. بناء التحليلات ونماذج التعلم الآلي
4. تشغيل المحاكاة
5. وضع استراتيجيات لتحسين استخدام وحدة معالجة الرسوميات (GPU)

يمكن عرض هذه الاستراتيجيات للمستخدم النهائي من خلال تطبيق يسمى Llo11yPop، والذي يسمح لهم بطرح أسئلة مجردة وترك النموذج يقوم بالتنسيق الكامل!

التحدي: تطلب تحقيق الرؤية عددًا كبيرًا من عمليات التنسيق الهندسية

تطلبت هذه المشكلة الطموحة من فريق NVIDIA بناء نماذج أساسية مخصصة، وضبط النماذج اللغوية الصغيرة (SLMs)، وتطوير عملاء متخصصين، وأتمتة الحوسبة الموزعة عبر مصادر بيانات متنوعة، وتشغيل أعباء العمل في المواقع المحلية ومقدمي الخدمات السحابية. بعض التحديات الهندسية لبناء مثل هذا النظام هي:

• إدارة البيئات الهجينة وعبر السحابة: توجد وحدات معالجة الرسوميات هذه في جميع مراكز البيانات المحلية والسحابية المختلفة حول العالم.
• التبديل السلس بين النماذج: لاستخدام النموذج الأنسب بناءً على نوع الاستعلام الوارد أو المهمة المطروحة لنظام العميل
• بناء العملاء واختبار الأداء: للسماح بالاتصال السلس بين العملاء، وتوجيه الطلبات إلى العملاء المعنيين، واختبار أداء معماريات العملاء المختلفة.

قرر الفريق استخدام منصة TrueFoundry لحل هذه التحديات الهندسية وتوفير مجموعة الأدوات اللازمة للتدريب المسبق للنماذج، والضبط الدقيق، ونشر العملاء، والمزيد. أراد الفريق التركيز فقط على حل مشكلة العمل وتطوير الحل الأكثر كفاءة.

المكدس التقني: حلت TrueFoundry التحديات الهندسية، وبدأ الفريق في التسليم في غضون 6 أسابيع!

"تمكنا بسهولة من تبديل النماذج حسب حالة الاستخدام، ومع إصدار نماذج جديدة، ساعدنا هذا الوتيرة السريعة للتجريب في تسليم إثبات مفهوم (PoC) عامل في غضون 6 أسابيع فقط"، آرون

أدرك فريق NVIDIA مبكرًا أنه لحل مشكلة معقدة مثل المذكورة أعلاه؛ كانوا بحاجة إلى معالجة التحديات بشكل مباشر في بداية المشروع. وهذا سيمكن من التكرارات السريعة ويدعم بسرعة مصادر البيانات المختلفة، والعملاء، وشخصيات المستخدمين، وأنواع الأسئلة. لقد استغلوا منصة TrueFoundry لبناء مكدس GenAI شامل.

تأثير المشروع

يبدو الطلب على وحدات معالجة الرسوميات (GPUs) من NVIDIA بلا حدود تقريبًا في ثورة الذكاء الاصطناعي. يؤثر هذا الحل على استخدام أساطيل وحدات معالجة الرسوميات هذه واستبدالها بشكل أسرع، مما يمكّن NVIDIA من توفير هذه الموارد لعدد أكبر من العملاء والباحثين. كل زيادة بنسبة مئوية في قدرة خدمة العملاء تترجم إلى تأثير بمئات الملايين من الدولارات على النطاق الذي تعمل به NVIDIA.

نظرًا لأن هذا المشروع يؤثر على نسبة الاستخدام والإنتاج الذي يمكن استخلاصه من أسطولهم الكامل من مجموعات وحدات معالجة الرسوميات (GPU)، فإن كل نسبة مئوية أو جزء منها يترجم إلى تأثير بمئات الملايين من الدولارات. حتى التحسينات الصغيرة في الاستخدام تمكّن الفريق من خدمة عملاء جدد، مما يؤدي إلى أعمال جديدة صافية للشركة. لقد حالفنا الحظ بالتعاون مع الفريق في مشروع مؤثر في مثل هذا الوقت التحولي لهذا المجال.