Blank white background with no objects or features visible.

تعلن TrueFoundry عن استحواذها على Seldon AI، موسعة بذلك لوحة التحكم الخاصة بها للذكاء الاصطناعي للمؤسسات. البيان الصحفي الكامل →

دراسة حالة

لا أحد يستطيع مواكبة الطلب المتزايد بشكل كبير على وحدات معالجة الرسوميات (GPUs). لزيادة استخدام أسطولهم من وحدات معالجة الرسوميات (GPUs) وخدمة المزيد من العملاء، قام الفريق ببناء نظام نماذج لغة كبيرة (LLM) متعدد الوكلاء لأتمتة تحسين المجموعات. استخدم الفريق TrueFoundry لحل تحديات إدارة السحابة الهجينة/المتعددة، وتبديل النماذج، وتطوير ونشر وكلاء نماذج اللغة الكبيرة (LLM).

ملخص

NVIDIA هي المورد الرائد عالميًا لوحدات معالجة الرسوميات (GPUs). مع طلب غير مسبوق على وحدات معالجة الرسوميات (GPUs) عالميًا، أراد الفريق تحسين أداء واستخدام مجموعات وحدات معالجة الرسوميات (GPU) في مراكز البيانات. سيساعدهم هذا الحل في توفير وحدات معالجة الرسوميات (GPUs) لعدد أكبر من العملاء وتحسين تجربة المستخدم عن طريق تقليل وقت التأخير بين طلبات وحدات معالجة الرسوميات (GPU) وتلبيتها.

الحل الذي تم ابتكاره كان نظام ذكاء اصطناعي يعالج جميع بيانات القياس عن بعد لوحدات معالجة الرسوميات (GPU) (الاستخدام، استهلاك الطاقة، استخدام الذاكرة، الأخطاء، إلخ.) التي يتم جمعها في الوقت الفعلي من مجموعاتهم، ويصنف وحدات معالجة الرسوميات (GPUs) بناءً على استخدامها، ويقترح خطوات لتحسين أعباء العمل.


قام الفريق ببناء ونشر نظام محادثة جديد متعدد الوكلاء ونماذج لغة كبيرة (LLMs) خاصة بالمجال على منصة TrueFoundry. قام الوكلاء ببناء نماذج تعلم آلة وخوارزميات تحسين باستخدام بيانات القياس عن بعد لتحسين استخدام وحدات معالجة الرسوميات (GPU)!

NVIDIA مرادفة للذكاء الاصطناعي اليوم

تعد NVIDIA اليوم واحدة من أكثر الشركات قيمة في العالم وسط حمى الذهب للذكاء الاصطناعي. تأسست عام 1993 لبناء حوسبة معجلة تحل التحديات الخاصة بالألعاب وحالات الاستخدام الأخرى التي لم تتمكن الحوسبة للأغراض العامة من حلها.

قصة تسمية NVIDIA مضحكة! قبل أن يكون للشركة اسم، أطلق المؤسسون المشاركون على جميع ملفاتهم اسم NV، اختصارًا لـ "الإصدار التالي". دفع تأسيس الشركة المؤسسين المشاركين إلى مراجعة جميع الكلمات التي تحتوي على هذين الحرفين. في إحدى المراحل، أراد المؤسسون المشاركون تسمية الشركة NVision، لكن شركة مصنعة لورق التواليت كانت قد استخدمت هذا الاسم بالفعل. اقترح هوانغ اسم NVIDIA من كلمة "invidia" اللاتينية التي تعني "الحسد".

بالانتقال سريعًا إلى عام 2024. تعد وحدات معالجة الرسوميات (GPUs) من NVIDIA هي القوة الدافعة لمعظم الأبحاث وخلق القيمة باستخدام نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي التوليدي (GenAI). في ربع معين، حققت NVIDIA إيرادات تزيد عن 25 مليار دولار، وأصبحت وحدات معالجة الرسوميات (GPUs) من NVIDIA ذات قيمة كبيرة لدرجة أنها تُنقل في سيارات مصفحة إلى مراكز البيانات. هناك طلب كبير على وحدات معالجة الرسوميات (GPUs) من NVIDIA لدرجة أن المستخدمين الخارجيين والداخليين غالبًا ما يضطرون إلى الانتظار للحصول على أفضل الإصدارات.

الدافع: تحسين استخدام وحدات معالجة الرسوميات (GPU) يساعد في تلبية الطلب الهائل عليها

نظرًا لقيمة وحدة معالجة الرسوميات (GPU) اليوم وكيف يتزايد الطلب عليها بشكل كبير، أنشأت NVIDIA فريقًا داخل الشركة بالأهداف التالية:

زيادة العائد على الاستثمار من مجموعات وحدات معالجة الرسوميات (GPU)

زيادة الأداء والاستخدام إلى أقصى حد لكل مجموعة وحدات معالجة رسوميات (GPU)

تلبية أسرع لطلبات وحدات معالجة الرسوميات (GPU)

تحسين تجربة المستخدم وخلق القيمة من وحدات معالجة الرسوميات (GPUs) الحالية.

النهج التقليدي مع نماذج تعلم الآلة له قيود

تقليديًا، تم حل هذه المشكلة من خلال النظر إلى بيانات القياس عن بعد التاريخية واستخدام المعرفة المتخصصة لبناء نماذج تعلم آلة تعمل على تحسين أداء/استخدام المجموعات على أي محاور معينة.


تكمن مشكلة هذا النهج في أنه يتأثر بـ:

  1. التحيزات البشرية: محدودة بالمحاور التي يمكن لفرق التطوير التفكير في تحسينها
  2. غير قابل للتوسع: لا يتوسع مع عدد أنواع أعباء العمل، أو فئات المشكلات، أو أنواع المجموعات، حيث قد يتطلب كل منها تقنية تحسين خاصة به!

يؤدي هذا إلى عدم استغلال العديد من وحدات معالجة الرسوميات بشكل كامل، وانتظار العديد من أعباء العمل، وتأجيل الكثير من الابتكارات، وعدم رضا العديد من البشر.

نهج جديد تمامًا للتحسين باستخدام وكلاء نماذج اللغة الكبيرة (LLM)

فكر الفريق في الاستفادة من نماذج اللغة الكبيرة (LLMs) لقدرتها على معالجة مجموعات البيانات الكبيرة واستنتاج إجراءات منطقية لتحسين وتوسيع نطاق تحسين وحدات معالجة الرسوميات. سيتطلب الحل ما يلي:


  1. جمع البيانات: يجب جمع بيانات القياس عن بعد للمجموعات (استخدام وحدات معالجة الرسوميات، درجة الحرارة، أعباء العمل) من مراكز البيانات عبر المناطق الجغرافية ومقدمي الخدمات السحابية.
  2. لوحة معلومات المراقبة والتحليل: توفير طريقة سلسة للمشغلين لطرح الأسئلة وتحليل البيانات الواردة، ومراقبتها في الوقت الفعلي، وإنشاء تصورات
  3. التحسين التلقائي: وكيل مراقبة مستمر يمكنه معالجة البيانات واتخاذ إجراءات لتحسين أعباء عمل المجموعات واستخدام الموارد.
Telemetry data workflow with human validation and LLM agent analysis for cluster optimization process steps.
النهج الذي ابتكره فريق NVIDIA لنظام أتمتة تحسين المجموعات

يجب أن يكون الوكيل قادرًا على الاستفادة من معرفة خبراء المجال

أراد فريق NVIDIA أن يساعد نظام وكيل LLM الخبراء والمشغلين في المجال على توليد رؤى قابلة للتنفيذ من خلال السماح لهم بطرح أسئلة ذات صلة بالمجال. يجب أن يكون وكيل LLM قادرًا على القيام بجميع عمليات معالجة البيانات وتنفيذ التعليمات البرمجية وبناء النماذج اللازمة للحصول على هذه الرؤى. يمكن للمستخدمين طرح أسئلة مجردة مثل:

الحل: ابتكر فريق NVIDIA نهجًا جديدًا قائمًا على وكلاء متعددين

ابتكر فريق وكلاء المراقبة الذاتية في NVIDIA نهجًا فريدًا لحل هذه المشكلة، حيث قرروا أتمتة هذا التحسين باستخدام وكلاء الذكاء الاصطناعي القادرين على:


  1. يؤدي كل منها مجموعة محددة من المهام
  2. التواصل فيما بينها
  3. بناء تحليلات ونماذج تعلم آلي
  4. إجراء المحاكاة
  5. وضع استراتيجيات لتحسين استخدام وحدات معالجة الرسوميات/

يمكن عرض هذه الاستراتيجيات للمستخدم النهائي من خلال تطبيق يسمى Llo11yPop والذي يسمح لهم بطرح أسئلة مجردة وترك النموذج يقوم بالتنسيق الكامل!

Data pipeline architecture with agents, memory optimization, and modeling for internal ML models and optimization.
بنية نظام النماذج اللغوية الكبيرة متعدد الوكلاء

التحدي: تطلب تحقيق الرؤية عددًا كبيرًا من التنسيقات الهندسية.

تطلبت هذه المشكلة الطموحة من فريق NVIDIA بناء نماذج أساسية مخصصة، وضبط النماذج اللغوية الصغيرة (SLMs)، وتطوير وكلاء متخصصين، وأتمتة الحوسبة الموزعة عبر مصادر بيانات متنوعة، وتشغيل أعباء العمل في المواقع المحلية ومقدمي الخدمات السحابية. بعض التحديات الهندسية لبناء مثل هذا النظام هي:


قرر الفريق استخدام منصة TrueFoundry لحل هذه التحديات الهندسية وتوفير مجموعة الأدوات اللازمة للتدريب المسبق للنماذج، والضبط الدقيق، ونشر الوكلاء، والمزيد. أراد الفريق التركيز فقط على حل مشكلة العمل وتطوير الحل الأكثر كفاءة.

المكدس التقني: مع قيام منصة TrueFoundry بحل التحديات الهندسية، بدأ فريق NVIDIA في الإطلاق في غضون 6 أسابيع!

Opening quotation mark decorative icon
تمكنا بسهولة من تبديل النماذج حسب حالة الاستخدام، ومع إصدار نماذج جديدة، ساعدنا هذا الوتيرة السريعة للتجارب على إطلاق إثبات مفهوم (PoC) عامل في 6 أسابيع فقط
Blank white background with no visible objects or features present in the empty space.

آرون إريكسون

مدير هندسي أول
فريق المراقبة الذاتية، NVIDIA

أدرك فريق NVIDIA مبكرًا أنه لحل مشكلة معقدة مثل المذكورة أعلاه؛ كانوا بحاجة إلى معالجة التحديات بشكل مباشر في بداية المشروع. وهذا سيمكن من التكرارات السريعة ويدعم بسرعة مصادر البيانات المختلفة، والوكلاء، وشخصيات المستخدمين، وأنواع الأسئلة. لقد استغلوا منصة TrueFoundry لبناء حزمة شاملة للذكاء الاصطناعي التوليدي (GenAI).

Central API Gateway with LLM deployment, backend and DB components, and agent playground architecture diagram.
البنية التحتية للذكاء الاصطناعي التوليدي المدعومة من TrueFoundry

تأثير المشروع

الطلب على وحدات معالجة الرسوميات (GPUs) من NVIDIA يكاد يكون بلا حدود في ثورة الذكاء الاصطناعي. يؤثر هذا الحل على استخدام أساطيل وحدات معالجة الرسوميات هذه واستبدالها بشكل أسرع، مما يمكّن NVIDIA من توفير هذه الموارد لعدد أكبر بكثير من العملاء، وبسرعة أكبر بكثير. كل نسبة مئوية أو جزء منها يترجم إلى تأثير تجاري كبير. حتى التحسينات الطفيفة في الاستخدام تمكّن الفريق من خدمة عملاء جدد، مما يؤدي إلى أعمال جديدة صافية للشركة. لقد حالف الحظ فريق TrueFoundry للتعاون مع فريق NVIDIA في مشروع مؤثر في مثل هذا الوقت التحولي لهذا المجال.

Purple gradient background with curved lines on gray, rounded rectangle with subtle design elements.

بنية الذكاء الاصطناعي التوليدي - بسيطة، أسرع، وأقل تكلفة

موثوق بها من قبل شركات فورتشن 100 والشركات الناشئة على حد سواء