محادثات True ML #10 - نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي التوليدي (GenAI) مع مدير الهندسة في Meta

نعود إليكم بحلقة جديدة من True ML Talks. في هذه الحلقة، نتعمق في نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي التوليدي (Generative AI)، ونتحدث مع أنانت.

أنانت قائد هندسي. يشغل حاليًا منصب مدير هندسة في ميتا، ويعمل على بعض تجارب منتجات النظارات الذكية. بدأ مسيرته كمساهم في المصادر المفتوحة وشغل أدوارًا رئيسية في كل من الشركات الناشئة وعمالقة التكنولوجيا. في موزيلا، ساعد في تحديد وتطبيق WebRTC من بين تقنيات المتصفح الأخرى. كما كان مهندسًا مبكرًا في Firebase، وأول مهندس في Ozlo.

📌

ستغطي محادثاتنا مع أنانت الجوانب التالية:
- الضبط الدقيق لـ Stable Diffusion
- بناء التضمينات (Embeddings) لـ Hacker News
- النقاش حول الاستدامة طويلة الأمد
- الحاجة إلى تحسين تتبع التجارب والوثائق المتاحة في LLMOps
- قوة وإمكانات إضافات OpenAI
- قوة نماذج اللغة في سير عمل الاستعادة وتكييف الإضافات

تحدث أنانت إلينا بصفته الشخصية وآراؤه لا تمثل آراء المنظمة (ميتا) التي ينتمي إليها.

شاهد الحلقة الكاملة أدناه:

ملاحظات رئيسية من تجارب أنانت:

LoRA: تقنية مثيرة للاهتمام في الضبط الدقيق لنماذج اللغة الكبيرة.

1. إمكانية الوصول إلى LoRA: مقارنة بتقنيات أخرى مثل Dreambooth، تعتبر LoRA أكثر سهولة في الوصول وتتضمن إضافة بضع طبقات إلى نموذج مدرب مسبقًا دون تغيير أوزانه.
2. فعالية التكلفة والبساطة: LoRA فعال من حيث التكلفة ويمكن استخدامه من قبل الأفراد غير التقنيين عبر منصات مثل Google Colab. تتيح بساطته التكرار السريع والتجريب.
3. الإمكانات في النصوص والصور: بينما طُبّق في البداية على الصور، يجري استكشاف إمكانات LoRA في المهام المتعلقة بالنصوص.
4. مستقبل الضبط الدقيق: يُفضل LoRA على التقنيات التقليدية نظرًا لفعاليته من حيث التكلفة، وسهولة الوصول إليه، وتوافقه مع بطاقات الرسوميات القديمة.

بناء التضمينات لـ Hacker News: التحديات واختيار النموذج

1. فهم الأساسيات: اختر الحلول المناسبة بناءً على حجم المشروع ومتطلباته.
2. فهم التضمينات: التضمينات هي مجموعات من الأرقام العشرية، وقد أثبت تخزينها في قاعدة بيانات SQLite فعاليته.
3. اختيار النموذج: فُضّلت مكتبات التضمين مفتوحة المصدر على مزودي الخدمات السحابية. تم اختيار نموذج Instructor الكبير بناءً على المقارنة المعيارية والنماذج الأولية باستخدام MTEB من Hugging Face.
4. ابدأ من المبادئ الأولى: اكتسب فهمًا عميقًا للحل المختار وركز على متطلبات المشروع بدلاً من الضجيج.
5. التوسع عند الحاجة الواضحة: يجب أن يتم التوسع عندما يتماشى مع متطلب واضح.

النقاش حول الاستدامة طويلة الأمد: النماذج الكبيرة مقابل النماذج الأصغر والمُعدّلة بدقة

يدور أحد النقاشات الهامة في بيئة MLOps حول الاستدامة طويلة الأمد للنماذج الكبيرة المعممة مقابل النماذج الأصغر والمُعدّلة بدقة والمصممة خصيصًا لمجموعات بيانات أو حالات استخدام محددة. يستمد هذا النقاش رؤى من مذكرة مسربة تشير إلى إمكانية تحويل نماذج اللغة الكبيرة (LLMs) إلى سلع.

المذكرة المسربة، على الرغم من أنها ليست موقفًا رسميًا، تشير إلى شعور متزايد بأن نماذج اللغة الكبيرة (LLMs) من المرجح أن تصبح أكثر سهولة في الوصول إليها وقابلية للتكرار. وقد أثار هذا التطور حماسًا داخل المجتمع، خاصة بين ذوي الخلفية مفتوحة المصدر. لقد سهّلت التطورات الأخيرة تكرار نماذج اللغة الكبيرة، مما يعالج المخاوف السابقة بشأن الحصول على البيانات وتكاليف تدريب النماذج.

ساهمت مشاريع مثل RunwayML ونموذج الانتشار في حركة المصادر المفتوحة، مما أتاح إصدار النماذج على منصات مثل GitHub. هذا يضفي طابعًا ديمقراطيًا على الوصول إلى نماذج اللغات الكبيرة (LLMs)، مما يسمح للهواة والمخترقين بالاستكشاف والتجريب. وبينما ليست جميع نماذج اللغات الكبيرة مفتوحة المصدر، تتوفر خيارات مفتوحة المصدر مرخصة، مما يعزز مجموعة متنوعة من المساهمين.

يتم التأكيد على فوائد التطوير المفتوح والمشاركة الواسعة، حيث يمنع تركيز السلطة في أيدي عدد قليل من الكيانات. علاوة على ذلك، يوفر التطوير المفتوح الشفافية والأمان، مع الأخذ في الاعتبار العوامل العالمية والاهتمام المحتمل من الدول القومية.

توقعًا لتحول نماذج اللغات الكبيرة (LLMs) إلى سلع، يتم رسم مقارنة مع مشهد الحوسبة السحابية. سيتمتع المستخدمون بالمرونة في الاختيار بين مزودين مختلفين، على غرار خيارات الخدمات السحابية مثل AWS و Azure و Google Compute. وهذا يتيح منافسة صحية وابتكارًا داخل النظام البيئي.

يتناول النقاش أيضًا التفاعل بين النماذج الكبيرة والنماذج الأصغر التي تعمل على الأجهزة. لكلا النوعين مكانهما في نظام MLOps البيئي، حيث تتم العمليات الحسابية على طبقات متعددة. فبينما يمكن أداء المهام الأبسط بكفاءة على الأجهزة، يمكن تفريغ المهام الأكثر استهلاكًا للموارد إلى الخوادم. يعتمد اختيار النشر على حالة الاستخدام المحددة، ويتم الدعوة إلى نهج هجين، بدلاً من تفضيل جانب على الآخر.

سعيًا لتحقيق الاستدامة على المدى الطويل، يجب على مجتمع MLOps أن ينظر بعناية في الجدوى والمزايا للنماذج الكبيرة مقابل النماذج المضبوطة بدقة. إن تحقيق التوازن والاستفادة من نقاط القوة لكل نهج سيشكل مستقبل تطوير ونشر نماذج الذكاء الاصطناعي، مما يضمن التقدم المستمر في هذا المجال.

📌

مقارنة الأداء: نماذج اللغات الكبيرة مقابل الإصدارات الأصغر
جانب آخر نوقش داخل مجتمع MLOps هو مقارنة الأداء بين نماذج اللغات الكبيرة ونظيراتها الأصغر. تميل النماذج الكبيرة إلى التفوق في مهام مثل إنشاء المدونات أو القصائد، مما يظهر قدراتها الرائعة. ومع ذلك، غالبًا ما تكافح النماذج الأصغر لمضاهاة أدائها، خاصة عند التعامل مع مجموعات بيانات أصغر.
من المهم التدقيق في أساليب التقييم والاختبارات التي تدعم هذه الادعاءات لضمان مقارنات دقيقة. وبينما ندرك أنه قد توجد حالات استخدام مختلفة ومناهج تقييم متنوعة، فإن الفهم الشامل للقيود واختلافات الأداء بين النماذج الكبيرة والصغيرة أمر بالغ الأهمية.

الحاجة إلى تحسين تتبع التجارب والتوثيق المتاح في عمليات نماذج اللغات الكبيرة (LLMOps)

مع تقدم مجال التعلم الآلي، تتضح أهمية الأدوات القوية، بما في ذلك أطر عمل MLOps. ومع ذلك، مع صعود LLMOps (عمليات نماذج اللغات الكبيرة)، هناك حاجة محددة لأدوات مصممة خصيصًا لدعم المطورين الذين يعملون مع نماذج اللغات الكبيرة. في هذه المناقشة، ينصب التركيز على الدروس المستفادة والتوصيات المتعلقة بتتبع التجارب والتوثيق المتاح في LLMOps.

بالتفكير في رحلة التعلم، يتضح أن التوثيق الصحيح للتجارب أمر ضروري. في البداية، كان هناك نقص في التركيز على الاحتفاظ بمفكرة تدريب أو نظام تتبع منظم، مما أدى إلى تحديات أثناء التجارب. وعلى وجه الخصوص في مشروع الضبط الدقيق LoRA، أصبح التعامل مع العديد من المعاملات الفائقة (hyperparameters) أمرًا مرهقًا بدون نهج منهجي لتتبع القيم والمخرجات المقابلة.

إدراكًا لقيمة التوثيق الشامل، تتضح ضرورة وجود مفكرة تدريب موثوقة أو نظام تتبع متكامل. لسوء الحظ، كانت الحلول المتاحة بسهولة نادرة، مما شكل تحديًا في العثور على أداة مناسبة. ومع ذلك، أثبت اكتشاف Weights & Biases (wandb.ai)، وهي شركة ناشئة تقدم أدوات لتتبع التجارب وتصورها، أنه مفيد. عند التوصية بهذه الأدوات للآخرين، يُقر بأن دمجها في وقت مبكر من العملية كان من الممكن أن يحسن إدارة التجارب.

بالإضافة إلى ذلك، يتم التأكيد على أهمية التوثيق المتاح داخل مجتمع التعلم الآلي. فقد أدت المعلومات غير الكافية حول المعاملات الفائقة (hyperparameters) وتأثيراتها إلى إعاقة الفهم وعرقلة تحسين التجارب.

معالجة مخاوف أمان البيانات في MLOps: ضمان الخصوصية والثقة

يُعد أمان البيانات مصدر قلق بالغ الأهمية في مجال MLOps، مما يثير تساؤلات ويحفز المناقشات داخل المجتمع. في استكشاف لهذه القضية الحيوية، دعونا نتعمق في النهج الذي اتبعته Open AI، بالإضافة إلى المنظور الأوسع المحيط بخصوصية البيانات.

يُعتبر موقف Open AI بشأن خصوصية البيانات معقولاً، خاصة بالنسبة للمستهلكين الذين يستخدمون خدمات مثل ChatGPT. بالنظر إلى أن ChatGPT يُقدم كمنتج مجاني، يجد المستخدمون قيمة في المنصة، مما يبرر تبادل بياناتهم لتحسين النماذج. يُنظر إلى هذا على أنه مقايضة عادلة، حيث يساهم المستخدمون طواعية بمحادثاتهم لتحسين الخدمة، مع الأخذ في الاعتبار الطبيعة كثيفة الموارد لتشغيل مثل هذه المنصات.

بالنسبة لمشتركي ChatGPT Plus الذين يدفعون رسومًا شهرية، يتوفر خيار إلغاء الاشتراك في استخدام البيانات. ومع ذلك، يأتي هذا الخيار مع عواقب فقدان سجل المحادثات. ومع ذلك، وبالنظر إلى السعر المعقول للاشتراك والقيمة الهائلة المستمدة من الخدمة، يرى المستخدمون عمومًا أن هذه المقايضة معقولة. ويعبرون عن رضاهم عن الترتيب، مدركين أن بياناتهم تساهم في تحسين النموذج مع دعم التكلفة.

لدى الشركات التي تسعى للاستفادة من نماذج الذكاء الاصطناعي لحالات استخدام محددة متطلبات فريدة تتعلق بأمان البيانات. وقد اتخذت Open AI بالفعل خطوات لمعالجة هذه المخاوف من خلال الشراكات، مثل Secure Enclave من Microsoft Azure. توفر هذه التعاونات بيئات آمنة حيث تظل البيانات تحت سيطرة المؤسسة. بالإضافة إلى ذلك، تقدم شراكات مثل دمج Anthropic مع AWS Bedrock بيئات آمنة لتشغيل النماذج السحابية، مما يهدئ المخاوف بشأن مغادرة البيانات للمواقع. هذه التحركات الصناعية مهيأة لتقديم حلول مناسبة للشركات التي تركز على أمان البيانات.

يتطلب حل قضايا خصوصية البيانات وأمانها جهودًا جماعية من شركات مثل Open AI و Azure والجهات الفاعلة الرئيسية الأخرى. على سبيل المثال، تتمتع Google، بقدراتها الداخلية، بموقع جيد لمعالجة هذه المخاوف بفعالية. من المهم تبني منظور متوازن بشأن خصوصية البيانات، مع إدراك أن الشركات ذات السمعة الطيبة يمكنها بناء الثقة مع عملائها، الذين قد يكونون على استعداد لتبادل بعض الخصوصية مقابل القيمة التي توفرها خدمات الذكاء الاصطناعي.

قوة وإمكانات مكونات OpenAI الإضافية

تُعد مكونات OpenAI الإضافية تطورًا رائدًا يُظهر القوة والإمكانات الحقيقية لنماذج اللغة الاصطناعية. عند التعمق في مفهوم المكونات الإضافية، يتضح مدى روعتها في تمكين التفاعل مع النموذج دون الحاجة إلى كتابة تعليمات برمجية. بدلاً من ذلك، يتحول التركيز نحو الاستفادة من مهارات التواصل باللغة الإنجليزية لتوجيه النموذج بفعالية. يمكن أن يكون هذا الإدراك لحظة مذهلة للمطورين والأفراد غير التقنيين على حد سواء.

تتمحور المكونات الإضافية حول تقديم التعليمات لنموذج الذكاء الاصطناعي باللغة الإنجليزية، خاصة فيما يتعلق بأوصاف واجهة برمجة التطبيقات (API) والمحفزات. من خلال إعداد مستند من صفحة واحدة يوضح مخطط واجهة برمجة التطبيقات ومواصفاتها، يمكن للمستخدمين توصيل متى وكيف يتم تشغيل المكون الإضافي الخاص بهم بفعالية. يؤكد هذا على أهمية مهارات اللغة الإنجليزية القوية في تسخير قدرات ChatGPT.

لقد أدى هذا النهج المبتكر إلى مقارنات مع الأبحاث السابقة، مثل ورقة Toolformer، مما يسلط الضوء على أن مشاكل مماثلة قد تم استكشافها في الماضي. ومع ذلك، تُظهر نماذج لغة OpenAI، وخاصة ChatGPT، تقدمًا كبيرًا في الجودة والأداء مقارنة بالنماذج مفتوحة المصدر الحالية.

ينبع التفاوت في الجودة بشكل أساسي من كفاءة نموذج اللغة الأساسي في المهام المتعلقة بالبرمجة. يتفوق ChatGPT في التعامل مع التعليمات المتعلقة بالتعليمات البرمجية، مما يترجم إلى قدرته على إرسال المكونات الإضافية واستخدامها بكفاءة. إنه يوضح الدور الحاسم لكفاءة النموذج الأساسي في مهام البرمجة عند تنفيذ المكونات الإضافية بفعالية.

بينما تحتل OpenAI حاليًا صدارة كبيرة من حيث الجودة، من الضروري منح النماذج مفتوحة المصدر وقتًا للحاق بالركب. يسعى مجتمع المصادر المفتوحة باستمرار لسد الفجوة وتعزيز قدرات نماذجه. حقيقة أن OpenAI تدرك إمكانات النماذج مفتوحة المصدر وتستكشف سبلًا مثل القدرات متعددة الوسائط أمر مشجع. تُبرز مقابلة سام ألتمان الأخيرة مع ليكس فريدمان منظور OpenAI، مما يشير إلى أن التركيز يتحول بعيدًا عن سباق المعلمات إلى العوامل المميزة.

مع تطور النماذج مفتوحة المصدر ووصولها إلى مستوى GPT-3.5 و 4، من المعقول توقع توفر وظائف المكونات الإضافية في الأطر مفتوحة المصدر أيضًا. يحمل التقدم في هذا المجال وعدًا للمستقبل، حيث يمكن للنماذج والمكونات الإضافية مفتوحة المصدر أن تحدث ثورة في طريقة تفاعل المطورين مع أنظمة الذكاء الاصطناعي.

قوة نماذج اللغة في آلية التعافي وتكييف المكونات الإضافية

لقد أدى صعود نماذج اللغة، مثل GPT من OpenAI، إلى وضع اللغة الإنجليزية في المقدمة كلغة برمجة جديدة بطرق عديدة. الاستفادة من اللغة الإنجليزية لتوجيه نماذج الذكاء الاصطناعي وتشغيل المكونات الإضافية قد فتحت آفاقًا جديدة للمطورين.

عندما يتعلق الأمر بالمكونات الإضافية، لا ينصب التركيز على الإدارة الدقيقة لاستخدامها بل على توجيه كيفية استخدامها بفعالية. من خلال تقديم تعليمات حول استخدام المكونات الإضافية، يمكّن المطورون نموذج الذكاء الاصطناعي من تحديد اللحظات المناسبة لتشغيل المكونات الإضافية. ومع ذلك، من المهم ملاحظة أن التنفيذ الحالي له قيود، مثل السماح بتمكين ثلاثة مكونات إضافية فقط في كل مرة وأخطاء عرضية في تشغيل المكونات الإضافية.

ومع ذلك، تكمن قوة نماذج اللغة في آلية التعافي الخاصة بها. حتى عندما لا يفهم النموذج أو يشغل مكونًا إضافيًا بشكل صحيح في البداية، تظل تجربة المستخدم إيجابية. على عكس المساعدات الصوتية التقليدية مثل أليكسا، حيث تتطلب أوامر صريحة ودقيقة، تقدم نماذج اللغة مثل ChatGPT تجربة مختلفة.

مع ChatGPT، إذا أخطأ النموذج الهدف، يمكن للمستخدمين بثقة تقديم تعليمات متابعة صريحة لتصحيح الخطأ. يخلق فهم النموذج واستجابته شعورًا بالثقة والتعاون. يشعر المستخدمون أن تعليماتهم سيتم الاعتراف بها واتباعها. إن قدرة نماذج اللغة على التعافي هي عامل تغيير جذري مقارنة بمساعدات الجيل الأقدم، التي غالبًا ما أدت إلى الإحباط وخيبة الأمل.

تكمن قوة نماذج اللغة، خاصة عند دمجها مع المكونات الإضافية، في قدرتها على التعافي من الأخطاء بسلاسة. يقدر المستخدمون اعتراف النموذج بالارتباك، والاعتذار المهذب، والرغبة في تصحيح الخطأ. هذا المستوى من التعافي والقدرة على التكيف لا مثيل له في تقنيات المساعدات السابقة، حتى مع التطورات في أنظمة الحوار متعددة الأدوار.

تتيح بنية نماذج اللغة مستوى استثنائيًا من التعافي، مما يجعلها منصة مثالية لدمج المكونات الإضافية. يعزز التكامل والتعاون السلس بين المطورين والنموذج تجربة المستخدم الشاملة. بينما يستكشف المطورون إمكانات المكونات الإضافية ضمن هذه البنية، فإن إمكانيات إنشاء أنظمة ذكاء اصطناعي ديناميكية وقابلة للتكيف واسعة النطاق.

مع كون نماذج اللغة بمثابة الأساس للتفاعلات المدعومة بالذكاء الاصطناعي، تصبح آلية التعافي وتكييف المكونات الإضافية مكونات أساسية في بناء أنظمة متقدمة وسهلة الاستخدام. إن الجمع بين فهم اللغة الطبيعية والاستجابة يضع نماذج اللغة كأدوات تحويلية في مشهد MLOps.

📌

شراء وحدات معالجة الرسوميات (GPUs) لعمليات تعلم الآلة (MLOps): التحديات والمشتريات الاندفاعية
يُعد الوصول إلى وحدات معالجة الرسوميات عالية الأداء عبر مزودي الخدمات السحابية أمرًا محبطًا للهواة، وتُشكل أولوية الشركات والالتزامات طويلة الأجل تحديات.
يستغرق الوصول إلى وحدات معالجة الرسوميات المستندة إلى السحابة وقتًا طويلاً للهواة الذين يحتاجون إلى وقت قصير لاستخدام وحدة معالجة الرسوميات. يُعد إعداد وحدة معالجة رسوميات شخصية أمرًا صعبًا، بما في ذلك التكوين اليدوي وإدارة التبعيات.
على الرغم من سهولة صور وحدات معالجة الرسوميات السحابية المُعدة مسبقًا، يُقدر أنانت التحكم والموثوقية التي توفرها وحدة معالجة الرسوميات الشخصية الخاصة به. بعد التغلب على التحديات، أثبت قراره بشراء وحدة معالجة رسوميات مخصصة أنه مفيد لعمليات تعلم الآلة (MLOps).

البقاء على اطلاع: نهج أنانت نارايانان لمواكبة التطورات الجديدة

• تويتر: استخدم تويتر كمركز معرفي لتحديثات الذكاء الاصطناعي. تابع الخبراء والمنظمات في مجتمع الذكاء الاصطناعي لاكتشاف التطورات الجديدة بسرعة والبقاء على اطلاع.
• البودكاست: استمع إلى بودكاست الصناعة للحصول على رؤى قيمة. تشمل البودكاست الموصى بها "Stratechery" لبن طومسون و"Dithering" الذي يستضيفه بن طومسون وجون غروبر. تغطي هذه البودكاست مجموعة واسعة من المواضيع المتعلقة بالتكنولوجيا، بما في ذلك تطورات الذكاء الاصطناعي.
• التفاعلات المباشرة: احضر الفعاليات والتجمعات الشخصية لاكتساب رؤى ووجهات نظر قيمة. ابحث عن قوائم الفعاليات الشاملة على منصات مثل cerebralvalley.ai. شارك في التفاعلات وجهًا لوجه، وشارك في الهاكاثونات، وتبادل الأفكار مع محترفين آخرين لتوسيع المعرفة وبناء علاقات هادفة.

اقرأ مدوناتنا السابقة في سلسلة True ML Talks:

‍

True ML Talks # 9 - Machine Learning Platform @ DoorDash

In this blog, we dive deep into Doordash’s Machine Learning Platform. Understand DoorDash’s ML architecture, how ML is used at DoorDash.

TrueFoundry Blog TrueFoundry

‍

استمر في مشاهدة سلسلة TrueML على يوتيوب وقراءة سلسلة مدونات TrueML ..

TrueFoundry هي منصة PaaS لنشر تعلم الآلة (ML Deployment PaaS) تعمل فوق Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، وضمان الأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق تعلم الآلة من نشر ومراقبة النماذج في 15 دقيقة بموثوقية 100% وقابلية للتوسع والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإطلاق النماذج إلى الإنتاج بشكل أسرع، مما يحقق قيمة تجارية حقيقية.