بناء أنظمة الذكاء الاصطناعي المركبة باستخدام TrueFoundry و Mongo DB

يتطور عالم الذكاء الاصطناعي (AI) بسرعة، متجاوزًا النماذج المعزولة إلى أنظمة مترابطة تحل المشكلات المعقدة ومتعددة الأوجه بشكل تعاوني. نظام الذكاء الاصطناعي المركب يُعرّف بأنه نظام يعالج مهام الذكاء الاصطناعي باستخدام مكونات متعددة ومتفاعلة، والتي يمكن أن تشمل نماذج ذكاء اصطناعي متنوعة، وآليات استرجاع البيانات، وأدوات خارجية. تعمل هذه المكونات بشكل تعاوني لتحقيق أهداف محددة، مما يتيح اتباع نهج أكثر دقة وفعالية في حل المشكلات.

تشمل الأمثلة الشائعة للأنظمة المركبة:

• التوليد المعزز بالاسترجاع (RAG): يجمع هذا الإعداد بين نموذج توليدي ومكون استرجاع لإنتاج استجابات تستند إلى مصادر بيانات محددة.
• النماذج المتسلسلة: يتم ربط نماذج متعددة بالتسلسل، حيث يكون مخرج أحد النماذج بمثابة مدخل لنموذج آخر، مما يعزز القدرة الكلية للنظام.

يؤكد مبدأ التصميم هذا، الذي تتبناه مؤسسات مثل مختبر بيركلي لأبحاث الذكاء الاصطناعي (BAIR)، على أهمية بنية النظام في معالجة مهام الذكاء الاصطناعي المعقدة. فبدلاً من الاعتماد فقط على النماذج الكبيرة والمتجانسة، تستفيد أنظمة الذكاء الاصطناعي المركبة من مكونات متخصصة متنوعة لتعزيز الأداء والمرونة والقدرة على التكيف.

التحول إلى التفكير المنظومي

مقطع فيديو حديث من جامعة ستانفورد أوضح  تطور التوسع في الذكاء الاصطناعي عبر عصور مختلفة، مع التركيز على كيفية تحول التركيز من التطوير المرتكز على النموذج إلى التكامل على مستوى النظام

توسيع نطاق التدريب غير الخاضع للإشراف (2020–) - بدأ هذا بإطلاق GPT-3، الذي أظهر قوة التدريب غير الخاضع للإشراف على نطاق واسع. يتضمن التدريب غير الخاضع للإشراف تعريض النماذج لكميات هائلة من البيانات غير المهيكلة، مثل النصوص من الإنترنت، للسماح لها بتعميم الأنماط دون الحاجة إلى تسميات مهام محددة.

توسيع نطاق الضبط الدقيق بالتعليمات (2022–) - تميز هذا العصر بتقديم تطبيقات مثل ChatGPT، التي استخدمت الضبط بالتعليمات وتقنيات الضبط الدقيق. يتضمن الضبط الدقيق الموجه توفير أزواج من المدخلات والمخرجات (مثل مجموعات بيانات الأسئلة والأجوبة) لتعديل النماذج المدربة مسبقًا لمهارات محددة.

توسيع نطاق المعالجة في وقت الاستدلال (2024–) - يشير هذا إلى الابتكارات التي تهدف إلى تحسين استخدام نماذج الذكاء الاصطناعي في الوقت الفعلي أثناء الاستدلال. ويركز على تعزيز الكفاءة وأوقات الاستجابة والقدرة على التكيف من خلال الاستدلال متعدد الخطوات، والتوجيه "المتسلسل للتفكير"، وتحسين الذاكرة، إلخ.

توسيع نطاق الأنظمة (2025–) - الانتقال إلى ما هو أبعد من نماذج اللغة الكبيرة (LLMs) نحو الأنظمة المركبة، والتحول من النماذج المستقلة إلى أنظمة متكاملة تجمع بين النماذج والأدوات وواجهات برمجة التطبيقات والبنية التحتية.

تحديات بناء أنظمة الذكاء الاصطناعي المركبة؟

تحديات البنية التحتية

تتطلب أنظمة الذكاء الاصطناعي المركبة القدرة السلسة على التبديل بين وحدات معالجة الرسوميات (GPUs) ووحدات المعالجة المركزية (CPUs) وغيرها من الأجهزة المتخصصة بناءً على الاحتياجات المحددة لكل مكون. على سبيل المثال، قد يتطلب نموذج الرؤية تسريعًا بواسطة وحدة معالجة الرسوميات (GPU)، بينما قد يعتمد استعلام قاعدة البيانات على كفاءة وحدة المعالجة المركزية (CPU). يعد تحديد التكوينات المثلى للموارد لكل عبء عمل وتكييف البنية التحتية ديناميكيًا مع تطور الاحتياجات أمرًا بالغ الأهمية. تضمن المراقبة المنتظمة والضبط الدقيق للبنية التحتية أن يعمل النظام بكفاءة وفعالية من حيث التكلفة، حتى مع تغير أعباء العمل أو متطلبات النموذج.

لضمان توسيع نطاق أنظمة الذكاء الاصطناعي المركبة بكفاءة، يتطلب الأمر تطبيق آليات التوسع التلقائي التي تخصص الموارد ديناميكيًا بناءً على متطلبات عبء العمل. يتضمن ذلك مراقبة استخدام النظام، مثل وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسوميات (GPU) والذاكرة وعرض النطاق الترددي للشبكة، للتنبؤ بالتغيرات والاستجابة لها في الوقت الفعلي.

التكاليف الباهظة

يؤدي تشغيل نماذج ذكاء اصطناعي متعددة في وقت واحد، خاصة في الوقت الفعلي، إلى ارتفاع تكاليف الحوسبة والتخزين والسحابة. يعد إنشاء بنية تحتية تمكن من اكتشاف أوجه القصور في الموارد وتدعم التبديل السلس بين التكوينات أمرًا ضروريًا. يضمن الاستفادة من استراتيجيات مثل الحوسبة الفورية (spot compute) ووحدات معالجة الرسوميات الجزئية (fractional GPUs) والتوسع التلقائي (auto-scaling) فعالية التكلفة مع الحفاظ على الأداء الأمثل.

التكامل مع البنية التحتية الحالية

غالبًا ما تتكون البنى التحتية الحديثة من معماريات موزعة للغاية، وبيئات متعددة السحابات، وأدوات متخصصة مصممة لسير عمل محددة. هذه الإعدادات، على الرغم من تقدمها، تُدخل تعقيدات عند إضافة مكونات ذكاء اصطناعي جديدة يجب أن تعمل بتناغم ضمن نظام بيئي معقد بالفعل.

تجربة أسرع
تعد التجربة الأسرع عامل تمكين حاسم لنجاح أنظمة الذكاء الاصطناعي المركبة، مما يسمح للفرق بالتكرار بسرعة واختبار الأفكار الجديدة وتحسين الأداء.

تتيح البنية المعيارية للفرق تبديل النماذج أو تعديل خطوط الأنابيب أو دمج خوارزميات جديدة بأقل قدر من التعطيل.الأتمتة تلعب أيضًا دورًا مهمًا، حيث تضمن أدوات مثل خطوط أنابيب CI/CD النشر والاختبار السلس للمكونات المحدثة.

لماذا تستخدم TrueFoundry و MongoDB لتطبيقات الذكاء الاصطناعي المركبة؟

اقرأ مقالنا مدونة مفصلة حول كيفية دمج TrueFoundry مع MongoDB.

MongoDB

تسريع وقت الوصول إلى السوق باستخدام MongoDB Atlas
البحث المتجه الأصلي في MongoDB تعمل الإمكانيات على تبسيط تنفيذ مهام سير عمل التوليد المعزز بالاسترجاع (RAG) المتطورة عن طريق تضمين البحث المتجه داخل قاعدة بيانات تشغيلية. وهذا يلغي الحاجة إلى قواعد بيانات متجهة منفصلة، مما يقلل من تعقيد البنية التحتية ويمكّن من النشر بشكل أسرع.

التكرار السريع بمرونة
يتميز نموذج بيانات MongoDB المستند إلى المستندات بمرونة جوهرية، مما يجعله مثاليًا لتخزين أنواع البيانات متعددة الوسائط مثل النصوص والصور وتضمينات المتجهات. يمكن للمطورين إضافة أنواع بيانات جديدة دون توقف أو إعادة تصميم للمخطط، مما يتيح ضبطًا وتحسينًا وتكرارًا أسرع للتطبيقات المدعومة بالذكاء الاصطناعي التوليدي.

قابلية التوسع والأمان الجاهزة للمؤسسات
يوفر MongoDB Atlas تحملًا للأخطاء على مستوى المؤسسات، وتوسعًا أفقيًا، وميزات آمنة افتراضيًا مثل التشفير القابل للاستعلام. تدعم بنيته السحابية المدارة بالكامل واللاخادمية التوسع المرن والتسعير القائم على الاستهلاك، مما يضمن عمليات فعالة من حيث التكلفة حتى لأكثر أعباء العمل تطلبًا.

TrueFoundry

• التشغيل على أي سحابة/محلية/هجينة
  يوفر TrueFoundry المرونة للنشر على أي سحابة، أو بنية تحتية محلية، أو بيئات هجينة، متكيفًا مع احتياجاتك الخاصة.
• التوسع التلقائي فائق السرعة والتوسع إلى الصفر
  قم بتوسيع الموارد تلقائيًا أثناء ذروة الطلب وتقليصها إلى الصفر عند عدم الاستخدام، مما يضمن كفاءة التكلفة دون المساس بالأداء.
• الطيار الآلي للتحسين المدفوع بالذكاء الاصطناعي
  استغل التوصيات المستندة إلى الذكاء الاصطناعي لأتمتة تحسين البنية التحتية، مما يحسن الأداء ويقلل من التكاليف التشغيلية.

• التبديل بين أي جهاز
  يمكنك التبديل بسهولة بين وحدات معالجة الرسوميات (GPUs) ووحدات معالجة الموترات (TPUs) وAWS Inferentia، أو دمج مسرعات مخصصة في يوم واحد فقط لتحقيق مرونة الأجهزة.
• بناء Docker أسرع
  حسّن سير عمل التطوير من خلال عمليات بناء Docker المُسرّعة، مما يقلل أوقات التكرار ويسرّع عمليات النشر.
• أفضل ممارسات هندسة البرمجيات المضمنة
  تضمن ميزات مثل مسارات CI/CD، وإدارة الأسرار، وسير عمل الترقية عمليات نشر آمنة وموثوقة وقابلة للتطوير.
• أدوات تحسين التكلفة
  استخدم وحدات معالجة الرسوميات الجزئية، والمثيلات الفورية، ومقاييس الاستخدام لتحسين التكاليف مع زيادة كفاءة الموارد.
• إدارة شاملة لدورة حياة الذكاء الاصطناعي
  TrueFoundry يبسّط دورة حياة تطوير الذكاء الاصطناعي بأكملها
  • ‍نشر النماذج: سير عمل مبسط لنشر النماذج في بيئات الإنتاج بتكوينات موارد مثالية.‍
  • الضبط الدقيق: إمكانيات مدمجة للضبط الدقيق الفعال للنماذج المدربة مسبقًا لتتكيف مع مهام محددة.‍
  • بوابة الذكاء الاصطناعي: وصول مركزي إلى العديد من النماذج المستضافة ذاتيًا والتجارية مع المصادقة والمراقبة وتحديد المعدل.‍
  • قوالب التطبيقات: أطر عمل جاهزة للاستخدام لبناء وكلاء الذكاء الاصطناعي، وأنظمة الاسترجاع، وسير العمل المخصصة.