التوجيه (Prompting)، أو RAG، أو الضبط الدقيق (Fine-tuning) - أيها الخيار الصحيح؟

مقدمة

يُعد التلقين (Prompting) والضبط الدقيق (Fine-tuning) والتوليد المعزز بالاسترجاع (RAG) من أكثر تقنيات تعلم نماذج اللغة الكبيرة (LLM) شيوعًا. يتضمن اختيار التقنية المناسبة تقييمًا دقيقًا لمتطلبات مشروعك وموارده والنتائج المرجوة. 

في الأقسام التالية، سنتعمق في كل تقنية، ونناقش تفاصيلها وتطبيقاتها، وكيفية تحديد الأنسب لاحتياجاتك.

التلقين أو الضبط الدقيق أو RAG: اختيار النهج الصحيح

تحديد متطلبات مشروعك

الخطوة الأولى في الاختيار بين التلقين والضبط الدقيق وRAG هي فحص البيانات المتاحة لديك والمشكلة المحددة التي تهدف إلى حلها عن كثب. ضع في اعتبارك ما إذا كانت مهمتك تتضمن معرفة عامة، أو معلومات متخصصة، أو تتطلب بيانات حديثة من مصادر خارجية. كما أن تعقيد المشكلة، ونمط ونبرة المخرجات المطلوبة، ومستوى التخصيص اللازم هي عوامل حاسمة أيضًا.

إذا كنت تتعامل مع مواضيع متخصصة للغاية أو دقيقة، فقد يكون الضبط الدقيق أو RAG ضروريًا لتحقيق المستوى المطلوب من الدقة والملاءمة. من ناحية أخرى، إذا كان مشروعك يتضمن استفسارات أكثر عمومية أو إنشاء محتوى، فقد يكون التلقين كافيًا وأكثر فعالية من حيث التكلفة.

تقييم التكاليف المترتبة على كل نهج

يعتمد الاختيار بين التلقين والضبط الدقيق وRAG أيضًا على قيود الميزانية. يُعد التلقين عمومًا الأقل استهلاكًا للموارد، حيث يستخدم النموذج كما هو. يتطلب الضبط الدقيق بيانات إضافية وموارد حاسوبية للتدريب، مما يؤدي إلى تكاليف أعلى. يمكن أن يكون RAG كثيف الاستهلاك للموارد أيضًا، خاصة إذا كان يتضمن إعداد وصيانة قاعدة بيانات خارجية للاسترجاع.

وقت النشر ومتطلبات الموارد

ضع في اعتبارك مدى السرعة التي تحتاجها لنشر حلك والموارد المتاحة لديك. يتيح التلقين نشرًا سريعًا بأقل وقت إعداد. أما الضبط الدقيق، فبينما قد يقدم أداءً أفضل، يتطلب وقتًا للتدريب والتحسين. يتضمن RAG تعقيد دمج مصادر البيانات الخارجية، مما قد يمدد الجداول الزمنية للتطوير ويتطلب خبرة متخصصة.

‍

الشفافية وقابلية التفسير

يسهل RAG إسناد المصدر، مما يمكّن المستخدمين من تمييز مصدر المعلومات المستخدمة في توليد الاستجابة. بينما يعمل التلقين والضبط الدقيق كصندوق أسود، مما يجعل تتبع الاستجابات صعبًا. 

‍

متى تختار التلقين

السيناريوهات التي يكون فيها التلقين هو الخيار الأكثر فعالية

يُعد التلقين مثاليًا للمشاريع التي تتطلب حلولًا سريعة وفعالة من حيث التكلفة، ويمكنها الاعتماد على قاعدة المعرفة العامة للنماذج المدربة مسبقًا. يناسب تطبيقات مثل:

• إنشاء المحتوى العام: صياغة منشورات المدونات أو المقالات أو الكتابة الإبداعية حيث تكون النبرة والأسلوب مرنين.
• الإجابة على الأسئلة الأساسية: تزويد المستخدمين بمعلومات حول مجموعة واسعة من المواضيع دون الحاجة إلى خبرة عميقة في المجال.
• تطوير النماذج الأولية: إنشاء نماذج أولية بسرعة للتحقق من صحة الأفكار أو المفاهيم قبل الاستثمار في حلول أكثر تعقيدًا.

القيود والاعتبارات

في حين أن استخدام المطالبات سهل للغاية، إلا أنه قد لا يوفر دائمًا الدقة أو التخصيص المطلوب للمهام المتخصصة. يمكن أن تختلف جودة المخرجات بشكل كبير بناءً على تصميم المطالبة، مما يتطلب صياغة واختبارًا دقيقين.

متى تختار الضبط الدقيق (Fine-tuning)

المشاريع التي تستفيد من الضبط الدقيق

الضبط الدقيق هو الطريقة المفضلة عندما يتطلب مشروعك درجة عالية من التحديد أو يحتاج إلى التوافق بشكل وثيق مع أنماط أو نبرات صوت أو معرفة خاصة بالمجال. وهو فعال بشكل خاص لـ:

• دعم العملاء المتخصص: تخصيص الردود لتعكس منتجات شركتك وخدماتها وأسلوب تفاعلها مع العملاء.
• إنشاء المحتوى المستهدف: إنشاء محتوى يلتزم بإرشادات علامة تجارية محددة أو المصطلحات الصناعية.
• تحليل البيانات المحسّن: توليد رؤى من البيانات التي تتطلب فهمًا للأسواق المتخصصة أو السيناريوهات المعقدة.

الموازنة بين التكاليف والفوائد

يجب أن يأخذ قرار الضبط الدقيق في الاعتبار المفاضلة بين الأداء المحسّن والتكاليف والموارد الإضافية المطلوبة. وهو ضروري للمشاريع التي تفوق فيها قيمة التخصيص والدقة هذه الاعتبارات.

متى تختار RAG‍

تحديد حالات الاستخدام التي تتطلب قدرات RAG

يتفوق RAG في الحالات التي يجب فيها تعزيز الاستجابات بأحدث المعلومات أو البيانات التفصيلية من مجالات محددة. وهو مناسب بشكل خاص لـ:

• إنشاء المحتوى الديناميكي: توليد محتوى يتضمن أحدث التطورات، الإحصائيات، أو النتائج.
• حل الاستعلامات المعقدة: الإجابة على الأسئلة متعددة الأوجه التي تستفيد من تجميع المعلومات من مصادر متنوعة.
• مساعدة بحثية متعمقة: تقديم شروحات أو ملخصات مفصلة بناءً على مجموعة واسعة من الوثائق والبيانات.

مقارنة RAG بالأساليب الأخرى من حيث التعقيد والأداء

يمكن لـ RAG أن يقدم نتائج متفوقة للاستعلامات المعقدة ومجالات المعرفة المتخصصة، ولكنه يأتي مع تعقيد متزايد واحتياجات للموارد. إنه الخيار الصحيح عندما يبرر نطاق المشروع الاستثمار في إعداد وصيانة البنية التحتية اللازمة لاسترجاع البيانات في الوقت الفعلي.

التوجيه (Prompting)، وRAG، والضبط الدقيق (Fine Tuning) مع TrueFoundry 

هندسة التوجيه

يتم تمكين التوجيه من خلال LLM Gateway الوحدة، التي تدعم سير العمل المرتبط غالبًا بـ أفضل أدوات هندسة التوجيه المستخدمة لتطبيقات LLM الإنتاجية. يوفر LLM Gateway واجهة برمجة تطبيقات موحدة تسمح للمستخدمين بالوصول إلى مختلف مزودي LLM، بما في ذلك نماذجهم المستضافة ذاتيًا، عبر منصة واحدة. يتميز بوظائف إدارة المفاتيح المركزية، والمصادقة، وتحديد تكلفة الاستخدام. بالإضافة إلى ذلك، يوفر دعمًا للعودة إلى الخلف (fallback)، وإعادة المحاولة (retries)، بالإضافة إلى التكامل مع آليات الحماية (guardrails). 

RAG 

لقد قمنا بوضع قالب لسير العمل لإعداد RAG ببضع نقرات فقط. اقرأ مدونتنا حول كيفية نشر روبوت محادثة قائم على RAG باستخدام TrueFoundry. يتولى العملية الشاملة لإنشاء قاعدة بيانات متجهات، ونموذج تضمين، ونماذج لغوية كبيرة (LLMs) وما إلى ذلك، مع توفير الضوابط المناسبة لك لتخصيص سير العمل وفقًا لاحتياجاتك. 

الضبط الدقيق 

لقد سهّلت TrueFoundry عملية الضبط الدقيق عن طريق تجريد جميع التعقيدات وتكوين إعدادات الموارد الصحيحة لتقنيات LoRA/QLoRA. يمكنك نشر دفتر ملاحظات Jupyter للضبط الدقيق لأغراض التجربة أو إطلاق مهمة ضبط دقيق مخصصة. يرجى قراءة الدليل المفصل هنا.

‍

نحن في TrueFoundry ندعم جميع تقنيات تعلم النماذج اللغوية الكبيرة (LLM) الثلاث - التوجيه (prompting)، وRAG، والضبط الدقيق (fine-tuning) - بطريقة مبسطة للغاية.

‍