سلسلة مسرّعات TrueFoundry: بناء تصنيف النوايا على مستوى المؤسسات باستخدام SetFit

لطالما أحبط تحدي تصنيف النوايا في بيئات المؤسسات المنظمات التي تسعى لتوجيه استفسارات العملاء، وتحديد أولويات تذاكر الدعم، وتطبيق سياسات السلامة على نطاق واسع. تتطلب الأساليب التقليدية مجموعات بيانات ضخمة وموسومة وأشهرًا من دورات التدريب. ولكن ماذا لو تمكنا من تحقيق دقة متطورة بأمثلة قليلة فقط لكل فئة نية؟

نقدم لكم مسرع تصنيف النوايا الخاص بنا، المدعوم ببحث متطور من العمل الرائد لـ N2VEC الذي تم تقديمه في Haystack EU 2023. تظهر نتائجهم أن التعلم من أمثلة قليلة (few-shot learning) يمكن أن يحدث ثورة في كيفية تعامل المؤسسات مع تحديات تصنيف النصوص.

إنجاز SetFit: أمثلة قليلة، تأثير أقصى

عالج فريق أبحاث N2VEC، بقيادة الرئيس التنفيذي فرناندو فييرا دا سيلفا، أحد أكثر سيناريوهات التصنيف تطلبًا: البحث القانوني بأكثر من 60 مليون جملة موزعة على 138 فئة مختلفة. يعكس تحديهم ما تواجهه المؤسسات يوميًا - الكثير من الفئات مع أمثلة مصنفة غير كافية لكل منها.

المشكلة التقليدية:

• 9,000 مثال مصنف موزعة على 138 فئة
• بيانات غير كافية لكل فئة للتدريب الفعال
• أسابيع أو أشهر مطلوبة لجمع بيانات تدريب كافية

حل SetFit:
حول نهج N2VEC باستخدام SetFit (الضبط الدقيق لمحول الجمل) هذا التحدي إلى فرصة. يقوم SetFit بإنشاء أزواج من الجمل من خلال التعلم التبايني - مما يخلق أزواجًا إيجابية (نفس الفئة) وأزواجًا سلبية (فئات مختلفة). تعمل تقنية زيادة البيانات هذه على توسيع بيانات التدريب بشكل كبير من أمثلة قليلة.

كما أشار فريق فرناندو في عرضهم التقديمي: "SetFit لمشاكل التصنيف" يثبت أن "نتائج تنافسية مقارنة بـ GPT وغيره" يمكن تحقيقها مع البقاء "خفيفًا وسريع التدريب (يمكنك التدريب على جهاز الكمبيوتر المحمول الخاص بك)" مع "دعم متعدد اللغات."

من البحث إلى الإنتاج: تطبيق مسرعنا

يحول مسرع تصنيف النوايا الخاص بنا رؤى أبحاث N2VEC إلى حلول جاهزة للمؤسسات:

البنية الأساسية

• محرك تصنيف مدعوم بـ SetFit يتعلم من أمثلة قليلة
• مسار عمل التعلم التبايني الذي يولد أزواج التدريب تلقائيًا
• ضبط دقيق متعدد المراحل باتباع منهجية N2VEC المثبتة
• إعادة ترتيب باستخدام Cross-encoder لتحقيق أقصى دقة

ميزات المؤسسات

• إخفاء معلومات التعريف الشخصية (PII) والامتثال مدمجان في كل خطوة تصنيف
• ضوابط التحكم في الوصول المستند إلى الدور (RBAC) لفئات النوايا الحساسة
• عزل متعدد المستأجرين لوحدات الأعمال المختلفة
• واجهة برمجة تطبيقات (API) في الوقت الفعلي بأهداف زمن استجابة p95 أقل من 100 مللي ثانية
• سجلات التدقيق للمتطلبات التنظيمية

تكامل منصة TrueFoundry

• توجيه بوابة الذكاء الاصطناعي يضمن الوصول المنظم للنماذج
• التوسع التلقائي يتعامل مع ذروة حركة المرور دون تدهور
• مراقبة التكلفة توفر تتبعًا شفافًا للاستخدام
• لوحات معلومات المراقبة تتتبع دقة الأداء واتجاهاته

تطبيقات واقعية عبر الصناعات

الرعاية الصحية وعلوم الحياة

بعد نجاح N2VEC في الأبحاث القانونية، يتفوق مسرعنا في السياقات الطبية:

• توجيه استفسارات المرضى: فرز الطلبات العاجلة مقابل الروتينية
• اكتشاف الأحداث الضارة: تحديد إشارات السلامة في اتصالات مقدمي الخدمة
• الامتثال التنظيمي: تصنيف الطلبات حسب المتطلبات التنظيمية

الخدمات المالية

• اكتشاف الاحتيال: تحديد أنماط المعاملات المشبوهة
• خدمة العملاء: توجيه استفسارات المنتجات المالية المعقدة
• مراقبة الامتثال: تحديد الاتصالات التي قد تكون محفوفة بالمخاطر

البرمجيات كخدمة والتكنولوجيا

• تحديد أولويات تذاكر الدعم: تصنيف الخطورة وتوجيهها بشكل مناسب
• تصنيف طلبات الميزات: فهم احتياجات المستخدمين واتجاهاتهم
• مراقبة الأمان: اكتشاف أنماط سلوك المستخدم الشاذة

ميزة SetFit: لماذا ينجح التعلم من أمثلة قليلة

تؤكد أبحاث N2VEC ثلاث مزايا رئيسية تدعم مسرّعنا:

1. كفاءة البيانات: تحويل 8 أمثلة لكل فئة إلى آلاف أزواج التدريب من خلال التعلم التبايني
2. السرعة: تدريب نماذج جاهزة للإنتاج في دقائق، وليس شهورًا
3. المتانة: دعم متعدد اللغات وتكييف النطاق دون البدء من الصفر

كما تظهر نتائجهم، فإن نهج SetFit الذي يعتمد على الضبط الدقيق لمحوّلات الجمل أولاً، ثم تدريب رأس تصنيف، ينشئ تضمينات غنية بما يكفي للتصنيف الدقيق بأقل قدر من البيانات.

من إثبات المفهوم إلى نطاق الإنتاج

أثبتت N2VEC أن SetFit يعمل على أكثر من 60 مليون جملة قانونية. يجلب مسرّع تصنيف النوايا الخاص بنا هذه الإمكانية إلى مستوى المؤسسات من خلال:

• التوسع الأفقي عبر عمليات النشر العالمية
• إدارة الإصدارات لمخططات النوايا المتطورة
• إطار عمل اختبار A/B للتحسين المستمر
• واجهات برمجة تطبيقات التكامل لمنصات إدارة علاقات العملاء (CRM) وتذاكر الدعم والاتصالات

البدء: مسارك خلال 48 ساعة لتصنيف النوايا

على عكس مشاريع التعلم الآلي التقليدية التي تتطلب شهورًا من جمع البيانات وتدريب النماذج، يقدم مسرّع تصنيف النوايا الخاص بنا النتائج في أيام:

اليوم الأول: تحديد فئات النوايا وتقديم 5-10 أمثلة لكل فئة
اليوم الثاني: النشر في بيئة التدريج مع تكامل البيانات الحية
الأسبوع الأول: النشر في بيئة الإنتاج مع المراقبة وحلقات التغذية الراجعة

أساس SetFit يعني أنك تبني على أبحاث مثبتة، وليس على تقنيات تجريبية.

الخلاصة: الوقوف على أكتاف العمالقة

يثبت عرض N2VEC في Haystack EU 2023 أن التعلم قليل اللقطات ليس مجرد نظرية أكاديمية، بل هو تقنية جاهزة للإنتاج تحل تحديات المؤسسات الحقيقية. دقة 86.1% التي حققوها في استفسارات البحث القانوني المعقدة ببيانات تدريب قليلة تؤكد صحة نهج مسرّع تصنيف النوايا لدينا. من خلال الجمع بين ابتكارات SetFit من N2VEC وقدرات منصة TrueFoundry للمؤسسات، نقدم حلول تصنيف النوايا سريعة النشر، ودقيقة في التطبيق، ومتوافقة حسب التصميم. مستقبل الذكاء الاصطناعي للمؤسسات لا يتعلق بالمزيد من البيانات، بل بالتعلم الأكثر ذكاءً من البيانات المتوفرة لديك بالفعل.
هل أنت مستعد لتجربة تصنيف النوايا قليل اللقطات عمليًا؟ أطلق العرض التوضيحي المباشر لترى التصنيف المدعوم بتقنية SetFit باستخدام أمثلة نصية خاصة بك، أو اتصل بفريقنا لمناقشة حالة الاستخدام الخاصة بك.

المراجع:

• عرض N2VEC في Haystack EU 2023: "نهج عملي للتعلم قليل اللقطات باستخدام SetFit لتوسيع نطاق البحث وتصنيف الصلة في قاعدة بيانات نصية كبيرة"
• فرناندو فييرا دا سيلفا، الرئيس التنفيذي لشركة N2VEC، دكتوراه في الذكاء الاصطناعي (معالجة اللغة الطبيعية)