دليل لتتبع الانجراف

للتعلم الآلي تأثير كبير على جميع جوانب الأعمال تقريبًا. ولكن غالبًا ما تبدأ دقة النموذج المنشور في التدهور، مما يتسبب في تجربة عملاء سيئة ويؤثر سلبًا على الأعمال. لذا، السؤال هو: لماذا تتناقص دقة هذا النموذج؟ يمكن أن يكون ذلك بسبب أسباب متعددة. على سبيل المثال:

1. لا يستطيع نموذج اكتشاف البريد العشوائي اكتشاف رسائل البريد العشوائي بشكل صحيح بعد فترة من الوقت حيث يقوم "مرسلو البريد العشوائي" بتحديث الكلمات وأنماط بريدهم الإلكتروني التي تكون "غير معروفة" للنموذج.
2. يمكن أن يتأثر نموذج التوصية للتسوق بشكل كبير بالأحداث العالمية الكبرى مثل تفشي كوفيد-19، مما يغير تفضيلات العملاء.
3. سيتدهور نموذج التنبؤ بالاضطراب بمرور الوقت مع تغير سلوكيات العملاء وأنماط إنفاقهم ببطء بمرور الوقت.

فكيف نضمن عدم تدهور أداء نموذجنا بمرور الوقت؟ كيف نكتشف متى يجب إعادة تدريب نموذجنا لتجنب انخفاض الدقة؟

الإجابة هي "الانجراف". يجب على المرء اكتشاف "الانجراف" في الوقت المناسب و"بدقة" واتخاذ الإجراءات المناسبة بناءً على ذلك.

ما هو انجراف النموذج؟

يشير انجراف النموذج إلى التغير في توزيع البيانات على مدى فترة زمنية. في سياق التعلم الآلي، نشير عادةً إلى الانجرافات في ميزات النموذج أو التنبؤات أو القيم الفعلية من خط أساس معين.

تُستخدم عدة طرق لتتبع الانجراف، بما في ذلك إحصائية كولموغوروف-سميرنوف، ومسافة فازرستاين، وتباعد كولباك-لايبلر. تُستخدم هذه المقاييس غالبًا في سيناريوهات التعلم عبر الإنترنت، حيث يتطور النظام المستهدف باستمرار، ويجب أن يتكيف النموذج في الوقت الفعلي للحفاظ على دقته. على سبيل المثال، يمكن أن ينجرف نموذج التوصية للأفلام بمرور الوقت مع تغير سلوك العملاء، ويمكن أن ينجرف نموذج التنبؤ بالاضطراب مع تغير الظروف الاقتصادية.

أنواع مختلفة من انجراف النموذج:

1. انجراف البيانات: يشير هذا إلى التغير في توزيعات الميزات المختلفة أو التغيرات في العلاقات بين الميزات المختلفة بمرور الوقت. يمكن أن يكون هذا بسبب التغيرات في المدخلات نفسها. على سبيل المثال، بالنسبة لنموذج تحديد الجدارة الائتمانية الذي تم تدريبه على بيانات عام واحد، فإن متوسط الدخل سينجرف بسبب التغيرات الاقتصادية/الركود.
2. انجراف المفهوم: يشير انجراف المفهوم إلى الانجراف في قيم الحقيقة الأساسية للنموذج. يشير هذا إلى تغير في توزيع القيم الفعلية التي يُستخدم النموذج من أجلها. لا يعتمد انجراف المفهوم على النموذج بل على قيم الحقيقة الأساسية فقط. يشير الانجراف في القيم الفعلية إلى احتمال وجود تغير في العلاقة بين الميزات والقيم الفعلية (عند مقارنتها بمجموعة بيانات التدريب أو الأطر الزمنية السابقة)، مما يشير إلى الحاجة إلى إعادة تدريب النموذج.
3. انجراف التنبؤ: يشير انجراف التنبؤ إلى الانجراف في توزيع القيم المتوقعة مقارنة بالقيم المتوقعة لبيانات التدريب أو البيانات من إطار زمني سابق. يشير انجراف التنبؤ عادةً إلى انجراف بيانات أساسي حيث أن التنبؤات هي دالة للنموذج والميزات، والنموذج لم يتغير. يمكن أن يساعدنا انجراف التنبؤ في اكتشاف انجراف البيانات وانخفاض دقة النموذج.

أساليب مختلفة لمراقبة الانجراف

الأساليب الإحصائية

تُستخدم الأساليب الإحصائية لقياس الفرق بين التوزيع المعطى والتوزيع المرجعي. غالبًا ما تُستخدم المقاييس القائمة على المسافة أو التباعد لحساب الانجراف في ميزة أو قيمة فعلية. يمكن أن تكون الأساليب الإحصائية جيدة في اكتشاف القيم الشاذة أو التحولات في توزيع المدخلات، وهي سهلة جدًا في الحساب والتفسير. لا تأخذ هذه الأساليب في الاعتبار التغير في الارتباط بين الميزات المختلفة، لذا فهي تصف قصة الانجراف الكاملة فقط عندما تكون ميزات الإدخال مستقلة.

فيما يلي بعض المقاييس المشهورة القائمة على المسافة لحساب الانجراف

1. إحصائية كولموغوروف-سميرنوف:
   تقيس أقصى فرق بين دالتين للتوزيع التراكمي. إنه اختبار غير بارامتري لا يفترض توزيعًا محددًا للبيانات. يُستخدم على نطاق واسع في اكتشاف الانجراف نظرًا لقدرته على اكتشاف التغيرات في توزيع البيانات.
   
2. مسافة فازرستاين:
   تُعرف أيضًا باسم مسافة ناقل الأرض (EMD). تقيس مقدار "العمل" اللازم لتحويل توزيع إلى آخر. لديها القدرة على التقاط التغيرات الدقيقة في توزيع البيانات التي قد لا تلتقطها مقاييس المسافة الأخرى.
   
   اكتسبت مسافة فازرستاين شعبية مؤخرًا نظرًا لقدرتها على التعامل مع البيانات عالية الأبعاد والبيانات المشوشة.
3. تباعد كولباك-لايبلر:
   إنه مقياس للفرق بين توزيعين احتماليين، ويُعرف أيضًا بالإنتروبيا النسبية أو تباعد المعلومات. إنه مقياس غير متماثل، مما يعني أن تباعد كولباك-لايبلر من التوزيع A إلى التوزيع B لا يساوي تباعد كولباك-لايبلر من التوزيع B إلى التوزيع A.
   
   إنه أحد المقاييس الأكثر استخدامًا لتتبع الانجراف، ولكن يجب ألا تكون كاردينالية الميزة/التنبؤ الذي يتم تتبعه عالية جدًا.
4. مؤشر استقرار السكان (PSI):
   يقيس مؤشر استقرار السكان (PSI) مدى تحول السكان بمرور الوقت أو بين عينتين مختلفتين من السكان في رقم واحد. يفعل ذلك عن طريق تقسيم التوزيعين إلى فئات ومقارنة النسب المئوية للعناصر في كل فئة، مما ينتج عنه رقم واحد يمكنك استخدامه لفهم مدى اختلاف السكان. التفسيرات الشائعة لنتائج مؤشر استقرار السكان هي:

• PSI < 0.1: لا يوجد تغير كبير في السكان
• PSI < 0.2: تغير معتدل في السكان
• PSI >= 0.2: تغير كبير في السكان

لذلك، يمكن إعداد أدوات مراقبة لقيمة الانجراف للميزات التي تؤثر على دقة النموذج واتخاذ الإجراءات المناسبة بناءً على ذلك.

انجراف على مستوى النموذج (اكتشاف الانجراف متعدد المتغيرات)

1. يساعد اكتشاف الانجراف متعدد المتغيرات في اكتشاف التغيرات أو الانجرافات في متغيرات أو ميزات متعددة معًا. على عكس اكتشاف الانجراف أحادي المتغير، الذي يركز فقط على اكتشاف التغيرات في متغير واحد، يأخذ اكتشاف الانجراف متعدد المتغيرات في الاعتبار العلاقة بين الميزات المتعددة ولا يفترض أن جميع الميزات مستقلة عن بعضها البعض.
2. وهكذا، يمكن لأساليب اكتشاف الانجراف متعدد المتغيرات أن تكشف التغيرات في توزيع البيانات، والتغيرات في العلاقة بين المتغيرات، والتغيرات في العلاقة الوظيفية بين المتغيرات. وتُعد هذه الأساليب مفيدة بشكل خاص في الأنظمة المعقدة حيث يمكن أن يكون للتغيرات في متغير واحد تأثير كبير على سلوك المتغيرات الأخرى.
   لذا، يساعد الانجراف متعدد المتغيرات المستخدمين على فهم أفضل للتغيرات في بيانات الاستدلال. كما أنه أسهل في المراقبة حيث لا يلزم تتبع سوى مقياس واحد مقارنة بتتبع كل ميزة على حدة. ولكن في الوقت نفسه، يتطلب حسابات مكثفة وقد يكون مبالغًا فيه للأنظمة الأبسط.
3. تعتمد خوارزميات اكتشاف الانجراف متعدد المتغيرات عادةً على نموذج تعلم آلي لحساب الانجراف. لذا يمكن تصنيف هذه الخوارزميات على النحو التالي:
   
   استخدام الأساليب الخاضعة للإشراف:
   تعتمد هذه الأساليب عادةً على تدريب نموذج مصنف ثنائي لتخمين ما إذا كانت نقطة البيانات تنتمي إلى إطار البيانات الأساسي. وتشير القيمة الأعلى لدقة النموذج إلى انجراف أكبر.
   
   لمعرفة الميزات التي تعرضت للانجراف، يتم استخدام أهمية الميزة لنموذج التصنيف الثنائي هذا.
   
   أساليب التعلم غير الخاضعة للإشراف:
   فيما يلي بعض الأساليب:
   التجميع (Clustering): استخدم خوارزمية K-means أو DBSCAN أو أي خوارزمية تجميع أخرى للعثور على مجموعات في مجموعة البيانات المرجعية ومجموعة البيانات الحالية، ثم ابحث عن الاختلافات بين المجموعات للحكم على ما إذا كانت البيانات قد انجرفت أم لا.
   
   نماذج الخليط الغاوسي (GMM): تمثل نماذج الخليط الغاوسي (GMM) بياناتنا كمزيج من التوزيعات الغاوسية. يمكن استخدامها لاكتشاف الانجراف متعدد المتغيرات عن طريق مقارنة معلمات التوزيعات الغاوسية لمجموعة البيانات الحالية مع مجموعة البيانات المرجعية.
   
   تحليل المكونات الرئيسية (PCA): استخدم تحليل المكونات الرئيسية (PCA) لتقليل أبعاد مجموعة البيانات ثم استخدم خوارزميات اكتشاف الانجراف أحادية المتغير العادية مع اعتبار الميزات فريدة.

باختصار، يُعد اكتشاف الانجراف متعدد المتغيرات مفيدًا في الأنظمة المعقدة وأسهل في المراقبة نظرًا لوجود مؤشر أداء رئيسي واحد فقط للمراقبة.

الخلاصة:

سينخفض أداء النموذج المنشور في بيئة الإنتاج في نهاية المطاف. سيعتمد مقدار الوقت المستغرق لهذا التدهور على حالة الاستخدام. في بعض الحالات، قد لا تتعرض النماذج للانجراف إلا بعد عام، بينما قد تتطلب بعض النماذج إعادة تدريب كل ساعة! لذا، يصبح فهم سبب هذا التدهور واكتشافه أمرًا بالغ الأهمية. وهنا يأتي دور "الاكتشاف المبكر للانجراف".

في الختام، يجب أن تحتوي النماذج في بيئة الإنتاج على آليات مناسبة لتتبع الانجراف أو مراقبته وخطوط أنابيب لإعادة التدريب لإنشاء أفضل قيمة من نموذج التعلم الآلي!

ترو فاوندري هي منصة كخدمة (PaaS) لنشر تعلم الآلة (ML) عبر Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، مع ضمان الأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق تعلم الآلة من نشر ومراقبة النماذج في 15 دقيقة بموثوقية 100% وقابلية للتوسع والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإطلاق النماذج إلى الإنتاج بشكل أسرع، وبالتالي تحقيق قيمة تجارية حقيقية.  

ناقش تحديات مسار عمل تعلم الآلة الخاص بك معنا هنا