نموذج ML ذو تأثير - ما مدى صعوبة ذلك؟

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
إن بناء نموذج لحل حالة استخدام للأعمال يدو فكرة رائعة لنا جميعًا. يبدو من البديهي أنه إذا تمكنا من زيادة التفاعل من خلال التخصيص على موقع ويب معين باستخدام ML بنسبة 5%، فإن ذلك سيدفع الإيرادات للارتفاع بنسبة مئوية ما.
ومع ذلك، ما يتم التغاضي عنه غالبًا هو عاملان يمكن أن يعرضا هذا المشروع للخطر:
- ما إذا كانت هناك بيانات كافية لإنشاء نموذج يمكنه بالفعل زيادة التخصيص بنسبة 5%
- الاستثمار المطلوب لبناء هذا النموذج ونشره والذي يقدم هذا التأثير بشكل مستمر.
ألا ينبغي أن يكون اختبار هذين الأمرين بسيطًا؟ حسناً، دعنا ننتقل إلى عمق ما يتطلبه الأمر للانتقال من فكرة بناء نموذج إلى إيصال النموذج أخيرًا إلى الإنتاج وتقييم التأثير على الأعمال. لنفترض حالة تطبيق توصيل طعام يريد إظهار الوقت المتوقع للتوصيل بمجرد أن يضع العملاء طلبًا على التطبيق. نظرًا لأننا لا نعرف وقت التوصيل مسبقًا، سنحتاج إلى بناء نموذج ML يمكنه إجراء التنبؤ بناءً على عوامل معينة مثل المدينة، والمطعم، ووالوقت من اليوم، والمسافة من العملاء إلى المطعم، وما إلى ذلك.
إظهار وقت التوصيل المقدر للمستخدم لتطبيق توصيل الطعام
سيتضمن سير العمل لإخراج هذا النموذج الفرق التالية:
صياغة فكرة المشروع
سيأتي Product Manager بمشروع لتقدير وقت التوصيل. التوقع هو أنه إذا كان وقت التوصيل دقيقًا بشكل معقول، فسيوفر تجربة أفضل للمستخدمين. ستكون هناك استفسارات أقل من العملاء المتعلقة بأوقات التوصيل ويجب أن يرتفع المستوى العام لرضا العملاء. سيطلب فريق الأعمال بعد ذلك من فريق data science إعداد هذا النموذج.
جمع البيانات
يبدأ Data-scientists في جمع البيانات التاريخية لجميع الطلبات التي تمت وأوقات توصيلها.
- في بعض الحالات، قد لا يتم تسجيل البيانات السابقة بشكل صحيح - سجّل البيانات واجمعها أولاً (فريق المنتجات، وفريق Data Engineering).
- في بعض الحالات المحظوظة قد تكون هذه البيانات متاحة بسهولة
- في كثير من الحالات، سيتطلب ذلك كتابة أنابيب ETL للحصول على البيانات بالنسق الصحيح. سيكتب فريق Data Engineering الأنابيب للحصول على البيانات بالنسق المطلوب.
تحليل البيانات
سيقوم data scientist بعد ذلك بتحليل البيانات لمعرفة ما إذا كان كل شيء يبدو صحيحًا - عدم وجود قيم فارغة أو وهمية وما إذا كانت جميع البيانات المطلوبة موجودة. في كثير من الأحيان - سيكتشف DS بعض الأخطاء في مجموعة البيانات - أو ربما تكون هناك أيا م قليلة من البيانات السيئة بسبب أخطاء عابرة. سنحتاج إلى استبعاد البيانات الوهمية لأنه حينها فقط يمكننا بناء نموذج جيد. يمكن أن يؤدي هذا إلى بضع تكرارات مع فريق المنتجات وفريق Data Engineering.
هندسة الميزات (Feature Engineering)
بمجرد أن تبدو البيانات جيدة، سيحتاج data scientists في بعض الحالات إلى خط أنابيب لحساب الميزات وتخزينها حتى لا يكون هناك انحراف بين التدريب والتقديم ويكون من الأسهل الحصول على قيم الميزات أثناء الاستدلال.
ومع ذلك، فهذه خطوة اختيارية وتتخطى عندما تكون البيانات أو عدد النماذج المبنية على نفس مجموعة البيانات صغيرًا. في حالة قرار الفريق القيام بـ feature engineering، سنحتاج إلى نظام تنسيق أنابيب مثل Airflow وPrefect وقاعدة بيانات / ذاكرة مؤقتة لتخزين الميزات للاسترجاع (على سبيل المثال Feast). يعد بناء متجر ميزات في حد ذاته مهمة ضخمة تتطلب جهدًا كبيرًا.
تدريب النموذج
بمجرد أن تصبح البيانات جاهزة تمامًا، سيقوم data scientist الآن بالتجريب مع خوارزميات وميزات ونماذج مختلفة لمعرفة أيها يؤدي بشكل أفضل. سيرغبون في تسجيل جميع المقاييس والمعلمات والنماذج حتى يتمكنوا من الرجوع إليها لاحقًا أو مشاركتها مع أعضاء الفريق الآخرين. وهنا يأتي دور تتبع التجربة ومتجر البيانات الوصفية للنموذج.

تقديم النموذج (Model Serving)
بمجرد بناء النموذج، يجب استضافة النموذج كخدمة مصغرة (microservice) أو كمهام استدلال دفعة واحدة (batch inference job). في حالتنا الخاصة بتوقع وقت التوصيل، يجب أن تكون هذه خدمة عبر الإنترنت في الوقت الفعلي - لذلك فمن المنطقي على الأرجح نشرها كخدمة ذات توسيع تلقائي (autoscaling service). في هذه الحالة، يتدخل ML engineer ليأخذ النموذج، ويلفه في خدمة Flask أو FastAPI ويبني صورة docker. ثم يقوم ML Engineer بمساعدة فريق Devops بنشره كخدمة مصغرة على البنية التحتية.
تكامل المنتج
بمجرد استضافة API الخاص بالنموذج، سيحتاج فريق المنتجات أو فريق الخلفية إلى استدعاء API في كودهم للاستفادة من وقت التوصيل المتوقع وإظهاره في التطبيق. سيتطلب هذا التعاون بين فرق Data scientist والمنتجات وML Engineering. خلال هذا الوقت، قد يرغب Product Manager في اختبار التنبؤات وسيكون من الرائع أن يتمكنوا بسرعة من اختبار النموذج على بعض المدخلات العينية. قد يتطلب هذا بناء عرض توضيحي سريع للنموذج.
مراقبة النموذج
بمجرد نشر النموذج واستخدامه في المنتج، سنحتاج إلى مقاييس حول النموذج المنشور.
- مراقبة النظام: يتضمن ذلك مقاييس مثل cpu والذاكرة ومهلة api والأخطاء وتعطل النموذج ويتم ذلك عادةً باستخدام Prometheus / Grafana أو الحلول المدفوعة مثل Datadog / New Relic. وسيتم استخدام هذا من قبل فرق الهندسة والمنتجات وDatascience.

2. مراقبة النموذج: تتضمن هذه المقاييس المتعلقة بتنبؤ النموذج للبيانات الواردة في الإنتاج. هذه هي البيانات التي سيهتم بها Data Scientist بشكل أساسي وتتضمن مقاييس مثل دقة النموذج، وانحراف الميزات، وانحراف التنبؤ، وما إلى ذلك. يتيح هذا لـ data scientist تقرير ما إذا كان النموذج يتصرف بطريقة مماثلة لتلك التي كان عليها أثناء التدريب، وأن توزيعات البيانات المدخلة الخارجية لم تتغير وعدم وجود أخطاء في أي مكان آخر في النظام.

للحصول على مراقبة كاملة حول النموذج، سيتطلب ذلك جهودًا كبيرة من فرق Datascience والهندسة وDevops.
الأتمتة الكاملة
بمجرد فرز جميع عمليات المراقبة، سيرغب datascientist مثاليًا في أتمتة حلقة إعانة التدريب بالكامل. سيتطلب هذا إطار عمل لتنسيق الأنابيب مثل Kubeflow أو Airflow.

تقييم التأثير على الأعمال:
نحتاج بعد ذلك أيضًا إلى تقدير تأثير هذا النموذج على مقاييس رضا المستخدم الفعلية. ستكون بعض المقاييس البديلة في هذه الحالة هي عدد استفسارات العملاء المتعلقة بأوقات التوصيل، والنتيجة الإجمالية لرضا العملاء عن الطلب. سيلزم دمج مقاييس الأعمال مع مقاييس النموذج وسيكتب فريق Data Engineering على الأرجح خط أنبوب ETL للحصول على هذه البيانات ورسمها على أداة لوحة القيادة الداخلية لقادة الأعمال لملاحظتها.
باختصار تقريبي، يتضمن ذلك 5 أصحاب مصلحة:
- Product Manager / فريق الأعمال
- فريق Data Engineering
- فريق Data Science
- فريق ML Engineering
- فريق هندسة الخلفية (Backend Engineering)
- فريق Devops

تستغرق العملية الإجمالية بسهولة أكثر من 2-3 أشهر في أي شركة ويمكن أن تستغرق أحيانًا ما يصل إلى 6 أشهر للنماذج الأولى القليلة. وبسبب وجود العديد من أصحاب المصلحة والعديد من المهارات المعنية، فإن جعل ML مؤثرًا يستغرق وقتًا طويلاً واستثمارًا أوليًا مقدمًا.
لم نتحدث بعد عن بعض جوانب القابلية للتوسع والموثوقية التي تتضمنها العملية. نأمل أن نغطي بعض الجوانب أدناه في مقال مستقبلي.
- توفير البنية التحتية
- عملية CI / CD
- تجريب النموذج بما في ذلك اختبار A/B.
- قابلية البنية التحتية للتوسع.
- اختيار منهجية النشر.
الحل هنا هو أتمتة الأجزاء التي يمكن أتمتتها وتوفير الاستقلالية لـ data scientist / ML engineer لإجراء معظم الخطوات دون تعلم جميع الأدوات المعنية. هناك الكثير من العمل الذي يجري في هذا المجال ونأمل في غضون سنوات قليلة أن يصبح إنشاء نموذج ML مؤثر بسهولة بناء صفحة هبوط اليوم!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






