Kubernetes لعلماء البيانات

مقدمة

مع توسع نطاق حالات استخدام تعلم الآلة بشكل كبير في السنوات الأخيرة، أصبحت الحاجة إلى توسيع نطاق العمليات المتعلقة بتدريب هذه النماذج ونشرها ومراقبتها مهمة للغاية أيضًا. العديد من هذه المخاوف تشبه تلك التي "تم حلها" لحالات استخدام البرمجيات العامة. كوبيرنيتيس هو أحد هذه البرامج مفتوحة المصدر الذي عزز النظام البيئي السحابي الأصيل حوله من خلال العمل كمنصة أساسية.

وبالتالي، يصبح من الضروري استكشاف ما إذا كان من المفيد الاستفادة من كوبيرنيتيس لحالة استخدام تعلم الآلة. دعنا نبدأ أولاً بكوبيرنيتيس نفسه وما الذي يجعله مثيرًا للاهتمام.

ما هو كوبيرنيتيس؟

المصدر: كوبيرنيتيس

💡 كوبيرنيتيس هو محرك مفتوح المصدر لتنسيق الحاويات لأتمتة نشر وتوسيع نطاق وإدارة التطبيقات المعبأة في حاويات.

بعبارة أبسط، يوفر كوبيرنيتيس طريقة بسيطة وموحدة لتشغيل وإدارة أعباء العمل التي تحتاج إلى التوسع ديناميكيًا عبر أجهزة متعددة.

دعنا نستعرض بعضًا من أبرز الميزات -

• النشر الآلي - يوفر كوبيرنيتيس طريقة بسيطة لنشر صورة دوكر باستخدام بضعة أسطر فقط من YAML. يمنحنا هذا طريقة تصريحية لإدارة ما ننشره وكيف نقدمه. كما أنه يجعل من السهل جدًا إنشاء خط أنابيب CI قوي فوق هذا التجريد.
• اكتشاف الخدمات - يُسمح للخدمات بشكل طبيعي بالاتصال ببعضها البعض باستخدام أسماء نطاقات ثابتة. وهذا يجعل من الممكن عدم القلق بشأن موقع الخدمة الأخرى ويمكّن التوسع التلقائي.
• موازنة التحميل - يتم أيضًا الاهتمام بموازنة تحميل الطلبات الموجهة لخدمة معينة إلى جميع مثيلاتها الموزعة عبر عقد متعددة. يمكنك أيضًا إرفاق موازن تحميل خارجي من مزود السحابة للخدمات المواجهة للإنترنت. وهذا يتيح التوسع التلقائي الديناميكي، وتجاوز الفشل السلس، وعمليات النشر بدون توقف.
• الاستشفاء الذاتي - تراقب آلية فحص السلامة المدمجة الخدمة قيد التشغيل وتحاول التعافي عند الفشل عن طريق إعادة تشغيل عبء العمل. وهذا، بالاقتران مع دعم موازنة التحميل الأصلي، يمثل مكسبًا كبيرًا لجانب الموثوقية لأي خدمة.
• التوسع التلقائي - التوسع التلقائي لحجم عبء العمل صعودًا أو هبوطًا بناءً على الاستهلاك الفعلي للموارد. وهذا يترجم إلى وفورات حاسمة في التكاليف لأعباء العمل التي تواجه حملاً متغيرًا.
• منصة المطورين - تم بناء Kubernetes بهدف أن يكون منصة للتعاون بين فرق متعددة. ويتحقق ذلك من خلال الدعم الأصلي لإدارة المستخدمين والأدوار وتعدد المستأجرين. وتصبح هذه الميزات بالغة الأهمية بعد تجاوز نطاق معين.
• قابل للتوسيع - بفضل نظام الموارد المخصصة ووحدات التحكم، يعمل Kubernetes كمنصة لأدوات أخرى تعزز مجموعة الميزات بشكل كبير. وهذا يفتح فعليًا مجموعة كاملة من حالات الاستخدام التي تتم معالجتها بواسطة أدوات أخرى. على سبيل المثال - ArgoCD لـ GitOps، Istio لشبكة الخدمات (Service Mesh)، Kubeflow لتنسيق خطوط أنابيب التعلم الآلي (ML pipeline orchestration) إلخ.
• مفتوح المصدر - كون Kubernetes مفتوح المصدر يعني أنك تحصل على مجموعة واسعة من الخيارات، بدءًا من التشغيل على خوادم مادية (Bare Metal) وصولاً إلى استخدام أحد الخيارات المدارة من أي مزود سحابي رئيسي. الالتزام بـ Kubernetes يعني أنك تحصل على واجهة توفر قابلية نقل كافية لأعباء العمل ليتم نقلها فعليًا وفقًا لاحتياجات العمل.

هذه ليست سوى بعض الميزات المتاحة بشكل افتراضي. يتم حل عدد كبير من حالات الاستخدام فعليًا بواسطة الأدوات المبنية باستخدام Kubernetes كطبقة أساسية. سنتناول أدوات محددة في عدد لاحق.

نظرة عامة على سير عمل عالم البيانات

مع فهمنا لماهية Kubernetes والميزات الرئيسية التي يوفرها في سيناريو تطوير البرمجيات، دعنا نتعمق في المشكلات المحددة التي يمكن أن يحلها في سير عمل عالم البيانات.

يوضح الشكل أعلاه مخططًا عامًا لكيفية عمل خط أنابيب علم البيانات النموذجي. وقد اختارت العديد من الشركات استخدام مجموعة واسعة من الحلول المخصصة ذات الميزات المتداخلة لربط كل شيء معًا.

سنتناول كل خطوة من هذه الخطوات لمحاولة فهم أين يتناسب Kubernetes مع المتطلبات -

مخزن الميزات

قبل أن تصبح أي بيانات خام مفيدة، يجب أولاً تحويلها إلى مدخلات مُنقّاة لخط أنابيب تدريب النموذج. وهنا يأتي دور مخازن الميزات من خلال إجراء تحويل وتخزين وتقديم بيانات الميزات.

يدعم Kubernetes نشر أعباء العمل ذات الحالة (Stateful Workloads) ويتكامل بشكل جيد للغاية مع مزودي الخدمات السحابية لتوفير الثبات (Persistence) بسلاسة.

تطوير النماذج

يبدأ معظم تطوير النماذج بمهندس تعلم آلة يكتب التعليمات البرمجية في دفتر ملاحظات Jupyter، وبالنسبة للكثيرين، هذا هو كل ما يلزم تقريبًا. فهو يوفر واجهة REPL لتشغيل كود بايثون. يبدأ هذا باستضافته على أجهزة الكمبيوتر المحمولة الشخصية، ولكن من الأفضل تشغيل مجموعة مركزية من دفاتر ملاحظات Jupyter المستضافة والتي يمكن استخدامها من قبل عدة أفراد.

إن النموذج التصريحي لـ Kubernetes، بالإضافة إلى دعم أنظمة التخزين المستمر، يجعل من السهل جدًا استضافة مجموعة من دفاتر الملاحظات والسماح بالتحكم في الوصول إلى دفاتر الملاحظات الفردية لفرض تعاون فعال.

تدريب النماذج

أي خوارزمية مكتوبة في دفتر ملاحظات تحتاج إلى تغذيتها ببيانات تدريب للحصول على نموذج أثري كمخرج. يمكن القيام بذلك في دفتر الملاحظات نفسه في حالات الاستخدام الأصغر، ولكنه يتطلب مسار عمل أقوى بكثير لمجموعات البيانات الأكبر. عادةً ما يتم إجراء التحقق من الصحة مقابل مجموعة بيانات الاختبار هنا أيضًا قبل استخدام النموذج الأثري لإجراء الاستدلالات في بيئة الإنتاج.

توجد حلول متعددة لتنسيق مسار عمل DAG على Kubernetes. يدعم Airflow Kubernetes بشكل أصلي، بينما تم بناء Kubeflow بالكامل على Kubernetes. توفر جميع حلول المراقبة الرئيسية تكاملاً من الدرجة الأولى مع Kubernetes، وهو أمر ضروري لتشغيل مسارات عمل بجودة إنتاجية.

إدارة النماذج

تتولى هذه المرحلة مهمة تخزين مجموعات البيانات والنماذج وتحديد إصداراتها. وهذا يضمن أن يظل أي نموذج أثري قابلاً للاستنساخ طوال المدة المطلوبة. يمكن رسم مقارنة بكيفية إدارة التعليمات البرمجية باستخدام Git.

على الرغم من أن مخزن البيانات الأساسي لأنظمة الإدارة هذه يمكن استضافته على Kubernetes نفسه، فإنه في كثير من الحالات يكون من الأفضل استخدام حل مُدار من مزود خدمة سحابية. في مثل هذه الحالات، يقوم معظم مزودي الخدمات السحابية بدمج أنظمة إدارة الهوية والوصول (IAM) الخاصة بهم بسلاسة مع Kubernetes، مما يجعل الوصول إلى البيانات من خارج المجموعة آمنًا دون الحاجة إلى تخزين بيانات اعتماد الوصول.

خدمة النماذج

أخيرًا، يتم إعداد النموذج الأثري بحيث يمكن لنظام الإنتاج إجراء استدلالات بناءً عليه. يتضمن هذا عادةً تغليف النموذج في إطار عمل واجهة برمجة تطبيقات (API) والسماح للخدمات الأخرى باستدعاء النموذج لإجراء الاستدلالات. تدخل هنا اعتبارات مماثلة لهندسة البرمجيات مثل المصادقة/التفويض (authn/authz)، وقابلية التوسع، والموثوقية، وما إلى ذلك.

هنا يبرز دور Kubernetes. تصبح معظم الميزات التي تحدثنا عنها في القسم السابق حاسمة في هذه المرحلة.

مراقبة النماذج

مثل أي نظام إنتاجي، تعد المراقبة المستمرة للنموذج المنشور حاليًا أمرًا ضروريًا للتأكد من أن نظامك يتصرف بالطريقة المتوقعة. يمكن أن تشمل المقاييس التي يجب الانتباه إليها كل شيء بدءًا من الدقة الفعلية للتنبؤات وصولاً إلى زمن الاستجابة والإنتاجية التي يمكن للنظام دعمها.

تتكامل العديد من حلول المراقبة بشكل وثيق مع Kubernetes. يمكن اكتشاف هدف لجمع المقاييس فعليًا، وإجراء العمليات الحسابية عليها، وتخزينها للاستخدام لاحقًا، كل ذلك دون أي تبعية خارجية.

الخلاصة

لقد شهد المشهد المحيط بـ Kubernetes انفجارًا هائلاً، وتتوفر الكثير من الأدوات بالفعل. ومع ذلك، هناك بعض المزالق التي يجب على أي مؤسسة أخذها في الاعتبار قبل تبنيها بالكامل. سنتناول هذه المزالق وكيف يمكن التخفيف من حدتها في العدد القادم.