فصل التحكم والبيانات: استراتيجية TrueFoundry لتوطين بيانات الذكاء الاصطناعي/تعلم الآلة عالميًا

إذا سبق لك أن حضرت اجتماعًا مع فريق أمن المعلومات أو الفريق القانوني لديك بخصوص نشر عالمي لتعلم الآلة، فأنت تعرف اللحظة التي يتغير فيها المزاج تمامًا. إنها عندما يسأل أحدهم: "انتظر، أين توجد سجلات الاستدلال للعملاء الألمان بالضبط؟"

كانت إقامة البيانات في السابق مشكلة تتعلق بقواعد البيانات. أما الآن، ومع مسارات تعلم الآلة التي تشمل التدريب والخدمة والمراقبة ومخازن الميزات، فقد أصبحت فوضى عارمة تمتد عبر مكدس البنية التحتية بأكمله. لوائح مثل GDPR وCCPA وقوانين سيادة البيانات في جميع أنحاء آسيا ليست مجرد اقتراحات. ارتكاب الأخطاء يعني غرامات باهظة، أو ما هو أسوأ من ذلك، الاضطرار إلى إزالة نشر نشط.

لقد كنا نستخدم TrueFoundry لإدارة بنيتنا التحتية لتعلم الآلة، وبصراحة، فإن نهجهم في إقامة البيانات هو أحد الأسباب الرئيسية التي جعلتنا نلتزم بهم. إنه يغير بشكل جذري طريقة تفكيرنا حول مكان وجود البيانات مقابل مكان إدارتها.

إليك نظرة على كيفية عمل ذلك عمليًا ولماذا يبدو مختلفًا عن منصات MLOps SaaS النموذجية.

المفهوم الأساسي: فصل التحكم عن البيانات

أكبر مشكلة في العديد من منصات MLOps المُدارة هي أنه للحصول على سهولة استخدام أدواتها، غالبًا ما يتعين عليك نقل بياناتك (بيانات النماذج، مقتطفات التدريب، السجلات) إلى سحابتهم. وهذا أمر غير مقبول للصناعات شديدة التنظيم.

تعمل TrueFoundry بشكل مختلف. إنها تعتمد فصلًا صارمًا بين الـ مستوى التحكم (واجهة إدارة SaaS الخاصة بهم) و الـ مستوى البيانات (حساباتك السحابية).

فكر في الأمر على هذا النحو: TrueFoundry هي مراقب الحركة الجوية. تخبر الطائرات إلى أين تذهب ومتى تهبط. لكنك أنت من يمتلك المطار، وحظائر الطائرات، والطائرات نفسها. TrueFoundry لا تمتلك أبدًا الحمولة داخل الطائرة فعليًا.

عندما تربط مجموعة Kubernetes (EKS، GKE، AKS) بـ TrueFoundry، فإنك تقوم أساسًا بتثبيت وكيل. يتصل هذا الوكيل بمستوى التحكم الخاص بـ TrueFoundry للحصول على التعليمات، ولكن جميع عمليات معالجة البيانات وتخزينها الفعلية تحدث ضمن محيط شبكتك المحدد مسبقًا.

إليك نظرة عامة على هذه العلاقة.

الشكل 1: سير عمل فصل مستوى التحكم عن مستوى البيانات.

كما هو موضح أعلاه، تظل "المهام الثقيلة" وعمليات الإدخال/الإخراج الفعلية للبيانات بالكامل ضمن حدود بيئتك السحابية. الشيء الوحيد الذي يعبر السلك عائدًا إلى TrueFoundry هو البيانات الوصفية – حالة المهام، ومقاييس استخدام الموارد، ومواصفات التكوين.

التنفيذ العملي: مساحات العمل والمناطق

كيف يترجم هذا إلى إعداد واقعي حيث لديك فريق في الاتحاد الأوروبي لا يمكنه قانونيًا أن تلامس بيانات عملائه الأراضي الأمريكية؟

تستخدم TrueFoundry مفهومًا يسمى "مساحات العمل". مساحة العمل هي تجميع منطقي للموارد يرتبط بمجموعة حوسبة أساسية محددة وتكامل تخزين البيانات الاصطناعية.

لفرض توطين البيانات، نقوم بإعداد مجموعات منفصلة في مناطقنا الجغرافية المطلوبة.

1. نقوم بإنشاء مجموعة EKS في eu-central-1 (فرانكفورت).
2. نقوم بإنشاء مخزن S3 في eu-central-1 لتخزين البيانات الاصطناعية.
3. في TrueFoundry، نقوم بإنشاء مساحة عمل "EU-Prod" ونربطها بتلك المجموعة والمخزن المحددين.

نكرر العملية لمنطقة us-east-1 باستخدام مساحة عمل "US-Prod".

عندما يرغب عالم بيانات من الاتحاد الأوروبي في نشر نموذج، يُمنحون حق الوصول فقط إلى مساحة عمل "EU-Prod". وعندما يشغلون مهمة تدريب أو ينشرون خدمة، تضمن لوحة تحكم TrueFoundry أن تتم عملية الحوسبة على مجموعة فرانكفورت ويتم حفظ أوزان النموذج الناتجة في مخزن S3 بفرانكفورت. لا يمكن للمنصة فعليًا وضع البيانات في أي مكان آخر، لأن مساحة العمل تلك لا تعرف بوجود أي بنية تحتية أخرى.

فيما يلي مقارنة لكيفية التعامل مع البيانات في خدمة ML SaaS مُدارة نموذجية مقابل هذه البنية.

الجدول 1: مقارنة نماذج معالجة البيانات

الواقع متعدد المناطق

في المؤسسات الناضجة، ينتهي بك الأمر بنموذج المركز والأطراف. لديك لوحة تحكم مركزية واحدة لـ TrueFoundry تمنح فريق هندسة المنصة الخاص بك لوحة تحكم موحدة لسهولة الإدارة، لكن التنفيذ الفعلي مجزأ جغرافيًا.

هذا العزل بالغ الأهمية. فهو يعني أنه حتى لو حاول مطور عن طريق الخطأ تكوين مهمة بشكل غير صحيح، فإن قيود البنية التحتية تمنع تسرب البيانات بين المناطق.

الشكل 2: رسم بياني للعزل متعدد المناطق باستخدام مساحات العمل

الأمر يتعلق بضمان راحة البال

توطين البيانات نادرًا ما يكون عملاً مثيرًا، لكنه أساسي. إذا أخطأت فيه، فلن يهم أي شيء آخر.

جمال بنية TrueFoundry يكمن في أنها لا تحاول أن تكون "مخبأ بيانات آمنًا" بحد ذاتها. بدلاً من ذلك، فإنها تحترم المخابئ التي أنشأتها بالفعل في AWS أو Azure أو GCP. يتيح لنا ذلك تزويد علماء البيانات لدينا بتجربة نشر حديثة شبيهة بـ Heroku دون الحاجة إلى مجادلة فريق أمن المعلومات لدينا باستمرار للحصول على استثناءات. نحدد المحيط مرة واحدة، ونربط TrueFoundry به، ونتوقف عن القلق بشأن خروج البيانات العرضي.

‍