تكاملات أدوات التعلم الآلي #3 ليبل ستوديو لجميع احتياجاتك من التسميات

في المدونة التالية، سنتحدث عن Label Studio وكيف يمكنك بسهولة الاستفادة من Label Studio للتصنيف عن طريق نشره على TrueFoundry

جودة البيانات أهم بكثير من كميتها. هذا مبدأ راسخ في مجتمع تعلم الآلة، ويصبح ذا أهمية متزايدة مع اتجاه مجتمع MLOps نحو نهج يركز على البيانات.

في حديث أخير، استشهد أندرو نج بمثال مشكلة اكتشاف عيوب الفولاذ، حيث تمكن النهج المرتكز على البيانات من تحسين دقة النموذج بنسبة 16%، بينما لم يحسن النهج المرتكز على النموذج الدقة على الإطلاق.

النهج المرتكز على البيانات أهم من النهج المرتكز على النموذج، خاصة في الحالات التي تكون فيها البيانات محدودة أو مشوشة - أندرو نج

يمكنك مشاهدة هذا الحديث لأندرو نج بخصوص النهج المرتكز على البيانات في تعلم الآلة:

هذا لأن حتى أفضل نماذج تعلم الآلة لا تكون جيدة إلا بقدر جودة البيانات التي تدربت عليها. إذا كانت البيانات مشوشة أو غير كاملة، سيتعلم النموذج ارتكاب الأخطاء. لهذا السبب من المهم جدًا استخدام بيانات عالية الجودة عند تدريب نماذج تعلم الآلة.

حتى في سياق نماذج اللغة الكبيرة (LLMs)، تظل أهمية البيانات عالية الجودة بالغة الأهمية. الورقة البحثية بعنوان "Training Compute-Optimal Large Language Models" من DeepMind (2022) تتعمق في قوانين التوسع لنماذج اللغة الكبيرة (LLMs)، موضحة أن جودة البيانات تتفوق على حجم مجموعة البيانات. يوضح المؤلفون أن نموذجًا مدربًا على 500 صف فقط من البيانات عالية الجودة يمكن أن يتفوق على نموذج مدرب على مجموعة بيانات تحتوي على 100 مليون صف مذهل من البيانات منخفضة الجودة.

يمكنك قراءة الورقة البحثية باستخدام الرابط التالي:

‍

Training Compute-Optimal Large Language Models

We investigate the optimal model size and number of tokens for training atransformer language model under a given compute budget. We find that currentlarge language models are significantly undertrained, a consequence of therecent focus on scaling language models whilst keeping the amount of trai…

arXiv.org Jordan Hoffmann

‍

على نفس المنوال، "WizardLM: A Small, Efficient, and High-Performance Language Model" من Google AI (2022) تقدم WizardLM، وهو نموذج لغة مدمج تم تدريبه على مجموعة بيانات تتألف من 500,000 كلمة فقط. ومن اللافت للنظر أن WizardLM يحقق نتائج متطورة عبر مهام معالجة اللغة الطبيعية المختلفة، على الرغم من حجمه الأصغر بكثير مقارنة بنماذج اللغة الكبيرة الأخرى.

يمكنك قراءة الورقة البحثية باستخدام الرابط التالي:

‍

WizardLM: Empowering Large Language Models to Follow Complex Instructions

Training large language models (LLMs) with open-domain instruction followingdata brings colossal success. However, manually creating such instruction datais very time-consuming and labor-intensive. Moreover, humans may struggle toproduce high-complexity instructions. In this paper, we show an ave…

arXiv.org Can Xu

‍

ما هو Label Studio؟

Label Studio هي أداة مفتوحة المصدر وقائمة على الويب لوضع علامات على البيانات، تم تطويرها بواسطة Heartex. وهي مصممة لتبسيط عملية إضافة التعليقات التوضيحية للبيانات لمهام التعلم الآلي. سواء كنت تعمل على تصنيف الصور، أو التعرف على الكيانات المسماة، أو تحليل المشاعر، أو أي مهمة وسم أخرى، يوفر Label Studio بيئة مرنة وسهلة الاستخدام لوضع علامات على بياناتك بكفاءة.

‍

Open Source Data Labeling | Label Studio

A flexible data labeling tool for all data types. Prepare training data for computer vision, natural language processing, speech, voice, and video models…

Label Studio

‍

الميزات الرئيسية لـ Label Studio

• وسم متعدد الوسائط: يدعم Label Studio الصور والنصوص والصوت والفيديو.
• واجهات وسم قابلة للتخصيص: خصّص واجهات الوسم لتناسب مهمتك.
• مراقبة جودة الوسم: التحقق التلقائي ومراجعة الأقران يضمنان جودة البيانات.
• تعاون الفريق: يعمل عدة مستخدمين على نفس المشروع بأدوار وصلاحيات محددة.
• مرونة التكامل: ادمجها مع مسار بياناتك باستخدام واجهات برمجة التطبيقات وخيارات التصدير.
• قابلية التوسع: تتوسع لتلبية احتياجات وسم بياناتك.
• مفتوح المصدر: مجاني للاستخدام والتعديل.

سير عمل تسمية البيانات في Label Studio

الخطوة 1: استيراد البيانات

تبدأ عملية التسمية باستيراد بياناتك الأولية غير الموسومة إلى Label Studio. يمكن أن تكون هذه البيانات صورًا أو نصوصًا أو صوتًا أو فيديو أو أي تنسيق بيانات آخر حسب مهمة التسمية الخاصة بك. على سبيل المثال، دعنا نعتبر مهمة تصنيف صور حيث تريد تصنيف صور الحيوانات.

الخطوة 2: إنشاء المشروع

بمجرد استيراد بياناتك، تقوم بإنشاء مشروع تسمية جديد داخل Label Studio. في هذا المشروع، تحدد مهمة التسمية، وتختار مصدر البيانات، وتكوّن واجهة التسمية. يمكنك تخصيص الواجهة لتناسب احتياجاتك الخاصة، والاختيار من بين أنواع التعليقات التوضيحية المختلفة مثل صناديق الإحاطة، والمضلعات، والنقاط الرئيسية، والمزيد.

بالنسبة لمثال تصنيف صور الحيوانات الخاص بنا، ستقوم بإنشاء مشروع باسم "تصنيف الحيوانات" وتكوينه لعرض الصور للتعليق التوضيحي.

الخطوة 3: التعليق التوضيحي

بعد إعداد المشروع، تدعو المعلقين التوضيحيين لبدء تسمية البيانات. يصل المعلقون التوضيحيون إلى منصة Label Studio عبر واجهة ويب، حيث تُعرض عليهم صور من مجموعة بياناتك. في مثالنا، سيرى المعلقون التوضيحيون صورًا لحيوانات ويصنفونها إلى فئات محددة مسبقًا مثل "كلب"، "قطة"، "حصان"، إلخ.

بينما يراجع المعلقون التوضيحيون كل صورة، يستخدمون أدوات التسمية التي يوفرها Label Studio لوضع تعليقاتهم التوضيحية. لتصنيف الصور، يختار المعلقون التوضيحيون ببساطة الفئة المناسبة من القائمة المحددة مسبقًا.

الخطوة 4: مراقبة الجودة

للحفاظ على دقة التسمية واتساقها، يوفر Label Studio ميزات لمراقبة الجودة. يمكن للمعلقين التوضيحيين مراجعة عمل بعضهم البعض والتحقق منه، لضمان صحة التسميات. يمكنك أيضًا تنفيذ سير عمل لبناء التوافق لحل الخلافات بين المعلقين التوضيحيين.

الخطوة 5: تصدير البيانات

بمجرد تسمية البيانات بما يرضيك، تقوم بتصدير مجموعة البيانات الموسومة من Label Studio. توفر المنصة خيارات تصدير متنوعة، بما في ذلك JSON، CSV، أو تنسيقات متوافقة مع مكتبات التعلم الآلي الشائعة. أصبحت مجموعة البيانات الموسومة هذه جاهزة الآن للاستخدام في تدريب نماذج التعلم الآلي.

الخطوة 6: تدريب النموذج

باستخدام البيانات الموسومة عالية الجودة التي تم الحصول عليها من Label Studio، يمكنك المضي قدمًا في تدريب نموذج التعلم الآلي الخاص بك لتصنيف الحيوانات. تعمل البيانات الموسومة كمجموعة تدريب، ويتعلم النموذج التعرف على فئات الحيوانات المختلفة بناءً على التعليقات التوضيحية المقدمة من المعلقين التوضيحيين.

الخطوة 7: تقييم النموذج ونشره

بعد تدريب النموذج، تقوم بتقييم أدائه باستخدام مجموعة بيانات اختبار منفصلة. إذا استوفى النموذج معايير الدقة الخاصة بك، يمكنك نشره للاستخدام في العالم الحقيقي، مثل تصنيف صور الحيوانات تلقائيًا.

نشر LabelStudio على TrueFoundry

لقد تعلمت كل شيء عن LabelStudio، ويسعدنا الآن أن نشارككم أنه يمكنك استضافة LabelStudio بسهولة على TrueFoundry. ستجد أدناه تعليمات خطوة بخطوة حول كيفية نشر LabelStudio على إعداد التعلم الآلي الخاص بك. لنبدأ!

💡

ملاحظة:
قريبًا جدًا ستتمكن من نشر LabelStudio على TrueFoundry بنقرة واحدة فقط. سنبقيك على اطلاع.

1. التسجيل وإعداد TrueFoundry`

قبل أن تتمكن من الاستفادة من قوة Label Studio داخل TrueFoundry، تحتاج إلى التسجيل وإعداد حسابك على TrueFoundry.

TrueFoundry هو منصة خدمة (PaaS) لنشر تعلم الآلة (ML Deployment) تعمل فوق Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، مع ضمان الأمان والتحكم الكامل لفريق البنية التحتية.

انقر على الرابط أدناه واتبع التعليمات:

‍

Create your account on TrueFoundry

Train and deploy ML models and LLMs on top of Kubernetes at the speed of Big Tech with 100% reliability and scalability. Slash production costs by 30-40% and release models to production faster. Training jobs, inference services, GPUs and more on your own infra.

TrueFoundry Blog

‍

2. نشر مخطط Helm الخاص بـ LabelStudio

1. نشر جديد > Helm > اختر مساحة عمل
2. هنا املأ التفاصيل التالية4
3. مستودع Helm: https://charts.heartex.com
4. اسم المخطط: label-studio
5. الإصدار: 1.1.9
6. يمكنك ترك حقل القيم فارغًا أو تهيئته حسب هذه. تركه فارغًا سيؤدي إلى تشغيل التطبيق وقاعدة بيانات Postgres ووحدة تخزين دائمة لتخزين البيانات.

3. إعداد Kustomize:
4. انقر على إظهار الحقول المتقدمة الزر التبديلي في أسفل النموذج
5. هنا، انقر على الزر التبديلي أمام تبديل Kustomize
6. في Patch حقل النص، أضف البيان التالي، مع استبدال spec.http.route.destinatoin.host و spec.hosts بالقيم المناسبة

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
 name: labelstudio-vs
spec:
 http:
   - مسار:
       - وجهة:
           المضيف: <label-studio-app-name>-ls-app.<workspace-name>.svc.cluster.local
           المنفذ:
             الرقم: 80
 المضيفون:
   - <ds.organization.com/labelstudio>
 البوابات:
   - istio-system/tfy-wildcard


التفاعل مع LabelStudio

بمجرد نشر Label Studio على TrueFoundry، يمكنك الوصول إلى واجهة مستخدم Label Studio عبر نقطة النهاية المتوفرة. دعنا نستكشف كيفية وسم الصور لتصنيفها باستخدام Label Studio.

1. التسجيل

عند فتح Label Studio المستضاف الخاص بك، ستُطالب بالتسجيل للحصول على حساب أو تسجيل الدخول إذا كان لديك حساب بالفعل. اتبع هذه الخطوات:

• قم بزيارة عنوان URL الخاص بـ Label Studio المستضاف.
• انقر على خيار "Sign Up" (التسجيل) إذا لم يكن لديك حساب أو "Log In" (تسجيل الدخول) إذا كان لديك.
• أكمل عملية التسجيل. بمجرد الانتهاء، ستتمكن من الوصول إلى لوحة تحكم Label Studio الخاصة بك.

2. إعداد مشروع وسم

يتضمن إعداد مشروع وسم في Label Studio عدة خطوات، بما في ذلك تحديد اسم المشروع، واستيراد مجموعة البيانات، وتكوين مهام الوسم. دعنا نستعرض هذه الخطوات:

2.1 إنشاء مشروع وسم

بعد التسجيل وتسجيل الدخول، يمكنك البدء في إنشاء مشاريع الوسم الخاصة بك. اتبع هذه الخطوات:

علامة تبويب اسم المشروع:

1. من لوحة تحكم Label Studio الخاصة بك، انقر على زر "إنشاء مشروع جديد".
2. في علامة تبويب "اسم المشروع"، أدخل اسمًا لمشروعك. يجب أن يعكس هذا الاسم الغرض أو الموضوع الخاص بمشروع التصنيف الخاص بك.
3. اختياريًا، قدم وصفًا للمشروع لتوفير السياق والإرشادات للمصنفين.

2.2 استيراد مجموعة البيانات

قبل أن تتمكن من البدء في التصنيف، تحتاج إلى استيراد مجموعة البيانات التي ترغب في تصنيفها. يدعم Label Studio أنواعًا مختلفة من البيانات، بما في ذلك الصور والنصوص والصوت. هنا، سنركز على استيراد الصور:

علامة تبويب استيراد البيانات:

1. انتقل إلى علامة تبويب "استيراد البيانات".
2. لديك خياران لاستيراد الصور:
3. تحميل الصور مباشرة من جهاز الكمبيوتر المحلي الخاص بك.
4. توفير روابط URL للصور إذا كانت مستضافة عبر الإنترنت.
5. لهذا المثال، يمكنك إضافة الروابط التالية كمجموعة بيانات:
   *

2.3 إعداد مهام التصنيف

بعد استيراد مجموعة البيانات الخاصة بك، تحتاج إلى إعداد مهام التصنيف التي تحدد ما تريد من المصنفين أن يقوموا بتعليمه أو تصنيفه في الصور. اتبع هذه الخطوات:

علامة تبويب إعداد التصنيف:

1. انتقل إلى علامة تبويب "إعداد التصنيف".
2. اختر قالبًا من الخيارات المتاحة أو قم بتخصيص قالب وفقًا لاحتياجاتك. (لهذا المثال، استخدم تصنيف الصور)

3. يحدد Label Studio تلقائيًا الحقل المراد تصنيفه بناءً على بياناتك.
4. يمكنك تعديل الحقل المحدد إذا لزم الأمر.
5. أضف أسماء التصنيفات في أسطر جديدة. (أضف "كلب" و"قطة" لحالة الاستخدام الخاصة بنا)
6. اختياريًا، يمكنك اختيار ألوان جديدة للتصنيفات بالنقر على اسم التصنيف واستخدام محدد الألوان.
7. قم بتكوين أي إعدادات إضافية ذات صلة بوظائف واجهة التصنيف.

8. انقر على "حفظ" لإنشاء مهمة التصنيف.

تم الآن تكوين مشروع التصنيف الخاص بك، ويمكن للمصنفين البدء في إضافة التعليقات التوضيحية أو تصنيف الصور بناءً على المهمة المحددة.

3. عملية التصنيف

3.1 سير عمل التصنيف

بمجرد اكتمال إعداد مشروعك، ستتم إعادة توجيهك إلى مدير بيانات مشروعك. هنا، يمكنك إدارة مجموعة بياناتك ومهام التصنيف بكفاءة. اتبع هذه الخطوات لبدء عملية التصنيف:

1. الوصول إلى مدير البيانات: بعد إعداد المشروع، ستتم إعادة توجيهك تلقائيًا إلى مدير البيانات الخاص بمشروعك.
2. تصنيف مجموعة بياناتك: لتصنيف مجموعة بياناتك، انقر على زر "تصنيف جميع المهام". سينقلك هذا الإجراء إلى لوحة تحكم التصنيف.
3. لوحة تحكم التصنيف: في لوحة تحكم التصنيف، يمكنك عرض الصور من مجموعة بياناتك وتعيين التصنيفات. على سبيل المثال، يمكنك تصنيف الصور إما "كلب" أو "قطة".

3.2 عرض مدير البيانات

في مدير البيانات، لديك العديد من الأدوات القوية تحت تصرفك لإدارة مشروع التصنيف الخاص بك بكفاءة:

• تصفية البيانات وفرزها: يمكنك بسهولة تصفية بيانات مشروعك وفرزها بناءً على معايير مختلفة، مثل حالة التصنيف أو تعيينات المصنفين.
• حفظ الفلاتر كعلامات تبويب: أنشئ تكوينات فلاتر مخصصة واحفظها كعلامات تبويب للوصول السريع. تساعدك هذه الميزة على تبسيط سير عملك، خاصة لمجموعات البيانات الكبيرة.
• تعيين المعلقين للمهام: قم بتعيين مهام تصنيف محددة للمعلقين مباشرة من مدير البيانات. تضمن هذه الميزة التوزيع الفعال للمهام.
• حذف المهام أو التعليقات التوضيحية: إذا لزم الأمر، يمكنك حذف مهام أو تعليقات توضيحية محددة. تتيح لك هذه الإمكانية إدارة وتنظيف مجموعة بياناتك مع تقدم مشروعك.

3.3 مراقبة الجودة

للحفاظ على جودة عالية للعلامات طوال مشروعك، فكر في تطبيق عملية مراجعة:

• وصول المراجعين: قم بتعيين مراجعين يمكنهم الوصول إلى البيانات المصنفة للتحقق من دقة وجودة العلامات.
• حل التناقضات: عالج أي تناقضات أو نزاعات قد تنشأ بين المصنفين. يضمن حل المشكلات على الفور اتساق العلامات.
• التحسين المستمر: استخدم ملاحظات المراجعين ومدخلات المصنفين لتحسين عملية التصنيف بشكل متكرر، مما يؤدي إلى تحسين جودة البيانات بمرور الوقت.

4. تصدير البيانات المصنفة

بمجرد اكتمال عملية التصنيف، يمكنك تصدير البيانات المصنفة لاستخدامها في مشاريع التعلم الآلي أو التطبيقات الأخرى.

1. في مشروعك، انتقل إلى علامة التبويب "تصدير".
2. اختر تنسيق التصدير الذي يناسب احتياجاتك، مثل JSON أو CSV أو غيرها.
3. قم بتكوين إعدادات التصدير، بما في ذلك البيانات المصنفة المراد تضمينها.
4. انقر على "تصدير" لإنشاء وتنزيل البيانات المصنفة بالتنسيق الذي اخترته.

تهانينا! لقد أكملت عملية التصنيف بنجاح وقمت بتصدير بياناتك المصنفة لمزيد من الاستخدام.

ستكون بياناتك المصنفة مشابهة إلى حد ما لهذا:

[
   {
       "id": 1,
       "annotations": [
           {
               "id": 1,
               "completed_by": 1,
               "result": [
                   {
                       "value": {
                           "choices": ["Dog"]
                       },
                       "id": "m2SBwNysux",
                       "from_name": "choice",
                       "to_name": "image",
                       "type": "choices",
                       "origin": "manual"
                   }
               ],
               "was_cancelled": false,
               "الحقيقة_الأساسية": false,
               "أنشئ_في": "2023-09-14T00:51:14.067278Z",
               "حدث_في": "2023-09-14T00:51:14.067302Z",
               "أنشئت_المسودة_في": null,
               "المهلة_الزمنية": 7.287,
               "التنبؤ": {},
               "عدد_النتائج": 0,
               "معرف_فريد": "21bce98c-ef29-4725-8add-f5d6224441ec",
               "معرف_الاستيراد": null,
               "الإجراء_الأخير": null,
               "المهمة": 1,
               "المشروع": 3,
               "حدث_بواسطة": 1,
               "التنبؤ_الأب": null,
               "التعليق_التوضيحي_الأب": null,
               "آخر_من_أنشأ": null
           }
       ],
       "تحميل_الملف": "c2f3a287-czNmcy1wcml2YXRlL3Jhd3Bpe_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk",
       "المسودات": [],
       "توقعات": [],
       "بيانات": {
           "صورة": "\/data\/upload\/3\/c2f3a287-czNmcy1wcml2YXRlL3Jhd3BpeG_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk"
       },
       "ميتا": {},
       "أنشئ_في": "2023-09-14T00:45:00.762438Z",
       "حدث_في": "2023-09-14T00:51:14.111241Z",
       "المعرف_الداخلي": 1,
       "إجمالي_التسميات": 1,
       "التسميات_الملغاة": 0,
       "إجمالي_التوقعات": 0,
       "عدد_التعليقات": 0,
       "عدد_التعليقات_غير_المحلولة": 0,
       "آخر_تحديث_للتعليق": null,
       "المشروع": 3,
       "حدث_بواسطة": 1,
       "مؤلفو_التعليقات": []
   }
]


يمكنك تخصيص مشاريعك وسير عملك في Label Studio بناءً على متطلباتك الخاصة، مستفيدًا من إمكانيات Label Studio القوية في تصنيف البيانات.

اقرأ مدوناتنا السابقة في سلسلة تكاملات أدوات التعلم الآلي

‍

Machine Learning Tool Integrations #2 DVC for your Data Versioning

Learn about challenges faced in version control in Machine Learning and how TrueFoundry’s Machine Learning Platform integrates with DVC.

TrueFoundry Blog TrueFoundry

‍

استمر في مشاهدة TrueML سلسلة يوتيوب وقراءة جميع مدونات TrueML سلسلة المدونات.

ترو فاوندري هي منصة كخدمة (PaaS) لنشر التعلم الآلي فوق Kubernetes لتسريع سير عمل المطورين مع منحهم مرونة كاملة في اختبار ونشر النماذج، مع ضمان الأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق التعلم الآلي من نشر ومراقبة النماذج في 15 دقيقة بموثوقية 100% وقابلية للتوسع، والقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكلفة وإطلاق النماذج إلى الإنتاج بشكل أسرع، مما يحقق قيمة تجارية حقيقية.