حوارات True ML Talks #1 - سير عمل Machine Learning في Gong

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
اليوم، تطلق TrueFoundry سلسلة التعمق في Machine Learning، حيث نتحدث مع قادة ML و Data Science عبر الشركات التي تستخدم ML للتعمق في حالات الاستخدام وسير عمل ML داخل مؤسساتهم. كجزء من هذه السلسلة، سنستضيف ونستكشف بشكل أعمق البنية التحتية لـ ML (أو ML Stack) لشركات مثل Gong وStichFix وSalesForce وGusto وSimpl وغيرها الكثير.
📌
في هذه السلسلة، نتعمق في عالم Machine Learning للكشف عن طيف تطبيقات ML وإعدادات البنية التحتية عبر مختلف القطاعات.
ستدور محادثاتنا حول أربعة محاور رئيسية:
1. حالات استخدام Machine Learning للأعمال
2. كيف قاموا ببناء ML stack الخاص بهم بما في ذلك خطوط أنابيب التدريب والتجريب (Training and Experimentation Pipeline)، والنشر والتقديم (Deployment and Serving)، والمراقبة وتحسينها من حيث التكلفة وزمن الانتقال (Cost/Latency) أثناء العمل
3. التحديات التي واجهوها أثناء بناء ML stack مع تحديات محددة تتعلق بالقطاع
4. نظرة عامة على الابتكارات المتطورة المطبقة أثناء عملية بناء وتوسيع البنية التحتية لـ ML.
لبدء المناقشة الأولى في السلسلة، تحدثنا إلى Noam Lotner من Gong. تعد Gong منصة لذكاء الإيرادات (Revenue Intelligence). فهي تمكّن فرق الإيرادات من تحقيق كامل إمكاناتها من خلال كشف واقع العملاء من واقع محادثات فريق الإيرادات. تقوم Gong بتحليل التفاعلات الموجهة للعملاء عبر الهاتف والبريد الإلكتروني والويب وما إلى ذلك، لتقديم أفضل الرؤى لفرق الإيرادات حتى يتمكنوا من استخدامها لإغلاق المزيد من الصفقات.
Noam Lotner هو قائد فريق عمليات البحث (Research Operations Team Lead) في Gong. وهو يعمل على بناء المنصة التشغيلية لمجموعة أبحاث AI/ML - حيث يقوم بأتمتة عمليات إصدار النماذج، وإدارة التجارب، واختبارات الأداء، وبناء أدوات وضع العلامات (labeling) وإنشاء مجموعات البيانات، وتمكين الوصول الآمن إلى مصادر بيانات الإنتاج.
تحقق من محادثتنا أدناه:
لماذا يعد ML مهمًا لـ Gong: منصة ذكاء المبيعات
تقوم Gong بتحليل التفاعلات الموجهة للعملاء عبر الهاتف والبريد الإلكتروني والويب وما إلى ذلك. ويصبح Machine Learning أكثر أهمية لتحليل تفاعلات المبيعات تقديم الرؤى لفرق الإيرادات. يمكن لخوارزميات ML أتمتة المهام التي كانت تُجرى سابقًا يدويًا، مثل تحليل مكالمات الفيديو، والنسخ النصي، وتحليل مكالمات المبيعات الهاتفية. وهذا يوفر الوقت ويحسن كفاءة عملية المبيعات.
- خط أنابيب تحليل مكالمات الفيديو ← من أجل تحليل المكالمات، يعالج الفريق الفيديو، ويصنف الإطارات (frames)، ويجري بعض المعالجة على أنواع معينة من أجزاء الفيديو.
- خط أنابيب تحليل النسخ النصي الصوتي ← يحصل الصوت فعليًا على نسخ نصي أوتوماتيكي جنبًا إلى جنب مع خط أنابيب آخر يتضمن عددًا غير قليل من النماذج، للتحقق من مكان الكلام، وتحديد المتحدث وزمن كلامه بالإضافة إلى محتوى المحادثة.
- خط الأنابيب القائم على النص NLP ← يوجد خط أنابيب لاستخراج المعلومات من الشرائح وملاحظات المكالمات. بالنسبة للبريد الإلكتروني، يتم استخدام خط أنابيب مختلف لمعالجة NLP والمراسلة والتعليقات.
كيف يتم تقسيم هذه النماذج عبر العملاء
في حين أن هذا سؤال طرحناه على Gong، إلا أننا نرى أن جميع شركات SaaS بشكل غير مباشر:
- نماذج مشتركة لجميع العملاء: هناك بعض النماذج مثل نماذج ASR، التي تقوم بالتعرف التلقائي على الكلام. يساعد هذا في تقديم خدمة موحدة والحفاظ على الاتساق عبر المنصة
- نماذج فريدة لكل عميل: في حالة الشركات الناشئة في مجال SaaS، خاصة في حالة منصة ذكاء المبيعات مثل Gong، يجب أن يكون كل نموذج فريدًا. يتم ذلك لضمان خصوصية البيانات وأمانها بالإضافة إلى تقديم التخصيص من خلال تدريب النموذج على مجموعة بيانات العميل. يأتي هذا مع تحديين: Serving وخصوصية البيانات. نظرًا لأن Gong تسمح للعملاء بإجراء تدريب على النماذج بناءً على بياناتهم الخاصة، يتعين عليهم كشف واجهات ML Interfaces على منصتهم، وبالتالي يصبح فصل البيانات لكل عميل تحديًا.
📌
عدد النماذج: عدد العملاء × أنواع النماذج
📌
"نحن نستخدم نفس النموذج الأساسي للجميع. كما نتيح للعملاء في الواقع إجراء تدريب لنماذج معينة لمحتواهم الخاص."
من أجل تحسين التكاليف، تستخدم Gong تقديم النماذج المتعددة (multi-model serving) في طبقة الاستدلال (inference layer)، حيث إن تشغيل نماذج منفصلة في أجهزة منفصلة سيعني نظامًا عالي التكلفة.
إليك مدونة تفصيلية من Gong تتحدث عن استخدام ML في مبيعات B2B
سير عمل نظام ML في Gong
في Gong، يتم هيكلة نظام ML وفقًا للهيكل التنظيمي لـ ML.
- البحث (Research): بيئة منفصلة للبحث. يعمل الفريق بشكل منفصل - الحصول على البيانات، إجراء التدريب، إنهاء التدريب، إصدار النموذج، ثم يتم إرسال النموذج إلى خط أنابيب النشر (deployment pipeline)، والذي تتولى الهندسية (engineering) إدارته.
- نشر الإنتاج (جزء من الهندسة): يتم نشر النموذج المدرب في بيئة الإنتاج بواسطة فريق الهندسة.
في هذه المدونة (وكذلك سلسلة المحادثات)، سوف نتعمق أكثر في تحديات البنية التحتية لجانب البحث في Gong
كيف تم إعداد سير عمل باحث ML في Gong؟

- مرحلة الاختبار الأساسية: يأخذ الباحثون البيانات ويدربونها على أجهزتهم الخاصة أو باستخدام VMs عن طريق سحب البيانات من الإنتاج إلى أجهزتهم
- مرحلة الأتمتة: بمجرد الانتهاء من النموذج، يتم إنشاء خط أنابيب أوتوماتيكي لمعالجة البيانات لإيصال الكمية الكبيرة من البيانات إلى يد الباحث.
لتمكين الباحثين من تشغيل الأجهزة بسهولة، تم إعداد البنية التحتية بأكملها فوق Kubernetes للبنية التحتية للبحث. معظم النماذج في فريق البحث لا تستخدم ميزات عبر الإنترنت (online features).
السحابة: غالبية البنية التحتية موجودة على AWS ونعمل أيضًا مع مزودي سحابة آخرين بسعة أصغر نوعًا ما.
إدارة البنية التحتية: تقوم خطوط الأنابيب في الواقع بتشغيل النماذج تحديدًا لكل عميل. هناك جهاز يعمل ويتعامل مع جميع مكالمات تلك الشركة
تحديات أخرى تجعل ML مشكلة معقدة في Gong
- التكلفة: لقد غطينا ذلك أيضًا أعلاه، التكلفة هي تحدٍ رئيسي لـ Gong حيث يتطلب الأمر كمية هائلة من البيانات للتدريب ثم إعادة تدريب النموذج. مجموعات البيانات الصوتية كبيرة جدًا (بضع مئات من الساعات من الكلام تترجم إلى بضع مئات من الجيجابايت من البيانات). مجموعات بيانات NLP أصغر حجمًا، ولكن يمكن أن تحتوي على العديد من الصفوف. نظرًا لأن البحث مفصول عن الإنتاج، فإنه يتيح لفريق البحث المرونة في كمية البيانات المراد استخدامها في تدريب النموذج. يقوم فريق البحث بعمل لتمكين تحسين كمية البيانات المستخدمة في التدريب.
- تبسيط منصة ML: أحد الجوانب المهمة لتبسيط العملية هو في الواقع إخفاء تعقيد اختيار نوع البيانات المراد استخدامها للتدريب مع التحكم المناسب في الوصول خلف الأدوات.
يتم ذلك بشكل مختلف لمصادر البيانات المختلفة. في حالة وجود عدد كبير من قواعد البيانات (كل منها يحتوي على نوع مختلف من المعلومات، وكل منها يمكن الوصول إليه بشكل مختلف)، يتم بذل الكثير من العمل في إنشاء خطوط أنابيب آمنة وتسمح فقط للأشخاص المصرّح لهم باستخدام البيانات وتنشئ سجلاً لمن وصل إلى البيانات ولأي غرض. ويتضمن أيضًا السماح للباحثين بالمزج والتوفيق بين النتائج من مصادر بيانات مختلفة. - أمان البيانات وخصوصيتها: أحد المخاوف الرئيسية لـ Gong هو الأمان والخصوصية، أي التأكد من عدم وجود تسريبات والتأكد من عدم تمكن أي شخص ليس لديه سلطة من الوصول إلى البيانات، وعدم حصول أي عميل على بيانات من عميل آخر. هذا معقد للغاية بسبب الكمية الكبيرة من البيانات.
كيف حلت Gong ذلك: تخزين البيانات في مواقع آمنة وتأشير كل نقطة بيانات (annotated)، ووجود حقوق وصول، وفقًا لمعرف العميل Tenant ID. يتم التحكم في الوصول عبر آليات أوراق الاعتماد (credentials)، وكل ما يمكن أتمتته يتم أتمتته. - ضمان عدم وجود طريقة لتغذية بيانات عميل واحد في نموذج آخر - عند استخدام نموذج لغوي كبير، من الممكن استنتاج شيء ما من عميل واحد، ويحصل عميل آخر على المعلومات الخاصة. هذا شيء يجب أخذه في الاعتبار.
- إعادة التدريب الأوتوماتيكي ليست سهلة: يتم إعادة التدريب فقط عندما تكون هناك طريقة متمكنة حقًا لإجراء جميع مراحل خط الأنابيب. هذا نادر جدا. تعتمد جهود إعادة التدريب على نوع النموذج، على سبيل المثال في حالة نموذج التعرف على الكلام للغة معينة، فمن السهل جدًا إعادة التدريب بنفس المعلمات على بيانات جديدة.
تحديث البيانات يغير أيضًا الكثير من المحتوى ويتطلب أيضًا أن يقوم الباحث بإجراء بعض البحث مرة أخرى للتأكد من أن النموذج الجديد يعمل في الواقع بشكل أفضل مما كان لدينا من قبل.
أفكار إضافية من Noam
Kubernetes هو الخيار الأمثل
كل ما يتم إنجازه في فريق البحث يتم نقله الآن إلى Kubernetes. جزء من عمل Noam هو مساعدة فريقه في الحصول على الموارد تلقائيًا من سحابة Kubernetes. إنه جهد مستمر حاليًا.
📌
"أوصي أي شخص يدخل في هذا المجال، أنه في وقت مبكر جدًا من رحلتك، تحتاج إلى التفكير في الحجم (Scale) وتحتاج إلى التفكير في كيفية عمل مجموعتك"
"أعتقد أن معظم أنظمة MLOps تتطلب Kubernetes لإدارة الموارد. لا أرى أي منصة في المستقبل يمكنها القيام بأي شيء يتعلق بـ MLOps دون استخدام Kubernetes"
بعض الأشياء المهمة التي يجب ملاحظتها:
- التخفيض إلى الصفر (Scale to Zero) مهم جدًا من حيث إدارة التكلفة. إنه استنزاف كبير للتكلفة أن تكون هناك أجهزة تعمل ولا تفعل شيئًا.
- يجب أن يكون النظام مرنًا للتعامل مع مشكلات الأمان والخصوصية بكفاءة. يجب أن تبقى البيانات حيث هي وعليك إحضار الكود الخاص بك إلى هناك.
MLOps: البناء مقابل الشراء
📌
"وجهة نظري هي أن Gong كانت بحاجة إلى بناء هذه المنصة"
- أثناء البناء، ابدأ على Kubernetes، وهي منصة قابلة للتوسع ومرنة.
- قم بتكوين جميع الأنظمة بحيث تكون جاهزًا لفصل العملاء (tenant separation) وجاهزًا لتطبيق GDPR، وإذا أراد شخص ما حذف البيانات، فأنت بحاجة إلى حذف البيانات.
- التفكير في الحجم في وقت مبكر جدًا أمر مهم للغاية. اجعل بنيتك التحتية سرعة الحركة ومرنة، وتأكد من أن لديك قدرات التوسع، ويمكنك نشر وتشغيل العديد من الأجهزة كما تريد عندما تحتاج إليها. ولكن قم بإيقافها بمجرد أن تصبح خاملة.
الأمان، الأمان، الأمان
لا شيء يمكن أن يكون أكثر أهمية لشركة SaaS من الأمان. يجب أن يعطي خط أنابيب ML الأولوية للأمان بسبب خصوصية البيانات أثناء التعامل مع البيانات الحساسة للعملاء وكذلك للتحكم في الوصول غير المصرح به.
نأمل أن تكون المدونة الأولى في سلسلة حوارات TrueML Talks قد تمكنت من إعطائك رؤى قيمة حول كيفية التفكير في بناء البنية التحتية لأبحاث Machine Learning الخاصة بك لتمكين فرق ML لديك. #MLOps #MachineLearning #DataScience #DevOps #ModelOps #AIInfrastructure
اقرأ مدوناتنا الجديدة في السلسلة
توجه إلى الحلقة الثانية من حوارات TrueML حيث نتحدث مع قائد المنصة في Stitch. استمر في مشاهدة سلسلة youtube الخاصة بـ TrueML واعثر على جميع حلقات سلسلة مدونات TrueML هنا -
TrueFoundry هي منصة PaaS لنشر ML فوق Kubernetes لتسريع سير عمل المطورين مع إتاحة المرونة الكاملة لهم في اختبار النماذج ونشرها مع ضمان الأمان والتحكم الكامل لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق Machine learning من نشر ومراقبة النماذج في 15 دقيقة بموثوقية وقابلية للتوسع بنسبة 100%، والقدرة على التراجع في ثوانٍ - مما يتيح لهم توفير التكلفة وإصدار النماذج للإنتاج بشكل أسرع، مما يتيح تحقيق قيمة أعمال حقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






