Blank white background with no objects or features visible.

تعلن TrueFoundry عن استحواذها على Seldon AI، موسعة بذلك لوحة التحكم الخاصة بها للذكاء الاصطناعي للمؤسسات. البيان الصحفي الكامل →

نيوروبيت تتصدر أبحاث الذكاء الاصطناعي في مجال التقنية الصحية

نيوروبيت هي شركة صحة رقمية مقرها نيويورك وسنغافورة وبنغالور. تعمل على تطوير تقنيات للتنبؤ بالنتائج الصحية السلبية والتخطيط لها قبل حدوثها بوقت طويل، وذلك باستخدام العلامات الحيوية التي يتم جمعها أثناء النوم كمؤشر حيوي.

قامت الشركة بإنشاء أكبر قاعدة بيانات للنوم في العالم بأكثر من تريليون نقطة بيانات فسيولوجية متعددة القنوات. يمنحهم حجم البيانات التي دربوا نماذجهم عليها المتانة لتعميم النموذج على أي سيناريو جديد. تشبه حالة استخدامهم العديد من جهود الذكاء الاصطناعي الحديثة التي تقوم بها شركات التقنية الصحية الحديثة ومبادرات الذكاء الاصطناعي الجديدة لكبرى شركات التكنولوجيا.

وجدنا أوجه تشابه بين حالات استخدام نيوروبيت وتلك الخاصة بشركات الرعاية الصحية الأخرى الكبيرة والمتوسطة التي تحدثنا إليها:

  1. تخضع لتنظيمات صارمة مع أشد الإرشادات صرامة فيما يتعلق بخصوصية البيانات
  2. حجم كبير لمجموعة البيانات
  3. قدرة منخفضة على تحمل الأخطاء لطلبات النموذج الفاشلة
  4. استخدام خوارزميات خاصة مع لوائح قوية لحماية الملكية الفكرية

كان الفريق يخسر أكثر من 1000 دولار لكل مستخدم فشلوا في خدمته

عندما التقينا بفريق نيوروبيت لأول مرة، كانوا يجرون تجارب طبية مع أكثر من 120 مركز بحث وجامعة وأكثر من 1000 مشارك. كان معظم هؤلاء المشاركين في نفس الموقع الجغرافي.

عندما يستيقظ الشخص، ترسل المستشعرات البيانات الفسيولوجية إلى الخادم للمعالجة. يتطلب كل طلب استدعاء 20 نموذجًا مختلفًا لتوليد الناتج النهائي.

كان حجم البيانات الواردة مع كل طلب كبيرًا (أكثر من 400 ميجابايت)، وخلال أوقات الذروة، لاحظ الفريق تأخرًا كبيرًا في وقت الاستجابة وحتى إسقاط الطلبات مع فقدان بيانات المستخدم.

Problems faced in the Machine Learning pipeline due to burst traffic
أدت الطلبات التي تم إسقاطها إلى خسائر بآلاف الدولارات للشركة

كان هذا الوضع يسبب تداعيات مالية سلبية كبيرة للفريق:

  1. كلف إسقاط طلب واحد وارد من المشاركين في التجربة الشركة أكثر من 1000 دولار في رسوم التجربة.
  2. كان بإمكان الشركة تسريع التجارب الطبية من خلال العمل مع المختبرات والمستشفيات التي تقوم بتحميل البيانات على دفعات كبيرة، مما يؤخر الموافقات على المنتجات.

كما هو الحال في حالات استخدام التعلم الآلي الأخرى ضمن صناعة التكنولوجيا الصحية، لم يكن بمقدور الفريق تحمل فقدان بيانات العملاء أو تأخر الاستجابات.

أراد الفريق نشر نماذجه على Kubernetes

أدرك الفريق أن نشر نماذجهم على Kubernetes، مع وجود قائمة انتظار لتخزين الطلبات قبل معالجتها، من شأنه أن يحل مشكلات الموثوقية لديهم.

ومع ذلك، قيدت معايير حماية الملكية الفكرية للشركة الوصول إلى النموذج على عدد قليل فقط من أعضاء فريق التعلم الآلي وليس لفريق DevOps.

كان لدى فريق التعلم الآلي قدرة استيعابية وخبرة محدودة في Kubernetes لتنفيذ ذلك بأنفسهم. بدلاً من ذلك، أرادوا التركيز على تطوير نماذج جديدة.

كان المكدس الحالي الذي كان يُستخدم لعمليات نشر التعلم الآلي هو:

HTML Table Generator
Component Tool
Machine Learning Development Framework   Tensorflow
 Cloud GCP and AWS 
Model Serving  GRPC w/o a load balancer
Model Storage  Google Bucket 

عمل المكدس بشكل جيد للفريق حتى نطاق معين. ولكن بمجرد توسع حالة الاستخدام، بدأ الفريق يواجه مشكلات في الموثوقية عند تقديم النموذج مما تطلب اهتمامًا فوريًا.

أراد الفريق تعزيز أمان واجهات برمجة تطبيقات النماذج الخاصة به

نظرًا لأن الشركة تتعامل مع بيانات حساسة لتحديد الهوية الشخصية (PII) وبيانات صحية، كان الحفاظ على أمان واجهات برمجة تطبيقات النماذج ذا أهمية قصوى بالنسبة لهم. لم يرغبوا في أن تغادر أي بيانات للعملاء سحابتهم، وأرادوا تعزيز معايير المصادقة والأمان لواجهات برمجة التطبيقات التي كانوا يستخدمونها.

قرر الفريق الشراكة مع TrueFoundry

احتاج الفريق إلى طريقة لتمكين فريق التعلم الآلي الخاص بهم، الذي كان لديه وصول إلى النموذج، ليتمكن من نشر وإدارة النماذج على Kubernetes بشكل مستقل. كانت الأهداف التي أراد فريق Neurobit تحقيقها من خلال الشراكة مع TrueFoundry هي:

  1. زيادة موثوقية نماذج التعلم الآلي الخاصة بهم عندما تعمل على نطاق واسع
  2. تمكين فريق علوم البيانات (DS) من نشر وإدارة نماذج التعلم الآلي على Kubernetes
  3. تعزيز بروتوكولات المصادقة والأمان على واجهات برمجة تطبيقات النماذج

ساعدت TrueFoundry الفريق في حل مشكلات الموثوقية والأمان

تم إعداد المنصة في أقل من يوم

ساعد فريق TrueFoundry فريق Neurobit على تثبيت وكيل TrueFoundry ولوحة التحكم على مجموعتهم خلال مكالمة استغرقت ساعتين. تم إبلاغهم بالوصول والأذونات المطلوبة، وتم توجيههم خلال كل خطوة من خطوات التثبيت في مكالمة واحدة.

أُتيح للفريق خيار تثبيت الوحدات النمطية فقط من منصة TrueFoundry التي كانت ذات صلة بهم (نشر النماذج والمصادقة).

بعد التثبيت، عُرض على الفريق عرض توضيحي للمنصة وسُلمت لهم الوثائق.

بدأ فريق Neurobit النشر منذ اليوم الأول

تمكن فريق Neurobit من البدء في استخدام المنصة لنشر نماذجهم منذ اليوم الأول. فقد تمكنوا من ربط مستودعات Git الخاصة بهم مباشرة بالمنصة، وتم تحويل هذا الكود تلقائيًا إلى Docker ونشره على المنصة باستخدام واجهة مستخدم TrueFoundry أو واجهات برمجة التطبيقات (APIs) أو حزمة تطوير Python (SDK). لم تكن هناك حاجة لتغييرات في الكود ولا حاجة لتعلم أي إطار عمل إضافي لجميع سير العمل التي كان الفريق يحاول إنجازها.

أظهر الفريق وتيرة عمل رائعة لأنهم أرادوا حل مشكلات الموثوقية بسرعة. في غضون أيام قليلة، بدأوا في استكشاف المزيد والمزيد من ميزات المنصة وقدموا لنا ملاحظاتهم.

في غضون أسبوعين، تمكن الفريق من:

  1. نقل أعباء عمل التعلم الآلي الخاصة بهم بالكامل إلى Kubernetes باستخدام TrueFoundry.
  2. نشر نموذج التعلم الآلي مع قائمة انتظار غير متزامنة لتخزين الطلبات الواردة عند اكتشاف تدفق مفاجئ لحركة المرور، ويتم تكوينه عبر علامة بسيطة.
  3. تحسين تخصيص الموارد لخدمات التعلم الآلي وفقًا لأنماط حركة المرور وتقليص الموارد المخصصة لتوفير التكاليف عندما تكون أحجام الطلبات منخفضة.
  4. إعداد المصادقة وتعزيز الأمان على جميع نقاط نهاية واجهة برمجة تطبيقات النموذج.

التأثير على حالات استخدام التعلم الآلي

من خلال نشر نماذج التعلم الآلي على TrueFoundry، تمكن الفريق من:

  1. توفير حوالي 25-30 ألف دولار من حيث مدفوعات المشاركين في التجارب عن طريق خفض مشكلات فشل النموذج والموثوقية إلى الصفر.
  2. انخفاض بنسبة 35-40% في تكاليف السحابة
  3. تجارب سريرية أسرع بمدة 3-6 أشهر من خلال التعاون مع المستشفيات والمختبرات
  4. إعداد المصادقة على نقطة نهاية واجهة برمجة تطبيقات النموذج

كما ساعد فريق TrueFoundry فريق Neurobit في تحسين بنية برامجهم

عندما تم حل التحديات ذات الأولوية القصوى المتعلقة بنماذج التعلم الآلي، قرر فريق TrueFoundry المضي قدمًا للتأكد من أن فريق Neurobit كان مهيأً للنجاح. خلال محادثاتنا مع فريق Neurobit، أدركنا أن هناك مجالًا لتحسين بنية الخدمات المصغرة (microservices) للشركة بشكل أكبر. قد يكون لذلك تأثير محتمل على وقت الاستدلال وتكاليف السحابة التي كان الفريق يتكبدها.

انتهى بنا الأمر إلى إجراء مراجعة متعمقة لبنية الخدمات المصغرة مع الفريق.

Originally each microservice was writing its output in a database and the next microservice was loading the output of the previous microservice from the database wasting a lot of time
بنية الخدمات المصغرة الأصلية

توصلنا إلى الفهم التالي للبنية التي كان الفريق يتبعها:

  1. كانت هناك 5 خدمات مصغرة مختلفة يتم استدعاؤها لمعالجة المدخلات التي تم استلامها من المستخدمين.
  2. كل خدمة كانت تكتب مخرجاتها الوسيطة إلى قاعدة بيانات. ومن قاعدة البيانات هذه، كانت الخدمة التالية تقرأ مخرجات الخدمة السابقة، وتجري الحسابات عليها، ثم تعيد كتابتها إلى قاعدة البيانات لتستهلكها الخدمة المصغرة التالية.

استغرقت هذه العملية بأكملها حوالي 7 دقائق لكل طلب.

بنية الخدمات المصغرة المحسّنة مع TrueFoundry

We were able to help the team reduce 70% of its inference time by simplifying the microservices architecture
بنية الخدمات المصغرة المحسّنة مع TrueFoundry

حاولنا فهم تحمل الأخطاء وأوقات الاستدلال التي يحتاجها الفريق. وبناءً على هذا الفهم، اقترحنا على فريق Neurobit تمرير مخرجات خدمة إلى أخرى مباشرةً عبر بروتوكول gRPC.

كانت ميزة هذه البنية هي أن.

  1. بما أن كل خدمة مصغرة استغرقت حوالي 30 ثانية للتنفيذ، لم يكن هناك خطر كبير لفقدان المخرجات الوسيطة في حال حدوث عطل، حيث يمكن تشغيل المسار بأكمله مرة أخرى.
  2. يقلل هذا بشكل كبير من تكلفة نقل البيانات والوقت المستغرق لكتابة المخرجات الوسيطة إلى قاعدة بيانات.

استضافت منصة TrueFoundry هذا المسار الجديد، وقد أدى ذلك إلى تقليل وقت استدلال النموذج من حوالي 7 دقائق/طلب إلى حوالي دقيقتين/طلب.

تأثير إعادة تصميم البنية

  1. تم تقليل وقت استدلال مسار تعلم الآلة من حوالي 7 دقائق إلى حوالي دقيقتين.
  2. تم تخفيض تكلفة تشغيل خدمة تعلم الآلة بنسبة 60-70%.
  3. زيادة إنتاجية المطورين واستقلاليتهم. أصبح بإمكان المطورين الآن نشر النماذج والتطبيقات بأنفسهم، وهو ما كان يتطلب سابقًا تواصلًا متكررًا مع فريق DevOps.
  4. يدير الفريق الآن جميع نماذجه وتطبيقاته بالكامل على Kubernetes.

التأثير على الأعمال

مع تقدم شراكتنا مع فريق Neurobit، رأينا أن الأعمال التجارية قد أدركت الفوائد من أوقات الاستجابة الأسرع والموثوقية وقابلية التوسع التي ساعدت منصة TrueFoundry فريق Neurobit على تحقيقها.

6 months Faster GTM, 60% reduction in Cloud Costs, 70% Faster model response times
التأثير التجاري على Neurobit من التعاون

التأثير على المكدس التقني لـ Neurobit

ساعدت TrueFoundry فريق Neurobit على نقل جميع أعباء عمل التعلم الآلي الخاصة بهم إلى Kubernetes دون الحاجة إلى التعامل مع تعقيد تعلم أي شيء جديد يتعلق بـ Kubernetes. كما ساعدت الفريق على أن يصبح مستقلاً في التعامل مع جميع العمليات المتقدمة في Kubernetes مثل عمليات النشر غير المتزامنة، وإعداد التحجيم التلقائي، وعمليات النشر بدون خادم، إلخ.

لقد تمكنا أيضًا من مساعدة الفريق في نقل بعض مواردهم البرمجية إلى بنية الخدمات المصغرة (microservices) فوق Kubernetes لضمان أن تكون بنيتهم جاهزة للمستقبل وتعمل بمستويات استخدام مثالية.

Complete Migration to Kubernetes, 80% Lesser Interaction of ML team with DevOps, Strong Authentication on all API end points, Stack Ready for 100X Scale and SOTA models
التأثير التقني على Neurobit من التعاون

"Working with TrueFoundry has proven to be a game-changer for our development team. They've provided us with the tools necessary to independently deploy our models on Kubernetes, an accomplishment that previously seemed out of our reach. As a result, the speed at which our team can now operate has seen a considerable increase. We're now able to deploy and scale our models confidently, all the while ensuring availability and scalability.

The commitment and diligence of the TrueFoundry team truly stand out. They've exceeded the initial project's expectations and demonstrated an earnest interest in driving our success. Impressively, they extended their expertise even beyond machine learning, taking the time to deeply understand and improve our broader architectural framework.

By partnering with TrueFoundry, we've achieved significant operational efficiencies and cost savings. Our model inference times have been reduced by approximately 50%, leading to a noticeable enhancement in customer experience. Simultaneously, our infrastructure costs have seen a substantial decrease of about 60%, through efficianent use of infrastructure. This partnership has not only led to financial savings for us but also vastly improved our service delivery to customers and rapid development of technologies for the data science team."

- Dr. Amiya Patnaik, Co-founder and Director @ Neurobit

دروسنا المستفادة من التعاون مع Neurobit

بينما نواصل التعاون مع Neurobit ومساعدتهم على تحقيق النطاق ومستوى التأثير في مجال الذكاء الاصطناعي الذي يطمحون إليه، فإننا ممتنون لجميع الدروس التي تمكنا من استخلاصها من العمل مع الفريق. لقد ساعد ذلك في تشكيل طريقة تفكيرنا حول التعامل مع العملاء، كما أعطى توجيهًا قويًا لمنتجنا.

تشمل بعض دروسنا الأساسية:

  1. يمكن للشركات توفير جزء كبير (>40%) من تكاليفها السحابية باستخدام مواردها على النحو الأمثل
  2. جعل المطورين مستقلين وتمكينهم من إجراء الإصدارات بأنفسهم، يزيد من وتيرة عمل الفريق
  3. البدء ببنية جاهزة للتوسع يضمن عدم تعطل الأمور وأن الفريق لا يضطر في النهاية إلى بذل جهد إضافي للهجرة

لقد شاركنا في تطوير بعض الميزات المهمة للمنصة أثناء محاولتنا حل حالات الاستخدام التي طلب منا فريق Neurobit تمكينها. وتشمل هذه:

  1. عمليات النشر غير المتزامنة
  2. دفاتر Jupyter المستضافة

الخطوات المستقبلية

نتطلع إلى التعاون مع فريق Neurobit على المدى الطويل والتعلم منهم مع تقديم المساعدة لهم على طول الطريق. تشمل بعض التطورات المستقبلية التي قد يحملها هذا التعاون:

  1. توسيع نطاق إنتاجية استدلال النموذج إلى 10 أضعاف النطاق الحالي
  2. المساعدة في ترحيل مكدس البرامج بالكامل لـ Neurobit على TrueFoundry
  3. نشر نماذج تجريبية جديدة وإجراء تجارب أولية عليها مع المختبرات والمستشفيات ودور الرعاية.

نتطلع بحماس إلى ما هو قادم!

The fastest way to build, govern and scale your AI

شغّل مسار تعلم الآلة الخاص بك من اليوم الأول

مسار