Comment Neurobit économise 60 % de ses coûts cloud et gère le machine learning à grande échelle

Neurobit ouvre la voie à la recherche sur l'IA dans le domaine des technologies de la santé

Neurobit est une société de santé numérique basée à New York, Singapour et Bangalore. Ils mettent au point des technologies permettant de prévoir et de planifier les effets indésirables sur la santé bien avant qu'ils ne surviennent, en utilisant les données vitales recueillies pendant le sommeil comme biomarqueur.

L'entreprise a créé la plus grande base de données sur le sommeil au monde avec plus d'un billion de points de données physiologiques multicanaux. L'échelle des données qu'ils ont entraînées pour leurs modèles leur donne la robustesse nécessaire pour généraliser le modèle à tout nouveau scénario. Leur cas d'utilisation ressemble à de nombreux efforts récents en matière d'IA déployés par les entreprises de technologies de la santé de la nouvelle génération et aux nouvelles initiatives d'IA des majors technologiques.

Nous avons constaté des similitudes entre les cas d'utilisation de Neurobit et ceux d'autres entreprises et entreprises de santé de taille moyenne avec lesquelles nous avons discuté :

1. Très réglementé avec les directives les plus strictes en matière de confidentialité des données
2. Ensemble de données de grande taille
3. Faible tolérance aux pannes en cas d'échec des demandes de modèle
4. Utilisation d'algorithmes propriétaires avec des réglementations strictes en matière de protection de la propriété intellectuelle

L'équipe perdait plus de 1 000$ pour chaque utilisateur qu'elle ne servait pas

Lorsque nous avons rencontré l'équipe de Neurobit pour la première fois, elle menait des essais médicaux avec plus de 120 centres de recherche, universités et plus de 1 000 sujets. La plupart de ces sujets se trouvaient dans la même zone géographique.

Lorsque la personne se réveille, les capteurs envoient des données physiologiques au serveur pour traitement. Chaque demande nécessite l'appel de 20 modèles différents pour générer la sortie finale.

La taille des données reçues avec chaque demande était importante (plus de 400 Mo) et, pendant cette période de trafic intense, l'équipe a pu constater un retard significatif dans le temps de réponse et même l'abandon des demandes avec perte de données utilisateur.

‍

Cette situation avait des répercussions financières négatives importantes pour l'équipe :

1. L'abandon d'une demande unique émanant des sujets de l'essai a coûté à l'entreprise plus de 1 000 dollars en frais d'expérience.
2. L'entreprise pourrait accélérer les essais médicaux en collaborant avec des laboratoires et des hôpitaux qui téléchargent des données par lots importants, retardant ainsi l'approbation des produits.

Comme dans d'autres cas d'utilisation de l'apprentissage automatique dans le secteur des technologies de la santé, l'équipe ne pouvait pas se permettre de perdre les données des clients ou de retarder les réponses.

L'équipe souhaitait déployer ses modèles sur Kubernetes

L'équipe savait que le déploiement de ses modèles sur Kubernetes, avec une file d'attente pour stocker les demandes avant qu'elles ne soient traitées, permettrait de résoudre ses problèmes de fiabilité.

Cependant, les normes de protection de la propriété intellectuelle de l'entreprise limitaient l'accès au modèle à quelques membres de l'équipe d'apprentissage automatique et non à l'équipe DevOps.

L'équipe d'apprentissage automatique disposait d'une bande passante limitée et d'une expertise de Kubernetes pour y parvenir elle-même. Ils souhaitaient plutôt travailler au développement de nouveaux modèles.

La pile existante qui était utilisée pour les déploiements de machine learning était la suivante :

‍

La pile a bien fonctionné pour l'équipe jusqu'à une certaine échelle. Mais une fois le cas d'utilisation développé, l'équipe a commencé à faire face à des problèmes de fiabilité en proposant le modèle qui nécessitait une attention immédiate.

L'équipe souhaitait renforcer la sécurité de ses modèles d'API

Étant donné que l'entreprise traite des informations personnelles sensibles et des données de santé, le maintien de la sécurité des API du modèle était de la plus haute importance pour elle. Ils souhaitaient qu'aucune donnée client ne sorte de leur cloud et renforcer les normes d'authentification et de sécurité des API qu'ils utilisaient.

L'équipe a décidé de s'associer à TrueFoundry

L'équipe avait besoin d'un moyen de donner à son équipe d'apprentissage automatique, qui avait accès au modèle, les moyens de déployer et de gérer des modèles sur Kubernetes de manière indépendante. Les objectifs que l'équipe de Neurobit souhaitait atteindre grâce à un partenariat avec TrueFoundry étaient les suivants :

1. Augmenter la fiabilité de leurs modèles de machine learning lorsqu'ils sont utilisés à grande échelle
2. Permettre à l'équipe DS de déployer et de gérer les modèles d'apprentissage automatique sur Kubernetes
3. Renforcer les protocoles d'authentification et de sécurité sur les API du modèle

TrueFoundry a aidé l'équipe à trouver des solutions en matière de fiabilité et de sécurité

La plateforme a été mise en place en moins d'une journée

L'équipe TrueFoundry a aidé l'équipe Neurobit à installer l'agent TrueFoundry et le plan de contrôle sur leur cluster en un appel de 2 heures. Ils ont été informés des accès et des autorisations nécessaires, et ils ont été guidés à chaque étape de l'installation en un seul appel.

L'équipe a eu le choix d'installer uniquement les modules de la plateforme TrueFoundry qui étaient pertinents pour elle (déploiement du modèle et authentification).

Après l'installation, l'équipe a reçu une démonstration de la plateforme et a reçu la documentation.

L'équipe Neurobit a commencé son déploiement dès le premier jour

L'équipe Neurobit a pu commencer à utiliser la plateforme pour le déploiement de ses modèles dès le premier jour. Ils pouvaient connecter directement leurs référentiels Git à la plateforme. Ce code était automatiquement dockerisé et déployé sur la plate-forme à l'aide de l'interface utilisateur TrueFoundry, des API ou du SDK Python. Aucune modification de code n'a été requise et aucun cadre supplémentaire n'a été nécessaire pour tous les flux de travail que l'équipe essayait de réaliser.

L'équipe a fait preuve d'un bon rythme car elle voulait résoudre rapidement les problèmes de fiabilité. En quelques jours, ils ont commencé à explorer de plus en plus de fonctionnalités de la plateforme et nous ont fait part de leurs commentaires.

En l'espace de deux semaines, l'équipe a pu :

1. Transférez entièrement leurs charges de travail de machine learning sur Kubernetes avec TrueFoundry.
2. Déployez le modèle ML avec une file d'attente asynchrone pour stocker les demandes entrantes lorsqu'un trafic en rafale est détecté, configuré via un simple indicateur.
3. Optimisez l'allocation des ressources pour les services de machine learning en fonction des modèles de trafic et réduisez les ressources provisionnées pour réduire les coûts lorsque les volumes de demandes sont faibles.
4. Configurez l'authentification et renforcez la sécurité sur tous les points de terminaison de l'API du modèle.

Impact sur les cas d'utilisation de l'apprentissage automatique

Grâce au déploiement de modèles d'apprentissage automatique sur TrueFoundry, l'équipe a pu :

1. Économisez environ 25 à 30 000 dollars en termes de paiement des sujets d'essai en ramenant à 0 les problèmes de défaillance et de fiabilité du modèle.
2. Réduction de 35 à 40 % des coûts liés au cloud
3. Des essais cliniques plus rapides de 3 à 6 mois grâce à la collaboration avec les hôpitaux et les laboratoires
4. Configurer l'authentification sur le point de terminaison de l'API du modèle

L'équipe TrueFoundry a également aidé l'équipe Neurobit à optimiser son architecture logicielle

Lorsque les défis les plus prioritaires liés aux modèles d'apprentissage automatique ont été résolus, l'équipe TrueFoundry a décidé d'aller plus loin pour s'assurer que l'équipe Neurobit était prête à réussir. Au cours de nos conversations avec l'équipe de Neurobit, nous avons compris qu'il était possible d'optimiser davantage l'architecture de microservices de l'entreprise. Cela aurait pu avoir un impact sur le temps d'inférence et les coûts liés au cloud supportés par l'équipe.

Nous avons fini par faire un examen approfondi de l'architecture des microservices avec l'équipe.

Nous avons obtenu la compréhension suivante de l'architecture suivie par l'équipe :

1. Cinq microservices différents étaient invoqués pour traiter les entrées reçues des utilisateurs.
2. Chaque service écrivait sa sortie intermédiaire dans une base de données. À partir de cette base de données, le service suivant lisait la sortie du service précédent, exécutait le calcul dessus et la réécrivait dans la base de données pour le microservice suivant à consommer.

L'ensemble de ce processus a pris environ 7 minutes pour chaque demande.

Architecture de microservices optimisée avec TrueFoundry

‍

Nous avons essayé de comprendre la tolérance aux pannes et les temps d'inférence requis par l'équipe. Sur cette base, nous avons suggéré à l'équipe de Neurobit de transmettre directement la sortie d'un service à l'autre via le protocole gRPC.

C'est l'avantage de cette architecture.

1. Étant donné que l'exécution de chaque microservice prenait environ 30 secondes, il n'y avait pas beaucoup de risque de perdre des sorties intermédiaires en cas de panne, car l'ensemble du pipeline pouvait être réexécuté.
2. Il réduit considérablement le coût du transfert de données et le temps nécessaire pour écrire les sorties intermédiaires dans une base de données.

Ce nouveau pipeline a été hébergé sur la plateforme TrueFoundry et a réduit le temps d'inférence du modèle d'environ 7 minutes par demande à environ 2 minutes par demande.

Impact de la refonte de l'architecture

1. Le temps d'inférence du pipeline ML a été réduit d'environ 7 minutes à environ 2 minutes
2. Le coût de fonctionnement du service d'apprentissage automatique a été réduit de 60 à 70 %
3. Augmentation de la productivité et de l'indépendance des développeurs. Les développeurs pouvaient désormais déployer eux-mêmes des modèles et des applications, ce qui nécessitait auparavant des allers-retours avec l'équipe DevOps.
4. L'équipe exécute désormais tous ses modèles et applications entièrement sur Kubernetes

Impact sur les entreprises

Au fur et à mesure que notre partenariat avec l'équipe Neurobit progresse, nous avons vu l'entreprise réaliser les avantages des temps de réponse, de la fiabilité et de l'évolutivité plus rapides que la plateforme TrueFoundry a permis à l'équipe de Neurobit de réaliser.

‍

Impact sur l'infrastructure technique de Neurobit

TrueFoundry a aidé l'équipe de Neurobit à transférer toutes ses charges de travail d'apprentissage automatique vers Kubernetes sans avoir à faire face à la complexité de l'apprentissage de nouvelles informations liées à Kubernetes. Cela a également aidé l'équipe à devenir indépendante dans la gestion de toutes les opérations avancées de Kubernetes, telles que les déploiements asynchrones, la configuration de la mise à l'échelle automatique, les déploiements sans serveur, etc.

Nous avons également pu aider l'équipe à transférer certaines de ses ressources logicielles vers une architecture de microservices en plus de Kubernetes, afin que leur stack soit à l'épreuve du temps et fonctionne avec des niveaux d'utilisation optimaux.

‍

Les enseignements que nous avons tirés de notre collaboration avec Neurobit

Alors que nous continuons à collaborer avec Neurobit et à les aider à atteindre l'ampleur et le niveau d'impact qu'ils se sont fixés grâce à l'intelligence artificielle, nous sommes reconnaissants pour tous les enseignements que nous avons pu tirer de notre collaboration avec l'équipe. Cela a contribué à façonner à la fois la façon dont nous envisageons l'engagement avec les clients et a donné une orientation solide à notre produit.

Certains de nos apprentissages de base incluent :

1. Les entreprises peuvent économiser une grande partie (> 40 %) de leurs coûts liés au cloud en utilisant leurs ressources de manière optimale
2. Le fait de rendre les développeurs indépendants et de leur donner les moyens de créer eux-mêmes les versions augmente le rythme auquel l'équipe peut expédier
3. Le fait de commencer avec un stack évolutif garantit que les choses ne se brisent pas et que l'équipe ne finisse pas par faire l'effort supplémentaire lié à la migration

Nous avons co-développé certaines fonctionnalités importantes de la plateforme tout en essayant de résoudre les cas d'utilisation que l'équipe de Neurobit nous a demandé d'activer. Il s'agit notamment de :

1. Déploiements asynchrones
2. Carnets Jupyter hébergés

La voie à suivre

Nous sommes impatients de collaborer avec l'équipe de Neurobit sur le long terme et d'apprendre d'elle tout en essayant de l'aider en cours de route. Parmi les développements futurs qui pourraient être prévus pour cet engagement, citons :

1. Mise à l'échelle des débits d'inférence du modèle à 10 fois l'échelle actuelle
2. Aider à migrer l'ensemble de la pile logicielle de Neurobit sur TrueFoundry
3. Déploiement de nouveaux modèles expérimentaux et exécution de projets pilotes sur ceux-ci avec des laboratoires, des hôpitaux et des maisons de retraite.

J'ai hâte de voir ce qui va suivre !