True ML Talks #6 - Plateforme d'apprentissage automatique @ °Nomad Health

Nous sommes de retour avec un autre épisode de True ML Talks. Dans ce cadre, nous approfondissons °Nomad Health's ML Platform, et nous discutons avec Liming Zhao.

Liming Zhao est le directeur technique de °Nomad Health, une entreprise technologique qui révolutionne le secteur du personnel de santé. Face à une pénurie de cliniciens, en particulier en raison d'une pandémie, °Nomad Health vise à fournir un marché où les professionnels de santé peuvent trouver des missions temporaires pour répondre aux besoins de soins les plus urgents et les plus attrayants des patients.

📌

Nos conversations avec Liming porteront sur les aspects suivants :
- Cas d'utilisation du ML dans °Nomad Health
- L'équipe d'apprentissage automatique de °Nomad Health
- Déploiement de modèles d'apprentissage automatique
- Création d'une solution de Feature Store personnalisée
- Choix des outils MLOps
- Gérez les coûts du cloud

Regardez l'épisode complet ci-dessous :

Cas d'utilisation du ML @° Nomad Health

1. Modélisation prédictive : °Nomad Health a intégré l'IA et le ML à ses opérations, en particulier dans le domaine de la modélisation prédictive. Cela permet de hiérarchiser le travail, étant donné que les cliniciens constituent la ressource la plus rare. °Nomad Health investit beaucoup dans ce domaine et considère qu'il s'agit d'une capacité d'apprentissage automatique.
2. Systèmes de recommandation : °Nomad Health utilise la modélisation graphique pour recommander des emplois intéressants aux cliniciens. Ils l'intègrent dans leurs e-mails de classement et de sensibilisation, garantissant ainsi que les cliniciens se voient proposer les emplois les plus appropriés, même s'ils n'ont pas le temps d'explorer tous les emplois disponibles.
3. Modèles de langage étendus : °Nomad Health utilise des LLM, tels que GPT-3, pour extraire et compléter les descriptions de poste. Ils utilisent le modèle pour normaliser les exigences du poste, en extrayant des informations pertinentes à partir d'une masse de texte qui peut être écrite avec plus ou moins de détails et de clarté. °Nomad Health envisage également d'utiliser des LLM sur les CV, mais il s'agit d'un domaine difficile en raison du degré variable d'exhaustivité du personnel clinique.

📌

LLM pour les CV en dotation clinique :
°Nomad Health explore l'utilisation de grands modèles linguistiques (LLM) pour les descriptions de poste et les CV. L'entreprise a connu plus de succès avec des modèles robustes tels que le GPT-3. Cependant, l'utilisation de LLM sur les CV pour le personnel clinique présente des défis en raison de la nécessité de certifications et de licences spécifiques. °Nomad Health travaille à la création d'un ensemble complet de certificats de CV numériques en utilisant sa plateforme afin de simplifier le processus pour les cliniciens et les établissements médicaux.

L'équipe d'apprentissage automatique de °Nomad Health

°L'équipe de science des données de Nomad Health est relativement petite et comprend neuf membres, dont un responsable, un data scientist, un analyste de données et un ingénieur des données. Les cinq membres restants sont des ingénieurs en apprentissage automatique, dont deux se concentrent sur le développement d'infrastructures et les MLOP, tandis que les trois autres se concentrent sur la création, les tests et l'expédition de modèles.

Ils tirent parti de solutions facilement disponibles provenant d'autres secteurs et de problèmes de référence, en les adaptant à des cas d'utilisation spécifiques, et investissent massivement dans la collecte, l'analyse et la standardisation des données. °La structure d'équipe et les pratiques de collaboration de Nomad leur permettent d'agir rapidement et efficacement, tous les membres travaillant ensemble pour résoudre les problèmes. Ils ont remporté un succès significatif dans le domaine des MLOps, en tirant les leçons de leurs besoins et de leurs blocages, grâce à leur approche axée sur les données et à leur équipe talentueuse et diversifiée.

Déploiement de modèles d'apprentissage automatique

°Nomad Health a investi massivement dans Vertex AI, car la majeure partie de l'infrastructure technologique se trouvait dans Google Cloud Platform (GCP), mais face à des besoins commerciaux plus complexes et à une fréquence de déploiement plus élevée, elle a commencé à déplacer le point de terminaison du service de production hors de Vertex AI pour le déployer sur le cluster Google Kubernetes Engine (GKE). Cela a permis à l'équipe d'avoir plus de flexibilité, de contrôle et d'évolutivité sur son déploiement et son pipeline CI/CD.

°L'équipe d'apprentissage automatique de Nomad Health utilise Vertex AI pour la formation de modèles, en tirant parti du riche ensemble de bibliothèques, d'interfaces et d'outils de Vertex AI pour essayer rapidement des choses, suivre les succès et comprendre les signaux prometteurs. L'équipe évalue également ML Flow, mais n'utilise actuellement pas DataBricks dans sa pile.

Dans l'ensemble, l'évolution de la stratégie de déploiement de °Nomad Health est le résultat d'une prise de conscience de la complexité pratique et du déploiement réussi de l'équipe d'ingénierie adjacente sur GKE. Cette stratégie a permis à l'équipe d'apprentissage automatique de tirer parti des pratiques et de l'infrastructure existantes tout en gardant le contrôle de leur déploiement.

Création d'une solution de Feature Store personnalisée

°Nomad Health a créé une solution d'ingénierie des fonctionnalités personnalisée pour gérer son vaste ensemble de données et créer un magasin de fonctionnalités plus cohérent. L'entreprise s'est rendu compte que ses différents projets d'apprentissage automatique devaient partager le même ensemble de données, notamment des informations sur les offres d'emploi des cliniciens, les résultats des candidatures, les diplômes ou les préférences. Ils ont formalisé un magasin de fonctionnalités et créé une équipe chargée de récupérer les données brutes, d'effectuer les transformations de base, puis de les récupérer d'une manière adaptée à l'entreprise. Pour permettre une transition rapide vers la visualisation, l'organisation BI pourrait ensuite utiliser les données transformées. L'équipe de data science pourrait également extraire rapidement un sous-ensemble de fonctionnalités et l'appeler vers le Feature Store.

°Nomad Health utilise la solution open source Feast pour extraire et stocker les fonctionnalités de différents modèles, et les commentaires issus de la modélisation seront renvoyés au magasin de fonctionnalités. L'entreprise exploite l'IA Vertex pour la modélisation et dispose d'un pipeline de déploiement différent. L'une des solutions les plus innovantes du paysage global des plateformes de machine learning est la transformation des données brutes en une entité, un événement et une dimension cohérents que l'équipe BI et l'équipe de science des données pourraient utiliser respectivement pour l'analyse des données et l'analyse prédictive. Cette transformation des données brutes a permis à °Nomad Health de créer un signal fiable en forte corrélation avec l'application et le rendu d'une offre depuis les installations.

Au départ, nous avons commencé par l'infrastructure Vertex AI pour finalement passer à notre propre magasin de fonctionnalités open source implémenté. Obtenir nos données propriétaires, leur forme et leur ensemble uniques de données, est en fait la clé.

Choisir les outils MLOps

Dès le début, les entreprises devraient investir dans un outil ou une plateforme fournissant la plupart de ce dont elles ont besoin, comme Vertex AI ou SageMaker, afin de pouvoir se concentrer sur la réalisation de leur valeur commerciale en premier lieu. Une fois que les entreprises ont constitué une solide équipe d'ingénierie ou de science des données, elles peuvent supprimer le déploiement de production de la plateforme et ajouter des services adjacents. Le parcours d'une entreprise est plus important que la recommandation d'un ensemble complet d'outils, et il est toujours préférable de choisir quelque chose qui fonctionne assez bien pour le moment et d'itérer à partir de là.

Si vous n'avez que deux personnes à commencer par votre équipe de science des données et que la première chose à faire est de configurer l'ensemble de votre infrastructure propriétaire. Pour quoi ? Qu'avez-vous prouvé, ce moteur sophistiqué et cette infrastructure super puissante pouvaient réellement crier ?

Gérez les coûts liés au cloud

1. Investissez dans des outils de surveillance et d'alerte : Envisagez d'utiliser des outils tels que TrueFoundry pour surveiller les performances de l'infrastructure et identifier les instances à l'origine de fluctuations de coûts. Ces outils peuvent aider à détecter les problèmes à un stade précoce et à prendre des mesures correctives rapidement.
2. Fiez-vous à des pratiques manuelles : Utilisez des pratiques manuelles, telles que la surveillance des journaux et des signaux transmis dans un bloc-notes Colab, pour identifier les cas à l'origine de fluctuations de coûts. Examinez ces instances sur une base hebdomadaire ou bimensuelle et redémarrez ou arrêtez certains modèles d'entraînement si nécessaire.
3. Établissez un budget et recevez des rapports en temps réel : Établissez un budget pour les coûts du cloud et recevez des rapports en temps réel de la part du fournisseur de cloud pour vous assurer que le budget n'est pas dépassé. Cela peut aider à maîtriser les coûts et à éviter des dépenses imprévues.
4. Mettez en œuvre des solutions plus sophistiquées : À mesure que l'infrastructure se développe, envisagez de mettre en œuvre des solutions plus sophistiquées pour gérer efficacement les coûts. Cela peut inclure l'utilisation d'outils automatisés ou l'embauche de personnel dédié pour gérer les coûts du cloud.
5. Trouvez un équilibre entre coûts et performances : Il est essentiel de trouver un équilibre entre les coûts et les performances pour obtenir les résultats souhaités. Envisagez d'optimiser les charges de travail d'apprentissage automatique pour vous assurer qu'elles sont rentables tout en répondant aux exigences de performances.

Réflexions supplémentaires de Liming Zhao

MLOps : créer ou acheter

1. La décision entre les services gérés et l'infrastructure interne est essentielle pour la mise en œuvre des MLOps. Une approche hybride est recommandée à mesure que l'organisation évolue.
2. Les résultats à long terme et les compromis entre les coûts doivent être pris en compte pour l'évaluation des coûts et des ressources. Surveillez attentivement les coûts et transférez les composants hautes performances vers une infrastructure propriétaire pour des produits stables.
3. Pour les modèles moins fiables, tolérez les fluctuations de coûts, mais utilisez des balises pour l'attribution des coûts et surveillez les fluctuations de prix pour une optimisation efficace des coûts.

L'importance de s'adapter à l'évolution des besoins des entreprises

Pendant la pandémie, °Nomad Health a dû prioriser les offres les plus susceptibles de présenter pour gérer l'afflux de candidatures. Cependant, comme les gens hésitaient de plus en plus à postuler à des emplois, le moteur de recommandation a dû être ajusté pour proposer plus d'options aux candidats.
Rétrospectivement, l'accent mis initialement par °Nomad Health sur la rapidité et l'autonomie était la bonne décision pour une petite équipe dont les besoins commerciaux étaient incertains. Cependant, à mesure que les besoins de l'équipe et de l'entreprise évoluaient, l'entreprise a dû se concentrer sur la précision et l'efficacité.
Ce parcours met en évidence l'importance de prendre en compte l'évolution de la situation commerciale lors de la prise de décisions en matière d'apprentissage automatique. En faisant preuve d'agilité et de volonté de s'adapter, les entreprises peuvent prendre des décisions éclairées qui leur permettent d'évoluer en fonction de l'évolution du paysage commercial.

Si vous avez apprécié le blog suivant, voici les blogs précédents de la série TrueML

‍

True ML Talks #5 - Machine Learning Platform @ Simpl

In this blog, we dive deep into Simpl’s ML Platform. Understand how ML is used for Fraud Detection & understand the ML architecture at Simpl.

TrueFoundry Blog TrueFoundry

‍

Continuez à regarder le TrueML série youtube et en lisant tout le TrueML série de blogs.

True Foundry est un PaaS de déploiement de machine learning sur Kubernetes destiné à accélérer les flux de travail des développeurs tout en leur offrant une flexibilité totale dans les tests et le déploiement de modèles, tout en garantissant une sécurité et un contrôle complets à l'équipe Infra. Grâce à notre plateforme, nous permettons aux équipes de machine learning de déployer et surveiller des modèles en 15 minutes avec une fiabilité à 100 %, une évolutivité et la possibilité de revenir en arrière en quelques secondes, ce qui leur permet de réduire les coûts et de mettre les modèles en production plus rapidement, ce qui permet de réaliser une véritable valeur commerciale.