True ML Talks #6 - Plataforma de aprendizaje automático @ °Nomad Health

Volvemos con otro episodio de True ML Talks. En esto, nos sumergimos profundamente °Nomad Health's ML Platform, y estamos hablando con Liming Zhao.

Liming Zhao, es el director de tecnología de °Nomad Health, una empresa de tecnología que está revolucionando la industria del personal sanitario. Debido a la escasez de médicos, especialmente ante una pandemia, °Nomad Health tiene como objetivo proporcionar un mercado en el que los profesionales de la salud puedan encontrar trabajos temporales para satisfacer las necesidades de atención de los pacientes más urgentes y atractivas.

📌

Nuestras conversaciones con Liming abordarán los siguientes aspectos:
- Casos de uso del aprendizaje automático en °Nomad Health
- Equipo de aprendizaje automático en °Nomad Health
- Implementación de modelos de aprendizaje automático
- Creación de una solución personalizada de Feature Store
- Elección de herramientas MLOps
- Gestione los costes de la nube

Mira el episodio completo a continuación:

Casos de uso de ML @°Nomad Health

1. Modelado predictivo: °Nomad Health ha incorporado la IA y el aprendizaje automático en sus operaciones, específicamente en el área del modelado predictivo. Esto ayuda a priorizar el trabajo, dado que los médicos son el recurso más escaso. °Nomad Health invierte mucho en esto y lo considera una capacidad de aprendizaje automático.
2. Sistemas de recomendación: °Nomad Health utiliza modelos basados en gráficos para recomendar trabajos atractivos a los médicos. Lo incorporan en sus correos electrónicos de clasificación y divulgación, asegurándose de que los médicos reciban los trabajos más adecuados, incluso si no tienen tiempo para explorar todos los trabajos disponibles.
3. Modelos lingüísticos de gran tamaño: °Nomad Health usa LLM, como GPT-3, para extraer y aumentar las descripciones de los puestos. Utilizan el modelo para estandarizar los requisitos laborales, extrayendo información significativa de una porción de texto que puede escribirse con diversos grados de detalle y claridad. °Nomad Health también está estudiando la posibilidad de utilizar cursos de máster en el currículum vitae, pero se trata de un área difícil debido a los diversos grados de exhaustividad del personal clínico.

📌

Maestría en Derecho para currículums en personal clínico:
°Nomad Health está explorando el uso de modelos lingüísticos extensos (LLM) para las descripciones de puestos y los currículums. La empresa ha tenido más éxito con modelos robustos como el GPT-3. Sin embargo, el uso de los LLM en los currículos del personal clínico presenta desafíos debido a la necesidad de certificaciones y licencias específicas. °Nomad Health está trabajando para crear un conjunto completo de credenciales para currículums digitales utilizando su plataforma para simplificar el proceso tanto para los médicos como para los centros médicos.

Equipo de aprendizaje automático de °Nomad Health

°El equipo de ciencia de datos de Nomad Health es relativamente pequeño y está formado por nueve miembros, incluidos un gerente, un científico de datos, un analista de datos y un ingeniero de datos. Los cinco miembros restantes son ingenieros de aprendizaje automático, dos de los cuales se centran en el desarrollo de infraestructuras y los MLOP, mientras que los otros tres se centran en la creación, las pruebas y el envío de modelos.

Aprovechan las soluciones fácilmente disponibles de otras industrias y hacen referencia a problemas, las adaptan a casos de uso específicos e invierten mucho en la recopilación, el análisis y la estandarización de datos. °La estructura de equipo y las prácticas de colaboración de Nomad les permiten avanzar de manera rápida y eficiente, con todos los miembros trabajando juntos para resolver los problemas. Han logrado un éxito significativo en los MLOP, aprendiendo de sus necesidades y obstáculos, gracias a su enfoque basado en datos y a su equipo talentoso y diverso.

Implementación de modelos de aprendizaje automático

°Nomad Health invirtió mucho en Vertex AI, ya que la mayor parte de la infraestructura tecnológica estaba en Google Cloud Platform (GCP), pero a medida que se enfrentaban a necesidades empresariales más complicadas y a una mayor frecuencia de implementación, empezaron a trasladar el punto final del servicio de producción fuera de Vertex AI y a implementarlo en el clúster de Google Kubernetes Engine (GKE). Esto permitió al equipo disponer de más flexibilidad, control y escalabilidad en su proceso de implementación y CI/CD.

°El equipo de aprendizaje automático de Nomad Health usa Vertex AI para el entrenamiento de modelos y aprovecha el amplio conjunto de bibliotecas, interfaces y herramientas de Vertex AI para probar cosas rápidamente, monitorear el éxito y comprender las señales prometedoras. El equipo también está evaluando ML Flow, pero actualmente no utiliza DataBricks en su catálogo.

En general, la evolución de la estrategia de implementación de °Nomad Health se debió a la comprensión de la complejidad práctica y al exitoso despliegue del equipo de ingeniería adyacente en GKE. Esta estrategia permitió al equipo de aprendizaje automático aprovechar las prácticas y la infraestructura existentes sin dejar de tener el control de su implementación.

Creación de una solución de tienda de funciones personalizada

°Nomad Health ha creado una solución de ingeniería de funciones personalizada para gestionar su gran conjunto de datos y crear un almacén de funciones más coherente. La empresa se dio cuenta de que sus diferentes proyectos de aprendizaje automático necesitaban compartir el mismo conjunto de datos, incluida información sobre las opiniones laborales de los médicos, los resultados de las solicitudes y las credenciales o preferencias. Formalizaron un almacén de funciones y crearon un equipo responsable de recopilar los datos sin procesar, realizar una transformación básica y, a continuación, obtener los datos de forma alineada con la empresa. Para poder pasar rápidamente a la visualización, la organización de BI podría utilizar los datos transformados. El equipo de ciencia de datos también podría extraer rápidamente un subconjunto de funciones y llamarlo al almacén de funciones.

°Nomad Health utiliza la solución de código abierto Feast para extraer y almacenar funciones para diferentes modelos, y los comentarios del modelado se enviarán a la tienda de funciones. La empresa está aprovechando la IA de Vertex para modelar y tiene un plan de implementación diferente. Una de las soluciones más innovadoras del panorama general de las plataformas de aprendizaje automático es la transformación de los datos sin procesar en una entidad, un evento y una dimensión coherentes que el equipo de inteligencia empresarial y el equipo de ciencia de datos puedan utilizar para el análisis de datos y el análisis predictivo, respectivamente. Esta transformación de los datos sin procesar ha permitido a °Nomad Health crear una señal fiable que se correlaciona estrechamente con la solicitud y la presentación de una oferta desde las instalaciones.

Inicialmente, comenzamos con la infraestructura de inteligencia artificial de Vertex y, finalmente, pasamos a nuestra propia tienda de funciones implementada de código abierto. La clave es obtener nuestros datos patentados, la forma y el conjunto de datos únicos.

Elección de herramientas MLOps

Desde el principio, las empresas deben invertir en una herramienta o plataforma que proporcione la mayor parte de lo que necesitan, como Vertex AI o SageMaker, para poder centrarse primero en hacer realidad el valor de su negocio. Una vez que las empresas hayan creado un equipo sólido de ingeniería o ciencia de datos, podrán eliminar la implementación de producción de la plataforma y añadir los servicios correspondientes. El recorrido que recorre una empresa es más importante que recomendar un conjunto completo de herramientas, y siempre es mejor elegir algo que funcione razonablemente bien por ahora e iterar a partir de ahí.

Si solo tiene dos personas que comienzan con su equipo de ciencia de datos y lo primero que hace es configurar toda su infraestructura patentada. ¿Para qué? ¿Qué has demostrado? ¿Este sofisticado motor y esta infraestructura superpoderosa pueden realmente gritar?

Gestione los costos de la nube

1. Invierta en herramientas de monitoreo y alerta: Considere la posibilidad de utilizar herramientas como TrueFoundry para supervisar el rendimiento de la infraestructura e identificar las instancias que causan fluctuaciones en los costos. Estas herramientas pueden ayudar a detectar los problemas desde el principio y a tomar medidas correctivas con rapidez.
2. Confíe en las prácticas manuales: Utilice prácticas manuales, como la supervisión de los registros y las señales canalizados a un cuaderno de Colab, para identificar las instancias que causan fluctuaciones en los costos. Investigue estas instancias de forma semanal o quincenal y reinicie o finalice ciertos modelos de entrenamiento según sea necesario.
3. Establezca un presupuesto y reciba informes en tiempo real: Establezca un presupuesto para los costos de la nube y reciba informes en tiempo real del proveedor de la nube para garantizar que no se supere el presupuesto. Esto puede ayudar a mantener los costos bajo control y evitar gastos inesperados.
4. Implemente soluciones más sofisticadas: A medida que la infraestructura crezca, considere la posibilidad de implementar soluciones más sofisticadas para administrar los costos de manera efectiva. Esto puede incluir el uso de herramientas automatizadas o la contratación de personal especializado para gestionar los costos de la nube.
5. Logre un equilibrio entre el costo y el rendimiento: Es esencial lograr un equilibrio entre el costo y el rendimiento para lograr los resultados deseados. Considere la posibilidad de optimizar las cargas de trabajo de aprendizaje automático para garantizar que sean rentables y, al mismo tiempo, cumplan con los requisitos de rendimiento.

Reflexiones adicionales de Liming Zhao

MLOps: Construir frente a comprar

1. La decisión entre los servicios gestionados y la infraestructura interna es fundamental para la implementación de MLOps. Se recomienda un enfoque híbrido a medida que la organización madura.
2. Los resultados a largo plazo y las compensaciones entre los costos deben tenerse en cuenta para la evaluación de los costos y los recursos. Supervise los costos cuidadosamente y traslade los componentes de alto rendimiento a una infraestructura patentada para obtener productos estables.
3. Para los modelos menos confiables, tolere las fluctuaciones de costos, pero use etiquetas para la atribución de costos y supervise las fluctuaciones de precios para una optimización efectiva de los costos.

Importancia de adaptarse a las cambiantes necesidades empresariales

Durante la pandemia, °Nomad Health tuvo que priorizar las ofertas más probables para gestionar la afluencia de solicitudes de empleo. Sin embargo, a medida que la gente se mostraba más reacia a la hora de solicitar empleo, hubo que ajustar el motor de recomendaciones para ofrecer a los candidatos más opciones.
En retrospectiva, el enfoque inicial de °Nomad Health en la velocidad y la autonomía fue la decisión correcta para un equipo pequeño con necesidades empresariales inciertas. Sin embargo, a medida que las necesidades empresariales y del equipo evolucionaron, la empresa tuvo que centrarse en la precisión y la eficiencia.
Este recorrido destaca la importancia de tener en cuenta las situaciones empresariales cambiantes al tomar decisiones de aprendizaje automático. Al ser ágiles y estar dispuestas a adaptarse, las empresas pueden tomar decisiones informadas que les permitan evolucionar con el cambiante panorama empresarial.

Si te gustó el siguiente blog, aquí tienes los blogs anteriores de la serie TrueML

‍

True ML Talks #5 - Machine Learning Platform @ Simpl

In this blog, we dive deep into Simpl’s ML Platform. Understand how ML is used for Fraud Detection & understand the ML architecture at Simpl.

TrueFoundry Blog TrueFoundry

‍

Sigue viendo el TrueML serie youtube y leyendo todo el TrueML serie de blogs.

True Foundry es un PaaS de implementación de aprendizaje automático sobre Kubernetes para acelerar los flujos de trabajo de los desarrolladores y, al mismo tiempo, permitirles una flexibilidad total a la hora de probar e implementar modelos, al tiempo que garantiza una seguridad y un control totales para el equipo de Infra. A través de nuestra plataforma, permitimos a los equipos de aprendizaje automático implementar y supervisar modela en 15 minutos con un 100% de confiabilidad, escalabilidad y la capacidad de revertirse en segundos, lo que les permite ahorrar costos y lanzar los modelos a la producción más rápido, lo que permite obtener un verdadero valor empresarial.