True ML Talks #7: Plataforma de aprendizaje automático en Edge

Volvemos con otro episodio de True ML Talks. En esto, nos sumergimos profundamente Borde ML Platform, y estamos hablando con Rahul Kulhari.

Presentamos a Rahul Kulhari, cofundador y director de ciencia de datos de Edge. Con una sólida experiencia en inteligencia artificial y aprendizaje automático, Rahul es responsable de ejecutar la visión de la empresa y desarrollar su estrategia de inteligencia artificial. Dirige un equipo de expertos que desarrolla sistemas de inteligencia artificial de vanguardia que impulsan los productos de Edge para la adquisición de talento, la movilidad del talento y el mercado interno de talentos. Sus conocimientos y experiencia lo convierten en un activo valioso para la industria y en un recurso excelente para cualquier persona interesada en los últimos avances en ciencia de datos e inteligencia artificial.

📌

Nuestras conversaciones con Liming abordarán los siguientes aspectos:
- Casos de uso de ML en Edge
- Equipo de aprendizaje automático en Edge
- Innovación en Machine Learning Stack
- Cuantización VS destilación
- Desafíos en la operacionalización del aprendizaje automático
- Elección de herramientas MLOps

Mira el episodio completo a continuación:

Casos de uso de ML en Edge

1. Procesamiento del lenguaje natural (PNL): utilizado por Edge para comprender mejor las descripciones de los puestos y los currículums con el fin de recomendar a los candidatos adecuados y posibles candidatos para los puestos de trabajo.
2. Gráfico de conocimiento: utilizado por Edge para proporcionar un sistema de búsqueda y recomendación de oportunidades laborales personalizadas para los empleados de la empresa y los candidatos adecuados para los puestos de trabajo.
3. Aprendizaje por refuerzo: un posible caso de uso futuro de Edge para permitir a los usuarios tomar decisiones basadas en el comportamiento actual y la transformación que se está produciendo en la industria, avanzando hacia un enfoque más dinámico que tenga en cuenta las tendencias del sector y los cambios a lo largo del tiempo.

Equipo de aprendizaje automático en Edge

La estructura del equipo de Edge se divide en cinco subcategorías. Cada vertical es responsable de un aspecto particular del ciclo de vida de desarrollo de productos de IA. Estas cinco verticales son las siguientes:

1. Científicos aplicados/científicos de investigación/científicos de Giga: Esta subcategoría es responsable de comprender el planteamiento del problema y crear una solución completa de extremo a extremo, que incluye la experimentación, la limpieza de datos, el procesamiento de datos y la implementación. Trabajan en estrecha colaboración con otros miembros del equipo para desarrollar e implementar modelos de aprendizaje automático.
2. Analistas de datos: Esta vertical es responsable de recopilar, analizar e interpretar conjuntos de datos grandes y complejos. Trabajan en estrecha colaboración con los científicos de datos para garantizar que los datos que se utilizan sean de alta calidad y relevantes para el problema que se está resolviendo.
3. Ingenieros de aprendizaje automático: Los ingenieros de aprendizaje automático permiten a los científicos de datos formar parte de los procesos de aprendizaje automático al introducir las herramientas como parte de la capacitación, la experimentación, la implementación y la supervisión. Trabajan en estrecha colaboración con los científicos aplicados para implementar los modelos en producción.
4. Gerentes de productos de IA: Los gerentes de producto de IA son responsables de mejorar y crear el producto de IA. Traducen la exposición del problema de las partes interesadas del equipo a los científicos de datos y otros miembros del equipo. Trabajan en estrecha colaboración con los demás miembros del equipo para garantizar que el producto de IA satisfaga las necesidades de la empresa y esté en línea con los objetivos de la empresa.
5. Expertos en dominios: Esta vertical incluye a personas con experiencia en dominios específicos, como recursos humanos, finanzas y ventas. Trabajan en estrecha colaboración con los científicos de datos y los ingenieros de aprendizaje automático para garantizar que el producto de IA sea relevante para el dominio específico y aporte valor a la empresa.

📌

El papel del gerente de productos de IA:
El gerente de productos de IA cierra la brecha empresarial entre los equipos de ingeniería de ciencia de datos y aprendizaje automático al conectarse con los equipos de éxito de productos y clientes para comprender los objetivos empresariales. Organizan debates en los que participan científicos de datos, científicos investigadores y el equipo de ingeniería de aprendizaje automático para identificar las contribuciones necesarias de cada miembro del equipo. El gerente de producto de IA comunica las necesidades y las pautas para la contribución de cada equipo para garantizar que todos estén alineados. Permanecen involucrados durante todo el proyecto, asegurándose de que se cumplan los objetivos empresariales y de que todos trabajen para lograr el mismo objetivo.

Innovaciones en la pila de aprendizaje automático

El equipo de aprendizaje automático de Edge reconoce el importante desafío que representa la falta de datos en el flujo de trabajo de aprendizaje automático. Para abordar este problema, han introducido varias herramientas, procesos y algoritmos para el aumento de datos. Han desarrollado capacidades, como los algoritmos entre alumnos y profesores, que permiten entrenar sus modelos con datos ruidosos creados con estas herramientas y algoritmos y, luego, ajustar con precisión una gran cantidad de datos etiquetados.

Una herramienta fundamental que utilizan para aumentar los datos es Evidently AI, que les ayuda a identificar los datos y la desviación de los objetivos para garantizar que los datos ruidosos creados se alineen con los datos etiquetados o objetivos. Esta herramienta les permite asegurarse de que sus características categóricas y continuas están alineadas y son útiles para crear modelos precisos.

El equipo también ha innovado en el proceso de aprendizaje automático. Si bien ha ido madurando con el tiempo, cuando lo estaban creando descubrieron que no había ninguna herramienta o producto que pudiera resolver todas las tareas de principio a fin, por lo que integrarlos entre sí supuso un desafío. Utilizaron diferentes herramientas, como Neptune, Comet y MLFlow, para el registro y la administración de modelos.

Desde la perspectiva de la implementación, se han centrado en la escalabilidad, la latencia y el costo. Utilizan herramientas como TF Serving y Onyx para la cuantificación y el despliegue en los módulos de despliegue de Kubernetes. Disponen de múltiples herramientas a lo largo de su proceso de aprendizaje automático, lo que consideran una innovación. Han podido gestionar sus finanzas y, al mismo tiempo, crear obras de última generación, por lo que no han visto la necesidad de adoptar herramientas más nuevas que pueden resultar más caras. Sin embargo, alientan a su equipo a estar atentos a las nuevas tecnologías y herramientas que puedan resultar útiles en el futuro.

La cuantificación funciona mejor que la destilación: optimización de la latencia del modelo

La optimización de la latencia de los modelos es un desafío crucial en el campo del aprendizaje automático, y se han explorado técnicas como la cuantificación, la reducción de modelos y la destilación para resolverlo. Según un informe reciente de un equipo de Edge, la cuantificación funciona mejor que la destilación para reducir la latencia del modelo.

El equipo experimentó con diferentes modelos, como DisTilbert, RobErta y ALBERT, y finalmente eligió ALBERT debido a su mejor desempeño en la interpretación de trabajos y currículums. También realizaron destilaciones tanto en ALBERT como en RobErta.

A partir de sus experimentos, el equipo descubrió que la cuantificación proporcionaba resultados notables, ya que reducía la latencia del modelo de aproximadamente 1,2 segundos a unos 200 milisegundos en las CPU. El equipo utilizó la cuantificación mediante Onyx y Hugging Face para sus modelos, y los entrenaron únicamente en GPU.

Al seleccionar el modelo correcto, el equipo tuvo en cuenta varios factores, como la latencia, el tamaño del modelo, la concurrencia, la utilización de la CPU y la utilización de la memoria. Colaboraron con científicos de datos que proporcionaron el marco para el proceso de cuantificación, mientras el equipo de ingeniería de aprendizaje automático realizaba los experimentos y seleccionaba la mejor opción en función de los resultados.

Si bien la cuantificación tuvo un impacto del 1% en la precisión, no afectó a la recuperación. El equipo hace hincapié en que todo el mundo debería probar la cuantificación, ya que es una técnica sencilla pero eficaz para reducir la latencia de los modelos.

Para obtener los datos, el modelo antes de la cuantificación tardaba aproximadamente 1200 milisegundos. Sin embargo, cuando se hizo esa cuantificación, se redujo a aproximadamente 200 milisegundos.

Desafíos en la operacionalización del aprendizaje automático

Desafíos:

1. Hay datos limitados disponibles para la formación: Trabajar con casos de uso como la búsqueda, los motores de recomendación, los problemas de clasificación y el aprendizaje automático orientado a objetivos u objetivos puede resultar difícil debido a la menor disponibilidad de datos. Es fundamental identificar formas de gestionar menos datos y, aun así, lograr los mejores resultados.
2. Adopción de herramientas de aprendizaje automático: La adopción de herramientas como MLFlow es un desafío, ya que es posible que los científicos de investigación y los científicos de datos no comprendan la importancia de la herramienta o la forma en que les ayuda. El equipo de aprendizaje automático debe esforzarse por educarlos y crear conciencia sobre los beneficios de usar estas herramientas.

Soluciones:

1. Desarrollar ideas descriptivas o prescriptivas: El equipo de aprendizaje automático debe centrarse en desarrollar herramientas que proporcionen información descriptiva o prescriptiva para ayudar en la toma de decisiones. Esto reducirá la dependencia de la experiencia de los científicos investigadores, lo que puede llevar mucho tiempo y ser costoso.
2. Colaboración de datos, algoritmos y experiencia humana: Para lograr los mejores resultados y desarrollar la estrategia correcta, los datos, los algoritmos y la experiencia humana deben usarse juntos.
3. Identificación de los experimentos más críticos que se deben ejecutar: Con una infraestructura limitada, es esencial identificar los mejores experimentos para ejecutar, ya que hay muchos hiperparámetros en el aprendizaje automático. El equipo de aprendizaje automático debe centrarse en desarrollar un proceso para identificar los experimentos más importantes que deben ejecutarse y optimizar los hiperparámetros para lograr los mejores resultados.

Herramientas MLOps: algunas herramientas clave para completar todo el viaje

Herramientas de infraestructura para la capacitación e implementación de mLOps

Cuando se trata de MLOP, la infraestructura es un componente fundamental. Se necesita una infraestructura confiable para soportar la potencia de procesamiento requerida para la capacitación y la implementación del aprendizaje automático. El uso de un proveedor de GPU como E2E Networks puede proporcionar GPU asequibles en la India.

Herramientas de formación y creación de modelos para MLOP

Para el entrenamiento y la creación de modelos, el uso de herramientas como Neptune, Comet ML o TrueFoundry integradas con Git puede garantizar la reproducibilidad y el cumplimiento normativo. También se recomiendan Hugging Face, TensorFlow y PyTorch para crear modelos. CatBoost es una buena opción para problemas de regresión o árboles de decisión.

Herramientas de implementación para MLOps

Cuando se trata de la implementación, ONNX es una herramienta recomendada, o se puede adoptar un enfoque sin servidor con Max.io, Banana.dev o Infrrd. Durante el desarrollo, la calidad de los datos se puede garantizar mediante herramientas personalizadas o de terceros, como Great Expectations, Streamlit, para la visualización, y Alibi Detect o Evidently AI, para analizar y analizar los datos. Sin embargo, durante la producción, es posible que se requieran herramientas adicionales para la calidad de los datos, el linaje y otros tipos de análisis.

Lea nuestros blogs anteriores de la serie TrueML

‍

‍True ML Talks #6 - Machine Learning Platform @ °Nomad Health

In this blog, we dive deep into Nomad.Health’s ML Platform. Understand their ML architecture, how ML is used in the healthcare staffing industry.

TrueFoundry Blog TrueFoundry

‍

Sigue viendo el TrueML serie youtube y leyendo todo el TrueML serie de blogs.

True Foundry es un PaaS de implementación de aprendizaje automático sobre Kubernetes para acelerar los flujos de trabajo de los desarrolladores y, al mismo tiempo, permitirles una flexibilidad total a la hora de probar e implementar modelos, al tiempo que garantiza una seguridad y un control totales para el equipo de Infra. A través de nuestra plataforma, permitimos a los equipos de aprendizaje automático implementar y supervisar modela en 15 minutos con un 100% de confiabilidad, escalabilidad y la capacidad de revertirse en segundos, lo que les permite ahorrar costos y lanzar los modelos a la producción más rápido, lo que permite obtener un verdadero valor empresarial.