TrueML Talks #26: Enterprise GenAI y LLMOPS con Labhesh Patel

Volvemos con otro episodio de True ML Talks. En este artículo, volvemos a profundizar en las aplicaciones de MLOP, canalizaciones y LLM en empresas, mientras hablamos con Labhesh Patel.

Labhesh fue director de tecnología y científico jefe en Jumio Corporation, donde trabajó para aprovechar el aprendizaje automático y la inteligencia artificial en el ámbito de la verificación de identidad. En el pasado, ocupó varios puestos de liderazgo, tanto de ingeniería como científicos, en organizaciones líderes.

📌

Nuestras conversaciones con Labhesh abordarán los siguientes aspectos:
- Patentes y artículos de investigación interesantes
- Utilización de la IA para resolver problemas empresariales
- Construyendo el oleoducto MLOps
- Rompiendo los silos: creando equipos de MLOps cohesionados para el éxito
- Superar los obstáculos de los proveedores de servicios en la nube
- El futuro de la IA generativa

Mira el episodio completo a continuación:

Patentes y artículos de investigación interesantes

Artículos de investigación

• La atención es todo lo que necesitas: Este artículo presentó la red Transformer, que revolucionó el procesamiento del lenguaje natural y sentó las bases de muchos LLM como ChatGPT.

‍

Attention Is All You Need

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.arXiv.orgAshish Vaswani

arXiv.org Ashish Vaswani

‍

• Respuesta visual a preguntas con redes de atención guiada segmentadas: Este artículo propuso un método novedoso para responder preguntas sobre imágenes mediante el uso de mapas de segmentación y mecanismos de atención. Si bien ha sido reemplazado por técnicas más nuevas, destaca la importancia de centrarse en áreas específicas de una imagen para obtener respuestas precisas.

‍

Segmentation Guided Attention Networks for Visual Question Answering

Vasu Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of ACL 2017, Student Research Workshop. 2017.

ACL Anthology

‍

• Cycle Gen: Este artículo explora la idea de generar resúmenes de texto basados en las opiniones de los usuarios y las características de los productos. Es anterior a ChatGPT y demuestra el potencial de los LLM para ayudar en las tareas de redacción.

‍

Cyclegen: Cyclic consistency based product review generator from attributes

Vasu Sharma, Harsh Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of the 11th International Conference on Natural Language Generation. 2018.

ACL Anthology

‍

Patentes

• Protocolo de negociación y almacenamiento en búfer de voz sobre IP: Esta patente surgió de una sencilla corrección de un error que mejoraba la calidad de la voz en las llamadas VoIP. Destaca el potencial de innovación en soluciones aparentemente mundanas y la importancia de considerar estrategias defensivas de patentamiento.

Utilización de la IA para resolver problemas empresariales

Hay muchos desafíos y oportunidades en la transformación de los procesos manuales con IA. Estas son algunas de las principales conclusiones:

Comience con el negocio, no con el rumor

• Identifique el problema empresarial central: ¿Por qué automatizar? ¿Cuáles son los beneficios cuantificables (escalabilidad, reducción de costos, velocidad)?
• Gestione las expectativas: La IA no es mágica. Comunique lo que se puede lograr y establezca métricas de rendimiento realistas.
• Comprenda el papel de los datos: El 90% del trabajo consiste en la gestión, la recopilación y el control de calidad de los datos. Los datos limpios son vitales para obtener modelos precisos.

Construyendo el camino correcto

• Un paso a la vez: Concéntrese en un único caso de uso de alto impacto para probar el concepto y crear su cartera.
• El cumplimiento es lo primero: Garantice el consentimiento y el uso adecuados de los datos incluso antes de tocar un solo byte.
• Las métricas importan: Realice un seguimiento de las métricas relevantes (precisión, recuperación, tasas de error) para evaluar el éxito y guiar las decisiones futuras.
• El trabajo en equipo es clave: Reúna un equipo con experiencia en ingeniería de aprendizaje automático, gestión de datos y desarrollo de productos.

Más allá del primer paso

• Itera y evoluciona: Evalúe, mejore y amplíe continuamente sus soluciones de IA en función de los datos y los comentarios.
• Aproveche la curva de aprendizaje: Prepárate para invertir en talento y educación para crear una cultura de comprensión de la IA en tu organización.

Aspectos importantes a tener en cuenta

• Cuidado con la trampa del 99%: La alta precisión en casos aislados puede ocultar problemas mayores. Presta atención al rendimiento general y a las tasas de error.
• Piensa estadísticamente: Métricas como la precisión y la recuperación proporcionan una imagen más matizada del rendimiento de la IA que los simples porcentajes de precisión.

Al priorizar las necesidades empresariales, centrarse en la calidad de los datos y crear un equipo sólido, puede sortear las complejidades y aprovechar el verdadero potencial de la IA para transformar sus operaciones.

Construyendo el oleoducto MLOps

Para cualquiera que esté creando sistemas de aprendizaje automático complejos, hay algunas cosas que puede tener en cuenta.

Adopte la nube primero, pero mantenga la agilidad

• Aproveche las herramientas de MLOps integradas de su proveedor de nube, como AWS SageMaker, para una configuración inicial rápida.
• Evite los obstáculos de cumplimiento y administración de proveedores manteniéndose dentro del ecosistema de la nube.
• Vaya más allá de las ofertas nativas cuando surjan limitaciones y busque soluciones especializadas, como plataformas o proveedores de código abierto.

Importancia de la calidad de los datos

• Reconozca que los proveedores de nube suelen descuidar la calidad de los datos y requieren sistemas internos adicionales o servicios de terceros.
• Priorice la limpieza y validación automatizadas de datos para garantizar la precisión y el rendimiento del modelo.

Consideraciones arquitectónicas

• Creación de modelos frente a producción: considere equipos separados para el desarrollo y la implementación de modelos, con conjuntos de habilidades y propiedad distintos.
• Estructura para la escalabilidad y la agilidad: diseñe una arquitectura flexible que pueda adaptarse a nuevas herramientas e integraciones a medida que evoluciona el proceso.

Rompiendo los silos: creando equipos de MLOps cohesionados para el éxito

En el vertiginoso mundo de los MLOP, la colaboración es la reina. Sin embargo, con demasiada frecuencia, los equipos se fragmentan: los científicos de datos crean modelos de forma aislada y los ingenieros se esfuerzan por implementarlos y mantenerlos. ¿El resultado? Progreso lento, oportunidades perdidas y partes interesadas frustradas.

Entonces, ¿cómo podemos romper estos silos y crear equipos de MLOps que prosperen?

Reuniendo a todos

Imagine un equipo multifuncional de 8 a 10 personas, cada una con una experiencia única: gerentes de productos, ingenieros de datos, DevOps, ingenieros de seguridad, ML, control de calidad e incluso atención al cliente. Este grupo diverso, unido por un objetivo común (por ejemplo, reducir el fraude), se convierte en una poderosa fuerza de innovación y eficiencia.

He aquí por qué funciona este enfoque:

• Propiedad compartida: Cuando todos se sienten responsables de todo el ciclo de vida de un modelo, no existe una mentalidad de «exagerar». Los problemas se abordan de forma colaborativa y las soluciones se optimizan para el despliegue y el mantenimiento en condiciones reales.
• Decisiones informadas: Los ingenieros de datos comprenden las necesidades de aprendizaje automático y los ingenieros de aprendizaje automático aprecian las realidades de la implementación. Esta combinación de conocimientos conduce a una mejor selección de modelos e ingeniería de funciones, lo que evita las dificultades que representan los modelos «perfectos para la investigación» que son imposibles de implementar.
• Iteraciones más rápidas: La colaboración estrecha fomenta la comunicación y la agilidad. El equipo puede experimentar, refinar e iterar los modelos rápidamente, maximizando el impacto de sus esfuerzos.

Abordar las brechas de habilidades para construir un equipo de este tipo

Es de suma importancia realizar contrataciones específicas. Se necesitan ingenieros de datos con un conocimiento sólido de los procesos de aprendizaje automático e ingenieros de aprendizaje automático que aprecien los principios de la ingeniería de software. Esta combinación de diversas habilidades es el ingrediente secreto para un equipo de MLOps de alto rendimiento.

Romper los silos no tiene que ver solo con la estructura, sino con la cultura. Fomente la comunicación abierta, celebre las diversas perspectivas y cree un entorno en el que todos se sientan capacitados para contribuir. Al hacerlo, crearás un equipo de MLOps cohesionado que puede convertir tus sueños de aprendizaje automático en realidad.

Superar los obstáculos de los proveedores de servicios en la nube

Hay muchos obstáculos potenciales que puede encontrar cuando depende en gran medida de un proveedor de servicios en la nube. En estos escenarios, es muy importante poder cambiar de dirección cuando surja un obstáculo de este tipo.

• No tengas miedo de explorar alternativas: Cuando los proveedores de nube tengan limitaciones, busque proveedores especializados o soluciones de código abierto para cubrir las brechas.
• La comunicación proactiva es importante: No dude en expresar sus inquietudes directamente a los proveedores de servicios en la nube. Los comentarios pueden mejorar la colaboración y el acceso a soluciones exclusivas.
• La adaptabilidad es clave: Prepárese para ajustar su enfoque en función de las tecnologías emergentes y las ofertas cambiantes de los proveedores.

Estos son algunos desafíos comunes que pueden surgir

Desafío 1: Acceso a datos superregulado

Cuando se trata de datos confidenciales (PII, registros médicos), entran en juego regulaciones estrictas como el GDPR y la CCPA. Si bien los proveedores de servicios en la nube cumplen con las normas generales, es posible que no ofrezcan herramientas específicas para garantizar el acceso y los registros de auditoría.

Las posibles soluciones para estos problemas son:

• Proveedores alternativos: busque empresas que se especialicen en entornos altamente regulados y que ofrezcan funciones de auditabilidad y control de acceso granulares.
• Soluciones de código abierto: considere las herramientas de código abierto y personalícelas para abordar necesidades de cumplimiento específicas.

Desafío 2: funciones propias y acceso limitado

A veces, los proveedores de servicios en la nube retrasan funciones específicas o las publican según su calendario, lo que deja a los clientes esperando funcionalidades cruciales.

La posible solución para esto es ser proactivo a la hora de comunicarse con el punto de contacto de ese proveedor de nube.

En ocasiones, enviar comentarios directos a la POC y comunicar los obstáculos a los que os enfrentáis puede permitiros a ti y a tu equipo acceder anticipadamente a los programas beta privados, lo que garantiza que no os perdáis futuras soluciones.

Recuerde que, incluso con obstáculos, una mentalidad proactiva y adaptable puede convertir los desafíos en oportunidades en el mundo en constante evolución de los MLOP basados en la nube.

El futuro de la IA generativa

La IA generativa, en particular los LLM (modelos de lenguaje grande), está de moda. Sin embargo, en la actualidad, los LLM se encuentran en una «fase de expansión» y son elogiados por sus habilidades mágicas para gestionar diversas tareas. Los desarrolladores recurren a las API en los LLM, lo que genera problemas como la limitación de la velocidad y los altos costos.

Desafíos para la adopción empresarial

• Costo y escalabilidad: Los modelos de gran tamaño son caros y demandan mucho cálculo, lo que los hace inadecuados para un uso empresarial generalizado.
• Seguridad y sesgo del modelo: Los entornos empresariales requieren un modelo de seguridad y control sobre los posibles sesgos, lo que puede resultar difícil con los LLM.
• Tiempo de inferencia: Los LLM tienen problemas con la latencia, lo que provoca retrasos que dificultan la productividad y la experiencia del usuario.

El futuro: ¿modelos lingüísticos pequeños al rescate?

Podría haber un cambio hacia las SLM, capacitadas para tareas y dominios específicos dentro de las empresas.

Esta «arquitectura enrutada» dirigiría las consultas al SLM apropiado para obtener respuestas más rápidas y eficientes.

Los modelos más pequeños también abordan los problemas de costo y escalabilidad, lo que los hace más accesibles para las empresas.

Factores desencadenantes y consideraciones de la transición

Es probable que la transición se produzca de forma gradual, impulsada por las limitaciones prácticas de los LLM y la creciente disponibilidad de SLM efectivos.

La reducción de costos y la mejora de la latencia desempeñarán un papel clave a la hora de acelerar la adopción de los SLM.

Lea nuestros blogs anteriores de la serie True ML Talks:

‍

GenAI and LLMOps for GTM (Go-To-Market) @ Twilio‍

Dive deep into Twilio’s GenAI applications like XGPT, and RFP Genie for revolutionizing GTM (Go-To-Market) Strategies. Deep dive into the Backend for these applications.

TrueFoundry Blog TrueFoundry

‍

Sigue viendo el TrueML Serie YouTube y leyendo el TrueML serie de blogs.

True Foundry es un PaaS de implementación de aprendizaje automático sobre Kubernetes para acelerar los flujos de trabajo de los desarrolladores y, al mismo tiempo, permitirles una flexibilidad total a la hora de probar e implementar modelos, al tiempo que garantiza una seguridad y un control totales para el equipo de Infra. A través de nuestra plataforma, permitimos a los equipos de aprendizaje automático implementar y supervisar modela en 15 minutos con un 100% de confiabilidad, escalabilidad y la capacidad de revertirse en segundos, lo que les permite ahorrar costos y lanzar los modelos a la producción más rápido, lo que permite obtener un verdadero valor empresarial.