Permitir a una empresa sanitaria Fortune 100 lanzar más de 30 casos de uso LLM en menos de un año

Permitir a una empresa de atención médica de la lista Fortune 100 enviar más de 30 casos de uso de LLM en menos de un año

El cliente del estudio es una empresa de salud de la lista Fortune 100 con sede en EE. UU. Invierte fuertemente en la investigación de la salud y aprovecha la tecnología de vanguardia. Dado su enorme tamaño (más de 50 000 empleados), desempeñan funciones que van desde la fabricación, la investigación y la gestión de la cadena de suministro hasta casos de uso interno como los recursos humanos, las operaciones, la experiencia del cliente, etc.

Dada la tendencia de la empresa a ser una de las primeras en adoptar nuevas tecnologías, cuando se lanzaron los LLM, el equipo se puso manos a la obra e identificó un conjunto de más de 30 casos de uso con un potencial de impacto de más de 500 millones de dólares al año. Con este ambicioso objetivo en mente, el equipo comenzó a abordar estos casos de uso y a crear su base para la IA generativa con el fin de:

• Entregue rápidamente casos de uso de LLM de alto impacto: Para impulsar el crecimiento de los ingresos y la reducción de costos en funciones como la investigación, la experiencia del cliente, la búsqueda de documentos, etc.
• Permitir que los equipos reutilicen el trabajo de los demás: Al poner a disposición de forma gradual todos los activos (analizadores de datos, modelos, características de datos, etc.) desarrollados por otros equipos en cada nuevo proyecto. Esto garantizaría que cada nuevo caso de uso que se construya lleve menos tiempo que el anterior.

Además de aportar la vanguardia a sus casos de uso, el equipo quería democratizar la IA para aumentar su adopción. Quería habilitar:

• Despliegue en un clic de las reglas empresariales y los modelos existentes: De este modo, cualquier usuario puede empezar a utilizar directamente los modelos/reglas que se implementan una vez sin necesidad de un científico de datos.

• Un único panel de visión para gestionar todos los modelos implementados: Las normas sobre el movimiento de datos obligaron a la empresa a implementar modelos por separado en cada región de presencia. Esto creó una pesadilla de administración a la hora de implementar y supervisar el rendimiento de estos modelos. El equipo quería simplificar este proceso para los equipos de aprendizaje automático y DevOps.

Con la colaboración entre el equipo del cliente y TrueFoundry, pudimos -

• Logre una reducción del 60 al 80% en los casos de uso de TTV de LLM: Con acceso a las plantillas de casos de uso y la opción de implementar cada elemento del modelo de caso de uso (UI/DB/modelo de incrustación/analizadores de datos/divisores). Con un solo clic, el equipo podría enviar el caso de uso en 1 semana.
• Democratice el uso de la IA: El equipo pudo crear un mercado reconocible con todas las reglas y modelos empresariales internos que cualquier usuario que no fuera de ML también podía deducir directamente de la interfaz de usuario y obtener los resultados por correo electrónico.
• Simplifique la administración de modelos: El equipo podría garantizar que el ROI empresarial se obtenga a partir de sus modelos implementados al poder monitorearlos todos a través de un solo panel de vidrio. También pudimos simplificar considerablemente el proceso de lanzamiento y actualización de estos modelos.

Acerca del cliente

El cliente es un especialista en salud de Fortune 100 con una historia de más de 100 años. Tienen presencia en más de 120 países y tienen un impacto positivo significativo en la salud pública de estos países. Tienen un ADN de investigación intensa y mantienen su compromiso de estar a la vanguardia de la tecnología. Su división de investigación y desarrollo contrata a más de 7000 empleados y gasta más de 10 000 millones de dólares.

El cliente ya tenía varios equipos internos que desarrollaban casos de uso para diferentes verticales comerciales. Con el lanzamiento de los modelos lingüísticos extensos, la mayoría de las empresas verticales se pusieron manos a la obra para reimaginar sus procesos. La entrega de estos casos de uso se delegó en el equipo de ciencia de datos.

El equipo de ciencia de datos fue responsable de crear diferentes casos de uso y también de crear herramientas para que los equipos individuales de ciencia de datos de la Universidad de California fueran más eficientes. En este grupo, se trata de una combinación única de estatutos verticales y horizontales que presenta interesantes desafíos y oportunidades.

Liberar el potencial empresarial de las LLM

Con más de 30 casos de uso de LLM analizados por el equipo, los líderes se dieron cuenta de que, sin desarrollar una capacidad de IA generativa adicional, se necesitarían años y decenas de millones de dólares antes de que hubieran podido ejecutar todos estos casos de uso.

Estos casos de uso se distribuyeron en varios dominios:

1. Investigación: Ayudar a los equipos de investigación resumiendo artículos y documentos, ayudándolos a mantenerse al día con los últimos avances y, a un nivel avanzado, incluso ayudando a idear nuevas ideas para experimentos y proponiendo pruebas.
2. Bienestar del cliente: Desarrollando aplicaciones que ayudaron a mejorar la experiencia de sus clientes y aquellas dirigidas a las poblaciones de los países en los que operan, ayudando a mejorar la salud general de estos países. Esto incluía aplicaciones como el bot QnA para despejar las dudas de los pacientes, generar contenido educativo sobre la administración de medicamentos y vacunas, etc.
3. Recursos humanos y operaciones internas: Ayudamos a agilizar y automatizar procesos como la comparación de currículums, la elaboración de perfiles de candidatos, la adquisición de talento, etc., que normalmente habían sido un proceso manual que consumía mucho tiempo.

Disminuir el tiempo de valorización de la inteligencia artificial

Los líderes de la empresa identificaron que, dado que había varios sectores comerciales verticales y varios equipos de ciencia de datos que operaban dentro de la empresa, a menudo un equipo no veía el trabajo realizado por otro equipo.

La transferencia de conocimientos entre los equipos era escasa. Cuando ocurrió, el equipo que intentó aprovechar el trabajo de otro equipo tuvo que hacer frente a un enorme retraso antes de poder hacer que el activo (modelo, interfaz de usuario, lógica empresarial, etc.) fuera útil para su equipo. Esto se debió a:

• Capacidad limitada de descubrimiento del trabajo realizado en todos los equipos: Los equipos tienen una transferencia limitada de conocimientos entre sí y los activos generados en cada proyecto.
• Solo la documentación no es suficiente: Con frecuencia, la documentación se vuelve redundante, incompleta y lleva tiempo leerla e implementarla. Esto introduce fricciones cuando los equipos quieren reutilizar el trabajo de los demás.
• Dependencia del equipo de ingeniería para la reutilización: Reutilizar el trabajo de alguien también implicaba involucrar al equipo de ingeniería en la implementación de los modelos.
• Disminuir el tiempo de mantenimiento de los modelos: Dado que la mayoría de los modelos se habían implementado por separado en cada región en la que opera la empresa, manteniéndolos (actualizaciones y cambios) o simplemente monitoreando si estaban

El equipo había iniciado el desarrollo en ambos frentes.

Cuando TrueFoundry comenzó a explorar una asociación con el equipo, habían empezado a desarrollar sus dos objetivos. Sin embargo, al cabo de 3 a 4 meses de desarrollo, empezaron a enfrentarse a algunos desafíos:

Se contrataron algunos casos de uso de LLM a empresas consultoras.

La empresa ya estaba trabajando con algunas de las principales empresas de consultoría e implementación. Decidieron asignar algunos de los casos de uso a estas empresas y, para validar la idea, empezaron con un caso de uso. Algunos de los problemas a los que se enfrentaron aquí fueron:

• Cada caso de uso cuesta entre 500 000 y 1 millón de dólares para la V1: El equipo comprendió que ampliar estos casos de uso y refinarlos y mantenerlos a lo largo de esta ruta no alcanzaría el nivel de impacto que habían previsto.
• Proceso lento: El tiempo de amortización de cada uno de los casos de uso fue de 3 a 4 meses, por lo que, para 30 casos de uso, el equipo habría tenido que esperar de 2 a 3 años o gastar mucho más.
• La creación de capacidades era limitada: Dado que el campo se actualiza todos los días, el equipo se dio cuenta de que, si no se fortalecía la capacidad de su propio equipo, sería imposible mantener el ritmo a largo plazo.

El equipo interno de ML también había empezado a crear otro caso de uso.

El equipo interno de ML comenzó el desarrollo de uno de los casos de uso por sí mismo. Sin embargo, les resultaba difícil mantener el ritmo al que se estaban produciendo los avances sobre el terreno. Algunos de sus principales desafíos eran:

1. Acceso limitado a API y herramientas de terceros: Cualquier cosa que requiriera el envío de datos estaba fuera del alcance del equipo. Tampoco tenían soporte para algunas de las herramientas que simplifican el ajuste, las pruebas, etc. de los modelos y, por lo tanto, tenían que descubrir estos componentes por sí mismos.
2. Dependencia de DevOps: Dado que el paradigma LLM/GenAI del aprendizaje automático requería la orquestación de la infraestructura a una escala que el equipo desconocía antes, se enfrentaron a un gran retraso a la hora de poder crear soporte para cualquier novedad disponible en el mercado.
3. La experimentación fue limitada: según los modelos que podría respaldar el equipo de infraestructura y, por lo tanto, el equipo no sabía si tenían la mejor calidad posible que se podría haber logrado. Además, se enfrentaban a retrasos al intentar acometer tareas más complejas, como la puesta a punto de LoRa, etc. 

El mercado de la IA generativa se redujo solo a la capacidad de descubrimiento y no al despliegue de recursos

El equipo ideó la creación de una entidad tipo mercado de IA generativa en la que todos los equipos de ML pudieran publicar su trabajo (modelos, características de datos, analizadores, preprocesamiento, etc.). El mercado tenía que albergar:

1. Modelos de aprendizaje automático desarrollados internamente: Para facilitar el entrenamiento y la implementación incrementales
2. Activos de LLM: Para ayudar a desarrollar aplicaciones LLM integrales con modelos, bases de datos, interfaz de usuario, etc.
3. Modelos base: Incluyendo LLM, regresión, modelos de series temporales, etc.
4. Utilidades de código: Cargadores de datos, analizadores, etc.
5. Aplicaciones: Aplicaciones internas totalmente funcionales para diferentes casos de uso

Sin embargo, cuando el equipo comenzó a desarrollar el proyecto, se dieron cuenta de que les llevaría mucho tiempo construir la capa de orquestación subyacente que pudiera cumplir su visión:

1. La implementación de modelos fue difícil: A menos que los modelos se implementaran a medida que se desarrollaban, era muy difícil garantizar los mismos niveles de rendimiento.
2. Los modelos/servicios no estaban estibados: No era una práctica habitual dockerizar los modelos y los científicos de datos se mostraban reacios a llevar a cabo cualquier paso adicional.
3. La organización de la infraestructura era complicada: Es necesario encargarse del escalado de la GPU, el escalado automático y garantizar la confiabilidad

Por lo tanto, el equipo decidió mantener el mercado solo para que los equipos descubrieran el trabajo de los demás. Decidieron eliminar la ejecutabilidad, que era una de las funciones principales, de la versión inicial del mercado

El equipo quería lanzar reglas empresariales como una biblioteca de Python

Sin embargo, se dieron cuenta de que este enfoque no funcionaría porque:

1. Comprometería la capacidad de descubrimiento: Sin crear una fachada para ello,
2. El control de versiones de estas reglas sería imposible: Dado que estas reglas se ejecutarían en las máquinas locales de los usuarios, sería imposible garantizar que todos los usuarios tengan la misma versión de la biblioteca, especialmente si se realiza una corrección o un cambio, diferentes usuarios utilizarían diferentes versiones de la misma.

La empresa decidió crear conjuntamente su pila de IA con TrueFoundry

Se entregaron dos casos de uso de LLM de alto valor en menos de 3 meses

El equipo del cliente decidió desarrollar 2 casos de uso de alto valor utilizando el módulo LLM de la plataforma TrueFoundry. Estos casos de uso fueron los siguientes:

Resumen del informe de mercado

Un equipo interno utilizado para analizar diferentes informes de inteligencia de mercado y generar un informe resumido. Esta actividad semanal implicaba:

1. Cientos de horas gastadas cada mes
2. Cobertura limitada de la información disponible

El equipo quería crear una solución basada en un LLM que pudiera resumir estos informes y proporcionarles una interfaz QnA:

Chatbot de inteligencia sobre vacunas

A través de este caso de uso, la empresa quería poder aumentar el conocimiento sobre las vacunas mediante el desarrollo de un chatbot QnA que pudiera buscar en los documentos disponibles sobre la administración de las vacunas y aclarar cualquier duda que pudiera tener un paciente.

Aumento de las tasas de vacunación: A través de este caso de uso, la empresa intentaba aclarar cualquier inhibición que pudiera tener una persona que tomaba la vacuna debido a las noticias falsas que a menudo se asocian con las vacunas y que crean un estigma en torno a ellas.

TrueFoundry ayudó a reducir el tiempo de entrega a una quinta parte de la estimación inicial

La creación del caso de uso requiere unir varios componentes. Proporcionamos al equipo una plantilla para ensamblar partes del proceso RAG (Retrieval Augmented Generation). Esto incluía componentes como:

1. Implementación de LLM de código abierto: Implemente modelos como Llama 2, Bloom, etc. junto con diferentes versiones cuantificadas de modelos
2. Ajuste fino del modelo: Ayudamos al equipo a simplemente conectar sus fuentes de datos y a iniciar operaciones de ajuste en configuraciones de infraestructura optimizadas.
3. Microservicio de carga, división y fragmentación de datos: Para dividir los datos en fragmentos lógicos antes de la incrustación
4. Servicio de backend: Para aceptar la consulta del usuario y devolver la respuesta
5. Modelo de incrustación: Convertir los fragmentos de texto en sus vectores representativos
6. Base de datos vectorial: Para almacenar los fragmentos vectorizados de datos
7. Despliegue del modelo final: Implemente el modelo final de forma escalable

TrueFoundry impulsó el mercado de IA de la empresa

TrueFoundry actuó como el riel de alimentación que se utiliza para alimentar el mercado interno. Para posibilitar esto, ayudamos al equipo a:

1. Inicié los componentes de Marketplace: con activos listos para usar proporcionados por TrueFoundry
2. Implemente una arquitectura de inferencia asíncrona: Esto garantizó que no se descartara ninguna solicitud y que el mismo punto final de la API pudiera atender solicitudes que tardaban diferentes períodos de tiempo en responderse (más de 10 a 15 minutos si el conjunto de datos es enorme)
3. Configure canalizaciones de casos de uso como la canalización RAG: Con todos los componentes, como los analizadores de datos, la lógica de fragmentación, los modelos, etc., disponibles para los equipos, el equipo pudo replicar fácilmente lo que hicieron con la inteligencia sobre vacunas y el resumen de informes en cualquier caso de uso nuevo en menos de un mes
4. Capacidad de detección añadida a través de la interfaz de usuario: Proporcionamos al equipo API basadas en implementaciones y trabajos de TrueFoundry que integraron con una interfaz de usuario para hacer inferencias a partir de cualquier modelo o implementación de cualquier componente con un solo clic para los equipos sin necesidad de leer la documentación.

Los usuarios empresariales pueden deducir sin problemas las reglas empresariales

Todas las lógicas empresariales se empaquetaron en una API que se ejecutó en el servidor en la nube mediante TrueFoundry. Nos aseguramos de que esta API tenga una estructura similar a la de una biblioteca de Python para facilitar su uso. Esto permitió que hubiera:

1. No hay problema de administración de versiones
2. Ejecución sencilla a través de la interfaz de usuario
3. Notificaciones por correo electrónico cuando los resultados estuvieron disponibles

TrueFoundry es el único panel de vidrio para todos los modelos implementados

‍

La interacción con TrueFoundry para supervisar, actualizar y publicar modelos en diferentes regiones ayudó al equipo a:

1. Reduzca el tiempo de implementación de los modelos entre un 60 y un 80%
2. Mejore el ROI de los modelos supervisando su rendimiento

Muy por delante

A medida que avanza la asociación entre las dos empresas, aprendemos mucho sobre los problemas prácticos que pueden surgir en un equipo de aprendizaje automático de esta escala. Podemos poner a prueba la plataforma y, al mismo tiempo, desarrollar funciones nuevas y más avanzadas. Juntos, estamos decididos a crear una tecnología de vanguardia que permita a los equipos de ciencia de datos centrarse únicamente en ofrecer valor a través de casos de uso del aprendizaje automático sin tener que organizar la infraestructura o dedicar o perder tiempo en tareas de ingeniería.