Añadir un núcleo listo para IA generativa a la pila tecnológica de Aviso AI

Agregar un núcleo preparado para la IA generativa al paquete tecnológico de Aviso AI

Acerca de Aviso AI

Aviso AI es un sistema operativo de ingresos diseñado para ayudar a los equipos de ventas a predecir e impulsar mejor los ingresos, optimizar el rendimiento de los representantes y priorizar las estrategias de comercialización (GTM). Combina la inteligencia conversacional con aplicaciones de ventas para ofrecer previsiones precisas, predecir los futuros procesos y conseguir más ofertas.

Ha ayudado a equipos de empresas como Seagate, Honeywell, GitHub, etc. a cerrar un 20% más de acuerdos y a lograr un aumento del 15 al 35 por ciento en los ingresos totales.

Objetivos que el equipo quería alcanzar

El equipo de aprendizaje automático de Aviso AI quería reforzar aún más la primera pila de IA de la empresa y aumentar el impacto mediante:

1. Haga que la pila sea sólida para modelos nuevos, como los LLM: El equipo quería contar con soporte para todos los modelos más recientes de su nube y preparar el conjunto para cualquier novedad que pudiera surgir en el futuro.
2. Simplifique el manejo de la infraestructura para los desarrolladores de ML: El equipo quería que los desarrolladores de ML/DS dedicaran un tiempo mínimo a gestionar la infraestructura para poder experimentar, probar e implementar sus modelos.
3. Reduzca los costos de la nube: El equipo quería aumentar el porcentaje de utilización de la infraestructura aprovisionada y empaquetar varios servicios/modelos en el mismo proceso.

Lo que logramos junto con el equipo de Aviso AI

Gracias a la asociación, los equipos lograron de manera conjunta lo siguiente:

1. Ahorra más de 100 horas de tiempo de desarrollo al mes: El equipo de aprendizaje automático se trasladó a un entorno basado en Docker, lo que redujo los tiempos de construcción y facilitó las pruebas locales.
2. Ahorros de costos en la nube: El equipo pudo empaquetar más software y modelos para el procesamiento aprovisionado mediante Docker. También pudieron usar instancias puntuales sin preocuparse por la confiabilidad. En general, el equipo logró un ahorro de costes en la nube de entre un 30 y un 40% aproximadamente.
3. Despliegue de LLM a escala: Con el catálogo de modelos de LLM de código abierto preconfigurados, el equipo pudo implementar cualquier modelo de LLM de HuggingFace u otras fuentes con una inferencia optimizada sobre la infraestructura aprovisionada por la plataforma TrueFoundry.

Aviso AI utiliza la IA para revolucionar las operaciones de ingresos

Aviso AI es una plataforma integrada que combina varias herramientas de ventas impulsadas por IA para optimizar la ejecución de los ingresos. Algunos de sus principales productos incluyen:

1. Previsión de ventas: Predecir los resultados de ventas, lo que permite a los equipos centrarse en las ofertas esenciales.
2. Optimización del rendimiento: Ayudar a optimizar la estrategia de ventas y proporcionar comentarios sobre las mejoras al equipo.
3. Información en tiempo real: Ayuda a los líderes a observar y diagnosticar cualquier disrupción o cambio en el mercado
4. Recomendaciones prácticas: Sugiera la siguiente mejor acción para los representantes de ventas mediante su análisis basado en inteligencia artificial.

Sus otras ofertas incluyen la previsión de transacciones guiada por IA, la gestión de procesos y transacciones, la inteligencia conversacional, el entrenamiento y la capacitación, el análisis y la generación de informes de PNL, la participación de ventas, la inteligencia de clientes potenciales y la inteligencia de éxito de los clientes.

MIKI: el primer jefe de gabinete de LLM del mundo

El equipo de IA de Aviso también ha estado innovando con la IA generativa; un aspecto fundamental de su enfoque es MIKI, el primer jefe de gabinete de inteligencia de ingresos de IA generativa del mundo, diseñado para aumentar la productividad de los equipos de GTM y ahorrar a los representantes entre 15 y 20 horas a la semana. Ayuda a:

1. Respuesta a la pregunta: Responder a las consultas de los clientes para ayudar a los vendedores en tiempo real
2. Sugerir las siguientes mejores acciones: Sugerir los pasos óptimos para aumentar la probabilidad de cerrar una conversación de ventas.
3. Entrenamiento de representantes de ventas: Analizar y proporcionar comentarios a los vendedores
4. Automatizar las tareas rutinarias realizadas por los ejecutivos de cuentas: Como investigar, escribir correos electrónicos

El equipo quería que los modelos de LLM se implementaran de manera escalable como un servicio independiente.

El equipo de IA de Aviso había estado desplegando su software y sus servicios de aprendizaje automático en las AMI (Amazon Machine Images). Las AMI son máquinas preconfiguradas que incluyen el sistema operativo, el servidor de aplicaciones y la aplicación/modelo que desea implementar.

El equipo quería crear una plataforma tecnológica más simple y eficiente para entrenar, probar e implementar sus modelos a medida que los casos de uso se expandían a modelos más nuevos y exigentes, como los LLM (modelos de lenguaje grande) y la IA generativa.

Quería mantener las AMI esbeltas

Dado que el software y los servicios de aprendizaje automático se agruparon y se integraron en las AMI, esto podría plantear desafíos a medida que los modelos crecían, especialmente en el caso de las LLM.

Facilitar las pruebas y el diagnóstico de fallos

Identificar los problemas al publicar o corregir los problemas podría resultar difícil debido a las dependencias entre los servicios de aprendizaje automático y los que no lo son. El equipo quería mantener separadas las dos implementaciones y sus pruebas.

Administración de entornos más sencilla y escalado eficiente

Los servicios de LLM y software pueden requerir diferentes entornos para ejecutarse. Sus requisitos de recursos también son muy diferentes. Por lo tanto, el equipo consideró que era conveniente gestionar el entorno y gestionar los recursos de ambos por separado.

Con una infraestructura actualizada, el equipo ahorra más de 100 horas de desarrollo al mes

El equipo pasó a una pila de infraestructura escalable en un entorno portuario. Decidimos conjuntamente que esto podría ayudar al equipo a alcanzar el éxito a largo plazo y, al mismo tiempo, ahorrar tiempo y

El nuevo entorno dockerizado ayuda al equipo a ahorrar costes y a ser más ágil

1. Ligero: Las imágenes de Docker son mucho más ligeras y solo encapsulan la aplicación y sus dependencias. Esto las hace mucho más pequeñas y rápidas de construir.
2. Arquitectura de microservicios: Las imágenes de Docker son componentes básicos que dividen una aplicación monolítica en microservicios más pequeños. Los microservicios hacen que la aplicación sea mucho más fiable y transparente.
3. Rentable: Los contenedores comparten los núcleos del sistema operativo anfitrión, lo que los hace más eficientes en términos de recursos que las máquinas virtuales. Se pueden ejecutar varios contenedores en una infraestructura compartida, lo que lleva a una alta utilización de los recursos.

El nuevo flujo de trabajo de ML Team con TrueFoundry

TrueFoundry ayudó al equipo a pasar sin problemas de su configuración actual a una nueva configuración basada en Docker que garantiza:

1. Más fácil de gestionar para los equipos de DS: Cada vez que sea necesario implementar o probar un servicio/modelo, se puede hacer localmente.
2. Las mejores prácticas de SRE se aplicaron automáticamente: Escalado automático, administración de versiones, seguimiento del linaje de datos y modelos, visibilidad de costos, etc.
3. Ahorro de aproximadamente un 40% en los costos de la nube: Mediante el uso fiable de las instancias puntuales, mayor utilización de los recursos

Aviso: El equipo de IA podría enviar LLM desde el primer día con TrueFoundry

Con el paquete nuevo y modular, el equipo estaba preparado para implementar y utilizar sin problemas modelos más pesados y de la nueva era, como los LLM, para impulsar MIKI y los casos de uso más nuevos que se avecinaban.

Dada la escala y la actualidad de estos modelos, la capacitación, el ajuste y la implementación de estos modelos a escala son problemas de ingeniería complejos. Entre ellos se incluyen:

1. Ampliación de la infraestructura de GPU: Para soportar modelos enormes como Llama 2 70 Bn, etc.
2. Determinar las configuraciones de servidor modelo adecuadas: Los nuevos modelos se publican cada pocas semanas y los equipos deben determinar los parámetros correctos para utilizarlos en servidores modelo como vLLM, TGI, etc. Encontrar esta configuración en función de los recursos disponibles y los requisitos de rendimiento puede llevar semanas.
3. Puesta a punto y entrenamiento previo: El perfeccionamiento y el entrenamiento previo requieren la organización de clústeres de varias GPU, la verificación y la supervisión continua del trabajo de entrenamiento.

El equipo podría simplemente implementar sus modelos y asegurarse de la confiabilidad y los costos óptimos de forma predeterminada.

TrueFoundry ayudó al equipo a:

1. Despliegue con 1 clic cualquier LLM de código abierto de Hugging Face Hub u otras fuentes
2. Escalado automático con el mejor rendimiento servidores supermodelados para ofrecer los modelos más eficientes
3. Ahorra costes mediante el uso de instancias puntuales, lo que permite reducir el modelo en ciertos períodos del día y desplegar Kubernetes básicos.

TrueFoundry se convirtió en el único panel de cristal para los administradores y los equipos de aprendizaje automático

TrueFoundry se convirtió en el único panel de control a través del cual los diferentes proyectos de la empresa implementaron sus modelos de aprendizaje automático. Esto permitió compartir el contexto más fácilmente entre los equipos, ya que todos, especialmente los administradores, podían ver qué despliegues y qué modelos estaban realizando los diferentes equipos.