Ajouter un cœur prêt pour l'IA générative à la pile technologique d'Aviso AI

Ajout d'un cœur prêt pour l'IA générative à la pile technologique d'Aviso AI

À propos d'Aviso AI

Aviso AI est un système d'exploitation des recettes conçu pour aider les équipes commerciales à mieux prévoir et générer les revenus, à optimiser les performances des représentants et à hiérarchiser les stratégies de mise sur le marché (GTM). Il associe l'intelligence conversationnelle à des applications de vente pour fournir des prévisions précises, prévoir les futurs pipelines et remporter davantage de contrats.

Il a aidé des équipes de sociétés telles que Seagate, Honeywell, GitHub, etc., à conclure 20 % de transactions supplémentaires et à augmenter leur chiffre d'affaires de 15 à 35 %.

Objectifs que l'équipe souhaitait atteindre

L'équipe ML d'Aviso AI souhaitait renforcer la première technologie d'IA de l'entreprise et en accroître l'impact en :

1. Rendez la pile robuste pour les nouveaux modèles tels que les LLM : L'équipe souhaitait prendre en charge tous les derniers modèles de son cloud et préparer la solution à toutes les nouveautés qui pourraient survenir à l'avenir.
2. Simplifiez la gestion de l'infrastructure pour les développeurs de machine learning : L'équipe souhaitait que les développeurs ML/DS passent un minimum de temps à gérer l'infrastructure afin de pouvoir expérimenter, tester et déployer leurs modèles.
3. Réduisez les coûts liés au cloud : L'équipe souhaitait augmenter le pourcentage d'utilisation de l'infrastructure provisionnée et regrouper plusieurs services/modèles dans le même calcul.

Ce que nous avons réalisé avec l'équipe d'IA d'Aviso

Grâce à ce partenariat, les équipes ont pu réaliser conjointement les objectifs suivants :

1. Économisez plus de 100 heures de temps de développement par mois : L'équipe d'apprentissage automatique est passée à un environnement basé sur Docker, ce qui a permis de réduire les temps de construction et de faciliter les tests locaux.
2. Économies sur les coûts liés au cloud : L'équipe a pu empaqueter davantage de logiciels/modèles pour le calcul provisionné à l'aide de Docker. Ils ont également pu utiliser des instances ponctuelles sans se soucier de la fiabilité. Dans l'ensemble, l'équipe a réalisé des économies sur les coûts liés au cloud d'environ 30 à 40 %.
3. Déploiement du LLM à grande échelle : À l'aide du catalogue de modèles LLM Open Source préconfigurés, l'équipe a pu déployer n'importe quel modèle LLM provenant de HuggingFace ou d'autres sources avec une inférence optimisée sur l'infrastructure fournie par la plateforme TrueFoundry.

Aviso AI utilise l'IA pour révolutionner les Revenue Ops

Aviso AI est une plateforme intégrée qui combine divers outils de vente alimentés par l'IA pour optimiser l'exécution des recettes. Certains de leurs principaux produits incluent :

1. Prévisions de ventes : Prévoir les résultats des ventes, permettant aux équipes de se concentrer sur les offres essentielles.
2. Optimisation des performances : Aider à optimiser la stratégie de vente et fournir des commentaires d'amélioration à l'équipe.
3. Informations en temps réel : Aide les dirigeants à surveiller et à diagnostiquer toute perturbation ou évolution du marché
4. Recommandations réalisables : Suggérez la prochaine meilleure action aux représentants commerciaux à l'aide de son analyse basée sur l'IA.

Leurs autres offres incluent la prévision des transactions guidée par l'IA, la gestion du pipeline et des transactions, l'intelligence conversationnelle, le coaching et l'activation, l'analyse et le reporting du NLP, l'engagement commercial, l'intelligence des prospects et l'intelligence de la réussite client.

MIKI : premier chef de cabinet LLM au monde

L'équipe IA d'Aviso a également innové avec l'IA générative ; au cœur de son approche se trouve MIKI, le premier directeur de cabinet d'IA générative pour l'intelligence des recettes, conçu pour augmenter la productivité des équipes GTM et faire gagner aux représentants jusqu'à 15 à 20 heures par semaine. Cela aide à :

1. Réponse à la question : Répondre aux questions posées par les clients pour aider les vendeurs en temps réel
2. Suggérer les meilleures actions suivantes : Suggérer les étapes optimales pour augmenter la probabilité de clôturer une conversation de vente.
3. Coaching des représentants commerciaux: Analyser et fournir des commentaires aux vendeurs
4. Automatiser les tâches banales effectuées par les chargés de compte : Comme la recherche, la rédaction de courriels

L'équipe souhaitait que les modèles LLM soient déployés de manière évolutive en tant que service indépendant

L'équipe d'intelligence artificielle d'Aviso déployait son logiciel et ses services de machine learning sur des AMI (Amazon Machine Images). Les AMI sont des machines préconfigurées qui incluent le système d'exploitation, le serveur d'applications et l'application/le modèle que vous souhaitez déployer.

L'équipe souhaitait créer une infrastructure technologique plus simple et plus efficace pour la formation, les tests et le déploiement de ses modèles à mesure que les cas d'utilisation s'étendaient à des modèles plus récents et plus exigeants tels que les LLM (Large Language Models) et l'IA générative.

Je voulais garder les AMI allégés

Étant donné que le logiciel et les services de machine learning étaient regroupés et intégrés dans des AMI, cela pouvait poser des problèmes à mesure que les modèles s'agrandissaient, en particulier dans le cas des LLM

Faciliter les tests et le diagnostic des pannes

Identifier les problèmes lors de la publication ou de la correction des problèmes peut s'avérer difficile en raison des dépendances entre les services ML et non-ML. L'équipe souhaitait séparer les deux déploiements et leurs tests.

Gestion simplifiée de l'environnement et mise à l'échelle efficace

Le LLM et les services logiciels peuvent nécessiter des environnements différents pour fonctionner. Leurs besoins en ressources sont également très différents. L'équipe a donc estimé qu'il était intéressant de gérer séparément l'environnement et la gestion des ressources.

Grâce à une infrastructure mise à jour, l'équipe économise plus de 100 heures de développement par mois

L'équipe est passée à une infrastructure évolutive dans un environnement dockerisé. Nous avons décidé conjointement que cela pourrait permettre à l'équipe de réussir à long terme tout en économisant du temps et

Le nouvel environnement dockerisé aide l'équipe à réduire les coûts et à être plus agile

1. Léger : Les images Docker sont beaucoup plus légères et ne font qu'encapsuler l'application et ses dépendances. Cela les rend beaucoup plus petits et plus rapides à construire.
2. Architecture des microservices : Les images Docker sont des éléments constitutifs qui divisent une application monolithique en microservices plus petits. Les microservices rendent l'application beaucoup plus fiable et transparente.
3. Rentable : Les conteneurs partagent les noyaux du système d'exploitation hôte, ce qui les rend plus économes en ressources que les machines virtuelles. Plusieurs conteneurs peuvent fonctionner sur une infrastructure partagée, ce qui entraîne une utilisation élevée des ressources.

Le nouveau flux de travail de ML Team avec TrueFoundry

TrueFoundry a aidé l'équipe à passer facilement de sa configuration existante à une nouvelle configuration basée sur Docker qui garantit :

1. Gestion simplifiée pour les équipes DS : Chaque fois qu'un service/modèle doit être déployé ou testé, cela peut être fait localement.
2. Les meilleures pratiques SRE ont été appliquées automatiquement : Mise à l'échelle automatique, gestion des versions, suivi du lignage des données et des modèles, visibilité des coûts, etc.
3. ~ 40 % d'économies sur les coûts liés au cloud : Grâce à une utilisation fiable des instances ponctuelles, une meilleure utilisation des ressources

L'équipe d'IA d'Aviso pourrait expédier des LLM dès le premier jour en utilisant TrueFoundry

Une fois la nouvelle suite modulaire en place, l'équipe a été mise en place pour déployer et utiliser de manière fluide des modèles plus récents et plus lourds, tels que les LLM pour alimenter MIKI et les nouveaux cas d'utilisation à venir.

Compte tenu de l'ampleur et de la récence de ces modèles, la formation, la mise au point et le déploiement de ces modèles à grande échelle constituent des problèmes d'ingénierie complexes. Il s'agit notamment de :

1. Élargissement de l'infrastructure GPU : Pour prendre en charge de grands modèles tels que LLama 2 70 Bn, etc.
2. Déterminer les configurations de serveurs modèles appropriées : De nouveaux modèles sont publiés toutes les quelques semaines et les équipes doivent déterminer les paramètres appropriés pour les diffuser sur des serveurs modèles tels que vLLM, TGI, etc. Trouver cette configuration en fonction des ressources disponibles et des exigences de performances peut prendre des semaines.
3. Mise au point et formation préalable : Le réglage et la pré-formation nécessitent l'orchestration de clusters multi-GPU, des points de contrôle et une surveillance continue de la tâche de formation.

L'équipe pouvait simplement déployer ses modèles et être assurée de la fiabilité et des coûts optimaux par défaut

TrueFoundry a aidé l'équipe à :

1. Déployer en 1 clic tout LLM open source provenant de Hugging Face Hub ou d'autres sources
2. Mise à l'échelle automatique avec les meilleures performances plus de modèles de serveurs pour proposer les modèles les plus performants
3. Réduisez les coûts en utilisant des instances ponctuelles, ce qui permet de réduire la taille du modèle à certaines périodes de la journée et de déployer Kubernetes pur.

TrueFoundry est devenu le guichet unique pour les administrateurs et les équipes de machine learning

TrueFoundry est devenu le tableau de bord unique à travers lequel les différents projets de l'entreprise ont déployé leurs modèles ML. Cela a facilité le partage du contexte entre les équipes, car tout le monde, en particulier les administrateurs, pouvait examiner les déploiements et la création de modèles effectués par les différentes équipes.