True ML talks #18 - Discussion sur l'IA générative avec Tushar Kant

Nous sommes de retour avec un autre épisode de True ML Talks. Dans ce cadre, nous approfondissons ML Platform et nous discutons avec Tushar

Tushar est un leader chevronné des MLOps avec plus de 20 ans d'expérience dans des entreprises technologiques de premier plan et un large éventail de compétences dans les domaines des produits, des affaires, de l'ingénierie et de la banque d'investissement. Il est également le cofondateur du forum mondial sur l'IIT, l'intelligence artificielle et l'apprentissage automatique, et dirige également une communauté Slack très active à cet égard.

Regardez l'épisode complet ci-dessous :

Forum de l'IIT sur l'intelligence artificielle et l'apprentissage automatique

La vision du Forum

Le Forum IIT AI/ML a été lancé avec la vision de créer une communauté où les IITiens travaillant dans le domaine de l'IIT/ML pourraient partager leurs connaissances, collaborer et s'entraider. Ils croyaient qu'en travaillant ensemble, les ITIENS pourraient surpasser n'importe quel autre institut d'ingénierie au monde.

Le forum a connu un énorme succès, avec plus de 1800 membres du monde entier. Le forum a organisé des événements, soutenu d'autres organisations et est devenu une communauté florissante à part entière.

Réalisations du Forum

Tushar est particulièrement fier des trois choses que le forum a accomplies :

1. Organisation du stage d'une journée consacré à l'IA chez Icone. :Il s'agit d'une conférence majeure dans la Silicon Valley, et le fait que le forum ait pu organiser le volet IA témoigne de sa réputation et de son influence.
2. Créer des liens solides entre les membres : Le forum a contribué à créer des amitiés durables et des partenariats commerciaux entre ses membres.
3. Fournir un système de soutien pendant la pandémie de COVID-19 : Lorsque le monde s'est arrêté, le forum a continué à se réunir toutes les deux semaines, fournissant une source de connaissances et de soutien à ses membres.

Moments cruciaux de la croissance de l'IA et des MLOps

La combinaison des informatique en nuage, Transformers, formation préalable sera un moteur majeur de l'innovation en matière d'IA et de MLOPs dans les années à venir. En particulier le potentiel de l'IA multimodale, qui combine le traitement du langage naturel et la vision par ordinateur pour résoudre des problèmes complexes.

Informatique en nuage a rendu l'IA plus accessible et plus abordable pour tous. Cela a entraîné une vague d'innovation dans le domaine, les startups et les particuliers étant désormais en mesure de développer et de déployer des applications d'IA sans avoir à investir dans une infrastructure coûteuse.

Transformateurs ont révolutionné le traitement du langage naturel et la vision par ordinateur. Les transformateurs sont un type d'architecture de réseau neuronal capable d'apprendre les dépendances à long terme des données. Ils sont donc parfaitement adaptés à des tâches telles que la traduction automatique et la reconnaissance d'images.

Pré-entraînement est une technique qui permet d'entraîner un grand modèle de langage sur un vaste ensemble de données de texte et de code. Ce modèle pré-entraîné peut ensuite être affiné pour des tâches spécifiques, telles que la traduction ou la réponse à des questions. La pré-formation a considérablement amélioré les performances des modèles d'IA sur un large éventail de tâches.

ChatGPT et IA générative : applications potentielles dans tous les secteurs

ChatGPT et l'IA générative ont le potentiel de révolutionner de nombreux secteurs. Il s'intéresse particulièrement au potentiel de ces technologies pour améliorer le service client, réduire la fraude, personnaliser les produits et services et améliorer les soins de santé.

Exemples d'applications spécifiques de ChatGPT et de l'IA générative dans différents secteurs :

1. Service client et expérience : ChatGPT et l'IA générative peuvent être utilisés pour automatiser les tâches du service client, telles que la réponse aux requêtes et la génération de rapports. Cela peut permettre aux représentants du service client de se concentrer sur des tâches plus complexes.
2. Évaluation des risques et détection des fraudes : ChatGPT et l'IA générative peuvent être utilisés pour identifier et atténuer les risques dans le secteur bancaire et financier. Par exemple, ils peuvent être utilisés pour détecter les transactions frauduleuses et évaluer le risque des emprunteurs.
3. Personnalisation : ChatGPT et l'IA générative peuvent être utilisés pour personnaliser les produits et services destinés aux clients du secteur de la vente au détail. Par exemple, ils peuvent être utilisés pour recommander des produits aux clients en fonction de leurs achats précédents et de leur historique de navigation.
4. Détermination des primes et évaluation des risques : ChatGPT et l'IA générative peuvent être utilisés pour déterminer les primes d'assurance et évaluer le risque des assurés dans le secteur de l'assurance.
5. Défense des intérêts des patients et diagnostic des maladies : Le ChatGPT et l'IA générative peuvent être utilisés pour développer des outils de défense des intérêts des patients et diagnostiquer les maladies plus rapidement et plus précisément dans le secteur de la santé.

LLM et évaluation des risques

Les LLM n'en sont qu'à leurs débuts, mais ils ont le potentiel de révolutionner l'évaluation des risques dans le secteur des services financiers :

Les LLM peuvent traiter plus de données, plus rapidement. Les modèles d'évaluation des risques reposent traditionnellement sur une quantité limitée de données, telles que les scores de solvabilité et les revenus. Les LLM peuvent traiter beaucoup plus de données, telles que les habitudes de dépenses, le comportement d'achat et le comportement en ligne. Cela leur permet de créer des évaluations des risques plus précises.

Les LLM peuvent prendre en compte des facteurs associatifs. Outre les facteurs individuels, tels que la cote de solvabilité, les LLM peuvent également prendre en compte des facteurs associatifs, tels que l'entreprise pour laquelle une personne travaille et le secteur dans lequel elle travaille. Cela peut les aider à créer des évaluations des risques plus complètes.

L'avenir des LLMs

Types d'acteurs de l'écosystème

Il pense qu'il y aura trois types d'acteurs dans l'écosystème :

1. Créateurs de modèles de base : Des entreprises comme OpenAI, Google et Meta qui développent elles-mêmes les grands modèles de langage.
2. Plateformes LLM Ops : Des entreprises comme AWS et Google qui fournissent des plateformes permettant aux développeurs de créer et de déployer des applications LLM.
3. Distributeurs LLM : Les entreprises qui développent et vendent des produits et services basés sur la technologie LLM aux utilisateurs finaux.

📌

Industrie de l'énergie électrique :
Dans l'industrie de l'énergie électrique, il existe des générateurs, des lignes de transmission et des distributeurs. Dans le secteur du LLM, Tushar considère les constructeurs de modèles de base comme des générateurs, les fournisseurs de cloud computing comme des lignes de transmission et les entreprises en démarrage comme des distributeurs.

Source fermée ou open source :

Il y aura un espace pour les LLM fermés et open source.
Modèles à source fermée sera préférée par les grandes entreprises qui ont besoin de solutions prêtes à la production et accompagnées. Modèles open source sera préférée par les petites entreprises et les chercheurs qui ont besoin de plus de flexibilité et de personnalisation.

Rôle du middleware :

Un intergiciel sera nécessaire pour aider les développeurs à utiliser les LLM plus facilement et plus efficacement. Le middleware peut fournir des fonctionnalités telles que la gestion des modèles, le réglage fin et la surveillance.

Avantages et risques des LLM:

Il est impératif de considérer les LLM comme des outils qui peuvent soit amplifier les capacités humaines, soit présenter des risques, selon leur application. Comme tout outil, l'utilisation des LLM est façonnée par les choix et les intentions humains. Ils ont le potentiel de faire progresser les traitements médicaux, de favoriser des programmes éducatifs innovants et d'automatiser les tâches actuellement effectuées par les humains. Cependant, ils peuvent également générer des deepfakes, diffuser de la désinformation, manipuler des individus.

Rôle de l'homme dans le développement et l'utilisation des LLM :

Même si les LLM gagnent en sophistication, ils ne parviendront toujours pas à saisir pleinement les nuances des valeurs humaines. Par conséquent, les humains conservent un rôle central pour garantir que les LLM correspondent à nos valeurs. Cela inclut, Élaboration de directives éthiques pour le développement et l'utilisation de LLM, Éduquer le public sur les avantages et les risques du LLM, et Reconnaître que les humains possèdent la capacité unique de penser de manière créative et de trouver des solutions innovantes, tandis que les LLM sont limités par leurs données de formation.

Création de systèmes RAG génériques : AWS et startups

Lorsqu'il s'agit de créer des systèmes RAG génériques, AWS et les startups apportent chacun leurs avantages et leurs propres défis.

Points forts d'AWS : AWS est bien placée pour développer des systèmes RAG génériques en raison de son importante base de clients et de sa large gamme de services pouvant prendre en charge le RAG. Par exemple, AWS propose SageMaker, une plateforme d'apprentissage automatique pour la formation et le déploiement de modèles RAG. En outre, AWS fournit divers services de stockage et de traitement de données, idéaux pour les flux de travail RAG.

Faiblesses d'AWS : AWS n'est peut-être pas à la hauteur des startups en termes de rapidité de développement et de lancement de nouveaux produits. En outre, l'objectif d'AWS n'est peut-être pas aussi spécifique que celui des startups, en particulier dans des cas d'utilisation tels que RAG pour les soins de santé.

Avantages de démarrage : Les startups excellent en termes d'agilité, ce qui leur permet de se concentrer sur des cas d'utilisation spécifiques et d'innover rapidement dans le domaine du RAG. Leur focalisation sur des créneaux spécifiques peut mener à des solutions RAG uniques et à des innovations souvent négligées par les grandes entités.

Défis de démarrage : Les startups sont souvent confrontées à des contraintes de ressources, car elles ne disposent pas de la vaste base de clients et du portefeuille de services d'AWS. La concurrence avec AWS en termes de prix peut être intimidante en raison de l'envergure et des ressources du géant de la technologie.

Conseils aux startups qui développent des systèmes RAG :

1. Concentrez-vous sur des cas d'utilisation spécifiques : Les startups devraient se concentrer sur le développement de solutions RAG pour des cas d'utilisation spécifiques. Cela les aidera à se différencier d'AWS et des autres grandes entreprises.
2. Déplacez-vous rapidement : Les startups doivent agir rapidement pour développer et lancer leurs solutions RAG. En effet, AWS et d'autres grandes entreprises peuvent facilement copier leurs produits.
3. Soyez un candidat attractif en matière de fusions et acquisitions : Les startups devraient se concentrer sur le développement de solutions RAG attrayantes pour les candidats aux fusions et acquisitions. Cela leur permettra de quitter leur activité si elles ne sont pas en mesure de concurrencer AWS et d'autres grandes entreprises.

Naviguer dans le monde trépidant de l'IA générative

Conseils aux dirigeants

1. Soyez agile et agile. Le domaine de l'IA générative est en constante évolution, il est donc important d'avoir un état d'esprit et une équipe capables de s'adapter rapidement aux nouveaux développements.
2. Concentrez-vous sur la résolution de problèmes réels. Ne vous laissez pas emporter par le battage médiatique de l'IA générative. Concentrez-vous plutôt sur l'identification des véritables défis commerciaux qui peuvent être résolus grâce à cette technologie.
3. N'ayez pas peur d'être en retard. Ce n'est pas grave si quelqu'un d'autre vous surpasse sur le marché avec une nouvelle solution d'IA générative. L'important est de tirer les leçons de leurs erreurs et de créer un meilleur produit.
4. Ne le forcez pas. Tous les problèmes ne nécessitent pas une solution d'IA générative. Utilisez votre sens des affaires pour identifier les problèmes à résoudre avec cette technologie.

Conseils aux leaders de la science des données et de l'ingénierie

1. Ne commencez pas avec le marteau. Ne vous contentez pas de chercher des moyens d'utiliser l'IA générative. Commencez plutôt par identifier les défis de votre entreprise, puis déterminez si l'IA générative est le bon outil pour les résoudre.
2. Travaillez à rebours en partant du client. Quels sont les besoins du client ? Quels sont leurs points faibles ? Une fois que vous avez compris le client, vous pouvez commencer à réfléchir à la manière dont l'IA générative peut être utilisée pour l'aider.
3. Ne cédez pas à des mandats du haut vers le bas. Si votre équipe de direction demande à chaque équipe de proposer des cas d'utilisation génératifs de l'IA, ne vous contentez pas de suivre les étapes. Résistez et demandez-leur pourquoi ils pensent que l'IA générative est la bonne solution à ces problèmes.

Lisez nos précédents articles de la série True ML Talks :

‍

‍True ML Talks #17 - ML Platforms @ Slack, LLMs and SlackGPT

In this blog, we dive deep into Slack’s Recommend API. Understand their ML architecture, and the LLM use cases in Slack. We go into SlackGPT.

TrueFoundry Blog TrueFoundry

‍

Continuez à regarder le TrueML série youtube et en lisant le TrueML série de blogs.

True Foundry est un PaaS de déploiement de machine learning sur Kubernetes destiné à accélérer les flux de travail des développeurs tout en leur offrant une flexibilité totale dans les tests et le déploiement de modèles, tout en garantissant une sécurité et un contrôle complets à l'équipe Infra. Grâce à notre plateforme, nous permettons aux équipes de machine learning de déployer et surveiller des modèles en 15 minutes avec une fiabilité à 100 %, une évolutivité et la possibilité de revenir en arrière en quelques secondes, ce qui leur permet de réduire les coûts et de mettre les modèles en production plus rapidement, ce qui permet de réaliser une véritable valeur commerciale.