True ML Talks #12 - Cofondateur @ Llama-Index

Nous sommes de retour avec un autre épisode de True ML Talks. Dans ce cadre, nous approfondissons Indice des lamas, et nous discutons avec Jerry Liu.

Jerry Liu est le créateur et cofondateur de LlamaIndex. Il apporte son expertise en matière de recherche et d'ingénierie en matière de machine learning auprès de sociétés réputées telles qu'Uber, Quora et Robust Intelligence. En mettant l'accent sur les modèles génératifs et passionné par l'avancement des technologies d'IA, Jerry a été le pionnier du développement de LLamaIndex, un outil open source qui connecte de manière fluide les modèles de langage à des sources de données privées.

📌

Nos conversations avec Jerry porteront sur les aspects suivants :
- La genèse de Llama-Index
- Caractéristiques polyvalentes de LlamaIndex
- Modèle de fenêtre anthropique de 100 000 mètres
- Difficultés liées aux modèles de synthèse des réponses
- Comparaison des approches de récupération et de réglage fin

Regardez l'épisode complet ci-dessous :

La genèse de LLamaIndex : création de systèmes dynamiques pour les modèles de langage

L'expérience diversifiée de Jerry Liu en matière d'apprentissage automatique et d'IA, y compris des expériences chez Uber et Quora, l'a préparé à son travail sur Llama-Index. Sa fascination pour les modèles génératifs, suscitée par la découverte des GAN, l'a amené dans le domaine des grands modèles de langage (LLM).

Conscient de l'apatridie inhérente aux LLM tels que GPT-3, Jerry a cherché à intégrer des données externes dans ces modèles afin de leur fournir un contexte. Inspiré par l'architecture informatique, il a conçu LlamaIndex comme un système global doté de modules de mémoire et de stockage supplémentaires. Cela a permis au LLM de stocker et de parcourir des données externes à l'aide d'une structure arborescente appelée indice GPT, permettant de raisonner sur les données de l'arbre.

Le projet de conception initial de Jerry a trouvé un écho auprès d'autres personnes confrontées à des défis similaires, ce qui l'a amené à reconnaître le potentiel d'une solution pratique. LLamaIndex a évolué pour devenir une boîte à outils complète, permettant aux utilisateurs de tirer parti de leurs données structurées et non structurées dans des applications de modèles linguistiques.

Ce pivot a permis à LLamaIndex de faciliter les mécanismes de récupération des données et de proposer des moyens intuitifs d'augmenter les LLM avec l'état. En comblant le fossé entre les modèles linguistiques et les données privées, LLamaIndex a ouvert de nouvelles possibilités d'applications pratiques pour travailler avec des données structurées et non structurées.

LlamaIndex est passé d'une idée à une puissante boîte à outils, permettant aux utilisateurs de surmonter les défis liés à l'intégration de données externes dans des modèles de langage. Il a rationalisé le processus d'exploitation des données personnalisées et a révolutionné les applications de modèles linguistiques.

Favoriser l'autonomie des utilisateurs : l'avantage de LlamaIndex

LlamaIndex a gagné en popularité en tant qu'outil polyvalent, apprécié des utilisateurs pour ses diverses fonctionnalités. Les trois fonctionnalités clés que les utilisateurs apprécient à propos de LlamaIndex sont les suivantes :

1. Ingestion de données et chargeurs: LLamaIndex simplifie le processus de chargement de données provenant de différentes sources dans l'outil. Une caractéristique notable est Llama Hub, un site communautaire proposant une large gamme de chargeurs de données. Ces chargeurs permettent aux utilisateurs d'importer facilement du texte non structuré à partir de différents formats de fichiers tels que des PDF, des PowerPoints, des feuilles Excel et des données provenant de plateformes telles que Salesforce, Notion et Slack. En tirant parti des contributions de la communauté, LLamaIndex permet aux utilisateurs d'exploiter les capacités des technologies d'analyse de texte et d'analyse de documents, améliorant ainsi la flexibilité et l'accessibilité de l'outil.
2. Démarrage facile: Les utilisateurs apprécient la simplicité de l'API de LLamaIndex. Avec seulement quelques lignes de code, les utilisateurs peuvent charger, indexer et interroger des données, libérant ainsi rapidement la valeur de l'outil. Cette simplicité plaît à la fois aux utilisateurs techniquement compétents et à ceux qui ont une expérience technique limitée. La possibilité d'interagir sans effort avec leurs données et d'accéder à de puissantes fonctionnalités permet aux utilisateurs d'obtenir des informations précieuses sans expertise technique significative.
3. Capacités de récupération avancées: LLamaIndex propose des fonctionnalités de récupération avancées, destinées aux utilisateurs qui ont besoin de fonctionnalités sophistiquées pour des cas d'utilisation spécifiques. Ces fonctionnalités permettent aux utilisateurs de poser des questions complexes, de comparer des documents, d'effectuer un raisonnement en plusieurs étapes et d'accéder à différentes sources de données. Les utilisateurs à la recherche de fonctionnalités de recherche plus avancées apprécient la capacité de LLamaIndex à gérer divers scénarios et à répondre à leurs besoins complexes en matière de recherche d'informations.

Grâce à une combinaison de fonctionnalités conviviales, d'options complètes d'ingestion de données, de facilité d'utilisation et de capacités de récupération avancées, LLamaIndex a acquis une base d'utilisateurs fidèles. L'outil continue d'évoluer, permettant aux utilisateurs d'exploiter efficacement leurs données et d'extraire des informations pertinentes de leurs sources de données structurées et non structurées.

Approfondissement du modèle anthropique de 100 000 fenêtres : aperçus et considérations

Le modèle de fenêtre Anthropic 100 000 a suscité l'enthousiasme et a révélé des informations fascinantes. Cette fenêtre contextuelle complète les approches existantes telles que LlamaIndex, en élargissant les possibilités de modélisation du langage grâce à sa capacité à traiter jusqu'à 100 000 jetons.

L'expérimentation du long dépôt SEC 10-K d'Uber a dépassé la limite des jetons, mais a mis en évidence l'avantage du modèle : l'inclusion de nombreuses informations sans méthodes de récupération complexes ni instructions sélectives. Le fait de placer l'intégralité du document dans l'invite a donné des résultats intrigants.

L'API de 100 000 jetons a fait preuve d'une rapidité impressionnante par rapport à l'interrogation de GPT-3 dans des troncs plus petits. L'algorithme sous-jacent à ces accélérations n'a toujours pas été divulgué, ce qui alimente les spéculations et la curiosité.

La fenêtre contextuelle plus grande permet au modèle linguistique de comprendre les données de manière holistique, en synthétisant assez bien les relations entre des parties de texte distantes. Les ajustements sont essentiels pour résoudre les problèmes occasionnels liés à des instructions complexes et à la confusion, un domaine dans lequel GPT-4 montre des améliorations.

Bien que les avantages du modèle de 100 000 fenêtres soient évidents, des considérations pratiques se posent. Le remplissage de la fenêtre avec certains types de questions peut être coûteux en termes de calcul, ce qui entraîne une augmentation des dépenses liées aux requêtes. L'évaluation de la faisabilité économique devient cruciale, chaque requête coûtant environ 1 à 2 dollars, selon le cas d'utilisation.

Malgré les limites et les implications financières, les chercheurs et les développeurs donnent la priorité à l'exploration continue du modèle de fenêtre anthropique de 100 000 fenêtres. Les précieuses informations recueillies grâce à ces expériences permettront de réaliser de futures avancées dans ce domaine.

Relever les défis liés aux modèles de synthèse des réponses

La synthèse des réponses est un aspect essentiel du contexte du modèle cloud, qui vise à relever les défis liés à la gestion de grandes fenêtres de contexte dépassant la limite d'invite. Cela implique le développement de stratégies visant à simplifier le processus de génération de réponses précises et complètes. Deux de ces stratégies sont Créez et affinez et Récapitulatif de l'arbre.

Créez et affinez

Create and Refine consiste à décomposer le contexte en segments gérables. Par exemple, lorsqu'il s'agit du document SEC d'Uber, il serait divisé en deux blocs de 90 000 jetons. Le premier bloc est introduit dans l'invite de saisie, avec la question, pour obtenir une première réponse. Cette réponse est ensuite affinée grâce à une invite affinée qui intègre la réponse existante, le contexte supplémentaire et la question. Ce processus itératif continue de synthétiser une réponse dans tous les contextes.

Bien que Create and Refine soit efficace, l'invite affinée a tendance à semer la confusion dans le modèle. Sa complexité, qui comporte de multiples éléments à prendre en compte, entrave les capacités de raisonnement.

Récapitulatif de l'arbre

La synthèse arborescente propose une approche alternative qui a démontré des performances améliorées. Dans cette stratégie, chaque segment de contexte est traité indépendamment pour générer des réponses individuelles. Ces réponses sont combinées hiérarchiquement, formant une structure arborescente, jusqu'à ce qu'une réponse finale soit dérivée au niveau du nœud racine, en fonction de la question. En simplifiant l'invite et en tirant parti de la combinaison hiérarchique des réponses, la synthèse arborescente permet d'obtenir de meilleurs résultats par rapport à l'approche rapide raffinée.

La raison précise de l'amélioration de l'efficacité de la synthèse arborescente n'est toujours pas entièrement comprise. Cependant, cela peut être attribué, du moins en partie, à la simplicité de l'invite utilisée dans cette stratégie. L'exploration et le perfectionnement continus de ces stratégies de synthèse des réponses contribueront à de nouvelles avancées dans la génération de réponses précises et complètes dans le cadre du modèle cloud.

📌

Défis pratiques liés à l'analyse du contexte :
Lors de l'analyse itérative du contexte dans le cadre de stratégies de synthèse des réponses, certains défis se présentent. Ces stratégies offrent des solutions de contournement efficaces pour s'adapter à un contexte étendu dans un délai raisonnable, mais elles comportent des limites et des compromis.

L'approche Create and Refine, visant à compresser les informations, présente une observation intéressante. Au fil du temps, le modèle a tendance à accumuler des détails, ce qui entraîne des réponses plus longues, indépendamment de leur précision ou de leur pertinence. Cette accumulation peut présenter un inconvénient pour Create and Refine.

En revanche, l'approche de synthèse arborescente résume le contexte de manière hiérarchique, en combinant des réponses groupées individuelles. Cependant, ce processus de synthèse sacrifie les détails les plus fins. Il est essentiel de trouver un équilibre entre la synthèse et la préservation d'informations nuancées lors de l'utilisation de la synthèse arborescente.

Extraction et réglage précis : une analyse comparative

Le choix entre les approches de récupération et de réglage pour travailler avec les données est un sujet d'exploration. La génération augmentée par extraction, couramment utilisée dans des systèmes tels que LlamaIndex, consiste à introduire des segments de contexte dans un modèle de langage pré-entraîné, offrant ainsi une facilité d'utilisation et ne nécessitant aucune formation de modèle.

Le réglage fin est une autre approche qui présente un potentiel important. En s'appuyant sur des modèles pré-entraînés basés sur de nombreuses données, le réglage fin permet des tâches telles que le transfert de style, la génération de poésie et la fonction de source de connaissances. Cependant, les API de réglage fin actuelles des grandes entreprises peuvent présenter des défis en termes de coût, de maintenance et de facilité d'utilisation.

Les avancées récentes, telles que LoRa, et la disponibilité de modèles open source plus petits, offrent des moyens plus accessibles pour affiner les données des utilisateurs. Cela suggère qu'à l'avenir, le réglage fin pourrait offrir un meilleur compromis coûts-avantages par rapport à l'utilisation exclusive de systèmes augmentés par la récupération.

Une approche hybride combinant récupération et réglage fin devrait prévaloir à l'avenir. Cette approche implique un modèle d'apprentissage continu qui peut faire référence à des sources d'information externes selon les besoins, ce qui permet de combiner des connaissances internes et externes.

À mesure que les progrès se poursuivent et que l'accessibilité s'améliore, une combinaison d'approches de récupération et de réglage fin devrait façonner l'avenir du travail avec les données dans le cadre du modèle cloud.

Lisez nos précédents articles de la série True ML Talks :

‍

True ML Talks #11 - LLMs, LLMops and Generative AI

Deep dive into LLMs, LLMops, Generative AI and ChatGPT. We talk with Micheal, CTO at GreenHouse about the trends in the Machne Learning Space.

TrueFoundry Blog TrueFoundry

Continuez à regarder le TrueML série youtube et en lisant le TrueML série de blogs.

True Foundry est un PaaS de déploiement de machine learning sur Kubernetes destiné à accélérer les flux de travail des développeurs tout en leur offrant une flexibilité totale dans les tests et le déploiement de modèles, tout en garantissant une sécurité et un contrôle complets à l'équipe Infra. Grâce à notre plateforme, nous permettons aux équipes de machine learning de déployer et surveiller des modèles en 15 minutes avec une fiabilité à 100 %, une évolutivité et la possibilité de revenir en arrière en quelques secondes, ce qui leur permet de réduire les coûts et de mettre les modèles en production plus rapidement, ce qui permet de réaliser une véritable valeur commerciale.