Intégrer AnythingLLM à la passerelle IA de TrueFoundry

La communauté technologique a connu une croissance explosive de plateformes d'IA telles que N'importe quoi LLM. Ces plateformes ont permis à une nouvelle vague de créateurs, des data scientists aux chefs de produit, de concevoir et de déployer rapidement des applications basées sur l'IA. La possibilité de connecter des instructions, des outils et des bases de données vectorielles sans écrire une seule ligne de code a considérablement accéléré le rythme de l'innovation, permettant la création de preuves de concepts en quelques heures au lieu de plusieurs semaines.

Cependant, cette expérimentation rapide a révélé une lacune critique en matière de gouvernance. À mesure que ces outils évoluent vers des applications génératrices de valeur, les équipes de la plateforme sont confrontées à de nouveaux défis. Chaque composant d'un environnement low-code communique souvent avec un point de terminaison de modèle différent, chacun possédant sa propre clé API et enregistrant l'utilisation sur un portail distinct. Cette fragmentation rend quasiment impossible de répondre aux questions fondamentales auxquelles chaque DSI doit répondre :

• Qui utilise quels modèles d'IA ?
• Quel est le coût associé ?
• L'utilisation est-elle sécurisée et conforme ?

C'est ici Passerelle IA de TrueFoundry entre. En fournissant une couche centralisée pour gérer toutes les interactions entre l'IA et le machine learning, la passerelle permet aux entreprises de profiter de la vitesse et de l'agilité des plateformes low-code sans sacrifier la sécurité, le contrôle ou la rentabilité.

Pourquoi AnythingLLM a besoin d'une passerelle

N'importe quoi LLM est rapidement devenue la préférée des développeurs et des organisations qui cherchent à créer des applications d'IA privées tout-en-un. Sa prise en charge de différents types de documents, ses modèles personnalisés et sa confidentialité totale en font un outil puissant pour tirer parti des grands modèles linguistiques (LLM). Cependant, comme pour tout outil puissant, à mesure que son utilisation évolue au sein d'une organisation, la nécessité d'une gouvernance centralisée devient primordiale. C'est là que l'intégration avec Passerelle IA de TrueFoundry devient indispensable.

En acheminant tous les appels LLM d'AnythingLLM via la passerelle, vous bénéficiez d'une suite de fonctionnalités professionnelles essentielles pour toute application d'IA au niveau de la production :

• Authentification et contrôle d'accès centralisés : Gérez toutes vos clés d'API en un seul endroit, grâce à des jetons spécifiques au projet qui garantissent que seuls les utilisateurs et applications autorisés peuvent accéder à des modèles spécifiques.
• Observabilité et suivi des coûts unifiés : Bénéficiez d'une vue d'ensemble de votre utilisation de l'IA. Suivez la consommation de jetons, la latence et les coûts de tous vos modèles et applications en temps réel.
• Sécurité et conformité robustes : La passerelle agit comme une couche d'application de la sécurité, avec des fonctionnalités telles que la rédaction des informations personnelles, la limitation du débit et la journalisation des audits pour garantir que votre utilisation de l'IA est conforme aux réglementations du secteur.
• Agnosticisme vis-à-vis des fournisseurs et pérennisation : Basculez facilement entre les différents fournisseurs LLM (par exemple, d'OpenAI à Anthropic) sans modifier une seule ligne de code dans votre application AnythingLLM.

Un aperçu de l'avenir : l'importance stratégique des passerelles LLM

L'intégration de plateformes d'IA low-code aux passerelles LLM est bien plus qu'une simple commodité technique ; c'est un impératif stratégique. Alors que l'IA devient de plus en plus banalisée, la capacité à orchestrer, gérer et sécuriser efficacement son utilisation deviendra un facteur de différenciation concurrentiel clé.

Un article récent, «Portcullis : une passerelle de confidentialité évolutive et vérifiable pour l'inférence LLM par des tiers, » souligne l'importance croissante des passerelles préservant la confidentialité à l'ère de l'IA générative. L'article présente une nouvelle approche pour protéger les données sensibles en les anonymisant avant même qu'elles n'atteignent le LLM. Ceci est réalisé grâce à un processus de « substitution parallèle », dans lequel les données sensibles sont remplacées par des espaces réservés avant d'être envoyées au LLM, puis reconstruites avec précision dans la réponse. Cette recherche souligne le rôle essentiel que les passerelles joueront pour permettre l'utilisation de puissants modèles d'IA dans des secteurs réglementés tels que la finance et la santé.

En intégrant AnythingLLM à la passerelle IA de TrueFoundry, vous ne vous contentez pas de résoudre les problèmes de gouvernance actuels ; vous créez une pile d'IA pérenne, prête à évoluer en fonction des besoins de votre organisation.

Intégration en 5 étapes simples

L'intégration de AnythingLLM à TrueFoundry AI Gateway est un processus simple qui peut être réalisé en quelques minutes. Voici comment procéder :

1. Générez votre jeton d'accès TrueFoundry :

• Accédez à votre tableau de bord TrueFoundry et accédez à Gestion des accès.
• Cliquez Nouveau jeton d'accès personnel pour créer un nouveau jeton.
• Copiez et stockez en toute sécurité votre jeton d'accès personnel.

2. Accédez aux paramètres LLM de AnythingLLM :

• Lancez votre application AnythingLLM.
• Naviguez vers Réglages et allez à Préférence LLM.

3. Configurez le fournisseur OpenAI générique :

• Dans la zone de recherche du fournisseur LLM, tapez « Generic OpenAI » et sélectionnez-le.
• URL de base : <your-company>Entrez l'URL de base de votre passerelle TrueFoundry (par exemple, https ://.truefoundry.cloud/api/llm/api/inference/openai).
• Clé API : Entrez votre jeton d'accès personnel TrueFoundry.
• Nom du modèle de chat : Entrez votre identifiant de modèle depuis TrueFoundry (par exemple, openai-main/gpt-4o).
• Fenêtre contextuelle des jetons et nombre maximum de jetons : Configurez-les en fonction des limites de votre modèle.

4. Obtenez des informations sur les modèles auprès de TrueFoundry :

• Accédez à votre passerelle TrueFoundry AI pour obtenir l'identifiant de modèle correct.
• Copiez l'ID du modèle et collez-le dans AnythingLLM Nom du modèle de chat champ.

5. Testez votre intégration :

• Enregistrez votre configuration dans AnythingLLM.
• Créez un nouvel espace de travail ou ouvrez un espace de travail existant et envoyez un message de test pour vérifier l'intégration.

Vous trouverez une présentation plus détaillée, accompagnée de captures d'écran, dans notre médecins

Votre application AnythingLLM est désormais parfaitement intégrée à la passerelle IA de TrueFoundry, vous offrant le meilleur des deux mondes : la vitesse et la flexibilité d'une plateforme d'IA low-code et la sécurité et le contrôle d'une passerelle de niveau entreprise.