Hébergement sur site LLM

L'hébergement LLM sur site permet aux entreprises de garder le contrôle total de leurs systèmes d'IA, ce qui est idéal pour les secteurs traitant des données sensibles ou réglementées. En traitant et en stockant les modèles en interne, les entreprises répondent aux exigences de conformité telles que le RGPD et la HIPAA tout en garantissant leur autonomie opérationnelle. Il offre également des performances constantes et à faible latence pour des cas d'utilisation en temps réel tels que la détection des fraudes et la maintenance prédictive. Cependant, le déploiement et la gestion des LLM en interne nécessitent une infrastructure robuste, des infrastructures de service évolutives et une observabilité complète.

Dans cet article, nous décrivons les principaux éléments nécessaires à un hébergement LLM sur site réussi et expliquons pourquoi TrueFoundry se distingue en tant que plateforme qui réunit tous ces éléments.

Pourquoi héberger des LLMs sur site

L'hébergement de LLM sur site gagne du terrain parmi les organisations qui accordent la priorité au contrôle des données, aux performances et à la conformité. Lorsque les modèles sont exécutés au sein de votre infrastructure, les données ne quittent jamais votre environnement. Cela est vital pour des secteurs tels que la santé ou la finance, où des réglementations telles que le RGPD, la HIPAA et la PCI-DSS exigent une protection stricte des informations sensibles telles que les dossiers des patients ou les transactions financières.

Les performances s'améliorent également de manière significative. En colocalisant le calcul avec les données et les applications, les entreprises réduisent la latence et la variabilité du réseau. C'est une exigence pour les systèmes en temps réel tels que la détection des fraudes, les chatbots clients en direct ou la maintenance prédictive, où chaque milliseconde compte. En outre, les configurations sur site éliminent les interférences bruyantes provenant d'autres locataires et garantissent la disponibilité de ressources dédiées.

La prévisibilité des coûts constitue un autre avantage important. Bien que les dépenses d'investissement initiales puissent être considérables, les coûts se stabilisent une fois que l'infrastructure est en place. En revanche, la facturation en fonction de l'utilisation du cloud fluctue et augmente souvent en fonction de l'utilisation, en particulier lorsque les modèles sont largement utilisés. Les configurations sur site font passer les dépenses des coûts opérationnels aux investissements en capital, ce qui permet une meilleure budgétisation et, éventuellement, une dépréciation fiscale.

L'hébergement sur site offre également une personnalisation élevée. Les entreprises peuvent personnaliser les temps d'exécution, appliquer des optimisations avancées des modèles, telles que la quantification ou des versions spécifiques au matériel, et intégrer des systèmes internes pour des flux de travail fluides. Cette flexibilité est limitée dans la plupart des offres cloud, qui limitent souvent l'accès aux niveaux de calcul ou aux méthodes d'optimisation.

Bien que la charge de calcul des LLM reste élevée, les déploiements sur site permettent une mise à l'échelle efficace, soit verticalement avec des nœuds plus grands, soit horizontalement entre les clusters. Les stratégies hybrides sont également courantes, dans le cadre desquelles les charges de travail sensibles ou critiques en termes de latence sont exécutées sur site, tandis que les tâches moins critiques sont transférées vers le cloud pour une évolutivité élastique.

Ce modèle n'est toutefois pas exempt de défis. Les configurations sur site nécessitent un investissement initial en matériel, une maintenance continue et un personnel qualifié. La mise à l'échelle rapide peut s'avérer difficile par rapport aux solutions de dimensionnement automatique dans le cloud. Malgré cela, les organisations qui ont des charges de travail soutenues en matière d'IA et des exigences strictes constatent souvent que les avantages l'emportent sur les inconvénients.

L'hébergement LLM sur site offre une souveraineté des données inégalée, des performances constantes, des coûts prévisibles et une personnalisation approfondie, ce qui en fait un choix stratégique où le contrôle et la conformité sont les plus importants.

Exigences de base pour l'hébergement LLM sur site

Lors du déploiement de LLM sur une infrastructure interne, plusieurs exigences clés doivent être respectées pour garantir les performances, la fiabilité et l'évolutivité.

GPU hautes performances : L'inférence LLM nécessite de puissants GPU. Les cartes de qualité professionnelle telles que les cartes A100, H100 ou L40S de NVIDIA sont standard et offrent une grande VRAM (40 à 80 Go) pour héberger efficacement les modèles. Un cluster de 4 à 8 GPU est généralement utilisé pour les déploiements à moyenne échelle afin de gérer la simultanéité et l'équilibrage de charge.

Mémoire système et processeur : La RAM système doit être au moins deux fois supérieure à la VRAM du GPU pour prendre en charge la mise en mémoire tampon des données et les opérations d'exécution. Alors que les GPU gèrent le calcul principal, les processeurs prennent en charge le prétraitement et les E/S. Les processeurs de niveau serveur d'Intel ou d'AMD sont tous deux suffisants pour la plupart des flux de travail.

Stockage rapide : Les SSD NVMe locaux sont recommandés pour stocker les poids, les intégrations et les journaux des modèles, afin de permettre des temps de chargement rapides. Pour les modèles de sauvegarde ou partagés sur plusieurs nœuds, le stockage en réseau tel que le NAS peut être utilisé, bien que le disque local reste supérieur en termes de performances.

Réseau à faible latence : Au sein d'un cluster multi-nœuds, le réseau doit prendre en charge une bande passante élevée et une faible latence. Les tâches d'inférence peuvent également nécessiter une communication rapide de nœud à nœud. Les configurations sur site utilisent souvent InfiniBand ou Ethernet 10 à 25 Gbit/s pour maintenir des performances prévisibles.

Orchestration informatique : La gestion de plusieurs GPU et conteneurs nécessite une orchestration. Kubernetes est couramment utilisé pour planifier les charges de travail des GPU, gérer la mise à l'échelle automatique, l'équilibrage de charge et la reprise après panne. Pour des configurations plus simples, Docker peut suffire, mais Kubernetes offre de la résilience aux entreprises.

Cadres d'inférence : Des frameworks tels que vLLM ou TGI de Hugging Face permettent un streaming, un traitement par lots et une pagination efficaces des jetons. Ces systèmes optimisent l'utilisation et la latence du GPU. Les choix doivent correspondre au matériel et au cas d'utilisation.

Surveillance et observabilité : La visibilité opérationnelle est vitale. Les mesures telles que la latence, l'utilisation du GPU, le débit et les taux d'erreur doivent être collectées via des outils tels que Prometheus ou Grafana. La télémétrie rapide prend en charge les fonctionnalités d'audit et d'optimisation.

Il est essentiel de répondre à toutes ces exigences en matière d'infrastructure, d'orchestration et d'observabilité avant d'héberger des LLM sur site. Une configuration bien planifiée permet de diffuser des modèles de manière fiable et efficace sans recourir à des clouds publics.

Frameworks de service LLM

Lorsque vous hébergez des LLM sur site, il est essentiel de sélectionner le bon framework de service. Vous trouverez ci-dessous les trois principales options open source, chacune adaptée à des besoins et à des charges de travail distincts.

VllM

vLLM est une bibliothèque rapide et flexible pour l'inférence et la diffusion de LLM, développée à l'UC Berkeley. Grâce à la prise en charge de PagedAttention, il gère efficacement la mémoire clé-valeur et permet le traitement par lots continu des requêtes entrantes. vLLM intègre également des options de quantification telles que INT4, INT8 et FP8, ainsi qu'un décodage spéculatif et l'exécution de graphes CUDA. Il prend en charge les déploiements multi-GPU via le parallélisme des tenseurs et des pipelines, ce qui permet une évolutivité linéaire entre les nœuds. Les utilisateurs signalent que la configuration de vLLM peut être aussi simple que l'installation via pip et la diffusion de modèles Hugging Face via une API compatible OpenAI.

Inférence de génération de texte (TGI)

TGI est le serveur d'inférence convivial pour la production de Hugging Face, écrit en Rust et Python. Il prend en charge les architectures LLM open source populaires, telles que LLama, Falçon et GPT-Neox, et met en œuvre des optimisations telles que le parallélisme tensoriel, le traitement par lots continu, l'attention au flash et la quantification à l'aide de bitsandbytes ou GPT-Q. Sa fonctionnalité exceptionnelle, la diffusion de jetons via Server-Sent Events, prend en charge les applications en temps réel. Aucune configuration n'étant requise pour le déploiement, TGI est particulièrement utile pour les utilisateurs qui ont besoin d'une configuration rapide et d'une inférence efficace, en particulier pour les demandes plus longues.

Transformateur DeepSpeed/Faster

La combinaison de la bibliothèque FasterTransformer de NVIDIA et du framework DeepSpeed de Microsoft permet d'obtenir une inférence multi-GPU hautes performances. FasterTransformer propose des noyaux CUDA et C++ bien optimisés qui accélèrent le chargement et réduisent la latence. DeepSpeed-Inference ajoute la prise en charge du parallélisme des modèles et des pipelines et de nouvelles techniques de quantification telles que MoQ. DeepSpeed-FastGen combine DeepSpeed-Mii et DeepSpeed-Inference pour permettre le traitement par lots continu et le Dynamic SplitFuse, ce qui permet d'obtenir des gains de débit jusqu'à 2,3 fois plus élevés et des réductions de latence significatives par rapport au vLLm.

Choisir le bon cadre :

Chaque framework apporte des fonctionnalités impressionnantes. Le choix dépend de vos besoins en matière d'évolutivité, de la taille de votre réponse, de votre tolérance à la latence et de vos préférences en matière de facilité de déploiement. Dites-moi si vous souhaitez une comparaison plus approfondie !

Comment TrueFoundry accélère l'hébergement LLM sur site

TrueFoundry transforme l'hébergement LLM sur site d'un projet d'ingénierie complexe en un processus fluide et évolutif, le tout géré depuis votre cluster Kubernetes à l'aide des outils et des flux de travail TrueFoundry officiels.

Déploiement du LLM

TrueFoundry propose un vaste catalogue de modèles contenant des modèles open source populaires tels que LLama, Vicuna, Dolly, Flan-T5, Mistral et Falçon. Pour en déployer un, il suffit de le choisir dans l'interface utilisateur ou de coller l'URL d'un modèle Hugging Face. Sous le capot, la plateforme sélectionne automatiquement les types et les tailles de GPU optimaux, configure le traitement par lots, gère le téléchargement et la mise en cache des modèles, et diffuse des images de conteneurs pour un démarrage rapide, le tout sans intervention manuelle.

‍

Prise en charge de plusieurs moteurs et de configurations personnalisées

Une fois les modèles déployés, TrueFoundry les enveloppe dans des serveurs d'inférence à l'aide de vLLM, TGI (Text Generation Inference), SGlang ou Triton de NVIDIA, selon le modèle et le cas d'utilisation. Les équipes peuvent même déployer des conteneurs Docker personnalisés contenant des piles d'inférence spécialisées. Le routage permanent permet aux requêtes suivantes d'atteindre le même pod, améliorant ainsi les performances en réutilisant l'état clé-valeur mis en cache en mémoire.

‍

Planification et mise à l'échelle automatiques optimisées

TrueFoundry s'intègre à Kubernetes pour surveiller les indicateurs en temps réel, tels que l'utilisation du GPU, la latence des files d'attente d'inférence et les requêtes par seconde, et ajuste automatiquement le nombre de répliques. La plateforme préinstalle le streaming d'images CUDA et la mise en cache des modèles, ce qui accélère les temps de démarrage à froid et permet une réduction rapide jusqu'à zéro en cas d'inactivité, optimisant ainsi l'utilisation des ressources.

Infrastructure sécurisée et conforme
Tous les composants sont déployés au sein de votre VPC ou de votre cluster Kubernetes sur site, garantissant ainsi que les données et les modèles ne quittent jamais votre environnement. Les points de terminaison des API sont sécurisés à l'aide du RBAC, des clés d'API et des secrets Kubernetes. La journalisation des audits permet de suivre l'utilisation des modèles et les modifications de configuration. La plateforme répond aux normes de conformité des entreprises, notamment SOC‑2, HIPAA et GDPR, dès sa sortie de l'emballage.

‍

Passerelle API unifiée et observabilité

Les points de terminaison des modèles peuvent être enregistrés auprès de la passerelle AI de TrueFoundry afin de recevoir une seule API compatible avec OpenAI pour tous les modèles hébergés. La passerelle prend en charge le routage, la limitation de débit, la mise en cache, les garde-corps et la logique de repli par rapport aux modèles sur site. La télémétrie, notamment le nombre de jetons, la latence, l'utilisation du GPU, les accès au cache des valeurs clés et les taux d'erreur, est transmise de manière asynchrone à des systèmes d'observabilité tels que ClickHouse, Prometheus ou Grafana. Les tableaux de bord permettent une analyse détaillée rapide et détaillée au niveau de l'utilisateur.

Expérience et productivité des développeurs
TrueFoundry extrait les détails de Kubernetes, ce qui permet aux développeurs de déployer et de tester de nouveaux modèles, de suivre leur utilisation et d'effectuer des itérations pour peaufiner les tâches. La prise en charge des flux de travail GitOps, des déploiements Canary et de la restauration via l'interface utilisateur garantit des environnements de déploiement sûrs et contrôlés.

TrueFoundry rationalise le cycle de vie complet de l'hébergement LLM sur site, en couvrant le provisionnement de l'infrastructure, la mise à l'échelle, le déploiement sécurisé, l'observabilité et les interfaces conviviales. Il permet aux équipes de lancer rapidement des modèles de langage volumineux de niveau production, sans sacrifier le contrôle, la conformité ou les performances.

Cas d'utilisation réels

Les déploiements LLM sur site transforment les secteurs où la confidentialité des données et la latence sont des priorités absolues. Dans le secteur de la santé, les hôpitaux utilisent des LLM locaux pour résumer les notes des patients, faciliter la documentation clinique et générer des rapports de sortie. Ces modèles fonctionnent au sein d'une infrastructure sécurisée, conformément à la réglementation HIPAA et réduisent le risque d'exposition.

Dans le secteur financier, les organisations déploient des modèles sur site pour traiter les transcriptions des appels relatifs aux résultats, automatiser les rapports de conformité et générer des informations sur le marché interne. Étant donné que les informations financières sensibles ne quittent pas l'environnement, les entreprises peuvent maintenir un contrôle réglementaire et une auditabilité.

Les cas d'utilisation du gouvernement et de la défense s'appuient sur des LLM privés pour analyser des documents classifiés ou servir des analystes du renseignement. En maintenant l'inférence entièrement contenue sur site, les agences évitent les problèmes de fuite de données.

Dans les services juridiques, les cabinets déploient des LLM locaux pour extraire des clauses des contrats, effectuer des analyses de cas et générer des résumés, tout en préservant la confidentialité avocat-client. L'hébergement sur site garantit la sécurité des communications privilégiées.

La fabrication et les opérations sur le terrain bénéficient des LLM intégrés aux appareils qui génèrent des guides de dépannage et interprètent les données des capteurs sur site. Ce modèle permet d'éviter les problèmes de latence et de conserver les données propriétaires en interne.

Une entreprise de santé du Fortune 100 a notamment utilisé TrueFoundry pour déployer plus de 30 applications LLM sur site dans les pipelines RAG pour la recherche, la chaîne d'approvisionnement, les ressources humaines et le support client. Le résultat : une infrastructure GenAI prête à évoluer et à rentabiliser 4 à 5 fois plus rapidement.

Conclusion

‍

L'hébergement sur site offre aux entreprises un contrôle, une sécurité et des performances inégalés en conservant les modèles et les données entièrement au sein de leur infrastructure. Il garantit la conformité à des réglementations strictes et fournit une faible latence constante pour les applications en temps réel. Bien que cela nécessite un investissement initial en matériel et en expertise, les coûts totaux se stabilisent au-delà de la configuration initiale, et la flexibilité dans le réglage et l'orchestration des modèles offre des avantages à long terme. TrueFoundry simplifie ce processus en automatisant le déploiement, la mise à l'échelle, l'observabilité et la gouvernance au sein de votre environnement, rendant ainsi l'hébergement LLM de niveau entreprise pratique et efficace. Avec la bonne plateforme et une bonne planification, l'hébergement LLM sur site devient à la fois viable et évolutif.

‍

CTA

‍

Êtes-vous prêt à prendre le contrôle de votre infrastructure d'IA ?

‍

Découvrez comment TrueFoundry peut vous aider à déployer, à faire évoluer et à gérer de grands modèles linguistiques entièrement au sein de votre environnement : aucun verrouillage dans le cloud, une conformité totale et des performances prêtes pour la production dès le premier jour.

‍

Essayez TrueFoundry dès aujourd'hui - Aucune carte de crédit n'est requise !

‍

.

FAQ

1. Pourquoi les organisations devraient-elles héberger des LLM sur site au lieu d'utiliser le cloud ?
L'hébergement sur site offre davantage de contrôle, de confidentialité et de conformité, ce qui est essentiel pour des secteurs tels que la santé ou la finance. Il réduit également la latence des applications en temps réel et garantit des coûts prévisibles, car les dépenses passent d'une facturation variable dans le cloud à des investissements en capital dans l'infrastructure.

2. Quel matériel est requis pour l'hébergement LLM sur site ?
Les GPU hautes performances tels que NVIDIA A100 ou H100 sont essentiels. Une mémoire vive suffisante, des SSD NVMe rapides et un réseau à faible latence (par exemple, InfiniBand ou Ethernet 25 Gbit/s) permettent une inférence efficace. Kubernetes aide à orchestrer les charges de travail et à évoluer sur tous les nœuds pour plus de fiabilité et de performances.

3. Quels frameworks de service fonctionnent le mieux pour l'inférence LLM sur site ?
Les principales options incluent vLLM pour la diffusion rapide de jetons, TGI pour la compatibilité du modèle Hugging Face avec une configuration minimale et DeepSpeed + FasterTransformer pour un débit maximal dans les configurations professionnelles. Le choix du framework dépend des besoins de latence, de la taille du modèle et de la facilité de déploiement.

4. Comment TrueFoundry simplifie-t-il l'hébergement LLM sur site ?
TrueFoundry automatise l'ensemble du cycle de vie, du déploiement du modèle à la mise à l'échelle automatique, en passant par l'observabilité et la gouvernance, le tout au sein de votre infrastructure. Il prend en charge plusieurs moteurs d'inférence, une exposition sécurisée aux API et la journalisation des audits, et offre une interface unifiée conviviale pour les développeurs, réduisant ainsi considérablement les frais d'ingénierie.

5. Quels sont les cas d'utilisation courants des LLM sur site ?
Les industries utilisent des LLM sur site pour la synthèse sécurisée des documents, l'analyse des contrats, les rapports de conformité, les diagnostics sur le terrain et les pipelines RAG. Par exemple, une entreprise de santé du Fortune 100 a utilisé TrueFoundry pour déployer plus de 30 LLM locaux dans tous ses départements, accélérant ainsi l'adoption de GenAI tout en conservant un contrôle total des données.

‍