TrueFoundry AI Gateway sur VMware Cloud Foundation
.webp)
Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Gouvernance de l'IA d'entreprise — Sur votre infrastructure, sous votre contrôle
Le Défi
L'intelligence artificielle évolue rapidement. Les divisions opérationnelles expérimentent des modèles de langage étendu (LLM) provenant de multiples fournisseurs, créent des abonnements de manière indépendante et acheminent des données d'entreprise sensibles via des API du cloud public — souvent sans visibilité, sans contrôle des dépenses et sans piste d'audit. Dans le même temps, les secteurs réglementés ne peuvent pas envoyer de données propriétaires en dehors du périmètre de l'entreprise. Les équipes IT et sécurité se retrouvent à gérer une surface d'IA en constante expansion et non gouvernée, sans moyen pratique d'appliquer des politiques, de suivre les coûts ou d'assurer la conformité. Le résultat : une prolifération incontrôlée de l'IA (AI sprawl), des risques budgétaires et une exposition inacceptable des données.
La Solution
TrueFoundry AI Gateway fournit un point d'accès unique et centralement gouverné pour toutes les interactions avec les modèles d'IA à l'échelle de l'entreprise. Qu'une équipe utilise un modèle on-premises pour des charges de travail sensibles ou un fournisseur cloud pour la productivité générale, chaque requête passe par un endpoint unifié — surveillé, attribué et contrôlé par des politiques.
VMware Cloud Foundation (VCF) offre la plateforme cloud privé de niveau entreprise qui rend l'IA souveraine possible. Bâti sur vSphere, vSAN et NSX, VCF exécute les charges de travail de production entièrement on-premises avec la cohérence opérationnelle attendue par les entreprises. Le service Kubernetes de VCF (VKS) fournit la base de calcul sur laquelle TrueFoundry AI Gateway est déployé et géré.
Ensemble, ils fournissent une plateforme d'IA prête pour la production et auditable qui maintient chaque interaction de modèle à l'intérieur de l'infrastructure propre du client — sans aucune dépendance envers des services cloud externes pour la gouvernance, la journalisation ou l'application des politiques.
Fonctionnalités Clés
Toutes les fonctionnalités énumérées ci-dessous ont été validées sur VMware Cloud Foundation avec vSphere Kubernetes Service.
- Accès Unifié aux Modèles — Un endpoint API unique achemine les requêtes vers n'importe quelle combinaison de modèles d'IA on-premises et cloud. Les équipes utilisent une interface standardisée quel que soit le modèle déployé derrière celle-ci, aujourd'hui ou à l'avenir.
- Visibilité Complète sur l'Utilisation — Chaque requête et réponse est intégralement journalisée, stockée on-premises et interrogable en temps réel. Les tableaux de bord AI Monitoring mettent en évidence les tendances d'utilisation, les performances des modèles et la ventilation des coûts par équipe, projet ou individu.
- Contrôles Budgétaires et de Débit — Des plafonds de dépenses par équipe et par modèle sont appliqués au niveau de la passerelle avant même qu'une requête n'atteigne un modèle. Lorsqu'un seuil budgétaire est atteint, l'accès est bloqué automatiquement — aucune intervention manuelle n'est requise.
- Garde-fous de Contenu (Guardrails) — Des filtres basés sur des politiques inspectent chaque prompt avant qu'il n'atteigne un modèle. Des règles peuvent bloquer des sujets, mots-clés ou catégories de contenu spécifiques, donnant aux équipes juridiques et de conformité un contrôle direct sur ce que la couche d'IA traitera ou non.
- Mise en Cache Intelligente des Réponses — Les requêtes répétées reçoivent une réponse depuis le cache avec un coût en jetons nul, réduisant à la fois les dépenses d'API et la latence de réponse jusqu'à 67 fois par rapport à un appel de modèle à froid.
Bénéfices Métier
Souveraineté des Données Le trafic d'IA ne quitte jamais le périmètre de l'entreprise. Toutes les interactions avec les modèles, les journaux et les politiques de gouvernance s'exécutent au sein de VCF. Pour les services financiers, la santé, la défense et les autres secteurs réglementés, c'est la seule voie viable vers l'adoption d'une IA de niveau entreprise.
Responsabilité des Coûts L'utilisation des jetons est suivie au niveau de chaque requête individuelle et attribuée à l'équipe ou au projet qui l'a générée. Les équipes plateforme peuvent produire des rapports de facturation interne (chargeback) précis pour chaque division opérationnelle — en utilisant leur propre infrastructure, sans dépendance envers les API de facturation des fournisseurs cloud.
Simplicité Opérationnelle TrueFoundry AI Gateway se déploie sur l'infrastructure VCF existante sans nouveaux comptes cloud, sans fournisseurs SaaS supplémentaires ni plans de gestion séparés. Une plateforme unifiée gouverne tout l'accès à l'IA depuis un tableau de bord web, réduisant la charge opérationnelle pour les équipes IT qui gèrent déjà VCF.
Cas d'Usage
Pourquoi VCF et TrueFoundry
VMware Cloud Foundation est le socle éprouvé pour le cloud privé d'entreprise — offrant la cohérence d'infrastructure, la sécurité et l'échelle opérationnelle dont dépendent les grandes organisations. TrueFoundry apporte la couche de gouvernance de l'IA qui manquait à l'IT d'entreprise : une plateforme de niveau production pour contrôler, observer et attribuer chaque interaction d'IA dans l'organisation.
Cette combinaison comble l'écart entre l'ambition en matière d'IA et la réalité de l'entreprise. Les organisations peuvent progresser rapidement avec l'IA — en acheminant vers des modèles cloud pour l'agilité et vers des modèles on-premises pour la sensibilité — tout en maintenant le contrôle des données, la discipline budgétaire et les capacités d'audit qu'exigent les environnements réglementés.
Validé sur VMware Cloud Foundation
Toutes les fonctionnalités décrites dans cette fiche ont été déployées et validées sur VMware Cloud Foundation avec vSphere Kubernetes Service. Une architecture de référence technique détaillée et un guide de déploiement sont en cours de développement dans le cadre de cette initiative conjointe.
Pour Commencer
Pour en savoir plus sur le déploiement de TrueFoundry AI Gateway sur VMware Cloud Foundation, contactez l'équipe Broadcom AI Platform Solutions ou contactez directement TrueFoundry sur www.truefoundry.com.
© 2026 Broadcom Inc. Tous droits réservés. VMware Cloud Foundation et vSphere sont des marques déposées de Broadcom Inc. TrueFoundry est une marque déposée de TrueFoundry, Inc.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.












.png)
.png)
.png)
.png)

.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.webp)
.webp)

.png)
.png)





