Orchestration GPU multi-cloud avec TrueFoundry : une architecture de référence pour les hyperscalers et les clouds spécialisés

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
La capacité GPU est aujourd'hui l'une des contraintes les plus dures pour les équipes IA. Le provisionnement d'instances Amazon EC2 P5 ou de machines virtuelles Azure de la série ND H100 v5 peut se heurter à des limites de quota, à des contraintes de capacité régionale ou à des engagements commerciaux difficiles à absorber. Cela a fait des clouds GPU spécialisés — CoreWeave, Lambda, Fluidstack et plusieurs autres — des cibles de production viables, et pas seulement une capacité de débordement. Chacun de ces fournisseurs propose une voie Kubernetes gérée pour les charges de travail GPU : CoreWeave Kubernetes Service (CKS), Lambda Managed Kubernetes (MK8s) sur un cluster 1-Click, et Kubernetes géré par Fluidstack.
L'exécution sur ces infrastructures aux côtés d'une empreinte hyperscaler crée une réelle complexité opérationnelle : tableaux de bord séparés, systèmes d'identité séparés, observabilité séparée, flux de déploiement séparés. Le rôle de TrueFoundry ici est de rattacher chacun de ces clusters Kubernetes à un seul Control Plane, de les présenter comme des cibles de déploiement dans une seule interface utilisateur et de fournir une couche opérationnelle K8s cohérente par-dessus — sans remplacer l'automatisation native du cluster que chaque fournisseur fournit déjà.
Cet article détaille ce à quoi cela ressemble concrètement : l'architecture, ce que le rattachement d'un cluster exige, où s'arrête l'automatisation de la plateforme et où commence celle du fournisseur, ainsi que les modèles pratiques que nous recommandons.
L'architecture : un Control Plane, plusieurs Compute Planes
TrueFoundry utilise une architecture à plans séparés. Le Control Plane (géré par TrueFoundry ou hébergé par vos soins) conserve les métadonnées, le RBAC, les manifestes de déploiement et l'interface utilisateur. Le Compute Plane est votre propre cluster Kubernetes. Plusieurs Compute Planes peuvent se connecter à un seul Control Plane — ce qui signifie qu'un cluster EKS, un cluster AKS, un cluster CKS, un cluster MK8s et un cluster K8s géré par Fluidstack peuvent tous faire remonter leurs informations vers le même tableau de bord.
L'agent tfy-agent s'exécute dans chaque cluster et ouvre un WebSocket sortant sécurisé vers le Control Plane. L'agent transmet en continu l'état du cluster, tandis que le proxy de l'agent permet au Control Plane d'appliquer les modifications Kubernetes via cette connexion sortante, sans nécessiter de point de terminaison entrant sur le cluster. Les charges de travail, le trafic du plan de données et les identifiants du fournisseur restent à l'intérieur du compte cloud de chaque cluster, et le trafic ne circule pas entre les Compute Planes via le Control Plane — ils restent des clouds indépendants avec des identités indépendantes.

Ce que "rattacher un cluster" exige réellement
L'installation de l'agent elle-même est une simple commande helm — mais elle intervient à la fin d'une configuration qui comporte de véritables prérequis. Pour que n'importe quel cluster (hyperscaler ou spécialisé) se rattache proprement, le cluster a besoin de :
- Kubernetes 1.28+ avec une marge de manœuvre d'environ 250 nœuds / 4 096 pods, selon le profil de charge de travail prévu
- Une sortie réseau (egress) vers les registres de conteneurs dans lesquels TrueFoundry effectue ses pulls :
public.ecr.aws,quay.io,ghcr.io,tfy.jfrog.io,docker.io/natsio,nvcr.io,registry.k8s.io - Un domaine générique (wildcard) (ex.
*.lambda-pool.example.com) et un certificat TLS — cert-manager + Let's Encrypt est le modèle documenté - Un équilibreur de charge ou un chemin d'ingress fonctionnel. K8s géré sur hyperscaler fournit généralement cela via l'intégration de l'équilibreur de charge du cloud ; sur du bare-metal ou des clusters spécialisés, confirmez le chemin d'ingress et d'allocation d'IP pris en charge par le fournisseur
- La prise en charge du stockage persistant pour les volumes et les artefacts, généralement via les intégrations de stockage bloc, fichier ou objet reposant sur le CSI du fournisseur
- Un registre de conteneurs et un stockage d'artefacts accessibles pour le pull d'images, les sorties de build et les artefacts de workflow
- Des étiquettes de nœuds (node labels) sur les clusters génériques / spécialisés :
truefoundry.com/nodepool=<pool-name>sur chaque nœud, ettruefoundry.com/gpu_type=<GPU_TYPE>sur les nœuds GPU (TrueFoundry ne découvre automatiquement les pools de nœuds que sur EKS/GKE/AKS)
Sur K8s géré hyperscale, les modules OpenTofu/Terraform de TrueFoundry couvrent la majeure partie de ces besoins. Sur les clouds spécialisés, vous utilisez directement l'offre K8s gérée du fournisseur — provisionnez via leur console, préparez les prérequis, puis rattachez. La commande d'installation exacte de l'agent est générée par l'interface utilisateur de la plateforme lorsque vous cliquez sur Attach Existing Cluster ; elle suit généralement cette forme :
Spécificités des clouds spécialisés : le problème du chevauchement des modules complémentaires (addons)
C'est la partie que de nombreux articles sur l'architecture passent sous silence. Les clouds spécialisés mentionnés précédemment fournissent déjà des composants Kubernetes qui chevauchent certaines parties de la pile d'addons par défaut de TrueFoundry. Si les deux côtés installent le même composant, vous pouvez obtenir des conflits allant de tableaux de bord dupliqués à des déploiements d'opérateurs GPU non pris en charge.
CoreWeave est explicite à ce sujet : CoreWeave gère le NVIDIA GPU Operator sur les clusters CKS et met en garde contre une double installation. Le déploiement géré par la plateforme est le seul pris en charge. Désactivez l'addon GPU Operator de TrueFoundry lors du rattachement d'un cluster CKS.
Concrètement :
- CoreWeave CKS inclut un NVIDIA GPU Operator géré par CoreWeave sur les clusters récents, le réseau Cilium, des intégrations de stockage, une infrastructure basée sur DPU et l'observabilité CoreWeave. Lors du rattachement, désactivez l'addon GPU Operator de TrueFoundry et vérifiez tout chevauchement d'observabilité.
- Lambda MK8s fournit la prise en charge des GPU et d'InfiniBand/RDMA, le stockage persistant partagé via la StorageClass
lambda-shared, des tableaux de bord Grafana NVIDIA DCGM et la remédiation automatisée des nœuds. Désactivez l'addon GPU Operator de TrueFoundry si Lambda gère déjà l’activation des GPU. Le tableau de bord DCGM du fournisseur est distinct de l'observabilité de TrueFoundry et peut s'exécuter à ses côtés. - Kubernetes géré par Fluidstack annonce la prise en charge de GPU Operator et Network Operator, Ray, Volcano et Kueue pour la planification par lots (batch scheduling), le stockage géré Atlas et l'observabilité de la santé du cluster. Désactivez l'addon GPU Operator de TrueFoundry lorsque le fournisseur le gère déjà. La pile de planification par lots du fournisseur est complémentaire à l'orchestration de workflow, plutôt qu'un remplacement.
Le formulaire Attach Existing Cluster comporte une section Cluster Addons dans laquelle vous désactivez tout addon déjà fourni par le fournisseur. Il s'agit d'une décision unique par cluster.
Ce que TrueFoundry ajoute sur l'ensemble des clusters
Une fois un cluster rattaché, la plateforme superpose une expérience opérationnelle cohérente sur n'importe quel K8s fourni par le fournisseur :
- Une seule interface utilisateur pour chaque cluster. Chaque déploiement, chaque job, chaque service, chaque workspace — visible sur tous les clusters rattachés dans le même tableau de bord.
- Format de manifeste de déploiement cohérent. Rédigez un service ou un job une fois ; ciblez un cluster différent en modifiant le champ
cluster_name— à condition que les prérequis sur le cluster de destination correspondent (type de GPU correspondant, accès au registre, secrets, classe de stockage). - Livraison versionnée en GitOps via ArgoCD déployé dans chaque cluster, avec la configuration de déploiement stockée dans Git lorsque le GitOps est activé.
- Observabilité par cluster, avec des métriques basées sur Prometheus affichées dans l'interface utilisateur du Control Plane et Grafana en option pour des tableaux de bord plus approfondis au niveau du cluster. (Remarque : il s'agit d'une visibilité opérationnelle consolidée, et non d'un remplacement pour un backend de métriques fédéré à long terme.)
- Argo Workflows dans chaque cluster pour les traitements par lots et les exécutions d'entraînement, avec un historique d'exécution et une observabilité au niveau des étapes affichés de manière uniforme.
- Autoscaling pour les services au sein de chaque cluster, y compris le passage à l'échelle basé sur le débit de requêtes, les règles temporelles, les modèles basés sur les files d'attente et le scale-to-zero pour les charges de travail appropriées.
- Placement par type de capacité au sein du cluster : les charges de travail peuvent cibler de la capacité spot, on-demand ou spot-with-on-demand-fallback lorsque la configuration sous-jacente du cloud et du provisionnement de nœuds le permet.
- RBAC et SSO basés sur les workspaces au niveau de la plateforme, avec des modèles de permissions cohérents quel que soit le cluster sur lequel une charge de travail s'exécute.
Ce que TrueFoundry ne fait pas (encore)
Pour être parfaitement clair sur le périmètre — il s'agit de capacités réelles que les clients demandent, mais qui ne sont pas des fonctionnalités de la plateforme aujourd'hui :
- Planification inter-clusters (cross-cluster scheduling). Lorsque vous déployez un job, vous ciblez un cluster spécifique. La plateforme ne choisit pas automatiquement le cluster le moins cher, n'oriente pas en fonction de la capacité en temps réel et ne rééquilibre pas les charges de travail en cours d'exécution entre les clusters.
- Basculement inter-clusters (cross-cluster failover). Si un Lambda 1CC rencontre des problèmes matériels ou si une région CoreWeave manque de capacité, la plateforme ne réessaie pas automatiquement le job sur une réservation EKS. Le placement intra-cluster et les politiques de repli peuvent aider lorsque le cluster sous-jacent les prend en charge ; le basculement inter-clusters est un problème différent et n'est pas fourni.
- Mise en commun agrégée de la capacité GPU. Vos capacités H100 sur CoreWeave, Lambda et AWS sont suivies comme trois clusters distincts — et non comme un quota unique mis en commun. L'interface utilisateur montre les trois ; le planificateur les traite comme indépendants.
- Routage automatique prenant en compte les coûts. Choisir où exécuter un job en fonction des tarifs en temps réel des fournisseurs n'est pas une fonctionnalité de la plateforme aujourd'hui.
Si votre cas d'usage nécessite réellement une orchestration inter-clusters — par exemple, un job d'entraînement qui devrait déborder sur le cloud disponible le moins cher — intégrez cette logique au niveau de la couche d'orchestration (votre logique CI/CD, un petit planificateur personnalisé ou un outil de workflow comme Argo Workflows ou Temporal) par-dessus l'API de déploiement par cluster de TrueFoundry. La plateforme vous offre les primitives de déploiement cohérentes sur l'ensemble des clusters ; la décision de routage vous appartient.
Un flux de travail réel : rattaché un cluster Lambda 1-Click Cluster
Voici la séquence concrète afin de définir correctement les attentes :
- Provisionnez un cluster 1-Click Cluster sur Lambda avec Managed Kubernetes activé. Choisissez la taille (de 16 à plus de 2 000 GPU) et la durée de réservation.
- Obtenez l'accès administrateur au cluster via le flux d'authentification de Lambda et vérifiez que
kubectl get nodesaffiche vos workers GPU commeReady. - Préparez les prérequis dans le cluster : configurez le DNS générique et le chemin d'ingress, installez ou vérifiez l'automatisation des certificats TLS, confirmez que la StorageClass
lambda-sharedest présente si vous avez besoin d'un stockage partagé, et vérifiez l'egress vers les registres de conteneurs requis par TrueFoundry. - Dans TrueFoundry, cliquez sur "Attach Existing Cluster" et renseignez les détails du cluster. Désactivez l'addon GPU Operator lorsque Lambda fournit déjà l'activation des GPU.
- Exécutez la commande helm générée dans votre cluster. Attendez que l'agent et les addons sélectionnés soient opérationnels — généralement 5 à 10 minutes après la mise en place des prérequis.
- Configurez les tolérances (tolerations) dans le workspace TrueFoundry ciblant ce cluster. Les nœuds MK8s ont des taints GPU qui doivent être tolérées ; la configuration de tolérance au niveau du workspace les applique à chaque job soumis à ce cluster.
- Vérifiez que le cluster apparaît comme connecté, puis déployez un petit job de test (un service vLLM à un seul GPU ou un entraînement sur un seul nœud) avant de migrer les charges de travail de production.
Le temps total sur un cluster préparé est généralement de 30 à 60 minutes, principalement occupé par la propagation DNS, la délivrance des certificats et l'installation helm.
Comparaison pratique
Conclusion
La stratégie GPU multi-cloud est une réalité, et devient de plus en plus pratique à mesure que la capacité de calcul devient une contrainte sur les feuilles de route IA. La voie pragmatique consiste à traiter chaque cluster — qu'il s'agisse d'EKS, AKS, GKE, CKS, MK8s ou de Kubernetes géré par Fluidstack — comme un rattachement Kubernetes standard, la plateforme fournissant une couche opérationnelle cohérente par-dessus.
Ce que vous obtenez : une interface utilisateur unique sur l'ensemble des clusters que vous avez rattachés, des modèles de déploiement et GitOps cohérents quel que soit le cloud, une portabilité des charges de travail au niveau des manifestes (lorsque les prérequis correspondent) et une séparation complète des données entre les comptes cloud des clients. Ce que vous n'obtenez pas aujourd'hui : la planification automatique inter-clusters, la mise en commun des capacités ou le routage prenant en compte les coûts — ces décisions restent de votre ressort, construites par-dessus l'API de déploiement par cluster de la plateforme.
Si vous évaluez cette pile, le point de départ naturel consiste à rattacher deux clusters — un hyperscaler et un spécialisé — et à exécuter un job représentatif sur chacun afin de valider l'ergonomie opérationnelle avant de passer à l'échelle.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.














%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






