Blank white background with no objects or features visible.

Bonjour, zone EMEA ! TrueFoundry étend sa présence en Europe, au Moyen-Orient et en Afrique. En savoir plus. →

Orchestration GPU multi-cloud avec TrueFoundry : une architecture de référence pour les hyperscalers et les clouds spécialisés

Par Boyu Wang

Mis à jour : November 3, 2026

Published: April 20, 2026

La capacité GPU est aujourd'hui l'une des contraintes les plus dures pour les équipes IA. Le provisionnement d'instances Amazon EC2 P5 ou de machines virtuelles Azure de la série ND H100 v5 peut se heurter à des limites de quota, à des contraintes de capacité régionale ou à des engagements commerciaux difficiles à absorber. Cela a fait des clouds GPU spécialisés — CoreWeave, Lambda, Fluidstack et plusieurs autres — des cibles de production viables, et pas seulement une capacité de débordement. Chacun de ces fournisseurs propose une voie Kubernetes gérée pour les charges de travail GPU : CoreWeave Kubernetes Service (CKS), Lambda Managed Kubernetes (MK8s) sur un cluster 1-Click, et Kubernetes géré par Fluidstack.

L'exécution sur ces infrastructures aux côtés d'une empreinte hyperscaler crée une réelle complexité opérationnelle : tableaux de bord séparés, systèmes d'identité séparés, observabilité séparée, flux de déploiement séparés. Le rôle de TrueFoundry ici est de rattacher chacun de ces clusters Kubernetes à un seul Control Plane, de les présenter comme des cibles de déploiement dans une seule interface utilisateur et de fournir une couche opérationnelle K8s cohérente par-dessus — sans remplacer l'automatisation native du cluster que chaque fournisseur fournit déjà.

Cet article détaille ce à quoi cela ressemble concrètement : l'architecture, ce que le rattachement d'un cluster exige, où s'arrête l'automatisation de la plateforme et où commence celle du fournisseur, ainsi que les modèles pratiques que nous recommandons.

L'architecture : un Control Plane, plusieurs Compute Planes

TrueFoundry utilise une architecture à plans séparés. Le Control Plane (géré par TrueFoundry ou hébergé par vos soins) conserve les métadonnées, le RBAC, les manifestes de déploiement et l'interface utilisateur. Le Compute Plane est votre propre cluster Kubernetes. Plusieurs Compute Planes peuvent se connecter à un seul Control Plane — ce qui signifie qu'un cluster EKS, un cluster AKS, un cluster CKS, un cluster MK8s et un cluster K8s géré par Fluidstack peuvent tous faire remonter leurs informations vers le même tableau de bord.

L'agent tfy-agent s'exécute dans chaque cluster et ouvre un WebSocket sortant sécurisé vers le Control Plane. L'agent transmet en continu l'état du cluster, tandis que le proxy de l'agent permet au Control Plane d'appliquer les modifications Kubernetes via cette connexion sortante, sans nécessiter de point de terminaison entrant sur le cluster. Les charges de travail, le trafic du plan de données et les identifiants du fournisseur restent à l'intérieur du compte cloud de chaque cluster, et le trafic ne circule pas entre les Compute Planes via le Control Plane — ils restent des clouds indépendants avec des identités indépendantes.

Figure 1. Architecture multi-cloud. Un Control Plane, une connexion d'agent sortante par cluster, et aucun trafic du plan de données entre les clusters via la plateforme. Chaque Compute Plane conserve sa propre frontière d'identité, son stockage et ses composants gérés par le fournisseur.

Ce que "rattacher un cluster" exige réellement

L'installation de l'agent elle-même est une simple commande helm — mais elle intervient à la fin d'une configuration qui comporte de véritables prérequis. Pour que n'importe quel cluster (hyperscaler ou spécialisé) se rattache proprement, le cluster a besoin de :

  • Kubernetes 1.28+ avec une marge de manœuvre d'environ 250 nœuds / 4 096 pods, selon le profil de charge de travail prévu
  • Une sortie réseau (egress) vers les registres de conteneurs dans lesquels TrueFoundry effectue ses pulls : public.ecr.aws, quay.io, ghcr.io, tfy.jfrog.io, docker.io/natsio, nvcr.io, registry.k8s.io
  • Un domaine générique (wildcard) (ex. *.lambda-pool.example.com) et un certificat TLS — cert-manager + Let's Encrypt est le modèle documenté
  • Un équilibreur de charge ou un chemin d'ingress fonctionnel. K8s géré sur hyperscaler fournit généralement cela via l'intégration de l'équilibreur de charge du cloud ; sur du bare-metal ou des clusters spécialisés, confirmez le chemin d'ingress et d'allocation d'IP pris en charge par le fournisseur
  • La prise en charge du stockage persistant pour les volumes et les artefacts, généralement via les intégrations de stockage bloc, fichier ou objet reposant sur le CSI du fournisseur
  • Un registre de conteneurs et un stockage d'artefacts accessibles pour le pull d'images, les sorties de build et les artefacts de workflow
  • Des étiquettes de nœuds (node labels) sur les clusters génériques / spécialisés : truefoundry.com/nodepool=<pool-name> sur chaque nœud, et truefoundry.com/gpu_type=<GPU_TYPE> sur les nœuds GPU (TrueFoundry ne découvre automatiquement les pools de nœuds que sur EKS/GKE/AKS)

Sur K8s géré hyperscale, les modules OpenTofu/Terraform de TrueFoundry couvrent la majeure partie de ces besoins. Sur les clouds spécialisés, vous utilisez directement l'offre K8s gérée du fournisseur — provisionnez via leur console, préparez les prérequis, puis rattachez. La commande d'installation exacte de l'agent est générée par l'interface utilisateur de la plateforme lorsque vous cliquez sur Attach Existing Cluster ; elle suit généralement cette forme :

Spécificités des clouds spécialisés : le problème du chevauchement des modules complémentaires (addons)

C'est la partie que de nombreux articles sur l'architecture passent sous silence. Les clouds spécialisés mentionnés précédemment fournissent déjà des composants Kubernetes qui chevauchent certaines parties de la pile d'addons par défaut de TrueFoundry. Si les deux côtés installent le même composant, vous pouvez obtenir des conflits allant de tableaux de bord dupliqués à des déploiements d'opérateurs GPU non pris en charge.

CoreWeave est explicite à ce sujet : CoreWeave gère le NVIDIA GPU Operator sur les clusters CKS et met en garde contre une double installation. Le déploiement géré par la plateforme est le seul pris en charge. Désactivez l'addon GPU Operator de TrueFoundry lors du rattachement d'un cluster CKS.

Concrètement :

  • CoreWeave CKS inclut un NVIDIA GPU Operator géré par CoreWeave sur les clusters récents, le réseau Cilium, des intégrations de stockage, une infrastructure basée sur DPU et l'observabilité CoreWeave. Lors du rattachement, désactivez l'addon GPU Operator de TrueFoundry et vérifiez tout chevauchement d'observabilité.
  • Lambda MK8s fournit la prise en charge des GPU et d'InfiniBand/RDMA, le stockage persistant partagé via la StorageClass lambda-shared, des tableaux de bord Grafana NVIDIA DCGM et la remédiation automatisée des nœuds. Désactivez l'addon GPU Operator de TrueFoundry si Lambda gère déjà l’activation des GPU. Le tableau de bord DCGM du fournisseur est distinct de l'observabilité de TrueFoundry et peut s'exécuter à ses côtés.
  • Kubernetes géré par Fluidstack annonce la prise en charge de GPU Operator et Network Operator, Ray, Volcano et Kueue pour la planification par lots (batch scheduling), le stockage géré Atlas et l'observabilité de la santé du cluster. Désactivez l'addon GPU Operator de TrueFoundry lorsque le fournisseur le gère déjà. La pile de planification par lots du fournisseur est complémentaire à l'orchestration de workflow, plutôt qu'un remplacement.

Le formulaire Attach Existing Cluster comporte une section Cluster Addons dans laquelle vous désactivez tout addon déjà fourni par le fournisseur. Il s'agit d'une décision unique par cluster.

Ce que TrueFoundry ajoute sur l'ensemble des clusters

Une fois un cluster rattaché, la plateforme superpose une expérience opérationnelle cohérente sur n'importe quel K8s fourni par le fournisseur :

  • Une seule interface utilisateur pour chaque cluster. Chaque déploiement, chaque job, chaque service, chaque workspace — visible sur tous les clusters rattachés dans le même tableau de bord.
  • Format de manifeste de déploiement cohérent. Rédigez un service ou un job une fois ; ciblez un cluster différent en modifiant le champ cluster_name — à condition que les prérequis sur le cluster de destination correspondent (type de GPU correspondant, accès au registre, secrets, classe de stockage).
  • Livraison versionnée en GitOps via ArgoCD déployé dans chaque cluster, avec la configuration de déploiement stockée dans Git lorsque le GitOps est activé.
  • Observabilité par cluster, avec des métriques basées sur Prometheus affichées dans l'interface utilisateur du Control Plane et Grafana en option pour des tableaux de bord plus approfondis au niveau du cluster. (Remarque : il s'agit d'une visibilité opérationnelle consolidée, et non d'un remplacement pour un backend de métriques fédéré à long terme.)
  • Argo Workflows dans chaque cluster pour les traitements par lots et les exécutions d'entraînement, avec un historique d'exécution et une observabilité au niveau des étapes affichés de manière uniforme.
  • Autoscaling pour les services au sein de chaque cluster, y compris le passage à l'échelle basé sur le débit de requêtes, les règles temporelles, les modèles basés sur les files d'attente et le scale-to-zero pour les charges de travail appropriées.
  • Placement par type de capacité au sein du cluster : les charges de travail peuvent cibler de la capacité spot, on-demand ou spot-with-on-demand-fallback lorsque la configuration sous-jacente du cloud et du provisionnement de nœuds le permet.
  • RBAC et SSO basés sur les workspaces au niveau de la plateforme, avec des modèles de permissions cohérents quel que soit le cluster sur lequel une charge de travail s'exécute.

Ce que TrueFoundry ne fait pas (encore)

Pour être parfaitement clair sur le périmètre — il s'agit de capacités réelles que les clients demandent, mais qui ne sont pas des fonctionnalités de la plateforme aujourd'hui :

  • Planification inter-clusters (cross-cluster scheduling). Lorsque vous déployez un job, vous ciblez un cluster spécifique. La plateforme ne choisit pas automatiquement le cluster le moins cher, n'oriente pas en fonction de la capacité en temps réel et ne rééquilibre pas les charges de travail en cours d'exécution entre les clusters.
  • Basculement inter-clusters (cross-cluster failover). Si un Lambda 1CC rencontre des problèmes matériels ou si une région CoreWeave manque de capacité, la plateforme ne réessaie pas automatiquement le job sur une réservation EKS. Le placement intra-cluster et les politiques de repli peuvent aider lorsque le cluster sous-jacent les prend en charge ; le basculement inter-clusters est un problème différent et n'est pas fourni.
  • Mise en commun agrégée de la capacité GPU. Vos capacités H100 sur CoreWeave, Lambda et AWS sont suivies comme trois clusters distincts — et non comme un quota unique mis en commun. L'interface utilisateur montre les trois ; le planificateur les traite comme indépendants.
  • Routage automatique prenant en compte les coûts. Choisir où exécuter un job en fonction des tarifs en temps réel des fournisseurs n'est pas une fonctionnalité de la plateforme aujourd'hui.

Si votre cas d'usage nécessite réellement une orchestration inter-clusters — par exemple, un job d'entraînement qui devrait déborder sur le cloud disponible le moins cher — intégrez cette logique au niveau de la couche d'orchestration (votre logique CI/CD, un petit planificateur personnalisé ou un outil de workflow comme Argo Workflows ou Temporal) par-dessus l'API de déploiement par cluster de TrueFoundry. La plateforme vous offre les primitives de déploiement cohérentes sur l'ensemble des clusters ; la décision de routage vous appartient.

Un flux de travail réel : rattaché un cluster Lambda 1-Click Cluster

Voici la séquence concrète afin de définir correctement les attentes :

  1. Provisionnez un cluster 1-Click Cluster sur Lambda avec Managed Kubernetes activé. Choisissez la taille (de 16 à plus de 2 000 GPU) et la durée de réservation.
  2. Obtenez l'accès administrateur au cluster via le flux d'authentification de Lambda et vérifiez que kubectl get nodes affiche vos workers GPU comme Ready.
  3. Préparez les prérequis dans le cluster : configurez le DNS générique et le chemin d'ingress, installez ou vérifiez l'automatisation des certificats TLS, confirmez que la StorageClass lambda-shared est présente si vous avez besoin d'un stockage partagé, et vérifiez l'egress vers les registres de conteneurs requis par TrueFoundry.
  4. Dans TrueFoundry, cliquez sur "Attach Existing Cluster" et renseignez les détails du cluster. Désactivez l'addon GPU Operator lorsque Lambda fournit déjà l'activation des GPU.
  5. Exécutez la commande helm générée dans votre cluster. Attendez que l'agent et les addons sélectionnés soient opérationnels — généralement 5 à 10 minutes après la mise en place des prérequis.
  6. Configurez les tolérances (tolerations) dans le workspace TrueFoundry ciblant ce cluster. Les nœuds MK8s ont des taints GPU qui doivent être tolérées ; la configuration de tolérance au niveau du workspace les applique à chaque job soumis à ce cluster.
  7. Vérifiez que le cluster apparaît comme connecté, puis déployez un petit job de test (un service vLLM à un seul GPU ou un entraînement sur un seul nœud) avant de migrer les charges de travail de production.

Le temps total sur un cluster préparé est généralement de 30 à 60 minutes, principalement occupé par la propagation DNS, la délivrance des certificats et l'installation helm.

Comparaison pratique

Capacité Hyperscalers (EKS / AKS / GKE) Spécialisés (CKS / MK8s / Fluidstack) Ce que TrueFoundry ajoute
Disponibilité des GPU Quotas de capacité, planification des réservations et contraintes de disponibilité régionale Capacité bare-metal H100 / H200 / B200 / GB200, sous réserve de la disponibilité du fournisseur et des conditions commerciales Tous les clusters rattachés sont visibles dans une seule interface utilisateur ; cibles de déploiement sélectionnables par charge de travail
Tarification Tarifs publics, remises sur réservation Tarification spécifique au fournisseur, souvent optimisée pour les grands clusters GPU Déploiement par cluster ; le routage des coûts inter-clusters n'est pas natif à la plateforme
Spot / préemption Structures spot, on-demand et de réservation natives au cloud ; le repli dépend de la configuration du provisionnement des nœuds Géré par le fournisseur (variable) Configuré par cluster ; le basculement inter-clusters est géré côté utilisateur
Stockage EBS / EFS natifs, Persistent Disk / Filestore, Azure Disk / Azure Files, plus intégrations avec les stockages objets selon la configuration Intégations de stockage gérées par le fournisseur telles que le stockage CoreWeave, le système de fichiers partagé Lambda et le stockage géré Fluidstack Atlas Utilisation de l'abstraction de stockage Kubernetes prise en charge par le fournisseur ; validation des modes d'accès et des performances par charge de travail
Pilotes GPU / Operator Installé par l'addon GPU Operator de TrueFoundry lorsque le cluster ne le fournit pas déjà Souvent géré par le fournisseur — désactivez l'addon de TrueFoundry lorsque le fournisseur gère déjà l'activation des GPU Activation/désactivation de l'addon par cluster dans le formulaire de rattachement
Observabilité Prometheus + Grafana par cluster affichés dans l'interface utilisateur de la plateforme Observabilité TrueFoundry plus tableaux de bord natifs du fournisseur lorsqu'ils sont disponibles, comme le Grafana DCGM de Lambda Visibilité consolidée du cluster (pas de métriques fédérées à long terme)
Identité EKS IRSA / GKE Workload Identity / Azure WI configurés selon les standards du fournisseur RBAC et IAM spécifiques au fournisseur RBAC et SSO basés sur les workspaces au niveau de la plateforme ; le RBAC K8s natif reste par cluster

Conclusion

La stratégie GPU multi-cloud est une réalité, et devient de plus en plus pratique à mesure que la capacité de calcul devient une contrainte sur les feuilles de route IA. La voie pragmatique consiste à traiter chaque cluster — qu'il s'agisse d'EKS, AKS, GKE, CKS, MK8s ou de Kubernetes géré par Fluidstack — comme un rattachement Kubernetes standard, la plateforme fournissant une couche opérationnelle cohérente par-dessus.

Ce que vous obtenez : une interface utilisateur unique sur l'ensemble des clusters que vous avez rattachés, des modèles de déploiement et GitOps cohérents quel que soit le cloud, une portabilité des charges de travail au niveau des manifestes (lorsque les prérequis correspondent) et une séparation complète des données entre les comptes cloud des clients. Ce que vous n'obtenez pas aujourd'hui : la planification automatique inter-clusters, la mise en commun des capacités ou le routage prenant en compte les coûts — ces décisions restent de votre ressort, construites par-dessus l'API de déploiement par cluster de la plateforme.

Si vous évaluez cette pile, le point de départ naturel consiste à rattacher deux clusters — un hyperscaler et un spécialisé — et à exécuter un job représentatif sur chacun afin de valider l'ergonomie opérationnelle avant de passer à l'échelle.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

INSCRIVEZ-VOUS
Table des matières

Gouvernez, déployez et suivez l'IA dans votre propre infrastructure

Réservez un séjour de 30 minutes avec notre Expert en IA

Réservez une démo

Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA

Démo du livre
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Découvrez-en plus

Aucun article n'a été trouvé.
November 14, 2026
|
5 min de lecture

Claude Managed Agents vs LangChain Deep Agents: Which Agent Harness Should You Choose?

Aucun article n'a été trouvé.
November 13, 2026
|
5 min de lecture

Claude Managed Agents vs TrueForge: Which Agent Harness Should Enterprise Teams Run in 2026

Aucun article n'a été trouvé.
 What is an LLM Gateway
November 13, 2026
|
5 min de lecture

Qu'est-ce qu'une LLM Gateway ? Le guide complet

Ingénierie et produits
November 13, 2026
|
5 min de lecture

Helm Charts sur ArtifactHub via l'hébergement sur GitHub Pages

Ingénierie et produits
Aucun article n'a été trouvé.

Blogs récents

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Faites un rapide tour d'horizon des produits
Commencer la visite guidée du produit
Visite guidée du produit