TrueFoundry + Seldon : un plan de contrôle unique pour l'IA d'entreprise

En résumé : TrueFoundry et Seldon s'unissent pour former une seule et même plateforme. Le service de serving ML en temps réel de Seldon rejoint AI Deploy et AI Gateway de TrueFoundry, offrant ainsi aux entreprises un plan de contrôle unique pour le ML classique et les agents. Vos modèles en production continuent de fonctionner sur le même cluster Kubernetes que vous utilisez aujourd'hui, tout en vous ouvrant une voie directe vers les LLM et les agents IA.

La plupart des équipes IA en entreprise opèrent désormais des deux côtés d'une même frontière. D'une part, elles exécutent des modèles ML classiques en production pour des cas d'usage tels que la détection de la fraude, la prédiction du churn et les recommandations. D'autre part, elles développent des applications agentiques capables de raisonner, d'appeler des outils et d'agir de manière autonome. Ces deux mondes évoluaient autrefois à des rythmes différents. Ce n'est plus le cas. Tous deux deviennent simultanément critiques pour le business, et les gérer via deux stacks séparées, avec deux fournisseurs et deux modèles de gouvernance différents, devient rapidement coûteux et complexe.

C'est précisément cette faille que TrueFoundry et Seldon comblent ensemble. Seldon a passé plus d'une décennie à perfectionner le serving ML en temps réel pour certaines des entreprises les plus exigeantes au monde. TrueFoundry a conçu le plan de contrôle dédié à l'IA moderne, englobant le déploiement, une AI Gateway et la gouvernance pour les LLM et les agents. Nous fusionnons ces deux visions en une plateforme unique, offrant aux équipes un endroit unique pour exécuter des modèles prédictifs et des agents sur la base Kubernetes en laquelle elles ont déjà confiance.

‍

Deux équipes, une seule architecture

Cette fusion fonctionne parce qu'aucune des deux parties n'a à faire de compromis sur sa conception. Seldon et TrueFoundry ont fait le même choix architectural il y a des années. Les deux s'exécutent en tant que plan de contrôle sur le propre Kubernetes du client, au sein de son VPC, on-premise ou en environnement air-gapped. Les deux sont agnostiques du cloud. Les deux s'appuient sur les mêmes composants standards pour le trafic, l'autoscaling et la télémétrie, et les deux attribuent à chaque équipe son propre namespace plutôt que d'exiger des privilèges d'administration à l'échelle du cluster.

Seldon a exploité cette fondation commune en se spécialisant sur une couche précise : le serving de ML classique en temps réel à grande échelle. De notre côté, nous avons utilisé cette même base pour élargir le périmètre, depuis le déploiement jusqu'à une passerelle qui gouverne les modèles, les agents et les outils. Ainsi, les deux plateformes n'ont jamais été sur une trajectoire de collision. Elles résolvaient des facettes complémentaires d'un même problème, de la même manière. Les réunir revient simplement à connecter deux couches qui parlent déjà le même langage.

‍

Ce que Seldon apporte

Seldon est depuis plus d'une décennie la colonne vertébrale de l'inférence ML en temps réel auprès des banques, des télécoms, des assureurs, des distributeurs et des acteurs de la santé. Cette réputation provient de son expertise approfondie sur les aspects les plus complexes du serving ML en production :

• Pipelines Core 2 : assemblent plusieurs modèles, transformateurs et routeurs au sein d'une seule application servie. L'appelant reçoit une réponse synchrone, tandis qu'un flux de données Kafka achemine les données entre les étapes internes. Il s'agit d'une véritable orchestration applicative au niveau de la couche de serving, et non de simples endpoints mono-modèles.
• MLServer : un runtime multi-modèles basé sur des standards, s'appuyant sur le protocole V2 Open Inference Protocol, avec batching adaptatif et chargement multi-modèles.
• Alibi Detect et Alibi Explain : gèrent la détection de dérive (drift), les valeurs aberrantes (outliers) et l'explicabilité des modèles — des signaux de qualité essentiels sur lesquels s'appuient les équipes de gestion des risques et les équipes cliniques.
• Model Performance Monitoring : suit le comportement d'un modèle une fois déployé en environnement réel.

L'ensemble constitue une couche de serving et de monitoring mature, profondément ancrée dans des environnements réglementés et à faible latence, où une prédiction erronée peut se transformer en problème client en quelques minutes.

‍

Ce que TrueFoundry apporte

TrueFoundry a conçu le plan de contrôle autour du modèle, à savoir les couches qui transforment un modèle servi en une application gouvernée, optimisée en coûts et prête pour les agents :

• AI Deploy : exécute et met à l'échelle les workloads ML et GenAI sur Kubernetes, avec la flexibilité runtime nécessaire pour servir des modèles sur des backends tels que FastAPI, Triton et vLLM.
• L'AI Gateway : unifie plus de 1 000 LLM derrière une API unique compatible OpenAI, avec un contrôle d'accès unifié, des garde-fous (guardrails) et une observabilité au niveau de chaque requête. Elle n'ajoute qu'environ 3 à 4 ms d'overhead et gère plus de 350 RPS sur un seul vCPU, s'intégrant ainsi sur le chemin critique sans devenir un goulot d'étranglement.
• L'Agent Gateway : étend ce contrôle au fonctionnement réel des agents : les serveurs MCP qu'ils appellent, les outils qu'ils utilisent et les passages de relais entre eux. Les agents issus de LangGraph, CrewAI, AutoGen ou d'un framework sur mesure peuvent être déployés et gouvernés en un seul endroit.

Nos clients exécutent déjà des applications d'IA critiques via la Gateway, traitant plus d'un billion de tokens par jour.

‍

Ensemble, c'est mieux : un plan de contrôle unique

Voici l'élément essentiel. Lorsque la couche de serving de Seldon et les couches de déploiement et de passerelle de TrueFoundry se réunissent, l'entreprise bénéficie d'un plan de contrôle unique couvrant les deux pans de son IA.

Deploy exécute les workloads. La Gateway les gouverne et les achemine. Vos modèles ML classiques et vos agents reposent sur le même cluster Kubernetes, sous un ensemble unique de contrôles d'accès, une seule stack d'observabilité et une vue unifiée des coûts. Une seule requête peut interroger un modèle de fraude, un LLM et un agent qui appelle un outil, chaque étape étant journalisée et gouvernée de la même manière.

‍

Où s'orientent les investissements en IA d'entreprise

Il est utile d'observer la trajectoire des investissements. Le ML prédictif est aujourd'hui largement stabilisé et s'exécute de manière constante. Les nouveaux investissements en IA d'entreprise se dirigent vers les LLM et les agents, et ces dépenses transitent par la Gateway. Chaque appel de modèle, chaque étape d'un agent, chaque invocation d'outil passe par elle, c'est pourquoi nos clients y font déjà transiter plus d'un billion de tokens par jour.

Ainsi, la plateforme combinée remplit deux objectifs majeurs. Elle maintient le fonctionnement de votre ML existant, sans moindre interruption. Et elle vous positionne directement sur la surface où se concentre la prochaine vague d'investissements en IA, sans avoir à déployer une plateforme séparée pour y parvenir.

‍

Ce que cela change pour vous

Si vous utilisez Seldon aujourd'hui, votre ML en temps réel continue de s'exécuter sur l'infrastructure Kubernetes que vous gérez déjà. Les modèles servis via le protocole V2 restent portables, et les pipelines Core 2 s'associent directement aux primitives de Deploy sans nécessiter de réécriture. En plus de cela, vous bénéficiez de l'AI Gateway et de la couche agentique sans rien avoir à déployer de nouveau.

Si vous utilisez TrueFoundry aujourd'hui, rien ne change dans votre stack, et Deploy gagne en puissance. Il intègre l'héritage de Seldon en matière de serving et de monitoring, y compris la détection de dérive et de valeurs aberrantes, l'explicabilité des modèles et le suivi des performances, alimentant directement la plateforme que vous utilisez déjà.

Pour les deux, cela représente une seule stack au lieu de deux. Un seul endroit pour déployer un modèle, router un appel, surveiller la dérive, gouverner un agent et piloter les coûts, à la fois sur le ML classique et la GenAI, sur l'infrastructure que vous exploitez déjà.

‍

Lectures associées

• Qu'est-ce qu'une LLM Gateway ?  L'architecture derrière l'AI Gateway.
• Agent Gateway  Comment nous connectons, gouvernons et observons les agents, les serveurs MCP et les outils.
• Qu'est-ce que le MCP ?  Le protocole utilisé par les agents pour appeler des outils.
• Plateforme IA On-Premise  Exécuter l'ensemble de ces solutions dans votre propre environnement.

‍

Conclusion

Les entreprises ne devraient pas avoir à gérer une plateforme pour leurs modèles et une autre pour leurs agents. Grâce à l'union de TrueFoundry et Seldon, ce n'est plus nécessaire. Le serving ML en temps réel de Seldon et l'AI Gateway de TrueFoundry reposent désormais sur un plan de contrôle unique pour l'IA d'entreprise, sur le Kubernetes que vous exploitez déjà. Votre ML en production poursuit son exécution, et la transition vers les agents et les LLM est directement intégrée au-dessus.

Découvrez comment l'AI Gateway de TrueFoundry unifie ML et agents  →  Explorer l'AI Gateway