Construire la couche d'infrastructure qui manquait à l'IA d'entreprise

‍

En 2022, avant que ChatGPT n'entre dans le vocabulaire culturel, nos fondateurs Nikunj Bajaj, Abhishek et Anuraag étaient déjà en pleine construction. Non pas en réaction à une tendance, ni en quête d'un moment opportun, mais en partant de la conviction que le monde de l'entreprise était sur le point d'atteindre un point d'inflexion pour lequel il n'était pas préparé.

Cette conviction venait de l'intérieur. Avant de fonder TrueFoundry, Nikunj avait passé du temps chez Meta, où l'expérience de travailler avec une infrastructure d'apprentissage automatique à grande échelle avait fondamentalement changé sa façon d'appréhender le problème.

« La façon de construire des modèles d'apprentissage automatique chez Meta est fondamentalement différente de la façon de le faire en utilisant l'écosystème du cloud public à l'extérieur, » a partagé Nikunj sur le podcast Code Story. « Meta considère l'apprentissage automatique comme un cas particulier de l'ingénierie logicielle et l'IA générative comme un cas particulier de l'apprentissage automatique. »

Ce modèle mental – logiciel à la base, ML au milieu, GenAI au sommet, le tout fonctionnant via une interface unifiée sur une infrastructure partagée – n'est pas la façon dont la plupart des entreprises fonctionnent. La plupart des organisations gèrent deux, parfois trois, piles parallèles : une pour le logiciel, une pour le ML, et maintenant de plus en plus une séparée pour la GenAI. Le résultat est une fragmentation, une redondance et un système qui s'effondre sous son propre poids à mesure qu'il évolue.

TrueFoundry a été fondée pour résoudre précisément ce problème.

Le pari qui a pris un an à construire

Quand les gens parlent de MVP (produit minimum viable), ils entendent généralement quelque chose de rudimentaire – un prototype rapide pour tester une hypothèse. La version de TrueFoundry était très différente.

« Nous avons passé plus d'un an à développer la plateforme sans relâche, » a expliqué Nikunj. « Nous construisions l'infrastructure de base sur laquelle les entreprises peuvent commencer à développer leurs applications d'apprentissage automatique et d'IA générative et les lancer en production. »

Le pari technique au cœur de ce travail était Kubernetes. L'équipe pensait que, tout comme les charges de travail logicielles avaient convergé vers Kubernetes pour l'orchestration, les charges de travail ML suivraient. À l'époque, Kubeflow était l'outil dominant aidant les organisations à exécuter le ML sur Kubernetes, mais sa contribution diminuait à mesure que Google déplaçait ses investissements vers Vertex. L'équipe TrueFoundry a vu cette lacune et s'y est délibérément engouffrée, construisant l'intégralité de sa pile ML et GenAI pour qu'elle fonctionne nativement sur Kubernetes. Cette décision leur a donné quelque chose d'inestimable : une infrastructure capable de fonctionner n'importe où – AWS, GCP, Azure, ou sur site – sans être liée à un seul fournisseur de cloud.

Ce fut un début patient et fondé sur des principes. Et cela a jeté les bases de tout ce qui a suivi.

S'adapter à un monde en constante évolution

L'une des choses les plus frappantes concernant le parcours produit de TrueFoundry est la constance avec laquelle le monde autour d'eux a évolué et la délibération avec laquelle ils se sont adaptés.

En 2022, les grands modèles linguistiques sont devenus véritablement utiles pour la première fois. En 2023, les entreprises ont découvert que des réponses utiles nécessitaient d'être ancrées dans leurs propres données, et le RAG (Retrieval Augmented Generation) est devenu le paradigme dominant. En 2024, les agents sont devenus une réalité, et les organisations ont commencé à envisager sérieusement d'intégrer l'IA dans les flux de travail de production. En 2025, le MCP (Model Context Protocol) et la communication d'agent à agent sont apparus comme la nouvelle frontière.

Chaque année, le modèle opérationnel a changé. Et l'approche de TrueFoundry a été de maintenir l'architecture fondamentale constante tout en adaptant la couche qui se trouve au-dessus – l'expérience développeur, les interfaces, le tissu connectif entre les composants.

« Nous nous adaptons au modus operandi, » a déclaré Nikunj. « Nous construisons la couche UX autour de cela, mais nous ramenons tout au même principe fondamental de base sur la façon d'exécuter ces charges de travail sur la même infrastructure sous-jacente. »

Le produit d'aujourd'hui reflète cette philosophie. L'AI Gateway de TrueFoundry se situe au centre de chaque appel API qu'une entreprise effectue vers ses LLM et agents. Elle englobe une passerelle LLM, une passerelle MCP et une passerelle d'agent, un plan de contrôle unifié pour l'observabilité, la gouvernance, la gestion des coûts et la conformité sur l'ensemble de la pile agentique. Parallèlement, le produit AI Deployments permet aux entreprises d'exécuter des modèles personnalisés, d'héberger des serveurs MCP et d'orchestrer des agents sur leur propre infrastructure de calcul – le tout via une interface native Kubernetes.

L'erreur dont ils sont prêts à parler

Tout ne s'est pas déroulé comme prévu. En 2024, TrueFoundry, comme la majeure partie de l'industrie, pensait que la couche proxy LLM que les entreprises construisaient en interne resterait mince. La logique était sensée à l'époque : les API des modèles étaient largement cohérentes, la couche était légère et les équipes étaient à l'aise pour la construire elles-mêmes.

« Nous pensions que cette couche serait plus souvent développée en interne », a admis Nikunj. « Cette erreur nous a fait perdre une partie du développement que nous aurions pu réaliser entre 2024 et 2025. »

Ce qui a changé, c'est la complexité. Les signatures d'API de modèles ont commencé à diverger. De nouveaux protocoles comme MCP sont apparus. Les applications basées sur des agents sont passées en production, ce qui a rendu la disponibilité essentielle. Et ce qui avait commencé comme une simple couche de proxy a soudainement dû devenir un plan de contrôle de niveau entreprise, avec des garde-fous, des règles de conformité, un suivi des coûts et une observabilité centralisée pour chaque agent de l'organisation.

Lorsque TrueFoundry a constaté ce changement, l'entreprise a agi rapidement. En six mois, ils ont reconstruit et étendu leur passerelle d'IA pour en faire l'un des produits les plus performants du marché. Aujourd'hui, la passerelle est déployée dans 17 régions du monde, atteint une disponibilité supérieure à 99,99 %, introduit moins de cinq millisecondes de latence et gère des dizaines de milliers de requêtes par seconde pour des applications d'entreprise critiques en production.

La réactivité a transformé une opportunité manquée en une position de leader sur le marché.

L'équipe à l'origine de tout cela

Demandez à Nikunj ce dont il est le plus fier chez TrueFoundry, et il ne mentionnera pas les métriques produit ni la liste des clients. Il parle de l'équipe.

L'entreprise a été fondée par trois amis d'enfance, Nikunj, Anurag et Abhishek, dont les parcours complémentaires en ML, infrastructure et stratégie ont donné à l'entreprise la bonne orientation dès le premier jour. Abhishek avait dirigé l'organisation d'infrastructure vidéo de Meta. Anurag avait utilisé l'apprentissage automatique pour élaborer des stratégies de trading chez WorldQuant et avait dirigé les expansions géographiques de l'entreprise. Ensemble, ils ont apporté la profondeur technique et l'étendue opérationnelle qu'exige la construction d'une infrastructure d'entreprise.

Comptant désormais entre 90 et 100 personnes, TrueFoundry exige toujours que chaque nouvelle recrue passe un entretien avec un fondateur. Les critères n'ont pas changé : des compétences techniques, certes, mais surtout un véritable alignement avec la mission et l'état d'esprit de « propriétaire » qui fait le succès des entreprises en démarrage.

« Nous pensons que c'est la plus grande valeur qu'un fondateur puisse créer dans une entreprise », a déclaré Nikunj.

Où tout cela nous mène

Le défi à court terme que Nikunj identifie pour l'industrie est de passer de centaines de petits agents d'IA à faible risque, d'outils de productivité personnelle et d'expériences fonctionnelles à des agents qui se trouvent sur le chemin critique des opérations commerciales réelles. Cette transition exige un niveau de contrôle, de fiabilité et de gouvernance que la plupart des entreprises n'ont pas encore mis en place.

L'ambition à plus long terme de TrueFoundry est encore plus grande. L'analogie que Nikunj utilise est celle de Databricks ou Snowflake – des entreprises qui libèrent de la valeur en centralisant les données d'une organisation. TrueFoundry veut faire de même pour le calcul. Une plateforme unique où les agents sont développés, déployés et orchestrés. Un plan de contrôle central pour toute la puissance de calcul transitant par les systèmes d'IA d'une entreprise.

C'est une vision ambitieuse. Mais c'est une vision qui a été clairement définie en 2022 et qui n'a fait que gagner en pertinence depuis.

Écoutez l'intégralité de la conversation avec Nikunj Bajaj dans le podcast Code Story, Saison 12, Épisode 16, disponible sur Spotify et Apple Podcast.