TrueFoundry : bilan de fin d'année 2024

L'année dernière, nous avons comparé notre parcours de start-up à la construction d'une fusée, et a imaginé 2024 comme l'année de l'allumage, le moment où notre fusée passerait sur orbite. Et nous l'avons fait ! Avons-nous vu les choses en grand lorsque décrocher un client du Fortune 500 impliquait de travailler avec NVidia, ou être reconnu en tant que leader émergent dans le Magic Quadrant de Gartner?

Mais comme toujours, ce conte n'est pas seulement une célébration de nos réalisations, mais aussi une reconnaissance des défis que nous avons relevés, une appréciation des opportunités qui nous ont été présentées et des enseignements que nous avons tirés. Laissez-vous emporter dans cette aventure exaltante, entre découvertes palpitantes et territoires inexplorés, en traversant à la fois les turbulences et les triomphes dans cette odyssée stellaire !

TrueFoundry et année 2023

TrueFoundry développe un PaaS indépendant du cloud sur Kubernetes, qui normalise la formation et le déploiement des applications d'apprentissage automatique et d'IA générative à l'aide d'API prêtes à la production et conviviales pour les développeurs, tout en adoptant une position d'opinion sur le fait que MLOPs/LLMops et DevOps font partie du même troupeau !

2023 a été l'année des opportunités sans précédent et des menaces existentielles à la fois pour la plupart des organisations du monde. La façon dont ils ont accepté le monde en mutation définirait leur avenir ou leur dicterait s'ils en auront un ! Et les organisations recherchaient toute l'aide possible pour les aider à définir des cas d'utilisation, à mener des expériences, à lutter contre les politiques de sécurité, à rédiger des communiqués de presse pour être considérées comme les précurseurs du monde GenAI.

TrueFoundry était très bien placée pour aider les entreprises à faire face à cette période d'incertitude, à faire le choix entre les modèles internes et les modèles à code source fermé, à la complexité de l'infrastructure basée sur des GPU et à la boîte à outils permettant de lancer les applications en production. Et c'était là la clé : nous savions que toute application qui n'est pas en production est un centre de coûts qui n'apporte aucune valeur. Et tandis que le reste du monde menait des expériences à des fins de relations publiques, un Client Fortune 100 de TrueFoundry produisait des applications à la vitesse de l'éclair ! Cette longueur d'avance en 2023 a fait d'eux un leader en matière d'intelligence artificielle dans leur secteur ! En 2023, nous avons pris quelques décisions clés qui nous ont permis de réussir : nous avons séparé ce qui était urgent à court terme de ce qui était important à long terme !

1. Tout d'abord, nous nous sommes concentrés sur les organisations qui, selon nous, pouvaient apporter une valeur commerciale différenciée et claire à long terme grâce à GenAI, et pas simplement à l'engouement !
2. Ensuite, nous n'avons pas cherché à aider les organisations à faire face à toutes les tendances de l'époque : la surindexation sur les GPU étant rare ou les organisations n'étant pas autorisées à utiliser les meilleurs modèles de source fermée de leur catégorie. Ne vous méprenez pas : ces problèmes devaient être résolus, mais ils ne pouvaient pas être la seule chose sur laquelle vous vous concentrez, car ce n'était qu'une question de temps ! Nous nous sommes plutôt concentrés sur les défis auxquels les organisations seraient confrontées pour livrer en toute confiance des applications destinées à la production à long terme !

Cela nous a permis de tirer deux enseignements importants que nous avons bien compris et dont nous avons pris note.

1. Un véritable test ne consiste pas simplement à présenter votre produit à un client, mais à évaluer la valeur commerciale réelle générée pour ce client !

2. Ce n'est pas grave si vous voulez suivre une tendance, mais lorsqu'un shakedown se produit, préparez-vous à émerger de l'autre côté, et cela n'arrive qu'en vous concentrant sur les premiers principes.

Coup d'envoi de 2024

C'est ainsi que nous sommes entrés en force en 2024, qui a été une année d'exécution pour nous, à redoubler d'efforts sur ce que nous pensions être efficaces, et à le soumettre à de véritables tests, à la manière TrueFoundry !

Nous avons travaillé avec certaines des plus grandes organisations du monde et les avons aidées à donner vie à des applications qui rapporteraient 100 millions de dollars, en automatisant les appels au support client, en utilisant de manière optimale les clusters GPU et en aidant les commerciaux à mieux vendre les médicaments. Nous sommes devenus un élément essentiel de la gamme GenAI de plusieurs entreprises du Fortune 500, nous avons doublé la taille de notre équipe et quadruplé nos revenus, le tout au cours de cette année. La question est la suivante : qu'est-ce qui a conduit à ce classement comme ce que nous avons fait correctement, ce que nous n'avons pas fait stratégiquement et tactiquement ? Plongeons-nous dans le vif du sujet —

Uniformité [stratégique, travaillée] des LLMOP, des MLOps et des DevOps —

Nous en avons parlé dans passé en détail. Mais c'est une décision tellement importante pour notre plateforme qu'il est important de le mentionner ! En 2022, lorsque nous nous sommes concentrés sur le MLOps, nous ne l'avons jamais considéré comme fondamentalement différent du DevOps : les modèles de machine learning sont également des applications qui nécessitent un certain calcul, bien que plus compliquées. En 2023, nous avons adopté la même position lorsque GenAI est arrivée dans le monde entier : le réglage fin du LLM, la formation de modèles ML ou l'exécution d'une tâche de pipeline de données sont tous des tâches de calcul de longue durée et le service de modèles LLM, l'inférence de modèles ML ou une simple API Rest sont tous des tâches exécutées en continu. Et tant que leur architecture est la même, il s'agit de créer l'expérience utilisateur adaptée à la manière de gérer la complexité de la gestion des ressources GPU, de l'informatique distribuée, des modèles de grande taille ou des tâches de très longue durée. Beaucoup d'ingénierie, bien sûr, mais rien de fondamentalement différent.

En d'autres termes, TrueFoundry prend fondamentalement n'importe quelle application ou code et le traduit en un manifeste K8s tout en masquant la complexité spécifique de l'application. Cette conception a eu un impact profond sur la façon dont les clients percevaient TrueFoundry.

TrueFoundry a servi de passerelle entre le territoire inconnu des GPU, de l'infrastructure cross-cloud et des très grands modèles vers le territoire connu de leur plate-forme existante construite sur K8s.

TrueFoundry parlait leur langue, s'intégrait dans leur environnement existant et permettait aux organisations de tirer parti de tous les pipelines fondamentaux de construction et de déploiement qu'elles avaient minutieusement mis en place !

[Stratégique, fonctionnel] Base construite à partir de primitives : services, emplois, diagrammes de gestion et volumes

Chez TrueFoundry, nous pensons que toute application dans le monde peut être fondamentalement pensée en termes de 4 primitives :

1. Services : des API toujours opérationnelles
2. Offres d'emploi — Tâches hors ligne de longue durée
3. Helm Charts : utilisez, recherchez et partagez des applications basées sur K8s.
4. Volumes : montages de données, magasin de fichiers et couche de stockage.

Ces primitives sont devenues notre couche centrale, puis tout est construit dessus. Par exemple, l'hébergement LLM n'est rien d'autre qu'un service, la mise au point n'est qu'un travail et VectorDB n'est qu'un helmchart !

Et le nouveau paradigme de l'application de l'IA composée peut être considéré comme une combinaison de ces primitives. Par exemple, une application RAG comprend : la lecture de données source à partir d'un volume, l'analyse, le découpage et l'indexation en tant que tâche, VectorDB en tant que organigramme, LLM en tant que service et l'API RAG en tant que service !

Alors que le mode opératoire en 2023 était RAG et 2024 étaient des applications agentiques, il pourrait être différent à l'avenir. Cette architecture nous aide à être sûrs pour l'avenir et nous ne sommes liés à aucun mode de développement spécifique. En 2024, nous avons généralisé ce concept en tant que produit et avons été très bien accueillis par nos clients.

[Tactique, fonctionnel] Conception sûre pour le futur : évitez les blocages avec les fournisseurs

La norme en matière de création d'applications GenAI n'est pas encore sortie, et les organisations ne sont pas prêtes à s'enfermer dans quoi que ce soit, et cela s'étend aux fournisseurs de cloud, de modèles et de frameworks.

La conception de TrueFoundry, qui consiste à choisir n'importe quel calcul auprès de n'importe quel fournisseur sans se soucier de la couche d'infra-gestion, à choisir n'importe quel modèle via Gateway sans se soucier de la signature de l'API ou à aider les utilisateurs à orchestrer les déploiements sans codage prescriptif, ce qui leur permet de ne pas dépendre de n'importe quel framework, y compris le nôtre, a trouvé un très bon écho auprès de nos clients. En fait, nous allons même jusqu'à rendre TrueFoundry redondant en exposant les manifestes K8s bruts générés par TrueFoundry afin que le client ne soit jamais bloqué dans TrueFoundry non plus !

Je dois cependant admettre que même si cela fonctionne actuellement, nous ne sommes pas sûrs qu'à long terme, cela se déroulera de cette façon. Un exemple potentiel de capture d'une vague tout en étant conscient de ce qui se trouve de l'autre côté.

[Tactique, efficace] Concentrez-vous sur le délai de rentabilisation

L'objectif de TrueFoundry a toujours été de réduire les délais de livraison des applications prêtes à la production pour nos utilisateurs finaux. Le délai de rentabilisation est l'indicateur de base pour lequel nous avons toujours optimisé. En 2024, nous avons passé suffisamment de temps à essayer d'optimiser le retour sur investissement pour nous également en tant que plateforme, ce qui signifie qu'il est rapide d'installer TrueFoundry dans l'environnement d'un client et de générer rapidement une valeur commerciale finale pour les utilisateurs finaux.

Nos évaluations G2 montrent clairement que notre délai de mise en service de 0,42 mois est nettement meilleur que celui des autres entreprises de notre catégorie, soit 2,29 mois, et que notre retour sur investissement estimé à 4 mois est nettement meilleur que celui des autres entreprises de notre catégorie, avec un retour sur investissement estimé à 4 mois, contre une moyenne de 13,66 !

[Tactique, ça n'a pas marché] Être plus proche des cas d'utilisation

En nous concentrant sur la bonne architecture, nous pensons qu'il est parfois arrivé que nous n'ayons pas réussi à nous rapprocher de l'objectif final que l'utilisateur essaie d'atteindre. Cela signifie qu'il est parfois difficile pour les utilisateurs finaux de créer l'application finale, et nous pouvons améliorer l'expérience de notre produit en conséquence. Par exemple, les utilisateurs peuvent aujourd'hui créer et expédier n'importe quelle application agentique sur TrueFoundry. Notre architecture permet d'expédier toutes les applications d'IA composées, mais l'expérience est-elle aussi fluide que nous le souhaiterions ? Probablement pas !

Nous avons connu un succès majeur dans ce domaine en 2024, avec notre premier lancement open source, Cognita — un framework conçu pour expédier des applications RAG prêtes à être mises en production et qui a obtenu plus de 3 000 étoiles au cours des deux premières semaines de lancement ! Mais je dois dire que c'est peut-être trop peu, trop tard ! Idéalement, il s'agit d'un domaine pour lequel nous aurions dû optimiser en 2023 même et en construire beaucoup plus en 2024 ! Mais maintenant que nous l'avons compris, nous devons travailler activement en ce sens en 2025.

[Stratégique, ça n'a pas marché] Concentrez-vous sur la personnalité de l'acheteur

Une bonne idée du monde des startups : si vous souhaitez créer un mouvement de vente reproductible, vous devez vous concentrer sur votre profil de client idéal et sur la personnalité de l'acheteur. Nous pensions le savoir et avons « hiérarchisé impitoyablement » cette partie pour finalement choisir parmi les deux utilisateurs suivants : un responsable de la science des données essayant de mettre en production une application GenAI, et un responsable de la création de plateformes, des outils de développement pour toutes les équipes internes de science des données.

Notre dernière conviction est que deux ne suffisent toujours pas. La focalisation laser signifie une seule et même chose ! Cela nous aidera à tout optimiser, de l'expérience utilisateur finale du produit aux supports d'aide à la vente, en passant par le marketing du produit et toutes les fonctions qui constituent la base de l'entreprise. Le jury n'est pas encore connu, mais pour l'instant, il semblerait que nous devrons peut-être passer du temps en 2025 à le préciser davantage !

Perspectives d'avenir et accueil pour 2025

Forts de ces enseignements, d'un produit fondamentalement et architecturalement fondé, d'une solide dynamique client et d'une équipe brillante et implacable qui se soucie réellement de résoudre ce problème, nous sommes ravis de nous lancer en 2025. Nous pensons que nous sommes mieux positionnés que jamais !

Plus important encore, nous sommes ravis de profiter des changements que GenAI nous a apportés en tant que start-up et d'élargir notre propre vision ! Grâce aux fonctionnalités débloquées par GenAI, nous pensons que toutes les améliorations en termes de délai de rentabilité, de réduction des coûts et de capacité à faire plus avec moins ne sont que des étapes importantes. À terme, tout sera instantané, très efficace et le tout sur AutoPilot ! Tout comme aujourd'hui, nous ne nous demandons pas si un compilateur déplace efficacement la mémoire ou alloue des ressources lorsque nous écrivons un programme, demain, nous ne penserons pas à la bonne gestion de l'infrastructure gérée par l'IA.

Si nous entrons dans un monde où des milliers d'agents interagiraient avec des êtres humains pour accomplir chaque tâche, il n'est ni faisable ni logique que les êtres humains deviennent le goulot d'étranglement de leur gestion. La plateforme centrale qui gère le monde

L'IA sera gérée par l'IA

Les yeux rivés sur cette vision élargie, nous accueillons 2025 à bras ouverts ! Bonne année à tous.

‍