TrueFoundry FAQs: Answers to Common Questions

Il nous faut beaucoup de temps pour mettre nos modèles en production et en tirer un impact. Existe-t-il un moyen de donner aux data scientists les moyens de prendre en charge ce processus ?

La principale raison que nous avons trouvée pour expliquer les retards dans les délais est la dépendance entre les équipes et le manque de compétences avec des personnes différentes. TrueFoundry permet aux data scientists de se former et de déployer facilement sur Kubernetes à l'aide de Python et permet également aux équipes infra de définir des contraintes de sécurité et des budgets de coûts. TrueFoundry configure le cluster pour le provisionnement et l'arrêt automatiques du GPU, ce qui permet de gérer les coûts et d'éviter les erreurs humaines.

Les ingénieurs ML s'appuient fortement sur les équipes DevOps et Platform pour les besoins d'infrastructure liés à la formation ou au déploiement de modèles

TrueFoundry s'intègre à votre infrastructure existante, y compris l'infrastructure cloud, le cluster Kubernetes, le registre Docker, le référentiel Git et les gestionnaires de secrets. Il fournit une couche d'abstraction sur l'infra qui est facile à comprendre pour les data scientists et les ingénieurs ML, tout en la laissant entièrement configurable par l'équipe Infra.

Nous souhaitons utiliser notre infrastructure Kubernetes standard pour la formation et les déploiements de machine learning

TrueFoundry est natif de Kubernetes et fonctionne sur EKS, AKS et GKE (clusters standard et de pilote automatique). Le ML nécessite quelques éléments personnalisés par rapport à l'infrastructure logicielle standard, tels que le provisionnement dynamique des nœuds, la prise en charge du GPU, les volumes pour un accès plus rapide, la budgétisation des coûts et l'autonomie des développeurs. Nous nous occupons de tous les détails des clusters afin que vous puissiez vous concentrer sur la création des meilleures applications sur une infrastructure de pointe.

Les data scientists ne veulent pas s'occuper de l'infra ou du YAML

Nous fournissons des API Python. Vous n'avez donc jamais besoin d'interagir avec YAML. Nous fournissons également un support YAML si vous souhaitez l'utiliser dans vos pipelines CI/CD.

Nous voulons que nos données restent dans notre propre cloud ou sur site

TrueFoundry est entièrement déployé sur votre propre cluster Kubernetes. Les données restent dans votre propre VPC, les images Docker sont enregistrées dans votre propre registre Docker et tous les modèles restent dans votre propre système de stockage blob.

Les modèles sont déployés avec la mise à l'échelle automatique configurée à l'aide de HPA, mais la mise à l'échelle automatique est très lente en raison du temps de téléchargement des modèles.

Nous montons les modèles dans un volume partagé entre les modules de déploiement, ce qui réduit le temps de chargement des modèles et permet une mise à l'échelle automatique beaucoup plus rapide. Nous configurons également la mise à l'échelle automatique en fonction du nombre de demandes au lieu du processeur et de la mémoire, ce qui permet une mise à l'échelle beaucoup plus rapide.

Nous voulons héberger des blocs-notes Jupyter et les rendre en libre-service en toute flexibilité pour approvisionner les ressources, tout en imposant des contraintes de coûts et de sécurité.

Nous avons déployé de nombreux efforts pour exécuter les blocs-notes Jupyter sur Kubernetes de manière fluide. Les data scientists peuvent configurer les ressources dont ils ont besoin et la durée d'inactivité après laquelle les blocs-notes sont automatiquement arrêtés. Les blocs-notes peuvent être repris en un seul clic, tout en conservant leur état. Cela permet à DS de travailler de manière indépendante avec son propre ensemble de dépendances et de réduire les coûts.

Comment suivre tous les modèles de l'entreprise en un seul endroit, déterminer lesquels sont déployés dans quel environnement ?

TrueFoundry fournit un registre de modèles qui permet de suivre quels modèles se trouvent à quel stade, ainsi que le schéma et l'API de tous les modèles du registre.

Comment puis-je dupliquer ou diviser le trafic vers ma nouvelle version du modèle afin que nous puissions le tester sur le trafic en ligne avant de le déployer complètement ?

Nous avons travaillé sur la mise en miroir ou la division efficace du trafic sur les modèles, ce qui permet aux data scientists de tester des modèles sans les déployer complètement en production.

Nous voulons utiliser le matériel et le calcul dans les clouds (AWS, GCP, Azure) et sur site. Comment les connecter pour que les développeurs n'aient pas à se soucier du calcul sous-jacent et à déplacer facilement les charges de travail d'un environnement à un autre ?

Nous avons déployé de nombreux efforts pour nous assurer de prendre en compte les différences fondamentales entre les clusters Kubernetes d'un cloud à l'autre. Les développeurs peuvent écrire le même code et le déployer dans n'importe quel environnement sans se soucier de l'infrastructure sous-jacente. Nous nous chargeons de vérifier si les composants sous-jacents de Kubernetes sont installés, en modifiant automatiquement les entrées et les ressources.

Nous voulons utiliser la puissance des LLM pour notre activité, mais nous ne pouvons pas laisser les données sortir de notre environnement. Est-il possible d'utiliser la puissance des LLM sans envoyer mes données à OpenAI ?

TrueFoundry vous permet de déployer et de peaufiner les LLM open source sur votre propre infrastructure. Nous avons déjà déterminé les meilleurs paramètres pour les modèles open source les plus courants afin que vous n'ayez pas à travailler dur.

Comment permettre à tous mes développeurs d'essayer rapidement différents LLM et de voir quels résultats ils peuvent en tirer ?

Nous hébergeons un terrain de jeu LLM interne où vous pouvez décider quels LLM vous souhaitez mettre sur liste blanche pour les développeurs de l'entreprise, y compris ceux hébergés en interne, et différents développeurs peuvent expérimenter avec les données internes.

Notre infrastructure de ML entraîne des coûts élevés et il devient difficile de la suivre et de la réduire.

Nous exposons la visibilité des coûts des services aux développeurs et fournissons des informations pour réduire les coûts. Tous nos clients actuels ont constaté une réduction de coûts d'au moins 30 % après avoir adopté TrueFoundry.

Questions fréquemment posées

Un moyen incroyablement rapide d'héberger, de surveiller et de partager vos modèles ML !

Questions fréquemment posées

Un moyen incroyablement rapide d'héberger, de surveiller et de partager vos modèles ML !

Abonnez-vous à notre newsletter