TrueFoundry : bilan de fin d'année 2022

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
31 décembre 2022: C'est incroyable de voir à quel point je me sens introspective et excitée ❣ aujourd'hui ! Peut-être parce que les fins et les débuts d'année ont ce pouvoir spécial qui fournit un bouton de réinitialisation et d'actualisation de nos vies. Cependant, plus j'y pense, plus je me dis qu'il n'y a rien de fondamental dans le début et la fin d'une année. Il s'agit simplement d'un cycle arbitraire créé par l'homme et, idéalement, nous pouvons nous sentir rafraîchis au début d'un mois, d'une semaine, d'un jour ou d'une heure, ou quelque chose entre les deux d'ailleurs ! Un apprentissage que j'essaierai de porter en 2023 !
Comme c'est prévu pour 2023, je voudrais commencer par applaudir 👏 et admiratif de 2022 quelle année incroyable ce fut pour l'apprentissage automatique et les MLOps ! L'IA a fait des progrès sans précédent au cours de la dernière décennie, mais rien n'a suscité autant d'enthousiasme. parmi les gens ordinaires comme ChatGPT à tel point que Google a déclaré code rouge! Par ailleurs, 2022 a vu Diffusion stable à partir de l'IA de stabilité, L'entraînement anticipé de Geoffrey Hinton, Algorithmes de multiplication matricielle générés par, Synthèse de protéines potentielles de 600 M par Meta AI, bnb-int8 pour la plupart des algorithmes HuggingFace, Ray Training 1M de modèles en un temps record- une année phénoménale !
D'autre part, en 2022, TrueFoundry a connu un démarrage si percutant : embauche du premier ingénieur au sein de l'équipe, au codage de notre Interface utilisateur rudimentaire du produit basée sur Streamlit, à l'embauche d'un une équipe de renommée mondiale, à la construction d'un plateforme de déploiement de machine learning multi-cloud, pour travailler avec plusieurs entreprises de plus de 50 milliards de dollars résoudre leurs problèmes de production ! Je suis incroyablement fière de notre équipe qui a réalisé un tel exploit en seulement un an ! J'adorerais prendre du recul et me remémorer ✍ cette belle première année pour l'équipe TrueFoundry.
L'équipe
Quoi de mieux pour commencer que de parler de notre équipe. En un an, nous sommes passés à 15 personnes techniques et commerciales venant d'horizons divers tels que Facebook, Amazon, Postman, Gojek et McKinsey. Notre équipe est répartie sur Inde, San Francisco et Paris avec notre premier espaces de bureaux à louer à Bangalore! Nous avons fait notre premier séminaire d'entreprise en novembre qui était une semaine à rester ensemble, à réfléchir, à jouer et à réfléchir !

L'adoption
Bien que TrueFoundry n'en est qu'à ses débuts, nous avons eu la chance de co-construisez notre plateforme avec des partenaires de conception exceptionnels qui nous aident en nous fournissant des commentaires concrets et exploitables sur la manière dont les différentes parties de notre plateforme doivent être conçues. Notre travail avec eux nous a permis de remporter des preuves de concept payantes auprès de grandes entreprises et de startups en phase de croissance. Je ne suis pas encore prêt à citer leurs noms, mais nous avons le privilège de travailler avec ces entreprises !
En outre, nous remercions les startups et la communauté des développeurs qui nous ont généreusement aidés en adoptant très tôt notre produit !
Produit
Juste un rappel pour tout le monde, True Foundry développe un PaaS qui permet aux développeurs de déployer et de surveiller leurs modèles d'apprentissage automatique à la vitesse des grandes entreprises technologiques, en réduisant leurs délais de production de plusieurs semaines à quelques minutes. En un an, nous avons construit...
- un plateforme indépendante du cloud au-dessus de Kubernetes qui permet aux utilisateurs de déployer leurs modèles
- nous avons étendu trois interfaces utilisateur pour les déploiements- API python pour la production, Configuration YAML pour CI/CD, GUI pour l'expérimentation
- provisionnement intuitif de l'infrastructure à partir d'une interface utilisateur qui rend les développeurs indépendants et permet à l'équipe DevOps de mieux optimiser les coûts
- nous avons construit solution en un clic basée sur Terraform pour déployer l'ensemble de la plateforme sur tous 3 principaux fournisseurs de cloud : AWS, GCP et Azure
- complet et journalisation et surveillance automatisées pour vos services
- surveillance des modèles, surveillance des données et tableaux de bord de suivi de la dérive
- achevée suivi des expériences avec gestion des artefacts

Financement
TrueFoundry est fière et chanceuse d'avoir reçu le soutien et la confiance d'investisseurs de renom tels que Séquoia, Eniac et Naval Ravikant. Lisez un article de TechCrunch couvrant notre annonce de financement de démarrage. En outre, nous avons la chance de bénéficier du soutien d'investisseurs providentiels et de conseillers tels que :
- Fondateur @ Kaggle (vendu à Google — Anthony Goldbloom),
- Fondateur @ Rubrique (Soham Mazumdar)
- Fonds pour les constructeurs (Créateurs de la plateforme ML chez Salesforce),
- Directeur technique @ Greenhouse (Mike Boufford)
- Architecte en chef de la plateforme FBLearner (Aditya Kalro)
- CTO/Fondateur @ Productiv (Ashish Aggarwal)
- Fondateurs @ Whatfix (Khadim Bhatti & Vara Kumar)
- CIO @ Deutsche Bank (Dilip Khandelwal)
- CTO/Fondateur @ Clear Co (Satwik Seshasai)
- DIRECTEUR @ AlphaSense (Raj Neervannan)
- Maître ML Architect @ Flocon de neige (Tal Shakhed) et
- Responsables du ML à Lien SentiLink, Migo, Upwork
Intégrations
Chez TrueFoundry, nous construisons pour les utilisateurs et l'objectif est de les rencontrer là où ils se trouvent. Pour cette raison, nous avons analysé divers outils, bibliothèques, frameworks et plates-formes largement utilisés et avons développé des intégrations avec la plupart des outils les plus populaires :
- Bibliothèques d'apprentissage automatique- tensorflow, pytorch, sklearn, xgboost, huggingface, lightgbm, mlflow, etc.
- Frameworks de service de modèles: TFserve, TorchServe
- Fournisseurs de cloud: AWS, GCP, Azure
- Versionnage du code: GitHub, BitBucket
- CI/CD: Actions sur Github
- Registres Docker: DockerHub, AWS Container Registry, Google Container Registry
- Gestion des secrets: AWS Parameter Store, Google Secrets Manager
- Outils de tableau de bord: Radio, StreamLit
- Kubernetes
Événements et communauté
Alors que nous venons de commencer sur ce point, voici quelques merveilleuses mises à jour :
- Abhishek a parlé dans le 1729. Monde événement organisé par Fractal et Analytics Vidhya aux côtés de conférenciers tels que Rajat Monga (Fondateur de TensorFlow), Serenivas (Fondateur de Fractal). Voici le lien vers la présentation.
- Nikunj présenté à TechCrunch Disrupt 2022 - Startup BattleFieldd
- De plus, nous avons un actif communauté Slack. Rejoignez-nous !
- Des dizaines de personnes de la communauté ont contribué à TrueFoundry et les meilleurs projets sont disponible ici.
- Certains de nos contenus les plus populaires incluent : Le temps a tué mon modèle ML, Un modèle de machine learning percutant : à quel point cela peut-il être difficile ?, Kubernetes pour les data scientists - Prédictions d'hébergement
Réflexions
Tout en nous remémorant cette année extraordinaire, en tant que fondateurs, nous avons également pris du recul pour réfléchir à ce qui s'est bien passé et à ce qui ne s'est pas si bien passé. Nous partageons nos apprentissages, nos échecs et nos réussites avec vous tous.
Apprentissages
- L'approche traditionnelle de collaboration avec des partenaires de conception avant la fabrication du produit, cela ne fonctionne pas bien lorsque vous êtes créer un outil de développement qui traite de l'infrastructure de production. Nous avons passé les 3 à 4 premiers mois à le faire.
- Si un la création d'un produit infra prend X fois plus de temps, il faut 2 fois plus de temps pour le tester et le publier. Sous-estimer la complexité a été une erreur de notre part qui a fait dérailler les délais de lancement du produit.
- Ne créez pas de partenariat avec des entreprises éloignées de votre marché cible pour faciliter l'adoption. Nous avons passé quelques mois à travailler avec de petites entreprises alors que notre produit est destiné au haut de gamme et aux entreprises. Rétrospectivement, c'était une erreur de débutant.
Manques
Lors de notre exécution, nous avons commis quelques erreurs que nous devons corriger :
- Nous avons passé beaucoup de temps à discuter avec les décideurs des entreprises et à recueillir leurs commentaires sur le produit, mais en fin de compte, les utilisateurs de notre plateforme sont des développeurs. Nous besoin de créer un canal plus solide pour rester en contact avec les développeurs!
- En tant qu'entreprise, nous n'a pas passé suffisamment de temps à évangéliser notre plateforme, participer à des conférences, donner des conférences et participation à des événements communautaires.
- Il est entendu que le parcours de nos produits est long. Nous n'avons pas fait grand-chose travail consistant à décomposer en jalons publiables. Cela permettrait à nos utilisateurs de rester plus connectés au produit.
Réalisations
- Nous avons construit une équipe de très haute qualité avec une grande rapidité. Littéralement, tous les membres de notre équipe, y compris les fondateurs, pensent qu'il s'agit de l'équipe avec laquelle ils ont travaillé avec la plus forte densité de talents, malgré le fait qu'ils travaillent avec des équipes très performantes.
- Nous sommes fier de la qualité du produit et de la rapidité d'exécution. Nous en parlons sur la base de notre expérience personnelle et de ce que nous disent nos clients.
- Service client et temps de réponse excellents- presque tous les messages de nos clients ont reçu une réponse en quelques minutes !
Année à venir 2023
Alors que 2022 a été une année fondatrice amusante pour la plateforme TrueFoundry, 2023 sera encore plus excitante, car la plateforme sera proposée à un plus grand nombre d'utilisateurs et nous nous préparons à sortir de la version bêta privée. Nous accueillons 2023 avec l'enthousiasme d'un enfant qui accueille la nouvelle année scolaire. Nous sommes ravis d'innover, de construire, d'apprendre et de grandir, une fois de plus en 2023, et de créer un impact positif dans le monde en rendant l'IA accessible à tous.
Je vous souhaite à tous une très bonne année! De la part de Nikunj, Anuraag, Abhishek et de toute l'équipe TrueFoundry.
True Foundry est un PaaS de déploiement de machine learning sur Kubernetes destiné à accélérer les flux de travail des développeurs tout en leur offrant une flexibilité totale dans les tests et le déploiement de modèles, tout en garantissant une sécurité et un contrôle complets à l'équipe Infra. Grâce à notre plateforme, nous permettons aux équipes de machine learning de déployer et surveiller des modèles en 15 minutes avec une fiabilité à 100 %, une évolutivité et la possibilité de revenir en arrière en quelques secondes, ce qui leur permet de réduire les coûts et de mettre les modèles en production plus rapidement, ce qui permet de réaliser une véritable valeur commerciale.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA











.webp)



.png)


.webp)




.webp)







