Configuration de Gitops à l'aide de Truefoundry

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
GitOps est une méthode de gestion et de déploiement d'applications logicielles à l'aide d'un système de contrôle de version tel que Git. Considérez-le comme un moyen d'automatiser et de rationaliser le processus de mise à jour et de maintenance de vos applications. Les principaux avantages de l'utilisation de Gitops, en particulier pour les environnements de production, sont les suivants :
- Source de vérité: Dans GitOps, les référentiels Git constituent la source unique de vérité pour les configurations de votre infrastructure et de vos applications. Tout ce qui est nécessaire pour exécuter votre application est stocké sous forme de code dans ces référentiels.
- Contrôle de version: Comme tout se trouve dans Git, vous disposez d'un historique complet des modifications. Cela permet de suivre facilement les personnes qui ont apporté des modifications, de revenir aux versions précédentes si nécessaire et de collaborer avec d'autres personnes.
- Automatisation: GitOps utilise des outils d'automatisation pour surveiller en permanence vos dépôts Git. Lorsque des modifications sont détectées, ces outils mettent automatiquement à jour vos applications et votre infrastructure en fonction de la nouvelle configuration. Cela garantit que ce que vous avez dans votre dépôt Git correspond exactement à ce qui s'exécute dans votre environnement.
- Cohérence et fiabilité: En utilisant Git comme source fiable et en automatisant les déploiements, GitOps garantit la cohérence de vos environnements et réduit les risques d'erreur humaine, ce qui rend les déploiements plus fiables.
- Collaboration: les équipes peuvent collaborer plus efficacement puisqu'elles peuvent proposer des modifications par le biais de pull requests, revoir le code et discuter des impacts potentiels avant le déploiement.
Truefoundry facilite la création et le déploiement de modèles et d'applications de machine learning sur Kubernetes. Bien que l'objectif principal soit de faciliter l'interaction des développeurs avec Kubernetes, nous voulions également concevoir les choses de manière à ce que le passage en production ne nécessite aucune étape supplémentaire et soit conforme aux directives et aux garde-fous imposés par les équipes Platform/Devops. Gitops a été un thème important et est généralement préféré pour les déploiements de production en raison de sa facilité d'utilisation, de son auditabilité et du processus d'approbation intégré.
Truefoundry fournit les fonctionnalités suivantes prêtes à l'emploi pour faciliter la configuration de Gitops :
Gestion de configuration entièrement déclarative
Truefoundry fournit une spécification yaml pour chaque déploiement effectué sur la plateforme. Ceci est généré automatiquement en fonction de la configuration effectuée par le développeur/datascientist sur la plate-forme. Personne n'a donc besoin d'apprendre à écrire des spécifications YAML. Il existe une spécification yaml pour le cluster, l'espace de travail, le déploiement et même la configuration des intégrations dans Truefoundry.

essayez de postuler commande pour appliquer n'importe quelle spécification
Toute spécification yaml peut être appliquée à Truefoundry à l'aide de la commande tfy apply. Cette commande est idempotente. Nous pouvons donc l'appliquer plusieurs fois sans aucune modification. Truefoundry appliquera automatiquement toutes les modifications apportées à la spécification, ce qui facilite le passage à Git depuis l'interface utilisateur.
essayez apply -f cluster.yaml
essayez apply -f workspace.yaml
essayez apply -f service.yaml
course à sec pour valider la spécification avant de postuler
Truefoundry prend également en charge l'application d'une spécification en mode d'exécution à sec afin que nous puissions valider si la spécification est correcte avant de l'appliquer. Cela est particulièrement utile pour les mises à jour des relations publiques.
Réunir la suite complète de Gitops
Nous fournissons un exemple de référentiel github comprenant l'organisation des fichiers ainsi que les actions Github qui prennent en charge la validation et l'application des fichiers YAML. Ce référentiel : https://github.com/truefoundry/truefoundry-gitops-sample-repository comprend tout le code de quelques groupes d'échantillons.
Les fichiers sont organisés selon la hiérarchie ci-dessous :
clusters/
─ cluster1/
cluster1.yaml
spaces de travail/
・─ espace de travail1/
« workspace1.yaml »
| | | | | | | | | | | | | | |
─ app1.yaml
─ cluster2/
─ cluster2.yaml
spaces de travail/
・─ espace de travail1/
─ workspace1.yaml
─ demandes/
─ sample-app.yaml
Toute modification de l'une des ressources nécessite la levée d'un PR qui exécute ensuite l'action Github : dry_run_on_pr.yaml qui valide la configuration.

Lors de la transmission vers la branche principale, les fichiers modifiés sont appliqués à l'aide de tfy-apply, ce qui garantit que l'état de truefoundry est cohérent avec l'état du référentiel Github.
Si vous utilisez un autre système CI en dehors des actions Github, n'hésitez pas à adapter les fichiers ici : https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows à votre système CI.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA















.webp)



.png)


.webp)




.webp)







