GitOps instellen met Truefoundry

Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
GitOps is een methode voor het beheren en uitrollen van softwareapplicaties met behulp van een versiebeheersysteem zoals Git. Zie het als een manier om het proces van het bijwerken en onderhouden van je applicaties te automatiseren en te stroomlijnen. De belangrijkste voordelen van het gebruik van GitOps - vooral voor productie-omgevingen - zijn de volgende:
- Source of Truth: Bij GitOps dienen Git-repositories als de 'single source of truth' voor je infrastructuur- en applicatieconfiguraties. Alles wat nodig is om je app uit te voeren, wordt als code opgeslagen in deze repositories.
- Versiebeheer: Omdat alles in Git staat, heb je een volledige historie van wijzigingen. Dit maakt het eenvoudig om te traceren wie wijzigingen heeft aangebracht, indien nodig terug te keren naar eerdere versies en samen te werken met anderen.
- Automatisering: GitOps maakt gebruik van automatiseringstools om je Git-repositories continu te monitoren. Wanneer er wijzigingen worden gedetecteerd, werken deze tools je applicaties en infrastructuur automatisch bij om overeen te komen met de nieuwe configuratie. Dit zorgt ervoor dat wat je in je Git-repository hebt staan, exact is wat er in je omgeving draait.
- Consistentie en betrouwbaarheid: Door Git als de 'source of truth' te gebruiken en deployments te automatiseren, zorgt GitOps ervoor dat je omgevingen consistent zijn en vermindert het de kans op menselijke fouten, wat deployments betrouwbaarder maakt.
- Samenwerking: Teams kunnen effectiever samenwerken omdat ze wijzigingen kunnen voorstellen via pull requests, code kunnen beoordelen en mogelijke impact kunnen bespreken voordat ze uitrollen.
Truefoundry maakt het eenvoudig om ML-modellen en -applicaties te bouwen en uit te rollen op Kubernetes. Hoewel veel van de focus ligt op het gemakkelijker maken voor ontwikkelaars om te werken met Kubernetes, wilden we zaken ook zo ontwerpen dat de overstap naar productie geen extra stappen vereist en voldoet aan de richtlijnen en 'guardrails' die zijn ingesteld door de Platform- / DevOps-teams. GitOps is een belangrijk thema geweest en heeft over het algemeen de voorkeur voor productiedeployments vanwege het gebruiksgemak, de auditeerbaarheid en het ingebouwde goedkeuringsproces ter plaatse.
Truefoundry biedt de volgende functies 'out of the box' om ervoor te zorgen dat het instellen van GitOps eenvoudig is:
Volledig declaratief configuratiebeheer
Truefoundry biedt een YAML-specificatie voor elke deployment die op het platform wordt gedaan. Deze wordt automatisch gegenereerd op basis van de configuratie die door de ontwikkelaar / Data Scientist op het platform is uitgevoerd - dus niemand hoeft YAML-specificaties te leren schrijven. Er is een YAML-specificatie voor cluster, workspace, deployment en zelfs de integratieconfiguratie in Truefoundry.

tfy apply-commando om elke spec toe te passen
Elke YAML-specificatie kan op Truefoundry worden toegepast met het tfy apply-commando. Dit commando is idempotent - dus we kunnen het meerdere keren toepassen zonder eventuele ongewenste wijzigingen. Truefoundry past automatisch alle wijzigingen in de spec toe en dit maakt het heel eenvoudig om vanaf de UI naar Git te verhuizen.
tfy apply -f cluster.yaml
tfy apply -f workspace.yaml
tfy apply -f service.yaml
dry-run om de spec te valideren vóór toepassing
Truefoundry ondersteunt ook het toepassen van een spec in dry-run-modus, zodat we kunnen valideren of de spec correct is voordat we deze toepassen. Dit is vooral handig om uit te voeren bij PR-updates.
De complete GitOps-stack samenbrengen
We bieden een voorbeeld-GitHub-repository met daarin de bestandsstructuur samen met de GitHub Actions die zorgen voor het valideren en toepassen van de YAML-bestanden. Deze repository: https://github.com/truefoundry/truefoundry-gitops-sample-repository bevat alle code voor een paar voorbeeldclusters.
De bestanden zijn georganiseerd volgens de onderstaande hiërarchie:
clusters/
├── cluster1/
│ ├── cluster1.yaml
│ └── workspaces/
│ └── workspace1/
│ ├── workspace1.yaml
│ └── applications/
│ └── app1.yaml
└── cluster2/
├── cluster2.yaml
└── workspaces/
└── workspace1/
├── workspace1.yaml
└── applications/
└── sample-app.yaml
Elke wijziging in een van de resources vereist dat er een PR wordt ingediend, die vervolgens de GitHub Action uitvoert: dry_run_on_pr.yaml die de configuratie valideert.

Bij een push naar de main-branch worden de gewijzigde bestanden toegepast met tfy-apply. Dit zorgt ervoor dat de Truefoundry-status consistent is met de status in de GitHub-repository.
Als je een ander CI-systeem gebruikt dan GitHub Actions, pas de bestanden hier dan gerust aan: https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows naar jouw CI-systeem.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.



















.webp)

.webp)
.webp)


.webp)
.webp)


.webp)







