Gitops with Truefoundry einrichten

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
GitOps is an method for management and provide of software applications using an version control systems as Git. Plant the as a possible before, the process of update and maintenance your applications to automation and optimize. Die wichtigsten Vorteile der Verwendung von Gitops — speziell für Produktionsumgebungen — sind die folgenden:
- Quell der Wahrheit: In GitOps dienen Git-Repositorys als zentrale Informationsquelle für Ihre Infrastruktur- und Anwendungskonfigurationen. Alles, was Sie zum Ausführen Ihrer App benötigen, wird als Code in diesen Repositorys gespeichert.
- Versionskontrolle: Da alles in Git ist, hast du eine vollständige Änderungshistorie. Du kannst also ganz einfach nachverfolgen, wer Änderungen vorgenommen hat, bei Bedarf zu früheren Versionen zurückkehren und mit anderen zusammenarbeiten.
- Automatisation: GitOps used automation tools, to monitor your git repository continuous. Wenn Änderungen erkannt werden, aktualisiere diese Tools automatisch deine Anwendungen und Infrastruktur, um sie an die neue Konfiguration anzupassen. Dadurch wird sichergestellt, dass das, was Sie in Ihrem Git-Repository haben, genau das ist, was in Ihrer Umgebung läuft.
- Residability and reliability: Durch die Verwendung von Git als Informationsquelle und die Automatisierung von Bereitstellungen stellt GitOps sicher, dass Ihre Umgebungen konsistent sind, und reduziert die Wahrscheinlichkeit menschlicher Fehler, wodurch Bereitstellungen zuverlässiger sind.
- Collaboration: Teams können effektiv zusammenarbeiten, da sie Änderungen per Pull-Requests vorschlagen, Code überprüfen und mögliche Auswirkungen vor der Bereitstellung besprechen können.
Truefoundry macht es einfach, ML-Models and -applications on Kubernetes zu erstellen und bereitzustellen. A large part of the schwerpunkte is there, Developers to improve the interaction with Kubernetes, but we designed the things also so, that the output to production no additional schritte requires and the guidelines and leitplanks, which were performed by the platform -/devops-teams. Gitops war ein großes Thema und wird aufgrund der Benutzerfreundlichkeit, der Überprüfbarkeit und des integrierten Genehmigungsprozesses vor Ort im Allgemeinen für Produktionsbereitstellungen bevorzugt.
Truefoundry bietet standardmäßig die folgenden Funktionen, um sicherzustellen, dass Gitops einfach eingerichtet werden kann:
Vollständiges deklaratives Konfigurationsmanagement
Truefoundry offers a Yaml-Spezification for each deployment on the platform. This is automatically generated, based on the configuration, that the Developer/Data Scientists has made on the platform — nobody must also learn, a YAML-Spezification to writing. In Truefoundry gibt es eine Yaml-Spezifikation für Cluster, Workspace, Deployment und sogar die Integrationskonfiguration.

versuche, bewirb dich Command to Apply an einer beliebigen Spezifikation
Jede Yaml-Spezifikation kann mit dem Befehl tfy apply auf Truefoundry angewendet werden. Dieser Befehl ist idempotent — wir können ihn auch mehrfach ohne Änderungen anwenden. Truefoundry übernimmt automatisch alle Änderungen in der Spezifikation und das macht es wirklich einfach, von der Benutzeroberfläche zu Git zu wechseln.
tfy apply -f cluster.yaml
tfy apply -f workspace.yaml
tfy apply -f service.yaml
trockenlauf um die Spezifikation vor der Anwendung zu validieren
Truefoundry supports also application an specification in the dry running mode, sodass wir vor der Anwendung überprüfen können, ob die Spezifikation korrekt ist. This is especially useful for PR-updates.
Den kompletten Gitops-Stack zusammenbringen
We provide an Github example repository, that is exist from the file organization and the Github actions, which to apply the YAML files and application. This repository: https://github.com/truefoundry/truefoundry-gitops-sample-repository besteht aus dem gesamten Code für ein paar Beispielcluster.
Die Dateien sind gemäß der folgenden Hierarchie organisiert:
Cluster/
√── Cluster1/
│ √── cluster1.yaml
│ │ ── Arbeitsräume/
│ │ ── Workbereich1/
│ √── workspace1.yaml
│ │ ── Anwendungen/
│ ─ app1.yaml
•── Cluster2/
√── cluster2.yaml
•── Arbeitsräume/
•── Workbereich1/
√── workspace1.yaml
─ ─ Anwendungen/
─ sample-app.yaml
Für jede Änderung einer der Ressourcen muss eine PR ausgelöst werden, die dann die Github-Aktion ausführen: dry_run_on_pr.yaml das validiert die Konfiguration.

The changed files are transferred with tfy-apply with Push to main main. Dadurch wird sichergestellt, dass der Truefoundry-Status mit dem Status im Github-Repository übereinstimmen.
Falls du außer Github-Aktionen noch ein anderes CI-System verwendest, kannst du die Dateien gerne hier anpassen: https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows zu Ihrem CI-System.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren



















.png)


.webp)




.webp)







