Configuración de Gitops con Truefoundry

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
GitOps es un método para administrar e implementar aplicaciones de software mediante un sistema de control de versiones como Git. Considéralo una forma de automatizar y agilizar el proceso de actualización y mantenimiento de las aplicaciones. Las principales ventajas de usar Gitops, especialmente para entornos de producción, son las siguientes:
- Fuente de la verdad: En GitOps, los repositorios de Git son la única fuente confiable para las configuraciones de su infraestructura y aplicaciones. Todo lo que necesitas para ejecutar tu aplicación se almacena como código en estos repositorios.
- Control de versiones: Como todo está en Git, tienes un historial completo de cambios. Esto facilita el seguimiento de quién ha realizado los cambios, la vuelta a las versiones anteriores si es necesario y la colaboración con otros usuarios.
- Automatización: GitOps usa herramientas de automatización para monitorear continuamente tus repositorios de Git. Cuando se detectan cambios, estas herramientas actualizan automáticamente las aplicaciones y la infraestructura para que coincidan con la nueva configuración. Esto garantiza que lo que tienes en tu repositorio de Git es exactamente lo que se está ejecutando en tu entorno.
- Consistencia y confiabilidad: Al usar Git como fuente de información confiable y automatizar las implementaciones, GitOps garantiza que sus entornos sean consistentes y reduce la posibilidad de errores humanos, lo que hace que las implementaciones sean más confiables.
- Colaboración: Los equipos pueden colaborar de forma más eficaz, ya que pueden proponer cambios mediante solicitudes de cambios, revisar el código y analizar los posibles impactos antes de la implementación.
Truefoundry facilita la creación e implementación de modelos y aplicaciones de aprendizaje automático en Kubernetes. Si bien nos centramos principalmente en facilitar a los desarrolladores la interacción con Kubernetes, también queríamos diseñar las cosas de forma que la transición a la producción no requiriera ningún paso adicional y se ajustara a las directrices y barreras impuestas por los equipos de Platform y DevOps. Gitops ha sido un tema muy importante y, por lo general, es el preferido para las implementaciones de producción debido a su facilidad de uso, su auditabilidad y el proceso de aprobación interno incorporado.
Truefoundry proporciona las siguientes funciones listas para usar para garantizar que Gitops sea fácil de configurar:
Administración de configuración totalmente declarativa
Truefoundry proporciona una especificación yaml para cada implementación realizada en la plataforma. Esta se genera automáticamente en función de la configuración realizada por el desarrollador o científico de datos de la plataforma, por lo que no es necesario que nadie aprenda a escribir las especificaciones de YAML. En truefoundry hay una especificación de yaml para el clúster, el espacio de trabajo, la implementación e incluso la configuración de integraciones.

intenta aplicar comando para aplicar cualquier especificación
Se puede aplicar cualquier especificación de yaml a Truefoundry mediante el comando tfy apply. Este comando es idempotente, por lo que podemos aplicarlo varias veces sin ningún cambio. Truefoundry aplicará automáticamente todos los cambios en la especificación, lo que hace que sea muy fácil pasar a Git desde la interfaz de usuario.
intenta aplicar -f cluster.yaml
intenta aplicar -f workspace.yaml
intenta aplicar -f service.yaml
correr en seco para validar la especificación antes de aplicarla
Truefoundry también admite la aplicación de una especificación en modo de ejecución en seco para que podamos validar si la especificación es correcta antes de aplicarla. Esto es especialmente útil en las actualizaciones de relaciones públicas.
Reuniendo la pila completa de Gitops
Proporcionamos un repositorio github de muestra que comprende la organización de los archivos junto con las acciones de Github que se encargan de validar y aplicar los archivos YAML. Este repositorio: https://github.com/truefoundry/truefoundry-gitops-sample-repository se compone de todo el código de un par de clústeres de muestra.
Los archivos se organizan según la siguiente jerarquía:
clústeres/
├── clúster1/
│ ├── cluster1.yaml
│ ── espacios de trabajo/
│ ── espacio de trabajo1/
│ ├── workspace1.yaml
│ ── aplicaciones/
│ ── app1.yaml
── clúster2/
├── cluster2.yaml
── espacios de trabajo/
── espacio de trabajo1/
├── workspace1.yaml
── aplicaciones/
── sample-app.yaml
Cualquier cambio en cualquiera de los recursos requiere la creación de un PR que luego ejecuta la acción Github: ejecución_de_seco en pr.yaml que valida la configuración.

Al pasar a la rama principal, los archivos modificados se aplican mediante tfy-apply y esto asegura que el estado de truefoundry sea coherente con el estado del repositorio de Github.
Si está utilizando cualquier otro sistema de CI además de las acciones de Github, no dude en adaptar los archivos aquí: https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows a su sistema de CI.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA



















.png)


.webp)




.webp)







