Configurando Gitops usando Truefoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
GitOps é um método de gerenciar e implantar aplicações de software usando um sistema de controle de versão como o Git. Pense nisso como uma forma de automatizar e otimizar o processo de atualização e manutenção de suas aplicações. As principais vantagens de usar GitOps – especialmente para ambientes de produção – são as seguintes:
- Fonte da Verdade: No GitOps, os repositórios Git servem como a única fonte da verdade para suas configurações de infraestrutura e aplicação. Tudo o que é necessário para executar seu aplicativo é armazenado como código nesses repositórios.
- Controle de Versão: Como tudo está no Git, você tem um histórico completo de alterações. Isso facilita o rastreamento de quem fez as alterações, a reversão para versões anteriores, se necessário, e a colaboração com outras pessoas.
- Automação: O GitOps usa ferramentas de automação para monitorar continuamente seus repositórios Git. Quando alterações são detectadas, essas ferramentas atualizam automaticamente suas aplicações e infraestrutura para corresponder à nova configuração. Isso garante que o que você tem em seu repositório Git é exatamente o que está sendo executado em seu ambiente.
- Consistência e Confiabilidade: Ao usar o Git como fonte da verdade e automatizar as implantações, o GitOps garante que seus ambientes sejam consistentes e reduz a chance de erro humano, tornando as implantações mais confiáveis.
- Colaboração: As equipes podem colaborar de forma mais eficaz, pois podem propor alterações por meio de pull requests, revisar código e discutir impactos potenciais antes da implantação.
A Truefoundry facilita a construção e implantação de modelos e aplicações de ML no Kubernetes. Embora grande parte do foco seja facilitar a interação dos desenvolvedores com o Kubernetes, também queríamos projetar as coisas de forma que a transição para a produção não exigisse etapas adicionais e estivesse em conformidade com as diretrizes e salvaguardas impostas pelas equipes de Plataforma / DevOps. O GitOps tem sido um tema importante e é geralmente preferido para implantações em produção devido à facilidade de uso, auditabilidade e ao processo de aprovação integrado.
A Truefoundry oferece os seguintes recursos prontos para uso para garantir que seja fácil configurar o GitOps:
Gerenciamento de configuração totalmente declarativo
A Truefoundry fornece uma especificação YAML para cada implantação feita na plataforma. Isso é gerado automaticamente com base na configuração feita pelo desenvolvedor / cientista de dados na plataforma – assim, ninguém precisa aprender a escrever a especificação YAML. Há uma especificação YAML para cluster, workspace, implantação e até mesmo para a configuração de integrações na Truefoundry.

tfy apply comando para aplicar qualquer especificação
Qualquer especificação YAML pode ser aplicada à Truefoundry usando o comando tfy apply. Este comando é idempotente – então podemos aplicá-lo várias vezes sem quaisquer alterações. A Truefoundry aplicará automaticamente todas as alterações na especificação e isso torna muito fácil migrar para o Git a partir da interface do usuário.
tfy apply -f cluster.yaml
tfy apply -f workspace.yaml
tfy apply -f service.yaml
dry-run para validar a especificação antes de aplicar
Truefoundry também suporta a aplicação de uma especificação em modo dry-run para que possamos validar se a especificação está correta antes de aplicá-la. Isso é especialmente útil em atualizações de PR.
Unindo a pilha completa de GitOps
Fornecemos um repositório de exemplo no GitHub que inclui a organização dos arquivos, juntamente com as ações do GitHub que cuidam da validação e aplicação dos arquivos YAML. Este repositório: https://github.com/truefoundry/truefoundry-gitops-sample-repository contém todo o código para alguns clusters de exemplo.
Os arquivos estão organizados de acordo com a hierarquia abaixo:
clusters/
├── cluster1/
│ ├── cluster1.yaml
│ └── workspaces/
│ └── workspace1/
│ ├── workspace1.yaml
│ └── applications/
│ └── app1.yaml
└── cluster2/
├── cluster2.yaml
└── workspaces/
└── workspace1/
├── workspace1.yaml
└── applications/
└── sample-app.yaml
Qualquer alteração em qualquer um dos recursos exige a abertura de um PR, que por sua vez executa a ação do Github: dry_run_on_pr.yaml que valida a configuração.

Ao fazer push para a branch principal, os arquivos alterados são aplicados usando tfy-apply, e isso garante que o estado do truefoundry seja consistente com o estado no repositório do Github.
Se você estiver usando qualquer outro sistema de CI além das ações do Github, sinta-se à vontade para adaptar os arquivos aqui: https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows ao seu sistema de CI.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)






