Implantações de Machine Learning em 2023

A implantação de aplicações e infraestrutura é um processo complexo e requer coordenação das equipes de Infraestrutura e de desenvolvedores de aplicações. Uma plataforma de desenvolvedor interna ajuda ambas as equipes a avançar rapidamente com menos erros — resultando em maior produtividade com um nível mais elevado de estabilidade.

Pontos chave a considerar na Implantação e no Ciclo de Vida do Software

1. Dockerização — Empacotar dependências com fixação de versão é importante para a reprodutibilidade. Imagens Docker com dependências desnecessárias podem tornar as imagens Docker inchadas, levando a tempos de inicialização mais longos.
2. Escolha do modo de implantação: Existem muitas opções para implantação — webservices, jobs, métodos serverless, website estático — cada um deles tem seus próprios prós e contras e pode ser o melhor método com base nos padrões de tráfego, requisitos de latência, requisitos de memória e CPU.
3. Escalabilidade — A escala traz consigo muitos problemas e requer configuração adequada de políticas de escalonamento, configuração de autoscalers, garantindo que nossos serviços sejam stateless — ao mesmo tempo em que otimiza custos.
4. Monitoramento e Capacidade de Depuração — Como comparar diferentes versões de software? Observar logs, métricas, registrar métricas personalizadas e observá-las em dashboards deve ser muito fácil.
5. Gerenciamento de Segredos e Segurança — É necessário haver suporte para um gerenciamento adequado de segredos, bem como fornecer acesso a outros sistemas usando contas de serviço em vez de circular credenciais.
6. Automação e CI/CD — Ter um bom pipeline de CI/CD é crucial para um desenvolvimento rápido e a detecção de bugs. Ser capaz de criar novos ambientes de forma contínua com um clique. Ser capaz de mover de desenvolvimento para staging e para produção de forma automatizada torna o processo muito mais suave.
7. Versionamento, Implantações Imutáveis e rollbacks — Deve ser fácil reverter implantações juntamente com os valores secretos. Em todos os sistemas atuais hoje, torna-se quase impossível reverter uma implantação com o último conjunto de variáveis de ambiente ou valores secretos.
8. Múltiplos Ambientes: Ser capaz de gerenciar múltiplos ambientes ou criar/desativar ambientes dinâmicos ajuda os desenvolvedores a testar de forma mais isolada e torna o progresso geral muito mais rápido com menor custo.
9. Segurança e autenticação de API — Autenticação de APIs tanto externa quanto internamente — autenticação simples por nome de usuário e senha, autenticação OIDC, conta de serviço, token de portador?
10. Limitação de taxa e configuração de balanceador de carga — Boas práticas gerais a serem incorporadas para cada API (configuração do Balanceador de Carga)
11. Velocidade e autonomia de implantação — Os desenvolvedores devem sentir que têm controle sobre as implantações, em vez de estarem abstraídos delas. Mantê-los informados e torná-los autônomos, garantindo que a infraestrutura central não seja comprometida por erros humanos, é um dos principais objetivos da plataforma.
12. Otimização de custos — Escolher o melhor hardware e o melhor tipo de implantação ajuda a otimizar isso.
13. Coordenação de Alterações de Infraestrutura e Aplicação: Ao migrar de um ambiente para outro, muitas vezes as alterações de infraestrutura também precisam ser implementadas — o que, se não for feito, levará à falha da aplicação em produção.
14. Teste A/B / Modelagem de Tráfego

Apresentando a TrueFoundry?

Uma plataforma de implantação que pode servir como a plataforma interna de desenvolvedores para uma empresa. O objetivo aqui é tornar muito fácil para os desenvolvedores implantar e manter suas aplicações sem conhecimento detalhado de infraestrutura, e também facilitar para as equipes de infraestrutura/devops criar políticas para aplicar as melhores práticas de engenharia e segurança.

Quais são os principais princípios de design por trás da plataforma TrueFoundry?

1. Arquitetura totalmente orientada por API — A TrueFoundry segue uma arquitetura totalmente orientada por API, muito semelhante ao Kubernetes. Isso permite que os usuários construam interfaces, UIs e automações sobre ela.
2. PAAS extensível sobre Kubernetes — pode ser personalizado com múltiplos plugins para as funcionalidades principais permitidas pelo Kubernetes.
3. Orientado por GitOps (também suporta um modo não GitOps)
4. Controle de acesso granular desde o primeiro dia
5. Infraestrutura como Código (Terraform) — pode ser implantada em qualquer conta de nuvem rapidamente.
6. Segurança por padrão — A Truefoundry segue o princípio POLP (Princípio do Menor Privilégio) e utiliza as melhores práticas de segurança, como o uso de contas de serviço, TLS, criptografia de dados em repouso e suporte para ambientes isolados (air-gapped).
7. Nativo da Nuvem por design — Escolhemos conscientemente componentes que são nativos da nuvem por design e estão disponíveis em todos os provedores de nuvem.

Principais funcionalidades suportadas na TrueFoundry

Diferentes métodos de implantação entre nuvens:

Diferentes cargas de trabalho podem ser adequadas para diferentes métodos de implantação com base no padrão de tráfego, consumo de CPU e memória. O objetivo é fornecer uma interface única para implantação em múltiplos sistemas — como serviços no Kubernetes, jobs no Kubernetes, AWS Lambda, serverless no Kubernetes (Knative), Google Cloud Run, servidores de modelo. A Truefoundry se integra com repositórios Git para permitir a implantação diretamente de qualquer repositório Git.

Registro e Visualização de métricas e gráficos em todos os jobs

A TrueFoundry permite que os desenvolvedores registrem métricas detalhadas, parâmetros, imagens, gráficos e artefatos, o que lhes permite comparar execuções de jobs usando os painéis detalhados.

Canary de Software / Testes de Sombra

A TrueFoundry torna muito fácil testar novas versões do software em dados reais sem prejudicar a produção existente — através de testes de sombra. Também permite a implantação canary de software ao direcionar gradualmente o tráfego para as novas versões.

Gerenciamento de Segredos

Os desenvolvedores poderão criar segredos e referenciá-los em suas aplicações. Algumas das principais características do gerenciamento de segredos:

1. O armazenamento de segredos é suportado por secretstores como Vault, AWS Secrets Manager, Google Secrets Manager, AWS Parameter Store, etc. Nenhum dos valores reais dos segredos é armazenado na própria plataforma.
2. A plataforma mantém um registro de qual segredo é usado em qual aplicação — para que, sempre que um segredo for alterado, possa solicitar aos usuários que reimplantem os serviços correspondentes.
3. A plataforma mantém versões de segredos que permitem o rollback de aplicações juntamente com as versões de segredos correspondentes.

Controle de acesso a segredos — Os visualizadores podem ver as chaves dos segredos, mas não os valores dos segredos. Dessa forma, a equipe de devops / infra pode compartilhar as chaves com os desenvolvedores sem se preocupar em expor os valores dos segredos.

Gerenciamento e Implantação de Múltiplos Clusters

A Truefoundry permite a integração com múltiplos clusters e o gerenciamento de controle de acesso entre eles. A Truefoundry não armazena as credenciais do cluster em nenhum lugar consigo mesma, tornando-o seguro para diferentes usuários na empresa.

Controle de acesso no Kubernetes para diferentes equipes

A Truefoundry facilita a aplicação de controle de acesso em namespaces do Kubernetes e a alocação desses namespaces a diferentes equipes com cotas de recursos, o que permite que os desenvolvedores sejam mais autônomos ao mesmo tempo em que garante que a infraestrutura permaneça estável, com custos controlados e segura.

UIs básicas de Monitoramento e Registro (Logging) diretamente visíveis na plataforma

A TrueFoundry não impõe nenhuma opinião sobre a plataforma de registro (logging) ou métricas que você deseja usar. O objetivo aqui é, em vez disso, integrar-se com algumas soluções comuns de registro e monitoramento para que possamos mostrar uma visão rápida na própria plataforma. Para visualizações mais detalhadas e personalizáveis, recomendamos usar as soluções de monitoramento existentes, como Prometheus, Loki, ELK, Datadog ou NewRelic.

Visão unificada de todos os serviços implantados e em execução (Catálogo de Serviços)

Estimativa e otimização de custos por nível de serviço / equipe / engenheiro.

Queremos possibilitar o rastreamento da estimativa e otimização de custos por nível de serviço ou equipe. Apenas expor a visibilidade dos custos a cada engenheiro cria a conscientização para otimizar os custos e remove o fardo de uma única equipe.

Implantar qualquer módulo Terraform (habilitando assim a implantação de qualquer banco de dados gerenciado, fila ou serviços de cache)

Queremos possibilitar a implantação de serviços de Nuvem usando módulos Terraform escritos pela equipe de DevOps ou Infraestrutura. Por exemplo, a equipe de DevOps pode criar um módulo Terraform para a criação de um banco de dados e os desenvolvedores podem provisionar um banco de dados a partir da UI com base no módulo Terraform para RDS. Isso dependerá da estrutura de plugins mencionada abaixo e de um controlador Terraform no Kubernetes.

A TrueFoundry funcionará com minha pilha existente?

Na TrueFoundry, não queremos reinventar a roda e usamos os sistemas existentes o máximo possível. É por isso que nos integramos com muitas ferramentas de infraestrutura existentes para que os usuários possam trazer sua própria infraestrutura ou personalizar a Truefoundry de acordo com suas próprias necessidades.

1. Contas de Nuvem (AWS, GCP, Azure) — isso nos ajuda a provisionar clusters automaticamente, criar Lambdas, implantar serviços gerenciados.
2. Integração Git (Github, Bitbucket, Azure) — isso ajuda os desenvolvedores a implantar suas aplicações diretamente de seus repositórios Git.
3. Armazenamentos de Segredos (AWS Secrets Manager, Google Secrets Manager, Hashicorp Vault) — dessa forma, os valores reais dos segredos serão armazenados nos armazenamentos de segredos e não na plataforma.
4. Registro Docker — Dockerhub, Google GCR, Amazon ECR, registro Docker do Github
5. Integração Terraform
6. Integrações de Monitoramento: Prometheus Grafana, Datadog, NewRelic
7. Integrações de Infraestrutura de Logging — Loki, Datadog, ELK stack.
8. Integração CI/CD — A Truefoundry pode integrar-se com pipelines CI/CD existentes como Github Actions, Jenkins, AWS Codebuild, Google Codebuild, etc.

Se não vir nenhum nome aqui na lista, teremos todo o gosto em trabalhar consigo e adicionar mais integrações à lista.

Como a TrueFoundry melhora a segurança?

Princípio POLP

Seguimos e facilitamos para as equipas de infraestrutura a aplicação do princípio POLP em toda a stack. Os programadores podem ser adicionados aos espaços de trabalho a que precisam de acesso — e as suas alterações serão limitadas a esses espaços de trabalho.

Sem segredos, palavras-passe armazenadas na plataforma Truefoundry

A Truefoundry não armazena nenhuma informação sensível, como credenciais Kubernetes ou segredos. Todos os dados são encriptados em repouso. Recomendamos que todo o acesso seja fornecido através de contas de serviço.

Também planeamos fornecer registos de auditoria completos que ajudam as equipas a compreender todas as ações realizadas em todas as plataformas.

Como a TrueFoundry é aberta e personalizável?

O Cluster Kubernetes está sob o seu controlo

A TrueFoundry expõe o cluster Kubernetes "raw" (bruto) no qual implementa cargas de trabalho e fornece acesso total (incluindo kubectl com acesso de permissão adequado) aos clientes. Isto permite que qualquer pessoa faça praticamente o que quiser, para além da Truefoundry, sem nunca os bloquear.

Além disso, também suportamos uma estrutura de plugins que facilita a criação de mais plugins — semelhante aos CRDs no Kubernetes.

Criação de Plugins Personalizados na TrueFoundry

A TrueFoundry suporta cada metodologia de implementação como um plugin personalizado:

Para criar um plugin, o utilizador tem de escrever 3 partes:

1. Um ficheiro cue de entrada que define a especificação do esquema de entrada
2. Processador que define como converter a especificação de entrada numa especificação de saída
3. Especificação de saída que será enviada para o Kubernetes.

Atualmente, a especificação de entrada e a especificação de saída precisam estar em Cue Lang e o processador precisa estar em Go. No entanto, no futuro, poderemos permitir que os esquemas de entrada e saída também sejam possíveis em JSON Schema e que os processadores sejam escritos em qualquer linguagem.

Nós geramos automaticamente a interface de usuário (UI) e as interfaces Python a partir dos arquivos cue de entrada.

Como integrar-se ao TrueFoundry?

Configuração da infraestrutura pelas equipes de infra/devops:

1. Crie clusters Kubernetes usando Terraform. O TrueFoundry fornece código Terraform de exemplo que pode iniciar clusters com 1 clique ao mesmo tempo em que o código Terraform é enviado para um repositório GitHub. As equipes de DevOps/Infra podem personalizar o código Terraform de acordo com sua escolha e reaplicá-lo.
2. Crie contas de serviço via Terraform para fornecer acesso a outras infraestruturas a partir de namespaces Kubernetes.
3. Adicione as contas de serviço a workspaces na plataforma TrueFoundry e aloque workspaces para diferentes equipes.
4. O TrueFoundry inicializa o cluster Kubernetes com uma pilha de monitoramento padrão (pilha Kube-Prometheus-Loki-Grafana), Istio (ingress) e ArgoCD (implantação de infraestrutura). O TrueFoundry despejará os arquivos de manifesto em um repositório GitHub, que poderá então ser alterado de acordo com os requisitos da equipe de infraestrutura.
5. Para implantar infraestrutura gerenciada, as equipes de infraestrutura podem fornecer os módulos Terraform para DB, fila, cache, etc. Os desenvolvedores podem então provisionar essa infraestrutura usando os módulos fornecidos pela equipe de infraestrutura.
6. Integre os desenvolvedores à plataforma.
7. Atribua workspaces a equipes / aplicações.
8. Os desenvolvedores podem então começar a implantar rapidamente, seguindo a documentação.

Como o TrueFoundry funciona?

O TrueFoundry possui 2 componentes — plano de controle e um agente de cluster de carga de trabalho. Isso permite que o TrueFoundry orquestre cargas de trabalho em vários clusters.

Diferenciação em Relação a Outras Plataformas

Arquitetura

1. Multi-Cluster desde o Dia 1: A Truefoundry oferece suporte a múltiplos clusters desde o primeiro dia, onde os clusters podem estar em várias regiões, VPCs e podem ser privados/públicos. Isso seria muito difícil na arquitetura atual de Porter e Northflank. A arquitetura da Komodor pode fazer isso, mas eles estão mais focados em visualização e monitoramento de Kubernetes, o que vem por padrão em nossa plataforma.
2. Multi-Cloud desde o primeiro dia: Isso será verdade para Porter, Northflank, Qovery, mas apenas na camada Kubernetes. Nossa arquitetura suporta a construção de integrações com muito mais componentes nativos da nuvem devido à abertura da arquitetura. A Argonaut faz isso na mesma camada mais ampla que nós.
3. Transparência completa e Gitops — Seguimos um modelo de transparência total onde o usuário tem controle total sobre sua arquitetura e não é bloqueado pela Truefoundry em nenhum momento. No caso de Porter, Northflank e Qovery — empresas maiores superarão o conjunto de funcionalidades devido à arquitetura fechada. Também permitimos um modo Gitops e não-Gitops, o que ninguém faz ainda — Porter, Northflank, Qovery são baseados em push não-Gitops, enquanto CoSphere é totalmente baseado em Git.

Implantação Uniforme de Aplicações e Infraestrutura

Nós nos integramos profundamente na implantação de aplicações, jobs e ML. Isso traduz muito conhecimento de infraestrutura para a terminologia do desenvolvedor. Muitas outras plataformas fazem isso construindo abstrações e reduzindo os conceitos de infraestrutura — enquanto nós tentamos fazer isso por meio da simplificação e não escondendo as coisas.

A Argonaut adota essa abordagem de unir a implantação de infraestrutura e aplicações — mas isso será um ciclo de produto de 2 a 3 anos. Eles começaram mais pelo lado da infraestrutura.

Plugins

Nossa arquitetura baseada em plugins é baseada no framework CRD do Kubernetes com nossa própria versão de CueLang. Isso nos dá o poder de lançar plugins para CLI, UI e todas as linguagens muito rapidamente. Isso foi inspirado no design da Kubevela (um repositório de código aberto) — não conhecemos nenhum outro player que tenha descoberto esse padrão. Esta é uma das nossas coisas proprietárias que também nos permitirá construir muito mais rápido do que outros players.

Transparência

Tentamos ser o mais transparentes possível, disponibilizando o código-fonte completo — o que torna muito fácil migrar de nós. Apenas Porter e purple.sh parecem garantir isso — todos os outros são sistemas muito fechados.

Insights

Já estamos mostrando insights únicos e prevenindo os bugs mais comuns na implantação de software, como não alterar variáveis de ambiente na implantação. Não conhecemos nenhuma outra plataforma que esteja fazendo isso ou que possa fazer isso como nós podemos, devido ao nosso conhecimento tanto do histórico de segredos quanto do histórico de implantação. Também podemos gerar muitos insights sobre custo, estabilidade e produtividade do desenvolvedor, já que vemos o pipeline de código desde o controle de versão até a produção.

Substituto para a equipe de plataforma

Nossa plataforma é projetada para ser mais parecida com o que as equipes de plataforma constroem internamente. Ela aborda as questões-chave de alocação de recursos, segurança e abstrações para desenvolvedores. Porter, Northflank são mais semelhantes ao Heroku. Qovery, Argonaut é mais como um substituto para Devops para empresas menores. Humanitec, shipa são mais projetados para equipes de plataforma, mas achamos suas abstrações bastante difíceis de entender e raciocinar.