Introdução ao Kubernetes e MLOps: Desafios e Benefícios

Bem-vindo a esta série sobre a construção e configuração de uma infraestrutura escalável de Machine Learning em um ambiente Kubernetes. Nesta série, abordaremos vários tópicos relacionados ao desenvolvimento, implantação e gerenciamento de modelos de machine learning em um cluster Kubernetes.

Infraestrutura Escalável de Machine Learning: Melhores Práticas

Operações de Machine Learning, comumente conhecidas como MLOps, referem-se às práticas e técnicas usadas para gerenciar o ciclo de vida dos modelos de machine learning. Uma Infraestrutura Escalável de MLOps permite que as organizações construam, implantem e gerenciem modelos em escala, aumentando assim o retorno sobre o investimento (ROI) em seus esforços de ciência de dados.

Os benefícios de uma infraestrutura MLOps escalável incluem:

1. Tempo de lançamento no mercado mais rápido para modelos de machine learning
2. Escalabilidade e flexibilidade aprimoradas para fluxos de trabalho de machine learning
3. Implantações de modelos consistentes e repetíveis
4. Colaboração aprimorada entre cientistas de dados e equipes de operações de TI
5. Precisão e confiabilidade aprimoradas do modelo

O Airbnb investiu pesadamente na implementação de uma prática de MLOps Escalável desde o início. Ele usou modelos de machine learning para melhorar seus algoritmos de classificação de busca por meio de buscas orientadas por dados do usuário, o que resultou em uma melhor experiência de busca e um aumento estimado de 10% nas reservas. O Airbnb também usou modelos de machine learning para fornecer recomendações personalizadas aos seus usuários, o que ajudou a melhorar a experiência e o engajamento do usuário!  

Desafios na Configuração da Infraestrutura MLOps

Organizações que dependem de Máquinas Virtuais (VMs), seja na AWS, Google Cloud Platform (GCP) ou Microsoft Azure, para configurar sua infraestrutura de treinamento e implantação de ML podem enfrentar vários desafios:

1. Escalabilidade: As VMs têm opções de escalabilidade limitadas, e as organizações podem precisar configurar manualmente instâncias adicionais para lidar com a carga, resultando em problemas de desempenho e aumento de custos.
2. Gerenciamento de Recursos: As VMs exigem configuração manual para alocação de recursos, e as organizações podem precisar estimar os recursos necessários para suas cargas de trabalho de ML. Isso pode levar à subutilização de recursos ou a restrições de recursos, impactando o desempenho dos modelos de ML.
3. Controle de Versão: Gerenciar diferentes versões de modelos de ML pode ser desafiador ao usar VMs. As organizações podem precisar gerenciar manualmente diferentes versões do modelo, o que pode ser demorado e propenso a erros.
4. Segurança: As VMs podem ter vulnerabilidades de segurança, e as organizações podem precisar configurar manualmente recursos de segurança, como firewalls e sistemas de detecção de intrusão, para proteger seus modelos e dados de ML.
5. Monitoramento e Registro: Monitorar o desempenho de modelos de ML e a infraestrutura subjacente em uma infraestrutura baseada em VM pode ser desafiador e pode se tornar difícil rastrear o status de componentes individuais, identificar gargalos e solucionar problemas.

Kubernetes em MLOps

Kubernetes é uma popular plataforma de orquestração de contêineres de código aberto que automatiza a implantação, o dimensionamento e o gerenciamento de aplicações conteinerizadas. Ele fornece uma API unificada e configuração declarativa que simplifica o gerenciamento de cargas de trabalho conteinerizadas, permitindo que as organizações construam uma infraestrutura escalável, resiliente e portátil para treinar e implantar modelos de ML. O Kubernetes oferece vários benefícios em relação às VMs puras, incluindo melhor utilização de recursos, controle de versão simplificado e dimensionamento eficiente. Além disso, o Kubernetes oferece recursos de segurança integrados e capacidades centralizadas de monitoramento e registro, o que pode ajudar as organizações a garantir a segurança e a confiabilidade de sua infraestrutura de ML. O Kubernetes é uma excelente escolha para organizações que buscam construir pipelines de Machine Learning escaláveis a longo prazo.

Kubernetes Gerenciado na AWS, GCP, Azure

Provedores de nuvem (AWS, GCP e Azure) oferecem serviços gerenciados de Kubernetes (EKS, GKE e AKS, respectivamente) que permitem às organizações configurar, configurar e gerenciar facilmente clusters Kubernetes, eliminando a sobrecarga operacional associada à execução e ao dimensionamento do Kubernetes. Além disso, os provedores de nuvem oferecem integrações com outros serviços de nuvem, como armazenamento, bancos de dados e redes, o que pode simplificar ainda mais a implantação e o gerenciamento de cargas de trabalho de ML no Kubernetes. Ao adotar o Kubernetes, seja diretamente ou por meio de um serviço gerenciado, as organizações podem construir um pipeline de MLOps flexível e escalável que pode lidar com suas crescentes cargas de trabalho de ML e permitir um tempo de lançamento no mercado mais rápido para seus modelos de ML.

Benefícios do Kubernetes para MLOps

Vamos nos aprofundar nos benefícios do uso do Kubernetes para pipelines de Treinamento e Implantação de ML em mais detalhes

1. Gerenciamento de Recursos: O Kubernetes permite que as organizações provisionem e gerenciem facilmente os recursos necessários para executar trabalhos de treinamento de ML e implantar modelos. Ele pode escalar automaticamente os recursos para cima e para baixo com base na carga de trabalho, o que garante a utilização eficiente dos recursos e reduz os custos.
2. Implantação Simplificada com as melhores Práticas de SRE: O Kubernetes fornece uma API unificada e configuração declarativa que simplifica a implantação de modelos de ML. As organizações podem implantar modelos facilmente de forma escalável e resiliente, com suporte integrado para atualizações contínuas (rolling updates) e implantações canary, o que pode ajudar a minimizar o tempo de inatividade e melhorar a confiabilidade.
3. Flexibilidade e Portabilidade: O Kubernetes oferece uma infraestrutura flexível e portátil que pode suportar vários cenários de implantação, incluindo ambientes on-premises, em nuvem e híbridos. Isso permite que as organizações movam facilmente suas cargas de trabalho de ML entre diferentes ambientes e evitem a dependência de fornecedor (vendor lock-in).
4. Melhor Custo e Utilização de Recursos: O Kubernetes permite que as organizações utilizem recursos de forma eficiente, empacotando múltiplas cargas de trabalho de ML em um único nó, o que ajuda a minimizar os custos de infraestrutura. Além disso, o Kubernetes pode aproveitar outros hardwares especializados para acelerar o treinamento e a inferência de ML, o que pode melhorar ainda mais o desempenho.

Exemplo de Caso de Uso 1: AirBnb

Airbnb, o marketplace online que permite às pessoas alugarem as suas casas ou apartamentos a viajantes. Com milhões de utilizadores e uma vasta quantidade de dados para analisar, a Airbnb precisava de uma infraestrutura de machine learning robusta e escalável para analisar o comportamento dos utilizadores, melhorar as classificações de pesquisa e fornecer recomendações personalizadas aos utilizadores.

Para conseguir isso, a Airbnb investiu na construção de uma infraestrutura MLOps em Kubernetes, o que permitiu à sua equipa de ciência de dados desenvolver e implementar modelos de machine learning em escala. Com o Kubernetes, a Airbnb conseguiu contentorizar os seus modelos e implementá-los como microsserviços, o que facilitou a gestão e o dimensionamento da sua infraestrutura à medida que as suas necessidades cresciam. Como resultado, a Airbnb conseguiu melhorar as suas classificações de pesquisa e fornecer recomendações mais relevantes aos seus utilizadores, o que levou a um aumento de reservas e maiores receitas. Além disso, a empresa conseguiu melhorar a eficiência dos seus fluxos de trabalho de ciência de dados, permitindo que a sua equipa se concentrasse no desenvolvimento de modelos de machine learning mais avançados.

Exemplo de Caso de Uso 2: Lyft

A Lyft, um grande fornecedor de Transporte como Serviço (TaaS), construiu inicialmente a sua infraestrutura de ML sobre a AWS, utilizando uma combinação de instâncias EC2 e contentores Docker. Utilizaram instâncias EC2 para provisionar máquinas virtuais com diferentes níveis de CPU, memória e recursos de GPU, dependendo dos requisitos específicos da carga de trabalho de ML. Também utilizaram contentores Docker para empacotar e implementar as suas cargas de trabalho de ML e garantir a consistência em diferentes ambientes.

No entanto, à medida que as cargas de trabalho de ML da Lyft cresciam em complexidade e escala, enfrentaram vários desafios, incluindo a consistência entre diferentes ambientes e equipas, e decidiram migrar a sua infraestrutura de ML para uma infraestrutura baseada em Kubernetes, utilizando inicialmente o KubeFlow e depois uma plataforma interna. Ao migrar para uma infraestrutura baseada em Kubernetes, a Lyft conseguiu construir uma infraestrutura de ML mais eficiente e escalável, o que os ajudou a acelerar os seus pipelines de desenvolvimento e implementação de ML. Além disso, conseguiram tirar partido dos benefícios do Kubernetes, como o auto-dimensionamento e a utilização eficiente de recursos, para otimizar as suas cargas de trabalho de ML e reduzir os custos de infraestrutura. Utilizaram o EKS da AWS como o seu Serviço Kubernetes gerido!

‍

No geral, investir em infraestrutura MLOps em Kubernetes permitiu à Airbnb e à Lyft alcançar ganhos significativos de produtividade e melhorar os seus resultados financeiros, demonstrando o valor que o MLOps escalável sobre Kubernetes pode trazer a organizações que procuram alavancar o machine learning em escala.

Desafios com Kubernetes em MLOps

Apesar dos benefícios, a utilização de Kubernetes para Infraestrutura de ML apresenta o seu próprio conjunto de desafios e complexidades:

1. Gestão de Recursos ao lidar com grandes conjuntos de dados ou modelos complexos: Devido aos requisitos de grandes quantidades de recursos computacionais, incluindo GPUs, memória e armazenamento, pode ser desafiador garantir uma alocação eficiente de forma a não entrar em conflito com outras cargas de trabalho em execução no cluster Kubernetes.
2. Integração de Diferentes Ferramentas: As organizações podem utilizar diferentes ferramentas de ML, como TensorFlow, PyTorch e scikit-learn, cada uma com os seus próprios requisitos e dependências. Integrar estas ferramentas e dependências com a infraestrutura Kubernetes pode ser complexo e demorado.
3. Preocupações de Segurança para Modelos de Machine Learning: Garantir que os modelos de ML estão protegidos contra acesso não autorizado ou ataques é fundamental. Embora o Kubernetes forneça várias funcionalidades de segurança, como Controlo de Acesso Baseado em Funções (RBAC), políticas de rede e isolamento de contentores, configurá-las corretamente pode ser desafiador ao lidar com dados sensíveis, como informações pessoais ou registos financeiros.
4. Monitorização e Registo em um Ambiente Distribuído: Monitorizar o desempenho dos Modelos de ML e da infraestrutura subjacente é fundamental para garantir um desempenho ótimo. No entanto, em um ambiente Kubernetes distribuído, pode ser desafiador rastrear o estado de componentes individuais, identificar gargalos e resolver problemas. As organizações precisam configurar ferramentas de monitorização e registo que forneçam visibilidade em tempo real dos seus fluxos de trabalho de machine learning e da infraestrutura Kubernetes.

Embora existam desafios, ao seguir as melhores práticas e aproveitar as capacidades do Kubernetes, as organizações podem superar estes desafios e construir uma infraestrutura MLOps escalável, segura e fiável.

Conclusão

O Kubernetes para Machine Learning oferece inúmeras vantagens para organizações que procuram otimizar os seus fluxos de trabalho de machine learning. Embora existam desafios na configuração e gestão da infraestrutura MLOps em Kubernetes, como a gestão de recursos, segurança e monitorização, uma compreensão aprofundada do Kubernetes e das melhores práticas pode ajudar a superar estes obstáculos.

Nesta série de ML em Kubernetes, tentaremos abordar vários tópicos relacionados com a construção e configuração de infraestrutura de ML em um ambiente Kubernetes, incluindo o seguinte:

1. Contentorização e orquestração usando Kubernetes
2. Treino Distribuído em Kubernetes
3. Serviço e implantação de modelos com base em Kubernetes
4. Infraestrutura de ML baseada em GPU em Kubernetes
5. Pipeline de CI/CD em Kubernetes
6. Monitoramento de Kubernetes para MLOps

e mais...

Ao adotar estas melhores práticas e aproveitar o poder do Kubernetes, as organizações podem escalar e implantar modelos de machine learning com consistência, confiabilidade e segurança. Isso, por sua vez, levaria a um tempo de lançamento no mercado mais rápido, melhor colaboração entre as equipes de ciência de dados e operações de TI, e um melhor ROI sobre seus investimentos em ciência de dados.

Confira como a Gong construiu uma infraestrutura escalável de pesquisa em Machine Learning em Kubernetes

True ML Talks #1 - Machine Learning Workflow @ Gong

Learn how Gong, a revenue intelligence platform, uses machine learning to analyze customer interactions and provide insights to revenue teams. Discover the challenges of managing ML workflows, data privacy, and data security.

TrueFoundry Blog TrueFoundry

‍

TrueFoundry é uma PaaS de Implantação de ML sobre Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, ao mesmo tempo que lhes permite total flexibilidade no teste e implantação de modelos, garantindo total segurança e controle para a equipe de Infraestrutura. Através da nossa plataforma, capacitamos as equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de reverter em segundos - permitindo-lhes economizar custos e lançar Modelos em produção mais rapidamente, possibilitando a realização de valor de negócio real.