Avaliando a Prontidão para Produção e a Dívida Técnica de Sistemas de ML

A aprendizagem automática (ML) está a revolucionar várias indústrias e aplicações, desde a saúde e finanças até carros autónomos e deteção de fraude. No entanto, implementar sistemas ML em ambientes de produção é desafiador devido a vários fatores, como a dívida técnica e a falta de prontidão para produção. A dívida técnica é uma preocupação constante para os Sistemas ML e refere-se ao custo cumulativo de decisões de design, implementação e manutenção que são tomadas para entregar software mais rapidamente, com a promessa de as resolver mais tarde. Qualquer dívida técnica que se acumule pode ter custos significativos em termos de tempo, dinheiro e desempenho. O conceito de dívida técnica em ML foi proposto pela primeira vez no artigo: "Machine Learning: The high-interest credit card of technical debt" por Sculley, Holt et al. em 2o14. A prontidão para produção refere-se ao conjunto de práticas, processos e tecnologias que garantem que o sistema ML é fiável, escalável, manutenível e seguro.

"A dívida técnica é como um cartão de crédito. É fácil de acumular, mas difícil de pagar." - Chris Granger.

Avaliar a prontidão para produção e a dívida técnica de um sistema ML é crucial para garantir que o sistema possa operar de forma eficaz e eficiente em ambientes de produção. Neste blog, definiremos um Pontuação de Robustez do Sistema ML, uma rubrica para avaliar a prontidão para produção e a dívida técnica de sistemas ML, com insights inspirados no artigo: "A Pontuação de Teste ML: Uma Rubrica para a Prontidão de Produção ML e Redução da Dívida Técnica" por Eric Breck et al. Exploraremos os diferentes parâmetros/categorias que compõem a Pontuação de Robustez do Sistema ML que formulamos e os testes que podem ser realizados em cada categoria.

Pontuação de Robustez do Sistema ML

A Pontuação de Robustez do Sistema ML visa fornecer uma estrutura de avaliação abrangente para sistemas ML e identificar potenciais problemas de dívida técnica. Dividimos a pontuação em 6 categorias principais com 22 subcategorias, que abordaremos em detalhe abaixo:

1. Qualidade e Preparação dos Dados
2. Treino e Desempenho do Modelo
3. Avaliação e Interpretabilidade do Modelo
4. Implementação e Monitorização do Modelo
5. Infraestrutura e Operações
6. Segurança e Conformidade

Qualidade e Preparação dos Dados

"Não temos algoritmos melhores. Apenas temos mais dados."
- Peter Norvig (Cientista da Computação Americano)

A citação de Peter Norvig resume apropriadamente a importância dos dados nos modelos de ML. A qualidade dos dados utilizados para treinar e testar o modelo de ML tem um impacto direto no seu desempenho, e é essencial garantir que os dados sejam relevantes, precisos e representativos do domínio do problema. Abaixo estão as principais subcategorias de avaliação:

1. Qualidade e integridade dos dados: Os dados são precisos, completos, suficientes para treinar o modelo e consistentes?
2. Privacidade e segurança dos dados: Os dados estão protegidos contra acesso e uso não autorizados?
3. Vieses e imparcialidade dos dados: Os dados são representativos e livres de vieses, ou seja, diversos o suficiente para representar diferentes cenários e casos extremos?

Treinamento e Desempenho do Modelo

A importância do treinamento e desempenho do modelo para alcançar os resultados desejados não pode ser subestimada. A evolução constante dos modelos de ML e o tamanho crescente dos conjuntos de dados levaram a uma demanda cada vez maior por hardware mais potente para treiná-los. O surgimento dos Grandes Modelos de Linguagem (LLMs) mudou completamente o jogo no campo do processamento de linguagem natural.

Para garantir que os modelos continuem a ter um bom desempenho, é crucial retreiná-los regularmente com novos dados e construir sistemas que suportem vários tipos de hardware. Ao adotar esta abordagem, os desenvolvedores podem garantir que os modelos de ML que criam estejam atualizados, eficientes e capazes de lidar com conjuntos de dados cada vez mais complexos e maiores. A avaliação do desempenho do modelo pode ser dividida em várias subcategorias, incluindo as listadas abaixo:

1. Métricas de desempenho do modelo: As métricas de desempenho estão alinhadas com os requisitos de negócio?
2. Seleção e ajuste do modelo: Os modelos apropriados foram selecionados e ajustados?
3. Estabilidade e reprodutibilidade do modelo: O modelo é estável e reprodutível ao longo do tempo?

Avaliação e interpretabilidade do modelo

Avaliar o desempenho de um modelo de ML em relação a um conjunto de métricas é uma parte integrante da avaliação do modelo que garante previsões precisas. Por outro lado, a interpretabilidade do modelo é igualmente importante, pois permite que desenvolvedores e partes interessadas compreendam o funcionamento interno do modelo e tomem decisões informadas com base em suas saídas. A falta de interpretabilidade pode fazer com que o modelo seja visto como uma "caixa preta", dificultando a confiança em suas saídas.

Para avaliar o desempenho do modelo com precisão, as organizações precisam considerar várias subcategorias, incluindo as listadas abaixo:

1. Interpretabilidade do modelo: As saídas do modelo podem ser facilmente compreendidas e explicadas? O modelo é transparente e justo?
2. Importância e contribuição das características: As características do modelo podem ser classificadas por importância e contribuição?
3. Ambiente de avaliação: Os dados de avaliação são representativos dos dados de Produção e o ambiente é semelhante ao ambiente de produção?
4. Explicações contrafactuais: O modelo pode fornecer explicações para cenários contrafactuais?

Implantação e Monitoramento do Modelo

A implantação e o monitoramento eficazes de modelos podem ajudar as organizações a alcançar pontuações ideais em testes de ML e garantir que seus modelos continuem a agregar valor ao longo do tempo. Considere estas subcategorias:

1. Infraestrutura de implantação: A infraestrutura de implantação é escalável e confiável?
2. Testes A/B e experimentação: O modelo é testado e validado em experimentos controlados? O processo de lançamento do modelo é suave para garantir que não haja tempo de inatividade?
3. Monitoramento e alertas: Existe uma infraestrutura de registro em vigor? Existem mecanismos para monitorar o desempenho do modelo e alertar quando surgem problemas?
4. Atualização do Modelo: O sistema atualiza automaticamente os modelos à medida que novos dados e características se tornam disponíveis

Infraestrutura e Operações

Falamos sobre infraestrutura na categoria de treinamento e desempenho; a infraestrutura não só desempenha um papel crítico para garantir que os modelos de ML sejam treinados de forma eficiente e precisa, mas também nas operações. Abaixo estão as subcategorias a serem consideradas:

1. Alocação e otimização de recursos: Os recursos estão alocados e otimizados para maximizar a eficiência e minimizar os custos?
2. Contentorização e orquestração: Os contentores e serviços são geridos de forma escalável e eficiente?
3. Integração e implementação contínuas: As alterações no código são automaticamente testadas, compiladas e implementadas?
4. Medição do ROI: É possível medir o impacto comercial do Modelo de ML assim que estiver em produção?

Segurança, tratamento de falhas e conformidade

É a última e uma das categorias mais importantes, dividida nas seguintes subcategorias:  

1. Controlo de acesso e autorização: Existem controlos de acesso e políticas de autorização para proteger contra acessos não autorizados?
2. Conformidade e requisitos regulamentares: O sistema está em conformidade com os regulamentos e requisitos relevantes?
3. Tratamento de erros e recuperação: O Sistema de ML consegue recuperar de falhas de forma elegante e lidar com erros devido a desvios nos sistemas?
4. Proteção e encriptação de dados: Os dados sensíveis estão protegidos e encriptados em trânsito e em repouso?

Calcular a pontuação de robustez do seu sistema de ML

Para a pontuação final, uma empresa pode usar uma estrutura de pontuação baseada numa escala de 0 a 4. A estrutura de pontuação é conforme a tabela abaixo.

1. Uma pontuação inferior a 25 significa que o Sistema de ML provavelmente não está pronto e muitos desafios precisam ser abordados.
2. Uma pontuação na faixa de 25-40 seria um indicador de que o sistema atual é adequado, mas pode começar a criar pontos de falha à medida que você escala.
3. Uma pontuação na faixa de 40+ reflete uma solução robusta e que funcionará à medida que os sistemas escalarem.
4. Qualquer pontuação acima de 60 representaria uma solução de excelência na sua empresa.

Responder a estas perguntas e realizar os testes pode fornecer uma avaliação abrangente da prontidão para produção de um sistema de ML, bem como identificar potenciais problemas de dívida técnica que podem surgir durante o desenvolvimento e a implantação do sistema de ML. Ao identificar esses problemas precocemente, medidas podem ser tomadas para mitigá-los ou eliminá-los, reduzindo a dívida técnica geral do sistema.

Avaliando a Dívida Técnica de forma semelhante aos Sistemas de Software

Embora usemos a Rubrica de Teste de ML como base para o framework de pontuação acima, existem outros frameworks para avaliar a prontidão de sistemas de ML.

1. Um framework antigo é a Abordagem para testes de software de aplicações de machine learning, estabelecida por C Murphy em 2007 que enfatiza a importância de testes e validação ao longo do desenvolvimento e implantação de sistemas de ML, de forma semelhante aos sistemas de software. Esta abordagem combina métodos tradicionais de teste de software, como teste de unidade e teste de integração, com métodos especializados de teste de ML, como validação de modelo e validação de dados.
2. Outro framework recente é proposto nos Níveis de Prontidão Tecnológica (TRLs) para Sistemas de Machine Learning, propostos por A Lavin e Lee em Out de 2022. Os TRLs fornecem uma maneira sistemática e detalhada de avaliar a maturidade e prontidão dos sistemas de ML, desde a fase de conceito até a fase operacional.

Conclusão

Em conclusão, avaliar a prontidão para produção e a dívida técnica de sistemas de ML é essencial para uma implantação e manutenção bem-sucedidas. A Pontuação de Teste de ML fornece uma rubrica abrangente para avaliar esses fatores, cobrindo aspectos como qualidade dos dados, desempenho do modelo, práticas de avaliação, operações e monitoramento. Os TRLs para Sistemas de Machine Learning e outros frameworks também podem fornecer avaliações complementares da maturidade e prontidão do sistema. Monitoramento e manutenção contínuos, bem como testes e validação rigorosos, são cruciais para minimizar a dívida técnica e garantir que o sistema de ML permaneça pronto para produção.

👉

PS: Obtenha um Diagnóstico Gratuito do seu Sistema de ML!
Se você estiver interessado em um diagnóstico de toda a sua Infraestrutura de ML, escreva para nós em founders@truefoundry.com, e enviaremos um pré-questionário; agendaremos 30 minutos para discutir algumas perguntas para nos ajudar a entender o sistema.

Depois disso, trabalharemos com você para fornecer um diagnóstico e benchmarking gratuitos do seu Sistema de ML dentro de uma semana.

Referências

1. C. Murphy, G. E. Kaiser, e M. Arias, “Uma abordagem para o teste de software de aplicações de aprendizado de máquina.” em SEKE. Citeseer, 2007
2. D. Sculley, G. Holt, D. Golovin, E. Davydov, T. Phillips, D. Ebner, V. Chaudhary, e M. Young, “Aprendizado de máquina: O cartão de crédito de juros altos da dívida técnica,” em SE4ML: Software Engineering for Machine Learning (NIPS 2014 Workshop), 2014
3. A Lavin, C Lee et al., “Níveis de prontidão tecnológica para sistemas de aprendizado de máquina,” em Out 2022
4. Eric Breck, Shanqing Cai, Eric Nielsen, Michael Salib, D. Sculley Google, Inc., “A Pontuação do Teste de ML: Uma Rubrica para a Prontidão de Produção de ML e Redução da Dívida Técnica”, 2017