Como a Neurobit economiza 60% de seus custos de nuvem e serve Machine Learning em escala

A Neurobit está na vanguarda da pesquisa em IA para Health Tech

A Neurobit é uma empresa de saúde digital sediada em Nova York, Singapura e Bangalore. Eles estão desenvolvendo tecnologias para prever e planejar desfechos de saúde adversos muito antes de eles acontecerem, usando sinais vitais coletados durante o sono como biomarcador.

A empresa construiu o maior banco de dados de sono do mundo, com mais de um trilhão de pontos de dados fisiológicos multicanal. A escala de dados com que treinaram seus modelos lhes dá a robustez para generalizar o modelo para qualquer novo cenário. Seu caso de uso se assemelha a muitos esforços recentes de IA de empresas de Health Tech de nova geração e de novas iniciativas de IA das grandes empresas de tecnologia.

Encontramos semelhanças entre os casos de uso da Neurobit e os de outras empresas de saúde de grande e médio porte com as quais conversamos:

1. Altamente regulamentadas, com diretrizes extremamente rigorosas sobre privacidade de dados
2. Grande volume de dados
3. Baixa tolerância a falhas em requisições de modelo malsucedidas
4. Uso de algoritmos proprietários com fortes regulamentações de proteção de IP

A equipe estava perdendo mais de US$ 1.000 para cada usuário que deixava de atender

Quando conhecemos a equipe da Neurobit, eles vinham conduzindo ensaios médicos com mais de 120 centros de pesquisa, universidades e mais de 1.000 participantes. A maioria desses participantes estava na mesma localização geográfica.

Quando a pessoa acorda, os sensores enviam dados fisiológicos ao servidor para processamento. Cada requisição precisa que 20 modelos diferentes sejam chamados para gerar a saída final.

O volume de dados que chegava em cada requisição era grande (mais de 400 mb) e, durante os horários de alto tráfego, a equipe observava um atraso significativo no tempo de resposta e até a perda de requisições, com perda de dados do usuário.

‍

Essa situação estava causando implicações financeiras adversas significativas para a equipe:

1. Perder uma única requisição vinda dos participantes do ensaio custava à empresa mais de US$ 1.000 em despesas de experimento.
2. A empresa poderia acelerar os ensaios médicos trabalhando com laboratórios e hospitais que fazem upload de dados em grandes lotes, o que atrasava as aprovações do produto.

Como em outros casos de uso de machine learning no setor de health tech, a equipe não podia se dar ao luxo de perder dados de clientes ou ter respostas atrasadas.

A equipe queria implantar seus modelos no Kubernetes

A equipe sabia que implantar seus modelos no Kubernetes, com uma fila para armazenar as requisições antes de serem processadas, conseguiria resolver seus problemas de confiabilidade.

No entanto, as normas de proteção de IP da empresa limitavam o acesso ao modelo apenas a alguns membros da equipe de machine learning, e não à equipe de DevOps.

A equipe de machine learning tinha banda e expertise limitadas em Kubernetes para realizar isso por conta própria. Em vez disso, eles queriam trabalhar no desenvolvimento de novos modelos.

A stack existente que estava sendo usada para os deployments de machine learning era:

‍

A stack funcionava bem para a equipe até certa escala. Mas, quando o caso de uso escalou, a equipe começou a enfrentar problemas de confiabilidade ao servir o modelo, que exigiam atenção imediata.

A equipe queria reforçar a segurança de suas APIs de modelo

Como a empresa lida com PII sensíveis e dados de saúde, manter a segurança das APIs de modelo era de extrema importância para eles. Eles não queriam que nenhum dado de cliente saísse de sua nuvem e queriam reforçar as normas de autenticação e segurança das APIs que vinham usando.

A equipe decidiu fazer parceria com a TrueFoundry

A equipe precisava de uma forma de capacitar sua equipe de machine learning, que tinha acesso ao modelo, para conseguir implantar e gerenciar modelos no Kubernetes de forma independente. Os objetivos que a equipe da Neurobit queria alcançar por meio de uma parceria com a TrueFoundry eram:

1. Aumentar a confiabilidade de seus modelos de ML quando servidos em escala
2. Capacitar a equipe de DS para conseguir implantar e gerenciar os modelos de machine learning no Kubernetes
3. Reforçar os protocolos de autenticação e segurança nas APIs de modelo

A TrueFoundry ajudou a equipe a resolver as questões de confiabilidade e segurança

A plataforma foi configurada em menos de um dia

A equipe da TrueFoundry ajudou a equipe da Neurobit a instalar o agente e o control plane da TrueFoundry em seu cluster em uma chamada de 2 horas. Eles foram informados sobre os acessos e permissões necessários e foram guiados por cada etapa da instalação em uma única chamada.

A equipe teve a opção de instalar apenas os módulos da plataforma TrueFoundry que eram relevantes para eles (deployment de modelos e autenticação).

Após a instalação, a equipe recebeu uma demonstração da plataforma e a documentação.

A equipe da Neurobit começou a implantar desde o primeiro dia

A equipe da Neurobit conseguiu começar a usar a plataforma para seus deployments de modelo logo no primeiro dia. Eles podiam conectar diretamente seus repositórios Git à plataforma; esse código era automaticamente dockerizado e implantado na plataforma usando a UI, as APIs ou o SDK Python da TrueFoundry. Não foram necessárias alterações de código nem foi preciso aprender nenhum framework adicional para todos os fluxos de trabalho que a equipe estava tentando concluir.

A equipe demonstrou um ótimo ritmo, pois queria resolver rapidamente os problemas de confiabilidade. Em poucos dias, eles começaram a explorar cada vez mais recursos da plataforma e nos forneceram feedback.

Em duas semanas, a equipe conseguiu:

1. Migrar suas cargas de trabalho de ML inteiramente para o Kubernetes com a TrueFoundry.
2. Implantar o modelo de ML com uma fila assíncrona para armazenar as requisições recebidas quando picos de tráfego são detectados, configurada por meio de uma simples flag.
3. Otimizar a alocação de recursos para os serviços de ML conforme os padrões de tráfego e reduzir os recursos provisionados para economizar custos quando o volume de requisições é baixo.
4. Configurar a autenticação e reforçar a segurança em todos os endpoints de API de modelo.

Impacto nos casos de uso de machine learning

Por meio do deployment dos modelos de machine learning na TrueFoundry, a equipe conseguiu:

1. Economizar cerca de US$ 25-30 mil em pagamentos a participantes de ensaios ao reduzir a zero as falhas de modelo e os problemas de confiabilidade.
2. Redução de 35-40% nos custos de nuvem
3. Ensaios clínicos de 3 a 6 meses mais rápidos por meio da colaboração com hospitais e laboratórios
4. Configuração de autenticação no endpoint de API de modelo

A equipe da TrueFoundry também ajudou a equipe da Neurobit a otimizar sua arquitetura de software

Quando os desafios de maior prioridade com os modelos de machine learning foram resolvidos, a equipe da TrueFoundry decidiu ir além para garantir que a equipe da Neurobit estivesse preparada para o sucesso. Durante nossas conversas com a equipe da Neurobit, entendemos que havia espaço para otimizar ainda mais a arquitetura de microservices da empresa. Isso poderia ter um possível impacto no tempo de inferência e nos custos de nuvem que a equipe estava tendo.

Acabamos fazendo uma revisão aprofundada da arquitetura de microservices com a equipe.

Obtivemos o seguinte entendimento da arquitetura que a equipe seguia:

1. Havia 5 microservices diferentes que eram invocados para processar a entrada recebida dos usuários.
2. Cada serviço escrevia sua saída intermediária em um banco de dados. Desse banco de dados, o próximo serviço lia a saída do serviço anterior, executava a computação sobre ela e a escrevia de volta no banco de dados para o próximo microservice consumir.

Todo esse processo levava cerca de 7 minutos para cada requisição.

Arquitetura de microservices otimizada com a TrueFoundry

‍

Tentamos entender a tolerância a falhas e os tempos de inferência que a equipe exigia. Com esse entendimento, sugerimos que a equipe da Neurobit passasse a saída de um serviço diretamente para o outro por meio do protocolo gRPC.

A vantagem dessa arquitetura era que.

1. Como cada microservice levava cerca de 30 segundos para executar, não havia muito risco de perder saídas intermediárias em caso de falha, já que todo o pipeline poderia ser executado novamente.
2. Isso reduz significativamente o custo de transferência de dados e o tempo gasto para escrever as saídas intermediárias em um banco de dados.

Esse novo pipeline foi hospedado na plataforma TrueFoundry e reduziu o tempo de inferência do modelo de cerca de 7 min/requisição para cerca de 2 min/requisição.

Impacto do redesenho da arquitetura

1. O tempo de inferência do pipeline de ML foi reduzido de cerca de 7 minutos para cerca de 2 minutos
2. O custo de executar o serviço de machine learning foi reduzido em 60-70%
3. Aumento da produtividade e da independência dos desenvolvedores. Os desenvolvedores agora podiam implantar modelos e aplicações por conta própria, o que antes exigia idas e vindas com a equipe de DevOps
4. A equipe agora executa todos os seus modelos e aplicações totalmente no Kubernetes

Impacto no negócio

À medida que nossa parceria com a equipe da Neurobit avança, vimos o negócio colher os benefícios dos tempos de resposta mais rápidos, da confiabilidade e da escala que a plataforma TrueFoundry ajudou a equipe da Neurobit a alcançar.

‍

Impacto na stack técnica da Neurobit

A TrueFoundry ajudou a equipe da Neurobit a migrar todas as suas cargas de trabalho de machine learning para o Kubernetes sem precisar lidar com a complexidade de aprender algo novo relacionado ao Kubernetes. Também ajudou a equipe a se tornar independente no tratamento de todas as operações avançadas no Kubernetes, como fazer deployments assíncronos, configurar autoscaling, deployments serverless etc.

Também conseguimos ajudar a equipe a migrar alguns de seus recursos de software para uma arquitetura de microservices sobre o Kubernetes, de modo que sua stack esteja preparada para o futuro e funcione com níveis ótimos de utilização.

‍

Nossos aprendizados com o engajamento com a Neurobit

À medida que continuamos a colaborar com a Neurobit e a ajudá-los a alcançar a escala e o nível de impacto com Inteligência Artificial que se propuseram, somos gratos por todos os aprendizados que conseguimos extrair do engajamento com a equipe. Isso ajudou a moldar tanto a forma como pensamos o engajamento com clientes quanto a dar uma direção sólida ao nosso produto.

Alguns de nossos principais aprendizados incluem:

1. As empresas podem economizar uma grande parcela (mais de 40%) de seus custos de nuvem ao usar seus recursos de forma ótima
2. Tornar os desenvolvedores independentes e capacitá-los a fazer os lançamentos por conta própria aumenta o ritmo em que a equipe consegue entregar
3. Começar com uma stack pronta para escala garante que as coisas não quebrem e que a equipe não acabe tendo o esforço extra de uma migração no futuro

Codesenvolvemos alguns recursos importantes da plataforma enquanto tentávamos resolver os casos de uso que a equipe da Neurobit precisava que habilitássemos. Eles incluem:

1. Deployments assíncronos
2. Jupyter Notebooks hospedados

Caminho a seguir

Esperamos colaborar com a equipe da Neurobit no longo prazo e aprender com eles enquanto tentamos ajudá-los ao longo do caminho. Alguns dos desenvolvimentos futuros que podem estar reservados para esse engajamento incluem:

1. Escalar os throughputs de inferência do modelo para 10X a escala atual
2. Ajudar a migrar toda a stack de software da Neurobit para a TrueFoundry
3. Deployment de novos modelos experimentais e a execução de pilotos com eles em laboratórios, hospitais e casas de repouso.

Animados para ver o que vem a seguir!