Perguntas Frequentes

Está demorando bastante para colocarmos nossos modelos em produção e obtermos impacto deles. Existe uma maneira de capacitarmos os cientistas de dados para assumir o controle desse processo?

Engenheiros de ML dependem muito das equipes de DevOps/plataforma para as necessidades de infraestrutura para treinar ou implantar modelos.

Queremos usar nossa infraestrutura Kubernetes padrão para treinamento e implantações de ML.

Cientistas de dados não querem lidar com infraestrutura ou YAML.

Queremos que nossos dados permaneçam em nossa própria nuvem ou on-premise.

Os modelos são implantados com autoescalonamento configurado usando HPA - mas o autoescalonamento é muito lento devido ao tempo de download dos modelos.

Queremos hospedar notebooks Jupyter e torná-los autoatendimento, com flexibilidade para provisionar recursos, ao mesmo tempo em que impomos algumas restrições de custo e segurança.

Como acompanhar todos os modelos da empresa em um só lugar, e descobrir quais estão implantados em qual ambiente?

Como faço para espelhar ou dividir o tráfego para a minha nova versão do modelo, para que possamos testá-lo com tráfego online antes de implantá-lo completamente?

Queremos usar hardware e recursos computacionais em diferentes nuvens (AWS, GCP, Azure) e localmente. Como faço para conectá-los para que os desenvolvedores não precisem se preocupar com os recursos computacionais subjacentes e movam cargas de trabalho de um ambiente para outro sem interrupções?

Queremos usar o poder dos LLMs para o nosso negócio, mas não podemos deixar os dados saírem do nosso ambiente. Existe alguma forma de utilizar o poder dos LLMs sem enviar meus dados para a OpenAI?

Como faço para permitir que todos os meus desenvolvedores experimentem rapidamente diferentes LLMs e vejam quais resultados podem obter?

Estamos tendo muitos custos com nossa infraestrutura de ML e está se tornando difícil rastreá-los e reduzi-los.