Comparação de Custos com Sagemaker

TrueFoundry possibilita uma abordagem econômica para a implantação de cargas de trabalho de machine learning, utilizando Kubernetes no EKS, oferecendo reduções de custo de 40–60% em comparação com a execução de cargas de trabalho semelhantes no SageMaker.

TLDR: Economia de Custos de 40–60% para Cargas de Trabalho de IA/ML

1) Sem Acréscimo nos Custos de Computação, economize 15–30% em instâncias EC2 em comparação com o SageMaker

2) Configure instâncias spot facilmente tanto para treinamento quanto para inferência, ao contrário do SageMaker (apenas treinamento), economizando até 70%

3) Simplifica os recursos de escalonamento para zero para notebooks, CPUs e GPUs, reduzindo os custos de desenvolvimento em 30–70%

4) Substitui operações de leitura/escrita do S3 por cache EFS, reduzindo os custos de dados em 20%

5) Utiliza frameworks de serviço avançados como VLLM e SGLang, reduzindo a latência e aumentando o throughput em 40%

6) Ajusta dinamicamente os recursos com infra em piloto automático , reduzindo os custos de produção em 40–50%

7) Suporta CPUs e GPUs fracionários, economizando 20–50% nos custos de computação 

Sem acréscimo nos Custos de Computação

A ausência de acréscimo nos custos de computação é um fator chave na economia total, proporcionando 15–30% de economia apenas nas despesas com instâncias de computação.

Suporte contínuo para o uso de Instâncias Spot

Truefoundry facilita muito a configuração de instâncias spot e troca a instância subjacente sem interrupções se a instância spot for recuperada, com economia de até 70%.

Truefoundry usa Karpenter e o configura de forma otimizada, o que possui algoritmos avançados para buscar o tipo de instância correto com base na disponibilidade e no custo usando as APIs da AWS. Por outro lado, embora o SageMaker suporte Instâncias Spot para trabalhos de treinamento, ele não estende essa capacidade para serviços de inferência.

Comparando os custos de inferência em algumas instâncias de inferência populares - 

 Desligamento automático e Escala para 0

Truefoundry oferece o recurso de desligamento automático para instâncias de CPU, GPU, Notebook e SSH, com 30-70% de economia no desenvolvimento

Isso resulta no desligamento automático de máquinas quando os desenvolvedores não estão utilizando o poder computacional — por exemplo, Jupyter Notebooks, ou demonstrações hospedadas como Streamlit e Gradio.

 No Sagemaker, é possível configurar o desligamento automático em notebooks Jupyter, mas é bastante complicado para cientistas de dados configurarem o que faz com que eles não o configurem. No Sagemaker, não há desligamento automático para instâncias de GPU.

Suporte nativo para volumes

O Sagemaker recomenda a leitura e escrita de dados no S3 durante as iterações de treinamento. Isso resulta em custos massivos de leitura e escrita no S3, especialmente se vários cientistas de dados estiverem treinando modelos com os mesmos dados. Truefoundry suporta o cache de dados em volumes, que têm custos de leitura e escrita muito mais baixos em comparação com o S3, com redução de ~20% nos custos de leitura/escrita do S3, reforçando sua posição como uma alternativa confiável e econômica ao Sagemaker. Essa abordagem é amplamente utilizada por empresas como Salesforce e Netflix para reduzir os custos de leitura e escrita.

O Amazon S3 torna-se caro devido à precificação por solicitação para leituras de alta frequência.

Menor latência e maior taxa de transferência de modelos

A Truefoundry oferece suporte nativo a frameworks de serviço avançados como Sglang, VLLM, que podem proporcionar maior throughput com menor latência.

A Truefoundry vai um passo além ao recomendar automaticamente o servidor de modelo ideal com base na arquitetura do modelo e no caso de uso, eliminando suposições para os cientistas de dados, o que leva a uma redução de ~40% para LLMs e modelos suportados pelo Triton

 Em contraste, a escolha padrão do SageMaker frequentemente envolve imagens grandes que podem não ser otimizadas para cargas de trabalho específicas. Isso exige que os cientistas de dados selecionem e testem manualmente as configurações ideais, o que leva a ineficiências. 

Recurso de Piloto Automático para reduzir custos automaticamente

A Truefoundry analisa automaticamente as cargas de trabalho em execução e sugere otimizações de custo possíveis com base nos recursos solicitados e uso real, tráfego de entrada, etc. Isso tem demonstrado otimização de custos de até 40-50% em alguns casos. O Sagemaker não possui nenhum recurso de piloto automático.

CPU e Memória Fracionadas

A Truefoundry oferece suporte para computação e memória de CPU fracionadas, o que permite que múltiplas cargas de trabalho sejam executadas em uma única máquina. O bin-packing proporciona 20% ou mais de economia em cargas de trabalho de CPU. Esta é a mesma razão pela qual o Kubernetes pode utilizar melhor os recursos do que executar cargas de trabalho em VMs. No Sagemaker, as unidades mínimas de CPU/memória são as mesmas da configuração específica de VM fornecida pela AWS.

GPU Fracionada

A Truefoundry suporta particionamento de GPU baseado em timeslicing e em MIG, resultando em ~40-50% de economia na computação de GPU. Isso permite que os desenvolvedores executem múltiplas cargas de trabalho em uma única máquina GPU e as escalem de forma contínua. Isso é muito crucial, pois os recursos de GPU são muito caros e compartilhá-los pode levar a uma redução massiva de custos. O Sagemaker não oferece suporte a GPU fracionada.

Estudo de Caso

Uma plataforma de jogos de destaque, enfrentava uma fatura mensal de US$ 40.000 para executar suas cargas de trabalho de machine learning no SageMaker. Ao fazer a transição para a plataforma otimizada para custos da TrueFoundry, eles conseguiram reduzir drasticamente suas despesas para apenas US$ 6.000 por mês. Essa economia de 85% foi alcançada sem comprometer a escalabilidade, o desempenho ou a facilidade de uso.

Estudos de caso externos também destacaram reduções significativas de custos ao fazer a transição do SageMaker para o EKS. Por exemplo, organizações como a LeBonCoin relataram economias de 30 a 40% após migrar suas cargas de trabalho de machine learning do SageMaker para o EKS baseado em Kubernetes. Leia mais - https://medium.com/leboncoin-tech-blog/migrating-our-machine-learning-platform-from-aws-sagemaker-to-kubernetes-kubeflow-166c56f40e5c

Perguntas Frequentes

Quanto custa o AWS SageMaker?

O preço do SageMaker envolve uma combinação de cobranças baseadas em instâncias para notebooks, treinamento e hospedagem. Como a AWS adiciona uma margem de lucro premium sobre a computação subjacente, os custos podem aumentar rapidamente. As despesas dependem dos tipos de instância, volume de processamento de dados e requisitos de armazenamento, tornando essencial monitorar os padrões de uso para evitar faturas mensais inesperadas.

O SageMaker é melhor que o TrueFoundry?

A escolha depende dos seus objetivos específicos de infraestrutura. O SageMaker oferece um amplo conjunto de ferramentas dentro do ecossistema AWS. O TrueFoundry é frequentemente melhor para equipes que priorizam velocidade e portabilidade porque ele é executado nativamente no Kubernetes dentro da sua própria nuvem. Isso proporciona maior controle sobre a alocação de recursos e uma experiência de desenvolvedor mais simplificada.

O que torna o TrueFoundry uma alternativa ideal ao Sagemaker?

O TrueFoundry é uma alternativa ideal para equipes que desejam evitar a complexidade operacional e os altos custos indiretos do SageMaker. Ele oferece um plano de controle centralizado para implantação e monitoramento, mantendo os dados seguros em sua própria VPC. Seu foco na gestão automatizada de recursos e na autonomia do desenvolvedor o torna uma escolha mais flexível para produção.

Qual é mais caro, TrueFoundry ou Sagemaker?

Ao comparar os preços do Sagemaker vs Truefoundry, o SageMaker geralmente acarreta custos mais altos devido a margens de infraestrutura e taxas de gerenciamento. O TrueFoundry ajuda a reduzir as despesas utilizando computação em nuvem bruta e instâncias spot. Essa abordagem, combinada com escalonamento automático e detecção de recursos ociosos, pode reduzir o gasto total com infraestrutura.