Kostenvergelijking met SageMaker

TrueFoundry maakt een kosteneffectieve aanpak voor het implementeren van machine learning-workloads mogelijk door gebruik te maken van Kubernetes op EKS, wat 40–60% kostenreductie oplevert vergeleken met het uitvoeren van vergelijkbare workloads op SageMaker.

TLDR: 40–60% kostenbesparing op AI/ML-workloads

1) Zonder opslag op compute-kosten bespaart u 15–30% op EC2-instances vergeleken met SageMaker

2) Configureer eenvoudig spot-instances voor zowel training als inference, in tegenstelling tot SageMaker (alleen training), met besparingen tot 70%

3) Vereenvoudigt het schalen naar nul van middelen voor notebooks, CPU's en GPU's, wat de dev-kosten met 30–70% verlaagt

4) Vervangt S3-lees-/schrijfbewerkingen door EFS-caching, waardoor de datakosten met 20% dalen

5) Maakt gebruik van geavanceerde serving-frameworks zoals vLLM en SGLang, wat de latency verlaagt en de doorvoer met 40% verhoogt

6) Past middelen dynamisch aan met infra op de automatische piloot, wat de productieklassen met 40–50% verlaagt

7) Ondersteunt fractionele CPU's en GPU's, wat 20–50% op compute-kosten bespaart 

Geen opslag op compute-kosten

Geen opslag op compute-kosten is een sleutelfactor in de totale besparingen, wat alleen al op de kosten van compute-instances 15–30% besparing oplevert.

Naadloze ondersteuning voor het gebruik van spot-instances

TrueFoundry maakt het heel eenvoudig om spot-instances te configureren en schakelt onderliggend naadloos over van instance als een spot-instance wordt teruggevraagd, met besparingen tot 70%.

TrueFoundry gebruikt Karpenter en configureert dit optimaal, dat beschikt over geavanceerde algoritmen om het juiste instance-type op te halen op basis van beschikbaarheid en kosten met behulp van AWS API's. Aan de andere kant, hoewel SageMaker spot-instances ondersteunt voor training-jobs, breidt het deze functionaliteit niet uit naar inference-services.

Een vergelijking van inference-kosten op een paar populaire inference-instances - 

 Automatische uitschakeling en schalen naar 0

TrueFoundry biedt een autoshutdown-functie voor CPU-, GPU-, Notebook- en SSH-instances, met 30-70% besparing op de ontwikkeling

Dit resulteert in het automatisch uitschakelen van machines wanneer ontwikkelaars de compute niet gebruiken - bijvoorbeeld Jupyter Notebooks, of gehoste demo's zoals Streamlit en Gradio.

 In SageMaker is het mogelijk om autoshutdown op Jupyter Notebooks te configureren, maar het is vrij omslachtig voor data scientists om te configureren, waardoor ze het uiteindelijk helemaal niet configureren. In SageMaker is er geen autoshutdown voor GPU-instances.

Natieve ondersteuning voor volumes

SageMaker raadt aan om tijdens trainingsiteraties data van en naar S3 te lezen en schrijven. Dit leidt tot enorme lees- en schrijfkosten op S3, vooral als meerdere data scientists modellen trainen op dezelfde data. TrueFoundry ondersteunt het cachen van de data in volumes, die veel lagere lees- en schrijfkosten hebben vergeleken met S3, met ~20% reductie in S3-lees-/schrijfkosten, wat de positie als een betrouwbaar en budgetvriendelijk SageMaker-alternatief versterkt. Deze aanpak wordt breed gebruikt door bedrijven zoals Salesforce en Netflix om lees- en schrijfkosten te verlagen.

Amazon S3 wordt duur vanwege prijzen per verzoek bij leesacties met een hoge frequentie.

Lagere latency en hogere doorvoer van modellen

TrueFoundry ondersteunt van nature geavanceerde serving-frameworks zoals SGLang en vLLM, die een hogere doorvoer met een lagere latency kunnen bieden.

TrueFoundry gaat nog een stap verder door automatisch de optimale model server aan te bevelen op basis van de modelarchitectuur en de use case. Dit neemt het giswerk voor data scientists weg, wat leidt tot ~40% reductie voor LLM's en door Triton ondersteunde modellen.

 In tegenstelling daartoe omvat de standaardkeuze van SageMaker vaak grote images die mogelijk niet zijn geoptimaliseerd voor specifieke workloads. Dit vereist dat data scientists handmatig optimale configuraties selecteren en testen, wat leidt tot inefficiënties. 

Autopilot-functie om automatisch kosten te verlagen

TrueFoundry analyseert automatisch de actieve workloads en stelt mogelijke kostenoptimalisaties voor op basis van de aangevraagde middelen en het werkelijke gebruik, het inkomende verkeer, enz. Dit heeft kostenoptimalisatie tot 40-50% laten zien in sommige gevallen. SageMaker heeft geen autopilot-functie.

Fractionele CPU en geheugen

TrueFoundry biedt ondersteuning voor fractionele CPU-compute en geheugen, waardoor meerdere workloads op één machine kunnen draaien. De bin-packing levert 20% of meer besparing op bij CPU-workloads. Dit is dezelfde reden waarom Kubernetes middelen beter kan benutten dan het uitvoeren van workloads op VM's. In SageMaker zijn de minimale CPU- / geheugeneenheden hetzelfde als de VM-specifieke configuratie die door AWS wordt geleverd.

Fractionele GPU

TrueFoundry ondersteunt zowel op timeslicing gebaseerde als op MIG gebaseerde GPU-partitionering, wat leidt tot ~40-50% besparingen op GPU-compute. Hiermee kunnen ontwikkelaars meerdere workloads op één enkele GPU-machine uitvoeren en deze naadloos schalen. Dit is van cruciaal belang omdat GPU-middelen erg duur zijn en het delen ervan kan leiden tot een enorme kostenreductie. SageMaker biedt geen ondersteuning voor fractionele GPU's.

Casestudy

Een vooraanstaand gamingplatform werd geconfronteerd met een maandelijkse rekening van $ 40.000 voor het uitvoeren van hun machine learning-workloads op SageMaker. Door over te stappen op het kostengeoptimaliseerde platform van TrueFoundry, konden ze hun uitgaven drastisch verlagen tot slechts $ 6.000 per maand. Deze kostenbesparing van 85% werd bereikt zonder in te leveren op schaalbaarheid, prestaties of gebruiksgemak.

Externe casestudies hebben ook aanzienlijke kostenreducties benadrukt bij de overstap van SageMaker naar EKS. Zo hebben organisaties zoals LeBonCoin besparingen van 30–40% gerapporteerd na het migreren van hun machine learning-workloads van SageMaker naar op Kubernetes gebaseerd EKS. Lees meer - https://medium.com/leboncoin-tech-blog/migrating-our-machine-learning-platform-from-aws-sagemaker-to-kubernetes-kubeflow-166c56f40e5c

Veelgestelde vragen

Hoeveel kost AWS SageMaker?

SageMaker-prijzen omvatten een combinatie van op instances gebaseerde kosten voor notebooks, training en hosting. Omdat AWS een premium-opslag rekent op de onderliggende compute, kunnen de kosten snel oplopen. Uitgaven zijn afhankelijk van instance-typen, gegevensverwerkingsvolume en opslagvereisten, waardoor het essentieel is om gebruikspatronen bij te houden om onverwachte maandelijkse rekeningen te voorkomen.

Is SageMaker beter dan TrueFoundry?

De keuze hangt af van uw specifieke infrastructuurdoelen. SageMaker biedt een breed scala aan tools binnen het AWS-ecosysteem. TrueFoundry is vaak beter voor teams die prioriteit geven aan snelheid en overdraagbaarheid omdat het natief op Kubernetes draait binnen uw eigen cloud. Dit biedt grotere controle over de toewijzing van middelen en een gestroomlijndere ervaring voor ontwikkelaars.

Wat maakt TrueFoundry een ideaal SageMaker-alternatief?

TrueFoundry is een ideaal alternatief voor teams die de operationele complexiteit en hoge overhead van SageMaker willen vermijden. Het biedt een gecentraliseerd control plane voor deployment en monitoring, terwijl data veilig in uw eigen VPC blijft. De focus op geautomatiseerd beheer van middelen en autonomie van ontwikkelaars maakt het een flexibelere keuze voor productie.

Wat is duurder, TrueFoundry of SageMaker?

Bij het vergelijken van SageMaker vs TrueFoundry-prijzen brengt SageMaker meestal hogere kosten met zich mee vanwege infrastructuuropslagen en beheerkosten. TrueFoundry helpt de uitgaven te verlagen door gebruik te maken van ruwe cloud-compute en spot-instances. Deze aanpak, gecombineerd met automatisch schalen en het detecteren van ongebruikte middelen, kan de totale infrastructuuruitgaven verminderen.