Comparación de costos con Sagemaker

TrueFoundry permite un enfoque rentable para implementar cargas de trabajo de aprendizaje automático al aprovechar Kubernetes en EKS, lo que ofrece una reducción de costos del 40 al 60% en comparación con la ejecución de cargas de trabajo similares en SageMaker.

TLDR: ahorro de costos del 40 al 60% para las cargas de trabajo de AI/ML

1) Sin margen de beneficio en los costos de procesamiento, ahorre entre un 15 y un 30% en instancias EC2 en comparación con SageMaker

2) Configure fácilmente instancias puntuales tanto para entrenamiento como para inferencia, a diferencia de SageMaker (solo entrenamiento), con un ahorro de hasta un 70%

3) Simplifica los recursos escalar a cero para ordenadores portátiles, CPU y GPU, lo que reduce los costes de desarrollo entre un 30 y un 70%

4) Sustituye las operaciones de lectura/escritura de S3 por el almacenamiento en caché de EFS, reduciendo los costos de datos en un 20%

5) Usos marcos de servicio avanzados como VLLM y SGLang, lo que reduce la latencia y aumenta el rendimiento en un 40%

6) Ajusta dinámicamente los recursos con infra en piloto automático , reduciendo los costos de producción entre un 40 y un 50%

7) Soportes CPU y GPU fraccionarias, ahorrando entre un 20 y un 50% en costos de procesamiento

Sin recargo en los costos de procesamiento

La ausencia de márgenes en los costos de procesamiento es un factor clave para el ahorro total, ya que 15— 30% de ahorro solo en los gastos de la instancia de procesamiento.

Soporte perfecto para el uso de instancias puntuales

Truefoundry facilita mucho la configuración de las instancias puntuales y cambia sin problemas la instancia por debajo si se recupera la instancia puntual, con ahorros de hasta un 70%.

Truefoundry usa Karpenter y lo configura de manera óptima, con algoritmos avanzados para obtener el tipo de instancia correcto en función de la disponibilidad y el costo mediante las API de AWS. Por otro lado, mientras SageMaker admite instancias puntuales para trabajos de formación, pero no amplía esta capacidad a los servicios de inferencia.

Comparación de los costos de inferencia en algunas instancias de inferencia populares -

 Apagado automático y escalado a 0

Truefoundry proporciona una función de apagado automático para instancias de CPU, GPU, portátiles y SSH, con Ahorro del 30 al 70% en el desarrollo

Esto hace que las máquinas se apaguen automáticamente cuando los desarrolladores no utilizan la informática, por ejemplo, Jupyter Notebooks o demostraciones alojadas como Streamlit y Gradio.

En Sagemaker, es posible configurar el apagado automático en los cuadernos Jupyter, pero es bastante engorroso de configurar para los científicos de datos lo que hace que no lo configuren en absoluto. En Sagemaker, las instancias de GPU no se apagan automáticamente.

Soporte nativo para volúmenes

Sagemaker recomienda leer y escribir datos en S3 durante las iteraciones de entrenamiento. Esto se traduce en enormes costos de lectura y escritura en S3, especialmente si varios científicos de datos están entrenando modelos con los mismos datos. Truefoundry admite el almacenamiento en caché de los datos en volúmenes, que tienen costos de lectura y escritura mucho más bajos en comparación con S3, con Reducción de aproximadamente un 20% en los costos de lectura/escritura de S3 reforzando su posición como una empresa fiable y económica Alternativa a Sagemaker. Empresas como Salesforce y Netflix utilizan ampliamente este enfoque para reducir los costos de lectura y escritura.

Amazon S3 se vuelve costoso debido a los precios por solicitud para las lecturas de alta frecuencia.

Menor latencia y mayor rendimiento de los modelos

Truefoundry admite de forma nativa marcos de servicio avanzados como Sglang y VLLM, que pueden proporcionar un mayor rendimiento con una latencia más baja.

Truefoundry lleva esto un paso más allá al recomendar automáticamente el modelo óptimo basado en servidores sobre la arquitectura del modelo y el caso de uso, eliminando las conjeturas para los científicos de datos, lo que lleva a Aproximadamente un 40% de reducción para los modelos compatibles con LLM y Triton

Por el contrario, la elección predeterminada de SageMaker suele incluir imágenes de gran tamaño que pueden no estar optimizadas para cargas de trabajo específicas. Esto requiere los científicos de datos deben seleccionar y probar manualmente las configuraciones óptimas, lo que genera ineficiencias.

Función de piloto automático para reducir automáticamente los costos

Truefoundry analiza automáticamente las cargas de trabajo en ejecución y sugiere posibles optimizaciones en el costo en función de los recursos solicitados y el uso real, el tráfico entrante, etc. Esto ha demostrado optimización de costes de hasta un 40-50% en algunos casos. Sagemaker no tiene ninguna función de piloto automático.

CPU y memoria fraccionarias

Truefoundry proporciona soporte para procesamiento y memoria fraccionados de CPU, lo que permite que varias cargas de trabajo se ejecuten en una máquina. El empaquetado en contenedores proporciona un ahorro del 20% o más en las cargas de trabajo de la CPU. Esta es la misma razón por la que Kubernetes puede utilizar los recursos mejor que ejecutar cargas de trabajo en máquinas virtuales. En Sagemaker, el mínimo de unidades de CPU y memoria es el mismo que el de la configuración específica de la máquina virtual proporcionada por AWS.

GPU fraccionada

Truefoundry apoya tanto el particionamiento de GPU basado en el tiempo como el basado en MIG, lo que permite ahorrar entre un 40 y un 50% en el procesamiento de la GPU. Esto permite a los desarrolladores ejecutar múltiples cargas de trabajo en una sola máquina GPU y escalarla sin problemas. Esto es crucial, ya que los recursos de la GPU son muy caros y compartirlos puede llevar a una reducción masiva de los costos. Sagemaker no admite GPU fraccionadas.

Estudio de caso

Una plataforma de juegos destacada, se enfrentaban a una factura mensual de 40 000$ por ejecutar sus cargas de trabajo de aprendizaje automático en SageMaker. Al hacer la transición a la plataforma optimizada de costes de TrueFoundry, pudieron reducir drásticamente sus gastos hasta situarlos en tan solo 6.000$ al mes. Este ahorro de costos del 85% se logró sin comprometer la escalabilidad, el rendimiento o la facilidad de uso.

Los estudios de casos externos también han destacado importantes reducciones de costos al realizar la transición de SageMaker a EKS. Por ejemplo, organizaciones como LebonCoin han logrado ahorrar entre un 30 y un 40% después de migrar sus cargas de trabajo de aprendizaje automático de SageMaker a EKS basado en Kubernetes. Leer más - https://medium.com/leboncoin-tech-blog/migrating-our-machine-learning-platform-from-aws-sagemaker-to-kubernetes-kubeflow-166c56f40e5c

Preguntas frecuentes

¿Cuánto cuesta AWS SageMaker?

Los precios de SageMaker incluyen una combinación de cargos basados en instancias para libretas, formación y alojamiento. Dado que AWS añade un margen de beneficio superior a la computación subyacente, los costos pueden aumentar rápidamente. Los gastos dependen del tipo de instancia, el volumen de procesamiento de datos y los requisitos de almacenamiento, por lo que es fundamental realizar un seguimiento de los patrones de uso para evitar facturas mensuales inesperadas.

¿SageMaker es mejor que TrueFoundry?

La elección depende de sus objetivos de infraestructura específicos. SageMaker ofrece un amplio conjunto de herramientas dentro del ecosistema de AWS. TrueFoundry suele ser mejor para los equipos que priorizan la velocidad y la portabilidad porque se ejecuta de forma nativa en Kubernetes dentro de su propia nube. Esto proporciona un mayor control sobre la asignación de recursos y una experiencia de desarrollador más optimizada.

¿Qué hace que TrueFoundry sea una alternativa ideal a Sagemaker?

TrueFoundry es una alternativa ideal para los equipos que desean evitar la complejidad operativa y los altos gastos generales de SageMaker. Proporciona un plano de control centralizado para la implementación y la supervisión, al tiempo que mantiene los datos seguros en su propia VPC. Su enfoque en la gestión automatizada de los recursos y la autonomía de los desarrolladores la convierten en una opción más flexible para la producción.

¿Qué es más caro, TrueFoundry o Sagemaker?

Al comparar los precios de Sagemaker con los de Truefoundry, SageMaker suele tener costos más altos debido a los recargos de infraestructura y las tarifas de administración. TrueFoundry ayuda a reducir los gastos al utilizar instancias puntuales y de computación en la nube sin procesar. Este enfoque, combinado con el escalado automático y la detección de recursos inactivos, puede reducir el gasto total en infraestructura.