Comprender el costo total de propiedad de la infraestructura GenAI

A medida que la IA generativa (GenAI) se adopta cada vez más en todos los sectores, los responsables de la toma de decisiones tienen cada vez más la tarea de determinar las formas más eficaces de desarrollar soluciones de GenAI. Una de las principales consideraciones es el costo total de propiedad (TCO), es decir, la evaluación integral de todos los costos relacionados con la creación, la implementación y el mantenimiento de las soluciones GenAI a lo largo de su ciclo de vida.

Este blog proporcionará información sobre los elementos clave del TCO para crear una infraestructura GenAI interna en lugar de aprovechar una plataforma gestionada como TrueFoundry.

El costo total de propiedad en el contexto de la infraestructura GenAI

Al evaluar el costo de los modelos GenAI, es esencial mirar más allá de los gastos iniciales, como las licencias de software o la infraestructura. El costo total de propiedad abarca todo el ciclo de vida de los costos—desde la configuración y el desarrollo iniciales hasta los costos operativos, de escalamiento y de mantenimiento continuos.

Costo total de propiedad (TCO) = (costos iniciales de infraestructura) + (costos de desarrollo e implementación + costos de escalamiento) + (costos de mantenimiento) + (costos de seguridad y cumplimiento) + (costos de desmantelamiento) + (costo de licencias de software) + (costo de talento) − (ahorros que aumentan la productividad)

Esta fórmula no tiene en cuenta ciertos beneficios intangibles, como el costo de oportunidad de la pérdida de tiempo de comercialización o los posibles costos derivados de las interrupciones del sistema, porque son difíciles de cuantificar. Factores como el costo de oportunidad son subjetivos y deben considerarse como parte de un análisis cualitativo más amplio.

Coste total de propiedad

Costos de infraestructura

Uso de Kubernetes: TrueFoundry aprovisiona las instancias directamente desde los proveedores de la nube (como AWS, GCP o Azure) o en hardware básico con una capa de Kubernetes en la parte superior, sin añadir costes adicionales. Eliminamos todas las complejidades de Kubernetes, lo que le permite aprovechar todo su potencial sin complicaciones. Por el contrario, SageMaker suele cobrar entre un 20 y un 40% más por instancia en comparación con el aprovisionamiento de la misma instancia directamente a través de EC2, debido a los servicios gestionados adicionales que ofrece SageMaker.

Instancias puntuales: TrueFoundry puede aprovechar instancias puntuales (disponible a una fracción del costo de las instancias bajo demanda) con respaldo bajo demanda, lo que garantiza un rendimiento fiable a la vez que reduce los costes.

Optimización del almacenamiento y la salida: Usos de TrueFoundry volúmenes compartidos para minimizar los cargos de salida de datos, que pueden ser importantes en entornos basados en la nube en los que se transfieren grandes cantidades de datos

Piloto automático inteligente : El piloto automático de TrueFoundry detecta y resuelve automáticamente las ineficiencias de la infraestructura a medida que cambian las cargas de trabajo, lo que evita los costos de sobreaprovisionamiento.

Precisión de infraestructura por primera vez: TrueFoundry configura la infraestructura correctamente desde el principio, lo que evita costosas reconfiguraciones y pérdidas de tiempo.

Flexibilidad para cambiar entre proveedores de nube: TrueFoundry permite cambiar sin problemas entre proveedores de nube, lo que permite a las empresas aprovechar los mejores precios y funciones.

Restricciones de recursos personalizables por espacio de trabajo: TrueFoundry permite la personalización precisa de los tipos de CPU, memoria, almacenamiento e instancias por espacio de trabajo para adaptarse a las necesidades específicas del proyecto.

Supongamos que una empresa incurre en un coste de infraestructura de 1 millón de dólares al año por ejecutar varias cargas de trabajo (según estimaciones de la industria). TrueFoundry puede ayudar a reducir este costo en al menos un 30%, lo que resulta en 300 000 dólares/año en ahorros.

Costos de desarrollo, implementación y escalado

Escalado automático: Ajusta automáticamente los recursos informáticos en tiempo real en función de las demandas de la carga de trabajo, sin intervención manual.

Escalar a cero: Reduce el consumo de recursos a cero durante los períodos de inactividad, lo que minimiza los costos cuando los recursos no están en uso.

Uso adaptativo de los recursos: Cambie de manera flexible entre la CPU y la GPU en la misma máquina, utilizando los recursos de la GPU solo cuando sea necesario para optimizar la asignación y evitar su mantenimiento constante.

Prevención de errores para la formación: La plataforma garantiza una infraestructura confiable y configuraciones correctas para evitar errores de entrenamiento, reducir el desperdicio de recursos informáticos y evitar costosas repeticiones.

Puntos de control para trabajos de larga duración: Ahorra tiempo y procesamiento al habilitar los puntos de control para los trabajos de larga duración, lo que les permite reanudarlos desde donde los dejaron en caso de interrupciones.

Ajuste fino eficiente: Ofrece métodos de ajuste precisos que ahorran recursos, como LoRa y Q-LoRa, lo que reduce el consumo de recursos y lo ayuda a alcanzar sus objetivos de manera rentable.

Servicio de modelos optimizado: Proporciona configuraciones de servicio de modelos preconfiguradas basadas en la evaluación comparativa, lo que garantiza la mejor latencia y rendimiento posibles para sus cargas de trabajo.

Principios de SRE integrados: Se integra perfectamente con las canalizaciones de CI/CD y administra de forma segura la información confidencial, como las claves y los tokens de API, siguiendo las mejores prácticas de confiabilidad y seguridad.

Visibilidad de costos: Proporciona visibilidad de los costos de la nube a nivel de clúster, espacio de trabajo e implementación, lo que permite a los equipos y desarrolladores de DevOps identificar y optimizar las oportunidades de ahorro de costos a lo largo del ciclo de vida.

Gracias a estas funciones integradas de la plataforma, como el escalado automático, la escalabilidad a cero incluso para las cargas de trabajo de desarrollo, la capacidad de reanudar desde el punto de control, las optimizaciones de la entrega de modelos y la eliminación del ancho de banda de DevOps para configurar CI/CD, rondaríamos los 100 000 dólares.

Estimación: suponiendo que el 30% de los costos de la nube (se supone que son de 1 millón de dólares) se destina a la formación y el servicio, es decir, 300 000 dólares. Incluso un ahorro del 30% a través de estas ofertas de plataforma se traducirá en un ahorro de 90 000 dólares

Costos de mantenimiento

TrueFoundry se encarga de la supervisión de la infraestructura, la actualización de las dependencias y la gestión de los parches de seguridad, lo que garantiza que su sistema se mantenga actualizado sin gastos adicionales. Además, la responsabilidad de gestión de la deuda técnica se transfiere por completo a TrueFoundry, lo que libera a su equipo de la carga a largo plazo del mantenimiento y las actualizaciones.

Supervisión de la infraestructura, actualizaciones de dependencias y parches de seguridad: Por lo general, se necesitaría un ingeniero o equipo de DevOps a tiempo completo para administrar estas tareas, lo que le costaría a la organización aproximadamente Entre 120 000 y 150 000 dólares/año por ingeniero. Con TrueFoundry automatizando esto, es posible que pueda ahorrar toda esta cantidad al eliminar la necesidad de recursos de DevOps dedicados.

El costo a largo plazo de administrar la deuda técnica puede variar, pero normalmente implica dedicar tiempo a los desarrolladores a la refactorización y las actualizaciones del sistema. De media, la gestión de la deuda técnica puede consumir El 20% del tiempo de un desarrollador, lo que podría equivaler a Entre 30 000 y 50 000 dólares/año por desarrollador.

Con el mantenimiento de manipulación de TrueFoundry, puede esperar ahorrar aproximadamente De 120 000 a 200 000 dólares/año al reducir los costos de DevOps y reducir el impacto de la deuda técnica.

Costos de seguridad y cumplimiento

La responsabilidad de administrar los controles de acceso basados en roles, la privacidad de los datos y garantizar la finalización exitosa de las auditorías de cumplimiento periódicas se transfiere por completo a TrueFoundry. Esto alivia la necesidad de que los equipos internos se encarguen de estas tareas críticas.

Las auditorías de cumplimiento y el mantenimiento de los estándares de seguridad generalmente pueden costarle a una organización Entre 50 000 y 100 000 dólares/año en función de la complejidad de los requisitos. Al transferir esta responsabilidad a TrueFoundry, puede ahorrar la totalidad de esta cantidad y, al mismo tiempo, garantizar el cumplimiento continuo.

Costos de desmantelamiento

TrueFoundry está diseñado con la filosofía básica de evitar la dependencia de un proveedor, lo que facilita la transición fuera de la plataforma si es necesario.

• Brindamos acceso al archivo de manifiesto de Kubernetes, lo que le brinda un control y una visibilidad totales de su infraestructura.
• El código de la aplicación permanece intacto, por lo que la migración no requiere una refactorización exhaustiva.
• Además, TrueFoundry se integra sin esfuerzo con su oferta tecnológica existente, lo que permite flujos de trabajo como el entrenamiento en plataformas como SageMaker y la implementación en TrueFoundry. No es necesaria una migración completa del sistema: nuestro enfoque basado en API funciona a la perfección con lo que ya tienes.

Se puede suponer que el costo de desmantelamiento es casi nulo con Truefoundry.

Coste del talento

La contratación continua de talento especializado, incluidos ingenieros de aprendizaje automático, profesionales de DevOps, arquitectos de infraestructura e ingenieros de seguridad, es esencial para administrar sistemas complejos y mantener la escalabilidad. Estas funciones son fundamentales para preparar su infraestructura para el futuro y mantenerse a la vanguardia de las cambiantes demandas tecnológicas.

El tamaño exacto del equipo dependerá de la escala de sus operaciones y de los casos de uso que se desarrollen. Sin embargo, suponiendo un equipo de 8 personas, incluidos un arquitecto de infraestructura, un ingeniero de seguridad, un ingeniero de DevOps, un ingeniero de SRE/operaciones e ingenieros de aprendizaje automático, con un salario promedio de 150.000 dólares, el costo total del talento sería 1,2 millones de dólares al año.

Coste de licencias de software

Nuestros costos de licencias se basan en los precios basados en los asientos, no en el uso de la computación, lo que significa que el costo no aumenta a medida que se amplía la infraestructura. A diferencia de los proveedores de nube o plataformas como Databricks, que cobran en función del uso, nuestro modelo de precios se centra en maximizar la productividad de los desarrolladores y garantizar que no se le penalice por escalar sus operaciones.

Para un equipo empresarial grande, una licencia de producción suele oscilar entre 100 000$ — 150 000$, aunque puede variar según las necesidades específicas.

Aumente la productividad y los ahorros

Incorporación más rápida: La plataforma intuitiva de TrueFoundry permite una incorporación más rápida de nuevos desarrolladores, lo que reduce el tiempo dedicado a aprender la infraestructura y aumenta la productividad del equipo desde el principio.

UI/UX intuitivas y documentación completa: La plataforma proporciona una interfaz de usuario y experiencia de usuario fácil de navegar y una documentación exhaustiva, lo que permite a los equipos trabajar de manera más eficiente y dedicar menos tiempo a solucionar problemas o a navegar por sistemas complejos.

Mejor colaboración: Los espacios de trabajo compartidos y las herramientas integradas de TrueFoundry mejoran la colaboración entre los equipos, lo que garantiza flujos de trabajo más fluidos y reduce los silos, lo que permite una finalización más rápida de los proyectos.

Incluso con un mínimo 10% de ahorro de tiempo para un equipo de 8 miembros, suponiendo un salario promedio de 150.000 dólares por ingeniero, el ahorro estimado en el aumento de la productividad sería 120 000 dólares/año, como resultado de la reducción del tiempo dedicado a la administración de la infraestructura, la colaboración optimizada y la incorporación más rápida.

Costo total de propiedad: interno frente a TrueFoundry

Comparación de costos totales estimados

• Solución interna: 2,5 millones de dólares al año (incluidos los costos de infraestructura, talento, mantenimiento y seguridad).
• Solución TrueFoundry: 1,4 millones de dólares al año (después de tener en cuenta los ahorros en costos de infraestructura, talento, seguridad y mantenimiento).

La automatización, la optimización de la infraestructura y la reducción de los gastos generales de TrueFoundry proporcionan ahorros de costos significativos en comparación con la creación y la administración de una plataforma MLOPS/Genai Ops internamente. Esto da como resultado una solución más rentable con una productividad mejorada y menos desafíos de administración a largo plazo.